ESRGAN 기반의 복안영상 품질 향상 알고리즘 개발

최근 이미지 업스케일링 연구는 GAN(Generative Adversarial Networks) 등의 생성 신경망을 사용하여 업스케일링을 하며, 이미지 품질을 향상 시킨다. 그 중 LEDIG[6] 등이 제안한 논문은 기존 Super-Resolution 연구에서 갖는 문제점인 텍스쳐 Details 문제를 MSE 손실함수 대신 지각손실함수을 사용하여 성능을 극복시켰다. 본 논문에서 제안하는 알고리즘은 LEDIG[6]이 제안한 논문에 단점을 극복한 WANG[7]의 ESRGAN을 기반으로 설계되었다. ESRGAN은 LEDIG[6]의 네트워크에서 시각적 디테일을 향상 시키기 위하여 여러 가지 방법을 제안하였는데, Batch Normalization(BN)을 사용하여 Artifact 현상을 극복하기 위해 BN을 제거하였고, 계산 효율성을 증대시켰다. LEDIG[6]이 사용한 Residual Block을 기반으로 더 깊은 Dense Block인 Residual in-Residual Dense Block(R-RDB)를 추가하여 성능을 향상 시켰고, 피쳐맵을 Activation 이후에 사용하여 SRGAN보다 더 효과적인 지각손실함수를 개발하여 성능을 향상시켰다.

본 논문에서 제안하는 알고리즘과 같이 생성 신경망 기반ESRGAN을 활용하여 기존 연구에서 적용하는 연구가 많이 진행되고 있다. SHARMA[8] 등은 의료용 X-ray 영상에서 CNN 네트워크 기반 분류모델을 만들 때 ESRGAN을 사용하여 이미지 개선를 하였다. 또한 SONG[9] 등은 저해상도 안면 인식 연구에서 ESRGAN을 전처리 모델로 사용하여 Facnet 기반 98.78%의 정확도를 얻었다.

복안 영상 센서는 Figure 1과 같이 3x3 배열 형태를 갖는다. Sub-Aperture 각 렌즈의 조리개 조절이 가능하여 여러 노출 값의 이미지를 출력한다. 각 Sub-Aperture 렌즈는 단안 구조이며, 작은 두께, 적은 수차를 갖는다.

Figure 1. 복안 영상 센서 구조

Download Original Figure

Figure 2는 복안 영상은 복안 영상 센서에서 나온 출력 이미지이다. 각각의 복안 렌즈로 촬영한 Sub-Aperture 출력 이미지의 사이즈는 300x300이다. 각 이미지는 총 9장이 출력되며. 각각의 Sub-Aperture 이미지들은 촬영 위치가 다르므로 이미지 간에 Disparity가 발생한다. Disparity가 발생하는 특징을 이용하여 거리 추정이 가능하다. 또한, 각 렌즈는 조리개 조절이 가능하여 빛에 대한 노출 값이 다르다. 빛에 대한 노출값이 다르다는 특징을 통해 HDR 기능을 적용할 수 있다.

Figure 2. 복안 카메라 출력 예시

Download Original Figure

본 논문에서 제안하는 복안영상 품질 향상 알고리즘은 Figure 3과 같은 흐름으로 구성된다.

Figure 3. 복안영상 카메라 알고리즘

Download Original Figure

알고리즘의 순서는 크게 이미지 전처리부, 이미지 융합부, 이미지 개선부로 구성된다. 이미지 전처리부에서는 복안 렌즈가 갖는 구조적 특징으로 인하여 발생하는 노이즈를 제거한다. 노이즈 제거는 가우시안 필터를 사용하여 영상에 Smoothing 효과를 주어 영상 촬영 시 노이즈를 제거하였다. 또한 영상 촬영 시, 렌즈의 내, 외부 구조적 특징으로 인하여 영상 왜곡이 발생하게 되는데, 영상의 왜곡을 보정하기 위해 카메라 캘리브레이션을 진행한다. 카메라 캘리브레이션은 범용적으로 많이 사용되는 체커보드를 이용하여 진행하였다. 이미지 융합부에서는 각각의 Sub-Aperture 이미지들을 융합한다. 융합하여 여러 렌즈에서 들어오는 픽셀 정보를 통해 넓은 화각을 확보할 수 있고, 거리 추정, HDR 기능 등을 사용할 수 있다. 영상 융합 알고리즘으로는 Exposure Fusion 알고리즘을 사용하여 각각의 Sub-Aperture 이미지를 융합 한다. 마지막 영상 개선부에서는 복안영상의 품질을 향상 시키기 위하여 히스토그램 평활화과 생성 신경망인 ESRGAN을 적용시킨다. 렌즈의 구조적 특징과 영상 융합 알고리즘으로 영상 융합 시 영상 품질이 많이 저하되는데, 히스토그램 평활화을 통해 영상의 대조비를 증가시키고, ESRGAN을 통해 영상을 업스케일링 하여 영상의 화소를 높힌다.

3.2.1 이미지 전처리부

이미지 전처리부에서는 영상에서 발생하는 노이즈를 제거하기 위해 가우시안 필터를 적용하여 Smoothing 효과를 준다. 그리고 영상의 왜곡을 보정하기 위하여 카메라 캘리브레이션을 진행한다.

3.2.1.1 가우시안 필터

가우시안 필터는 공간 도메인 방법으로, 노이즈 제거에 효과적인 필터이다. 수식에서 x는 가우시안 필터 커널의 중심에서 떨어진 거리를 의미하며, SIGMA값은 노이즈의 정도를 나타낸다. 복안 영상에 수식 (1)을 적용하면, 이미지에 가우시안 분포가 적용되어 이미지 전체적으로 노이즈가 Blur 되고, 전체적으로 Smoothing 되는 효과를 갖는다[10].

$$G\left(x\right)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{x^2}{2{\sigma }^2}}$$

(1)

x : 가우시안 필터 커널의 중심에서 떨어진 거리

σ : 노이즈의 정도

복안 영상이 갖는 영상의 품질 저하 문제중에 하나는 노이즈다. 복안 렌즈는 작은 크기를 갖기 때문에 이미지 센서의 화소수 자체가 적다. 적은 화소수에서 노이즈가 발생하게 되면 영상 품질이 많이 저하되므로 노이즈 제거가 필수적이다. 노이즈를 제거하기 위하여 가우시안 필터를 사용하여 융합 전 촬영된 Sub-Aperture 이미지의 노이즈를 제거한다.

Figure 4는 각 Sub-Aperture 영상의 가우시안 필터 적용 전후를 보여준다.

Figure 4. Sub-Aperture 가우시안 필터 적용 전후

Download Original Figure

3.2.1.2 카메라 캘리브레이션

우리가 사용하는 카메라는 렌즈, 이미지 센서 등으로 구성이 되어있는데, 이미지 센서와 렌즈와의 거리, 각도 등 렌즈의 내부적인 요인에 따라 왜곡 현상이 발생하게 된다. 이런 왜곡 현상을 극복하는 과정을 카메라 캘리브레이션이라 한다. 카메라 캘리브레이션은 초점 거리, 주점, 비대칭 계수를 갖는 내부 파라미터와, 세계 좌표계를 카메라 좌표계로 변환 시키기 위한 변환 행렬인 외부 파라미터를 구하여 파라미터를 최적화 시키는 방향으로 카메라 캘리브레이션을 진행한다[11]. 내부 파라미터는 렌즈의 중심과 이미지센서와의 거리인 초점거리와, 이미지 센서의 Cell array의 y축이 기울어진 정도인 비대칭 계수, 렌즈의 중심인 주점을 통하여 구해진다. 외부 파라미터에 좌표계의 3D 포인트 좌표를 변환한 R(rotation)과 T(translation vectors)의 연산에 의해 구해진다.

$$\left(X\text{'},Y\text{'},Z\text{'}\right)=R\times \left(X,Y,Z\right)+T$$

(2)

(X,Y,Z) : 카메라 좌표계에서의 3차원 좌표

(X',Y',Z') : 보정된 3차원 좌표

R :회전행렬

T : 변환행렬

복안 렌즈로 촬영된 복안 영상 역시 렌즈의 특성으로 인하여 왜곡 현상이 발생하며, 왜곡 현상을 보정해주기 위하여 카메라 캘리브레이션이 과정이 필요하다. 카메라 캘리브레이션을 하기 위해서는 내부 파라미터, 외부 파라미터를 구하여 보정하는 과정을 거치는데, 카메라 캘리브레이션 시 많이 사용되는 체커 보드판을 사용한다. Figure 5와 같이 체커보드를 촬영한 이미지에서 수식 (2)를 통해 보정된 3차원 좌표를 연산하여, 최적의 캘리브레이션 파라미터 값을 찾는다.

Figure 5. 복안 영상 카메라 캘리브레이션 과정 예시

Download Original Figure

3.2.2 이미지 융합부

이미지 융합부에서는 각 Sub-Aperture 이미지를 융합한다. 융합된 이미지를 통해 각 렌즈에서 출력된 픽셀 정보를 얻을수 있으며 넓은 화각이 확보 가능하며,거리 추정, HDR 등의 기능이 사용 가능하다.

3.2.2.1 복안 Exposure Fusion 알고리즘

각 전처리된 Sub-Aperture의 융합을 위하여 Exposure Fusion 방식을 사용한다. Exposure Fusion은 여러 장의 영상을 융합 시켜 동적 범위가 높은 영상을 출력해내는 알고리즘이다. 명도, 채도, 대비 각각의 가중치를 영상에 부여하며, HDR 대비 더 자연스러운 영상 융합이 가능하다. 총 9장의 Sub-Aperture 이미지를 융합하여 하나의 이미지로 만든다[12][13].

$$W_{ij,k}={\left(C_{ij,k}\right)}^{w_C}\times {\left(S_{ij,k}\right)}^{w_S}\times {\left(E_{ij,k}\right)}^{w_E}$$

(3)

W: Esposure Fusion 알고리즘 결과 값

C :Contrast

S : Saturation

E : Exposedness

i,j:픽셀의좌표

k:k번째입력영상

수식 (3)에서 C는 Contrast, S는 Saturation, E는 Exposedness를 의미하며 해당 수식을 통해 가중치를 찾아 영상 융합에 사용된다.

Figure 6는 각 복안 영상으로 촬영한 Sub-Aperture 이미지들을 Exposure Fusion을 사용하여 융합된 이미지를 보여준다.

Figure 6. 이미지 융합부 예시

Download Original Figure

3.2.3 이미지 개선부

복안 영상 시스템은 각 Sub-Aperture 이미지들의 융합을 통해 기존 카메라에서 구현하지 못하였던 HDR, 거리 추정 등 여러 기능을 구현할 수 있는 장점이 있다. 하지만 이미지가 융합 되는 과정에서 Sub-Aperture 이미지 대비 융합 영상 품질이 저하되는 문제점이 발생한다. 각 Sub-Aperture 이미지들이 렌즈 구조적 특징으로 인하여 영상 품질이 저하 되는데, 융합 과정 시 성능이 한번 더 저하되므로 영상품질 향상 알고리즘을 통해 융합 영상의 품질 향상이 필요하다. 이런 영상 품질이 떨어지는 문제점을 극복하기 위하여 이미지 개선부 에서는 히스토그램 평활화과 ESRGAN을 적용하여 이미지의 대조비를 높이고 이미지를 업 스케일링하여 이미지의 품질을 향상 시킨다.

3.2.3.1 히스토그램 평활화

복안 영상을 일반 카메라 대비 대조비가 많이 떨어지게 되어 영상 품질을 향상 시키기 위해서는 대조비 향상이 필요하다. 히스토그램 평활화는 이미지의 대조비가 작을 때 대조비를 크게 하기 위하여 사용하는 방법이다. 이미지 픽셀의 인텐시티 값이 특정 값에 몰려 있게 되면 사람 눈으로 보기에는 대조비가 작게 보인다. 작은 대조를 고르게 분포시켜주어, 이미지 대비를 크게하는 기법을 히스토그램 평활화이라 한다.

$$H\left(v\right)=\left[\frac{cdf\left(v\right)-cd{f}_{\text{min}}}{\left(M\times N\right)-cd{f}_{\text{min}}}\times \left(L-1\right)\right]$$

(4)

H(v) : 히스토그램 평활화 결과 값

cdf_min :cdf 중 가장 작은 값

M × N : 이미지의 넓이

융합된 복안 영상을 보면 대조가 떨어지는 것을 알 수 있다. 이 점을 극복하기 위하여 수식(4)와 같이 픽셀 값의 Cumulative Density Function(cdf)를 구하였고, 히스토그램 평활화를 적용하여 전체 이미지의 대조비를 크게 하였다. L은 픽셀 인텐시티를 나타낸다. cdf_min은 cdf 중 가장 작은 값에 해당하며 M x N은 이미지의 넓이를 의미한다.

Figure 7은 히스토그램 평활화의 적용 예시를 보여준다.

Figure 7. 히스토그램 평활화 예시

Download Original Figure

3.2.3.2 ESRGAN

융합된 복안영상의 품질 저하 요소 중 하나는 작은 화소수에 있다. 이미지 센서의 크기 제한으로 많은 화소수를 사용할 수 없고, 렌즈의 특성상 영상의 품질이 떨어지게 된다.

제안하는 알고리즘에서는 히스토그램 평활화이 적용된 이미지를 ESRGAN에 통과 시켜 업스케일링을 한다. ESRGAN은 SRGAN 대비 Batch Normalization Layer를 제거하여 Deblurring의 성능을 향상시키고, 기존의 Residual Block(RB) 들을 Residual in Residual Dense Block(RRDB)로 교체하였고, 수식 (5)와 같이 지각손실함수를 제안하여 성능을 향상 시켰다. Figure 8은 ESRGAN의 Architecture를 보여준다.

Figure 8. ESRGAN Architecture

Download Original Figure

$$L_G=L_{percep}+\lambda L_G{}^{Ra}+\eta L_1$$

(5)

Where

L_percep : 지각 손실

$\lambda L_G{}^{Ra}$ : 상대론적 판별기

ηL₁ : 정규 분포

본 논문에서 제안하는 영상은 NR(No-reference)를 사용하여 영상의 품질을 평가한다. NR은 FR(Full-reference), RR(Reduced-reference)와 다르게 품질을 평가할 때 원본 영상이 필요하지 않다. NR에는 많은 종류의 평가방법이 있지만, 본 논문에서는 여러 연구에서 많은 평가 지표로 사용되는 BRISQUE, NIQE, PIQE를 사용하여 영상 품질을 평가한다[4]. 평가 데이터는 총 50 case의 이미지를 사용하였고, 각 데이터의 알고리즘 적용 전후로 BRISQUE, NIQE, PIQE 수치를 비교하였다. Figure 9은 실험에 사용된 평가 데이터셋 예시를 보여준다.

Figure 9. 실험에 사용된 평가 데이터셋 예시

Download Original Figure

BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator) 평가 기법은 실제 영상에서 왜곡이 일어나면 픽셀 공간에서도 왜곡이 일어난다는 통계를 기반으로 만들어진 평가기법이다.

i: 이미지의 픽셀 인덱스

N: 이미지 전체 픽셀 갯수

w(i): 각 픽셀에 대한 가중치

f(i) : 픽셀의 특징 벡터

(σ(i))²: 각 픽셀의 특징 벡터 분산

통계적 특성을 나타내기 위해 수식 (6)과 같이 MSCN 처리를 하고, 출력된 히스토그램을 일반화된 가우시안 분포와 비교를 통하여 평가 지표를 주출해낸다[4][16][17].

NIQE 평가 기법은 BRISQUE와 마찬가지로 수식 (7)과 같이 MSCN 처리를 하여 a x a 사이즈의 패치로 분할한 뒤

(v₁, X₁): 깨끗한 이미지 품질

(v₂, X₂): 테스트 할 이미지 품질

각 패치에서 벡터값을 도출해낸다. NIQE는 도출해낸 피쳐 및 공분산 행렬을 계산하여 영상의 품질을 측정하는 방법이다[4][18].

PIQE 평가 기법은 입력 이미지에 MSCN을 적용하여, 16x16 패치로 분할한다. MSCN 계수의 분산 값을 임계값을 기준으로 하여 왜곡의 존재 유무 패치를 판단하여 왜곡이 있는 패치를 점수화 한다[4][19].

실험은 복안 영상 50 case의 Sub-Aperture 이미지를 Exposure Fusion 알고리즘을 사용하여 융합 하였다. 융합한 이미지를 활용하여 본 눈문에서 제안한 알고리즘 적용 전후를 비교하였다. Figure 10은 실험에 사용한 융합 전후 이미지를 보여준다.

Figure 10. 융합 전후 알고리즘 비교사진 예시

Download Original Figure

50 case의 이미지를 각각 BRISQUE, NIQE, PIQE 값을 Table 1과 같이 구하였다. BRISQUE는 알고리즘 적용 전 Original 이미지 평균 32,51, 알고리즘 적용 후 이미지 25.19로 약 7.32 감소하였고, NIQE는 알고리즘 적용 전 Original 이미지 평균 4.95, 적용 후 이미지 4.24로 0.71 감소하였고, PIQE는 적용 전 38.34, 적용 후 32.27로 6.07 감소하였다.