버스트 이미지 복원을 위한 비균일 노출 예측 파이프라인^†

본 연구의 핵심은 촬영 환경과 복원 과정을 고려하여 적절한 버스트 이미징을 수행하는 것이다. 이를 위해 본 연구에서는 두 장의 프리뷰 이미지(I_t, I_t−1 ∈ R^3×H×W)와 I_t를 촬영할 때의 게 인 g_p를 입력으로 받아 버스트 이미지의 노출 시간을 예측하는 ‘노출 예측 모듈’을 제안하며, 해당 모듈은 기존의 옵티컬 플로우 추정 네트워크 RAFT [29]와 단순한 형태의 2차식으로 구성된다. 학습시에는 예측된 노출 시간이 버스트 합성 모듈의 입력으로 사용되어 사실적인 버스트 이미지를 합성하고, 실제 적용시에는 예측된 노출 시간으로 실제 버스트 이미징을 수행한다.

구체적으로, 먼저 두 장의 프리뷰 이미지로부터 RAFT 네트워 크를 사용해 각 픽셀의 옵티컬 플로우 벡터(optical flow vector)를 구하고 벡터의 크기를 평균 낸 다음 0과 1사이의 값으로 정규화 하여 모션 정보 m_p를 다음과 같이 구한다:

여기서 f_i = (dx_i, dy_i)는 RAFT를 통햬 추정된 i번째 픽셀의 옵티 컬 플로우 벡터이며 H는 이미지의 높이(수직 방향 픽셀 수), W는 이미지의 너비(가로 방향 픽셀 수)이다. 또한, 실험에서 ϵ는 10 으로 설정하였다. 이어서 모션 정보 m_p 와 게인 g_p 를 선형 회귀를 통해 정의된 이차식에 대입하여 첫번째 버스트 이미지의 노출 시 간 t₁과 배율 r을 구하고 최종적으로 n개의 버스트 이미지 노출 시간 {t₁, t₁ · r, t₁ · r², t₁ · r³, ...}을 획득한다. 이때, 입력으로 사 용되는 게인 g_p도 최댓값을 활용해 0과 1사이로 정규화된 값이며 선형회귀를 통해 이차식을 최적화 하는 과정은 4.1에서 자세히 설명한다.

버스트 합성 모듈은 연속적인 선형(linear) sRGB 이미지들과 노출 예측 모듈을 통해 구한 n개의 노출 시간을 입력으로 받아 사실적인 n개의 버스트 이미지를 합성한다(Figure 2). 이 모듈은 블러 합성(blur synthesis), 역 표준 연산(inverse canonical operations), 그리고 노이즈 합성(noise synthesis) 단계로 구성되며 순 차적으로 수행된다.

Figure 1. Overview of our pipeline. During inference, the burst synthesis module is removed, and the restoration network processes real burst images captured by real camera system.

Download Original Figure

Figure 2. Detailed architecture of the burst synthesis module.

Download Original Figure

블러 합성 본 연구에서는 보다 사실적인 블러를 합성하기 위 해 기존 연구 [30, 31]에서 흔히 사용되는 프레임 평균화(frame averaging) 기법을 사용한다. 구체적으로, 노출 시간 만큼의 연속 적인 선형 sRGB 이미지들을 더한 다음 노출 시간으로 나누는 방식으로 블러를 합성하였으며 n개의 노출 시간에 순서대로 적 용해 n개의 버스트 이미지를 합성하였다. 이때, 실제 촬영 시스템 을 사실적으로 모사하기 위해 버스트 이미지들 간에 어느 정도의 시차가 생기도록 하였다.

역 표준 연산 역 표준 연산(inverse canonical operations)은 ParamISP [32]의 CanoNet 구조를 차용하여 역 색공간 변환(inverse color space transform), 역 화이트 밸런스(inverse white balance), 모자이크(mosaic) 순서로 적용된다. 블러 합성을 통해 얻 어진 블러 이미지를 I_Blur ∈ R^3×H×W 라 하면 I_Blur에 역 색공 간 변환 행렬 $M_{\text{Cam}}^{-1}$ ∈ R^3×3을 적용하여 I_blur의 색공간을 선형 sRGB 공간에서 RAW 색공간으로 변환한다. 이어서 각 RGB 채 널을 해당 계수 g_WB ∈ R³로 나누는 역 화이트 밸런스를 수행한 후, 최종 이미지 I_RAW ∈ R^1×H×W 를 얻기 위해 모자이크 연산을 적용한다.

노이즈 합성 노이즈 합성은 RAW 이미지에서 샷 노이즈(shot noise)와 리드 노이즈(read noise)가 주요한 노이즈 성분이라는 가 정 하에 기존 연구 [33, 31, 11]와 유사한 방식을 따른다. 이 두 성 분의 조합은 이분산 가우시안 확률 변수(heteroscedastic gaussian random variable) N으로 모델링되며 다음과 같은 수식으로 표현 된다:

여기서 I_RAW는 역 표준 연산을 통해 구해진 RAW 색공간 이미 지이며 λ_read와 λ_shot은 노이즈 파라미터이다. 노이즈 파라미터는 기존 연구 [33]와 유사하게 ISO 값과 노이즈 파라미터 간의 선형 관계를 가정하여 추정하였다.

최종적으로 샘플링된 노이즈 N을 게인 g_i를 고려하여 I_RAW에 더한 다음 픽셀 값이 0과 1 사이를 벗어나지 않도록 클리핑(값 제한)하여 버스트 이미지를 합성한다. 이때, 장면 복사조도(scene radiance)는 증폭하지 않고 게인 g_i에 따라 노이즈 N만 증폭하며 이는 본 프레임워크가 입력 버스트 이미지들의 게인이 각 이미 지의 노출 시간에 반비례하도록 가정하기 때문이다. 이로 인해 모든 버스트 이미지의 밝기 수준은 동일하게 유지되지만 노이즈 수준은 달라진다.

본 연구에서는 버스트 이미지 복원 및 개선 분야에서 최신 모 델인 Burstormer [2]를 복원 네트워크로 사용했다. 이 모델은 트 랜스포머 기반 구조를 가지고 있기 때문에 여러 장의 버스트 이 미지를 입력받아 시간적·공간적으로 중요한 특징을 추출할 수 있어 좋은 복원 성능을 보인다. 학습시에 복원 네트워크는 버스 트 합성 모듈에서 합성된 n개의 버스트 이미지를 입력으로 받아 노이즈와 블러가 없는 깔끔한 이미지 한 장을 복원한다.

본 연구의 파이프라인을 학습시키기 위해 장면 복사조도 시퀀 스(scene radiance sequences)로 구성된 학습 데이터셋 D를 사용 한다. 즉, D = S₁, S₂, ···이며 여기서 S_i는 하나의 장면 복사조 도 시퀀스이다. 본 연구에서는 GoPro 데이터셋 [30]의 영상 클 립을 구성하는 이미지들을 장면 복사조도 시퀀스로 사용하였다. 영상 클립은 조리개값이 고정된 GoPro 카메라를 사용해 240 FPS 의 고주사율(high frames per second)로 촬영되어 모션 블러가거 의 없으며, 밝은 환경에서 낮은 게인 값으로 촬영되어 노이즈 또 한 매우 적다. 따라서 노이즈와 블러가 거의 없는 고품질의 정 답(ground-truth) 이미지를 확보할 수 있다는 장점이 있어 해당 데이터셋을 채택하였다. 구체적으로, 각 영상 클립의 이미지들 에 대해 감마 확장(gamma expansion)을 적용하여 색공간을 선 형 sRGB 공간으로 변환하였다. 그런 다음, 기존의 프레임 보간 (frame interpolation) 기법 [29]을 적용해 프레임 속도를 8배 증가 시킴으로써 최종적으로 1920 FPS의 영상 클립을 확보하였다.

데이터셋 D를 D_restore, D_exposure, 그리고 D_test로 분할하였으며 각각 4800, 1036, 532 개의 시퀀스로 구성된다. GoPro 데이터셋 의 학습 및 평가 데이터셋은 각각 22개, 11개의 영상 클립으로 합 성되는데, 22개의 학습 영상 클립을 11개씩 임의로 나누어 D_restore 와 D_exposure를 구성하고 11개의 평가 영상 클립으로 D_test를 구성 하였다. 또한, 각 시퀀스에 대해 프리뷰 이미지의 게인 g_p, 역 색 공간 변환 행렬 $M_{\text{Cam}}^{-1}$, 화이트 밸런스 게인 g_WB는 무작위로 샘 플링하였으며 프리뷰 이미지의 노출 시간 t_p은 1/120초로 설정 하였다.

본 연구의 모든 실험에서 버스트 이미지의 개수 n은 4로 설정 하였으며, 다양한 노출 시간에 대해 학습한 복원 네트워크를 동 일하게 사용하여 데이터셋 D_test의 시퀀스로 평가하였다. 학습에 대한 자세한 사항은 다음과 같다.

복원 네트워크 노출 예측 모듈을 최적화하기 위해서는 다양 한 노출 시간에 강인한 복원 네트워크가 필요하기 때문에 먼저 D_restore를 사용하여 복원 네트워크를 학습하였다. 이때, i번째 버 스트 이미지의 노출 시간 t_i를 최소·최대 노출 시간 [t_min, t_max] 범위에서 무작위로 샘플링하였다. 이후 모든 버스트 이미지가 동 일한 밝기를 갖도록 g_i = t_p·g_p/t_i 공식으로 게인 g_i를 설정하였으 며 해당 장면 복사조도 시퀀스 S와 노출 시간 t_i, 게인 g_i를 버스트 합성 모듈에 입력하여 버스트 이미지를 합성하였다. 최종적으로 합성된 n개의 버스트 이미지를 복원 네트워크의 입력으로 사용 하여 복원된 이미지를 출력하고 정답 이미지와의 평균 절대 오차 (mean absolute error)를 손실 함수로 사용하여 복원 네트워크를 학습하였다.

복원 네트워크는 PyTorch [34] 프레임워크에서 사용하였으며 에포크(epoch)는 500, 학습률(learning rate)은 3.0 × 10⁻⁴에서 점진적으로 감소하여 1.0 × 10⁻⁸이 되도록 설정하였다. 또한, AdamW [35] 옵티마이저와 코사인 어닐링 스케줄러 [36]를 사용 하였다. 학습에 사용된 모든 이미지는 256×256 해상도를 가지며, 4개의 GeForce RTX 3090 GPU가 장착된 PC에서 배치 크기 4로 학습을 수행하였다.

노출 예측 모듈 촬영 환경을 고려하여 복원에 적합한 버스트 이 미지의 노출 시간을 예측하는 노출 예측 모듈을 학습하기 위해 먼저 앞서 학습한 복원 네트워크를 활용하여 t_pseudo-gt를 설정한 다. t_pseudo-gt는 미리 정의된 다양한 노출 시간 조합 집합을 모두 검토하여 얻은 의사-정답(pseudo-ground-truth) 노출 시간 벡터이 다. 이를 구하는 방법은 다음과 같다. 먼저, 미리 정의된 노출 시간 조합 ${\widehat{t}}_i$를 원소로 갖는 집합 $\epsilon ={\widehat{t}}_1$,···를 설정한다.

본 실험에서는 균일·비균일 노출 시간 조합을 모두 고 려하여 ε = {(8, 8, 8, 8), (12, 12, 12, 12), (16, 16, 16, 16), (24, 24, 24, 24), (32, 32, 32, 32), (8, 12, 18, 27), (8, 16, 32, 64), (12, 18, 27, 41), (12, 24, 48, 96), (16, 24, 36, 54)}/1920로 정의하 였다. 다음으로, D_exposure 에서 장면 복사조도 시퀀스 S를 샘플 링하고 이로부터 노출 예측 모듈의 입력으로 사용되는 게인 g_p, 프리뷰 이미지 I_p 및 I_p′, 모션 크기 m_p, 그리고 정답 이미지 I_gt를 합성한다.

그런 다음, ε 내 각 노출 시간 조합에 대해 버스트 이미지를 합성하고, 버스트 이미지 복원을 수행한 뒤 그 결과를 I_gt와 비교 한다. 마지막으로, 각 이미지별로 가장 높은 PSNR을 보인 노출 시간 조합을 해당 이미지에 대한 t_pseudo-gt로 설정한다.

이후, 앞서 합성한 m_p와 g_p를 이차식에 입력하면 버스트 이미 지의 노출 시간 t₁과 배율 r이 출력되며 이는 다음과 같은 수식으 로 표현할 수 있다:

여기서 변수 a_i (i = 1, 2,..., 12)는 평균 제곱 오차(mean squared error)를 통해 선형 회귀로 최적화된다.