단노출 플래시스마트폰 영상에서 저속 동조 영상생성

본 연구의 목표는단노출 플래시 사진으로부터 저속 동조 영상을 예측하는 것이다. 그래서 지도 학습을위해 단노출 플래시 사진과 저속 동조 사진들을 수집해야 한다. 또한, 데이터 세트는 스마트 폰으로 수집되어야 한다.

사진작가들은 대부분 DSLR과 외부 플래시와 장노출을 이용 해서 저속 동조를 촬영한다. 순간적으로 강력한 빛을 발광하는 DSLR 플래시와는 달리 스마트폰 카메라 플래시는 약하고 지속 적인 빛을 발광한다. 또한, 스마트폰 카메라 플래시의 발광 시간 은 노출 시간에 비례한다. Fig. 2는 서로 다른 노출 시간에 따른 스마트폰 플래시 사진들을 보여준다. 이 사진들은 매우 어두운 환경에서 Galaxy S21로 촬영되었다. 스마트폰 카메라 애플리케 이션은 플래시를 켜고 끄고 할 수 있지만, 플래시 밝기를 조절할 수 없다. 노출 시간이 길어짐에 따라 영상의 밝기가 증가하는데, 이는 스마트폰 플래시가 지속해서 발광하고 이 발광 시간은 노출 시간에 비례하기 때문이다. 노출 시간과 발광 시간 간의 비례 관 계로 인해 장노출촬영 시 카메라 플래시가 전경을 포화를 일으킬 위험이 있다. 또한, 스마트폰 플래시는 노출 시간이 일정 이상일 때 발광하지 못한다. 예를 들어, Galaxy S21의 경우 노출 시간이 1/6초 이상일 때 카메라 애플리케이션은 플래시를 켜지 못한다. 이러한 이유로 인해 스마트폰 카메라 애플리케이션을 가지고 저 속 동조 촬영을 하는 것은 어렵다.

Figure 2: 플래시 옵션과 노출 시간에 따른 스마트폰 영상들

Download Original Figure

본 연구에서는 RAW의 선형성을이용해 단노출 플래시 영상과 플래시 없는 장노출 영상으로부터 저속 동조 영상을 생성한다. 카메라 센서는 선형적으로 빛의 강도를 측정하고 이 선형 정보를 RAW 영상에 저장한다. 그래서 RAW 영상은 빛의 강도에 선형 적이다. 반면 RGB 영상은 빛의 강도에 선형적이지 않다. 영상 신호 처리 파이프라인 (image signal process pipeline)은 RAW 영 상을 RGB 영상으로 바꾸는데, 영상 신호 처리 파이프라인의 톤 매핑과감마 보정으로 인해 RGB 영상은 빛의 강도에 선형적이지 않다.

RAW 영상의 선형성으로 인해 RAW 영상에서 특정 빛의 강도 를 추출 하거나 조정하는 것이 가능하다. Askoy 등 [11]은 플래시 있는 RAW 영상에 플래시 없는 RAW 영상을 빼서 순수 플래시 RAW 영상을 추출해 냈다. 플래시 없는 영상은 배경 빛만 포함하 고 있고, 플래시 있는 영상은 배경과 플래시 빛을 포함하고 있으 므로, 빼기를 이용해 순수 플래시 영상을 추출 할 수 있다.

저속 동조 영상은 단노출의 카메라 플래시 빛과 장노출의 배 경 빛을 지녀야 한다. 그래서 본 연구에서는 단노출 순수 플래시 RAW 영상과 플래시 없는 장노출 RAW 영상을 더해서 저속 동 조 RAW 영상을 얻는다. 먼저 스마트폰 카메라 애플리케이션을 이용해 단노출 플래시 RAW 영상과 플래시 없는 장노출 RAW 영 상을 얻는다. 단노출 순수 플래시 RAW 영상을 얻기 위해 단노출 플래시 RAW 영상에서 선형배율 (linear scaling) 적용된 플래시 없는 장노출 RAW 영상을 뺀다. 플래시 없는 장노출 RAW 영상 과 단노출 플래시 RAW 영상은 서로 다른 노출 시간의 배경 빛을 지니고 있으므로 선형배율을 통해 두 영상이 같은 배경 빛을 지 니게 할 수 있고 빼기를 통해 순수 플래시 영상을 얻을 수 있다. 이러한 RAW를 이용한 방법으로 스마트폰 저속 동조 영상을 생 성 할 수 있지만, 이 방법은 장노출과 같은 장면에 대한 두 장의 사진을 요구하기 때문에 카메라와 물체를 고정해야 한다. 따라서 네트워크의 데이터 세트 수집을위해서는 이 방법을 사용하기에 는 적합하지만, 일반 촬영자가 사용하기에는 불편함을 느낄 수 있다.

단노출 플래시 RAW 영상을 R_sf, 플래시 없는 장노출 RAW 영 상을 R_l 이라고 가정하자. R_sf 과 R_l은 스마트폰으로 촬영된다. R_l은 장노출의 배경 빛만 포함하고 있고, R_sf 은 단노출의 배경 빛과 플래시 빛을 포함하고 있다. R_sf 은 아래와 같이 표현될 수 있다.

R_se은 배경 빛만 포함하고 있는 RAW 영상이고, R_sof 은 플래시 빛만 포함하고 있는 RAW 영상이다.

R_se와 R_l은 서로 다른 노출 시간의 배경 빛을 지니고 있다. 선 형 배율을 통해 R_l와 R_se를 같게 만들 수 있다.

T_s와 T_l는 각각 단노출 시간과 장노출 시간이다.

R_sof 은 아래와 같이 표현될 수 있다.

저속 동조 RAW 영상은 단노출 플래시 빛과 장노출 배경 빛을 지니고 있어야 한다. 그래서 저속 동조 RAW 영상은 단노출 순수 플래시 영상과 플래시 없는 장노출 영상의 합이다.

R_slowsync은 저속 동조 RAW 영상이다. 영상 신호 처리 파이프 라인은 저속 동조 RAW 영상을 저속 동조 RGB 영상으로 변환 한다.

Fig. 3는 데이터 세트의 예시를 나타내고 있다. Fig. 3a에서 배 경은 어둡지만, 플래시로 인해 전경은 밝다. Fig. 3b에서는 전경은 어둡지만, 장노출로 인해 배경이 밝다. Fig. 3d은 밝은 전경과 배 경을 보여준다. Fig. 3c에서 배경이 거의 검은색에 가까운데 이를 통해 Eq. (3)에서 R_sof 를 효과적으로 얻을 수 있음을 알 수 있다. 하지만, R_sof 는 카메라 플래시 빛을 제외한 다른 빛을 지니고 있을 수 있다. 예를 들어, Fig. 3c에서 밝은 창문은 제거되지 않 았는데 이는 R_sf 와 R_l에서 창문이 포화하였기 때문이다. R_sof 가 포화로 인해 제거되지 않은 밝은 빛을 지닐 수 있지만, 이러 한 빛은 R_slowsync를 생성하는 데 문제가 되지 않는다. 이는 R_l이 포화한 픽셀을 지니고 있고, Eq. (4) 에서 R_sof 의 제거되지 않은 밝은 픽셀과 R_l의 포화한 픽셀을 더하는 것은 R_slowsync에서도 같은 포화한픽셀을 만들기 때문이다.

Figure 3: 데이터 세트 예시. 시각화를 위해 영상 신호 처리 파이 프라인을 이용해 RAW 영상을 RGB 영상으로 바꾸었다.

Download Original Figure

본 연구에서는 Galaxy S21을 사용해서 데이터 세트를 수집했 다. Galaxy S21의 카메라 애플리케이션은 노출 시간을 조절 할 수 있고 RAW 영상을 저장 할 수 있다. 스마트폰을 삼각대에 장 착시켜서 방향과 위치를 고정한 뒤, 다양한 노출 시간과 플래시 설정으로 영상들을 촬영했다. ISO 또는 초점 거리 등은 영상의 품질을 최대화하도록 조정되었다. 단노출 플래시 영상의 노출 시 간은 1/45초에서 1/6초 사이이고, 플래시 없는 장노출 영상의 노 출 시간은 1/10초에서 2초 사이이다. 장노출촬영할 경우 물체와 카메라는 고정되어야 하므로 데이터 세트의 물체들은 전부 고정 되었다.

본 연구의 데이터 세트는 210장의 플래시 없는 장노출 RAW 영 상들과 929장의 단노출 플래시 RAW 영상들로 구성되어 있다. 한 장면에 대해 플래시 없는 장노출 RAW 영상 1장과 단노출 플래 시 RAW 영상 여러 장을 찍었는데, 이는다양한 카메라 노이즈를 수집해서 네트워크를 노이즈에 더 강건해지게 만들기 위함이다. 저속 동조 RGB는 ground truth로, 단노출 플래시 RGB 영상은 입력으로 사용된다. 저속 동조 RGB 영상의 수는 단노출 플래시 RGB 영상의 수와 같다. 20% 의 저속 동조 영상들과 단노출 플래 시 영상들은 테스트 용도로, 나머지는 훈련 용도로 사용되었다.

본 연구의 네트워크는 U-Net [10]을 기반으로 하고 있다. Fig. 4는 본 연구의 네트워크의 구조를 보여주고 있다. U-Net은 영상 처 리와 컴퓨터 비전에서 널리 사용되는 네트워크이다. 저조도 영상 개선에서도 U-Net은 활용되는데, 이는 U-Net의 skip connection 이 입력 영상의 디테일을 보존하기 때문이다. [5]에 의해 저조도 영상 개선에서 U-Net의 효과가 있음이 보였다. 저속 동조 영상 생성 또한 입력 영상의 디테일 보존이 필요하므로 본 연구에서는 U-Net을 사용했다.

Figure 4: 네트워크 구조

Download Original Figure

본 연구의 네트워크는 밝기가 증가하여야 하는 픽셀을 강조하 는 가중치 맵을 사용한다. 가중치 맵을 만드는 방법은 4.2장에서 설명한다. 본 연구의 네트워크는 단노출 플래시 RGB 영상과 가 중치 맵을 입력으로 받고, 저속 동조 RGB 영상을 출력한다. 입 력으로 들어간가중치 맵을 통해 네트워크는 어느 픽셀이 개선되 어야 하는지를 알 수 있다. 다운 샘플링된 가중치 맵을 skip connection의 feature map에 곱하는 것도 공간상에서 가변적인 밝기 개선에 도움이 되는데, 이는 가중치 맵의 곱으로 강조된 feature의 픽셀이 개선되어야 한다는 것을 decoder에게 알려주기 때문이다. 단노출 플래시 RGB 영상의 skip connection은 예측된 저속 동조 영상에서 에러를 줄여준다. 이는 ground truth를 바로 예측하는 것보다 ground truth와 입력 영상 간의 차이를 예측하는 것이 더 안정적인 학습에 도움 되기 때문이다. 마지막 합성곱의 결과물과 가중치 맵을 곱하는 것은 전경 밝기의 유지에 도움이 된다. 손실 함수는 ground truth와 예측된 저속 동조 영상 간의 L2 loss이다. 가중치 맵을 통해 네트워크가 저속 동조 영상을 효과적으로 예측 할 수 있으므로 추가적인 손실 함수는 필요 없다.

가중치 맵은 배경의 어두운 부분은 개선되고 전경의 밝은 부분은 보존되어야 함을 나타낸다. 본 연구에서는 가중치 맵을 이용해 네트워크가 공간상에서 가변적인 밝기 개선을 수행한다. 가중치 맵이 가져야 할 특성들은 다음과같다.

본 연구에서는 이러한 특성들을 만족하는 가중치 맵을 만드 는 방법을 제안한다. 본 방법의 주요 발상은 입력 단노출 플래시 영상을 회색 영상으로 바꾸어도 플래시의 밝은 전경과 어두운 배 경을 보여준다는 점이다. 본 방법은 이 회색 영상을 수정해서 위 특성들을 만족하는 가중치 맵을 만든다.

단노출 플래시 RGB 영상을 I_sf 이라 하면 가중치 맵 W 는다음 과같이 정의된다.

RGB2GRAY 는 RGB 영상을 회색 영상으로 바꾸는 함수, filter 는 텍스처 필터 함수, α는 거듭제곱 매개변수이다. 거듭제곱을 통해 밝은 부분과 어두운 부분의 가중치들을 차이 내서 효과적인 강조를 얻었고, 텍스처 필터 함수를 통해 노이즈와 텍스처를 제 거했다. 가중치 맵의 범위는 [0.5, 1]로 최소값이 0에 가깝지 않다.

Fig. 5은 α의 변화에 따른 가중치 맵을 보여준다. 높은 α의 가중 치 맵은 확연한 대비와 공간적 변화를 보여준다. 낮은 α는 공간적 변화가거의 없어서, 가중치 맵이 feature를 효과적으로 강조하지 못한다. 본 연구에서는 α를 4로 설정했는데, 이는 가중치 맵을 시각화 한 결과가 충분한 대비를 보여줬기 때문이다. 더 높은 α를 사용할 경우 가중치 값들이 최솟값에 가까워져서 정보 손실이 일어날 수 있다.

Figure 5: α의 변화에 따른 가중치 맵

Download Original Figure

Fig. 6는 텍스처 필터에 따른 가중치 맵을 보여준다. 텍스처 필 터가 없는 가중치 맵은 입력 영상의 텍스처를 가지고 있다. 가중 치 맵이 텍스처와 노이즈를 지니고 있으면, 네트워크가 가중치 맵에서 부드러운 밝기 변화가 아닌 텍스처를 보고 잘못 학습할 수 있다. 반면 텍스처 필터를 적용한 가중치 맵은 이러한 텍스처 와 노이즈가 없는 것을 볼 수 있다. 본 연구에서는 bilateral filter [12]를 사용했지만, [13]와 같은 다른 텍스처 필터 또한 사용 가능 하다.

Figure 6: 텍스처 필터에 따른 가중치 맵

Download Original Figure

본 연구에서는 LibRaw 라이브러리 [14]의 Python wrapper인 Rawpy를 사용해서 RAW 영상을 처리했다. 본 연구에서는 네트 워크를 28000회 학습했고 batch size는 50, 학습률은 1e-4로 설정 했다. 학습을위한 입력 영상은 크기가 128에서 384 사이의 무작 위위치의 정사각형으로 잘려진 뒤, 크기가 256이 되도록 재설정 되었다. Data argumentation을위해 영상에 무작위로 뒤집기 또는 회전이 적용되었다. Adam 최적화 [15]를 사용해 훈련했고, 코드 는 Pytorch로 구현되었다.

본 연구의 결과물을 SRIE [3], LIME [1], Wang 등의 방법 [6], Zero-DCE [7], EnlightenGAN [5] 와 비교했다. SRIE [3]와 LIME [1]는 retinex 이론 기반의 최적화 방법으로 입력의 밝기를 예측 및 수정한다. Wang 등[6]은입력 영상의 밝기를 예측하고 입력 영 상과 밝기의 역을 곱해서 개선한다. Zero-DCE [7]는 밝기를 개선 하는 곡선 함수를 예측하는 딥러닝 네트워크로 ground truth가 없 는 손실 함수를 통해 학습되었다. EnlightenGAN [5]은 unpaired dataset으로 학습된 GAN 방식이다. 세 딥러닝 방법들 [6, 7, 5]은 본 연구의 데이터 세트로 finetune 되었다.

Fig. 7-8는 정성적 결과물을 보여준다. 사각 상자는 확대된 영 상을 보여준다. 단노출 플래시 영상에 대응되는 저속 동조 영상 은 단 하나만 존재하지 않는데, 이는 노출 시간에 따라 저속 동조 영상은 여러 가지가 나올 수 있다. 잘 예측된 저속 동조 영상은 전경의 밝기가 입력 단노출 플래시 영상의 전경과 같으며 배경의 밝기는 입력보다 더 밝아야 한다.

Figure 7: 정성적 결과

Download Original Figure

Figure 8: 정성적 결과

Download Original Figure

SRIE와 LIME은 포화한 전경과 증폭된 노이즈를 보여준다. Wang 등의 방법은 배경을 충분히 밝게 하지 못한다. Zero-DCE은 대부분의 입력 영상을 포화시켰는데, 이는 Zero-DCE의 ground truth 없는 손실 함수가 어두운 환경의 영상에선 잘 작동하지 않 기 때문이다. EnlightenGAN의 결과도 밝은 배경을 보여주진 못 한다. 본 연구의 네트워크는 전경의 밝기를 유지하면서 배경을 밝게 해 주는 것을 볼 수 있다.

본 연구에서는 성능 비교를 위해 정량적 평가를 수행했다. 이전 저조도 영상 개선 연구에서는 Natural Image Quality Evaluator (NIQE)[16]를 사용했다. NIQE는 입력 영상의 품질을 측정하기 위해 입력 영상과 자연스러운 이미지 모음 사이의 통계적 특징점 의 거리를 사용했다. 하지만 이 자연스러운 이미지 모음은 밝은 낮 사진으로 구성되어 있으므로, NIQE는 어두운 밤 사진의 품질 을 측정하는데 부적절하다.

본 연구에서는 정량적 평가를 위해 PSNR과 SSIM을 사용했다. Ground truth 저속 동조 영상이 유일한 저속 동조 영상은 아니지 만, 이 ground truth은 밝은 전경과 배경을 지니고 있으므로 PSNR 과 SSIM을 사용해서 정량적 평가를 할 수 있었다. Table 1는 정 량적 결과를 나타낸다. 본 연구의 방법이 가장 좋은 성능을 내고 있으며 이를 통해 본 연구의 네트워크가 전경의 밝기를 유지하면 서 배경의 밝기를 올려주는 걸 볼 수 있다.