PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:514)
1 서론
이미지에서 다이나믹 레인지는 이미지가 표현할 수 있는 가장 밝 은 부분과가장 어두운 부분 사이의 범위로 일반적으로 카메라의 다이나믹 레인지가 한정되어있기 때문에 노출 시간, 조리개, 센 서 감도에 따라 촬영 장면에서 과도한 광량으로 포화되거나 부족 한 광량으로 보이지 않는 부분이 발생할 수 있다. 하이 다이나믹 레인지(HDR) 이미징 기술은이미지의 가장 밝은 영역과가장 어 두운영역의 범위를 확장하여 이미지의 다이나믹 레인지를 사람 의 눈으로 보는 범위와 가깝게 만드는 기술이다. 표준 다이나믹 레인지(SDR)와 달리 HDR 이미징 기술을 적용한 영상에서는 강 한 조명으로 인해 빛이 과도한 영역과 빛이 부족하여 과도하게 어둡게 나오는 영역을 적절한 대비로 표현할 수 있다.
HDR 이미징을 위해 일반적으로 사용되는 방법은 한 장면을 다양한 카메라 설정으로 여러 번 촬영하는 브라케팅이다. 브라케 팅은인공 조명없이자연스러운 사진들을 촬영할 수 있지만 움직 이는 피사체를 찍기에 적절하지 않다[1]. 라이트 필드 카메라는 한 번에 여러 장의 사진을 촬영하기 때문에 서로 다른 조리개값 을 가진 카메라를 배치한 라이트 필드 카메라를 이용하면 브라케 팅과는 달리 움직이는 피사체를 촬영할 수 있으며, 촬영 시간이 길지 않다.
라이트 필드 이미징은 여러 대의 카메라 또는 렌즈 어레이를 이용하여 한 번의 촬영을 통해 빛의 세기와 방향을 동시에 획득 할 수 있는 기술이다[2, 3]. 라이트 필드 카메라는 여러 카메라를 갠트리에 장착한 시스템과 일반적인 카메라 형태에서 대물렌즈 뒤에 마이크로 렌즈 어레이를 장착하는 방식이 있으며, 후자의 경우 크기가 상대적으로 작아 휴대하기에 용이하다. 라이트 필 드 카메라는 한 번의 촬영으로 빛의 방향까지도 획득할 수 있기 때문에 촬영된 이미지의 초점을 조정하는 re-focusing, 이미지의 깊이 추정, 초해상도 기법 등 그 응용 범위가 넓다.
라이트필드 카메라의 소형화를 위한 방법으로 초박형 라이트 필드 카메라가 있는데[4], 이는 이미지 센서에 렌즈 어레이만 부 착한 형태로 카메라의 크기를 크게 줄인 사례이다.
본 연구에서는 센서 위에 부착된 렌즈 어레이의 각 렌즈의 조 리개 크기를 다르게 설계함으로써 한 번의 촬영으로 다양한 노 출의 영상을 획득할 수 있다는 점을 이용하여 초박형 라이트필 드 카메라 기반 HDR을 구현하였다. 브라케팅을 이용하는 경우 M.H.Kim의 연구[5]에서 제안한 노출시간에 따라 달라지는 가중 치를 이용한 HDR알고리즘을 적용할 수 있다. 그러나 본 연구에 서 사용한 라이트필드 카메라는 브라케팅 없이 단 한 번의 촬영 으로 조리개값이 다른 여러 이미지를 획득하기 때문에 다른 알 고리즘이 필요하다. 이에 해당 식[5]을 수정하여 노출 시간과 조 리개값의 차이를 반영한 새로운 식을 제시하였고, 이를 이용하여 HDR 융합을 적용하였다.
2 초박형 라이트필드 카메라
HDR기술을 위해 사용된 초박형 라이트필드 카메라는 IMX477 센서 위에 서로 다른 조리개 크기를 가진 세 종류의 렌즈들을 배열한 렌즈어레이를 부착하여 제작되었다. 해당 렌즈어레이는 3x3배열을 가졌으며, 조리개값이 1.4인 렌즈 두 개, 조리개값이 2인 렌즈 다섯 개, 조리개값이 4인 렌즈 두 개로 총 9개의 렌즈 가 있다. 해당 IMX477 센서 보드는 USB 어댑터 보드를 통하여 NVIDIA Jetson AGX Orin에 연결되었으며, 코드는 소형화를 위 하여 해당 소형 컴퓨터를 기반으로 작성되었다. 해당 카메라 보 드와 컴퓨터는 Figure 1에서 확인할 수 있다.
해당 이미징 시스템은 대물렌즈가 없는단일 렌즈의이미징이기 때문에 최초로 촬영된 이미지의 품질이 떨어지며 많은 노이즈가 존재한다. 렌즈 설계상 좋지 않은 이미지의 품질을 높이기 위해 각 렌즈에서 얻어진 이미지를 융합하여 HDR이미지를 얻기 전, 카메라 캘리브레이션을 진행하였다.
먼저 렌즈의 가장자리에 가까울수록, 광량이 감소하여 이미지 의 명도가감소하는 lens shading을 측정하여 보정하는 lens shading correction을 적용하였다. 이를 위해 백색의 장면을 촬영한 이미지를 기반으로, 중심부와 주변부의 명도 차이를 계산한 이 후, 이를 보정하기 위한 값을 각 렌즈별로 저장하고, 이후 이미징 과정에서 각 보정값을 곱하여 명도를 보정하였다. Lens shading correction을이용하여 이미지의 명암 보정을 시행한 결과는 Figure 3과같다.
해당 렌즈의 경우 화각이 매우 넓어, 렌즈에 의하여 발생하는 기하학적 왜곡(geometric distortion) 또한 보정이 필요하다. 이를 위해 체커보드 이미지를 다수 촬영하여 왜곡 보정 식 (1)을 통해 왜곡 보정을 위한 계수를 얻어내었다. 해당 계수는 이후 이미징 과정에서 이미지의 geometry에 곱해지도록 하였다. 왜곡 보정 기 술을 적용한 결과는 Figure 4와 같다.
상기 수식에서 x′, y′는 왜곡 보정전 가로/세로 이미지 좌표, x, y 는 왜곡 보정후 가로/세로 이미지 좌표, k1, k2, k3는 캘리브레이 션을 통해 획득한 radial distortion 보정 상수이다.
3 HDR 이미징 알고리즘
촬영된 여러 이미지를 HDR 알고리즘을 기반으로 융합해 HDR 이미징을 구현하는 알고리즘으로 이미지를 정렬하고, 각개별 이 미지의 촬영 시 조리개값과 픽셀 값을이용하여 융합한다.
본 이미징 시스템에 부착된 초박형 라이트필드 카메라 렌즈는 매우 짧은 초점 거리를 갖기 때문에 약 1m 바깥의 물체들에 대 해서는 시차가 생기지 않는다. 또한 각 sub-aperture 이미지들이 동일한 센서에 맺히기 때문에 imaging plane이일치한다. 이러한 특징을이용하면 일정 거리 이상의 물체들을 촬영한 sub-aperture 이미지들을 평행 이동을이용하여 정렬할 수 있다.
이미지 정렬을 위해서 특정 거리 바깥, 정확히는 시차가 생기지 않는 거리 바깥의 물체들을 여러 장 촬영 이후, 특징점을 검출 하고, 그 위치 정보를 이용하여 정렬하는 방법을 사용하였다. 본 연구에서 사용한 렌즈의 경우, 다중 조리개를 가진 시스템으로, 한 번의 촬영으로는 특징점을 검출할 수 없는 구조이다. 한 번의 촬영으로 얻은 여러 장의 이미지들이 모두 좋은 노출을 가질 수 없기 때문이다.
다중 조리개 렌즈에 대한 이미지 정렬을 위하여 같은 장면을 다른 조명 상황을 이용하여 여러 장 촬영하고, 이후 특징점 추출 에 유리한 이미지들을 분류하여 사용하였다. 실내에서 삼각대에 카메라를 설치한 이후, 조리개 크기가 큰 렌즈에 대한 이미지를 위해 완전히 어두운 상황에서 촬영한 사진, 같은 상황에서 조명 을 키고 촬영한 사진을 함께 이용하여 이미지 정렬에 사용하였 다. 이렇게 분류된 이미들에 대해서는 ORB detector를 이용하여 특징점을 검출하였다[6]. 이후 여러 이미지들에서 일치하는 특 징점들의 위치 정보를 이용하여 정중앙의 이미지와 일치하도록 정렬하기 위해 필요한 x축, y축 평행이동 값을 알아내어 저장하 였다.
해당 값들은 HDR을 위한 이미지 융합 전 단계에서 각 이미지 들을 평행이동 시키는 데에 이용되었다. Figure 5에서 HDR 알 고리즘을 통해 이미지를 융합하기 전, 이미지 정합을 하지 않은 경우와 한 경우의 차이를 볼 수 있다.
본 연구에서는 M.H.Kim의 연구[5]에서 다룬 HDR 알고리즘을 다중 조리개 구조에알맞게 수정하여 사용하였다. 해당 연구에서 의 HDR 알고리즘은 노출 시간이 다른 이미지들을 다음과 같은 식을 통해합성하였다. 해당 식에서 Zij는 j 번째 이미지의 i 픽셀, Tj는 j 번째 이미지의 노출시간을의미하며, Ei는 HDR이미지의 i 픽셀이다.
위 식과 같이 합성 시 각 이미지를 촬영할 때 설정하였던 노출 시간을 기준으로 가중치를 조정하는데, 노출시간이 길어질수록 광량이 증가하므로 이미지의 로그 값과 노출 시간의 로그 값의 차를 이용한다. 가중치 함수 w(z)는다음과같이 계산된다.
여기서 가중치 함수 w(z)는 과도하게 광량을 많이 받은 픽셀 또 는 과도하게 어두운 픽셀에 상대적으로 낮은 가중치를 주기 위한 함수이다.
M.H.Kim의 연구[5]와 다르게, 본 연구에서는 단 한 번의 촬영 을 통해 HDR 이미지를 획득하는 것이 목표이므로 sub-aperture 이미지들의 노출 시간은 모두 동일하며, 각 이미지의 촬영 시 렌 즈 조리개 값만 다르다. 그러므로 HDR 알고리즘을 적용하기 위 해 식을 수정할필요가 있다.
조리개값은 f-number로 표기하는데, 노출시간 T 가 증가함에 따라 광량도 함께 증가하는 반면, f-number F 는 증가할 수록 입사 하는 광량이 감소하게 된다. 또한, 노출시간과 광량은 linear한 관 계를 가지고 있지만, f-number와 광량은 quadratic한 관계를 갖고 있어 f-number가 증가할 때, 광량은 그 제곱으로 감소하게 된다. 이러한 특성을 반영하기 위해 본 연구에서는 다음과 같이 식을 수정하였다.
여기서 F 값이 커질 수록 이미지의 광량은 감소하므로 차를 구 하는 대신 합을 구하도록 식을 수정하였고, quadratic한 관계를 반영하기 위해 2를 곱하였다.
4 결과
해당 라이트필드 카메라로 촬영한 9장의 이미지를 HDR 융합한 결과는다음과같다. Figure 6, Figure 7, Figure 8의 결과에서 HDR 융합을 적용한 이미지가 기본 이미지들에 비해서 다이나믹 레인 지가 넓은 것을 확인할 수 있다. 과도하게 밝거나 어두운 영역을 각 이미지에서 비교했을 때, 모든 영역의 물체를 적절하게 식별 가능한 사진은 유일하게 HDR 융합이 적용된 이미지이다. 또한 여러 이미지를 융합하는 과정에서 노이즈가 줄어들고 이미지의 spatial resolution 등 품질이 향상된 것을 볼 수 있다.
Figure 6, Figure 7, Figure 8의 (c)의 그래프에서 각 이미지 영역 에서의 pixel intensity 값을 시각화 결과를 볼 수 있다. 해당 그래 프에서 HDR 융합 전 이미지들의 경우 과도하게 밝거나 어두운 부분은 픽셀 간 intensity 차이를 나타내지 못하고 포화되는 경 우가 존재하는 반면, HDR 이미지의 경우 전반적으로 포화되지 않고 픽셀 간 intensity 차이가 명확하게 드러난다.
5 결론
본 연구에서는 긴 시간에 걸쳐 촬영하는 브라케팅을이용한 HDR 이미징과 다르게 한 번의 촬영으로 얻을 수 있도록 하는 다중 조 리개 초박형 라이트필드 카메라 시스템과 관련 알고리즘을 개 발하였다. 3개의 조리개가 9개의 렌즈에 분배되어 있으며, 낮은 노출과 높은 노출의 조리개가 2개, 중간 노출의 조리개가 5개가 배치되었다. 해당 시스템을이용하여 촬영한 이미지를 바탕으로 HDR 융합 이미지를 획득한 결과, 전반적인 영역에서 좋은 노출 도의이미지를 얻을 수 있었다.
그러나 여러 렌즈가 한 개의 센서를 공유하는 과정에서 적정 노출 시간을 알기 어려우며, Jetson 컴퓨터에 IMX477 센서보드 를 USB로 연결했을 때, 노출 조절이 불가능하여 시스템상 좋은 영상을 획득하기가 어렵다. 또한해당 초박형 다중조리개 라이트 필드 카메라의 경우, 노이즈와 빛의 왜곡이 심하여 컬리 이미징에 불리하다. 해당 공정을 개선할 경우, 높은 품질의 이미지를 바탕 으로 HDR에 더 적합할 것이다.
