초박형 라이트필드 카메라의 실시간 분해능 향상 알고리즘 개발

본 연구에서 사용된 초박형 라이트필드 카메라는 IMX477 이미 지 센서 위에 자체 제작한 렌즈 어레이를 장착해 만들어졌다. (Figure 1 좌측) 부착된 렌즈 어레이의 경우 두께는 약 0.5mm, 전체 초박형 라이트필드 카메라의 두께는 약 2mm 이며, 렌즈의 초점이 이미지 센서에 맞게 하기 위해 적절한 간격을 두고 부착 되었다. 최종적으로 사용 가능한 sub-aperture는 가로 6개 × 세로 4개, 각각 551×551 해상도의 흑백 이미지들로 구성되어 있다. 초 박형 라이트 필드 카메라를 통해 획득된 이미지는 Figure 2 에서 확인할 수 있다.

Figure 1: Ultra-thin light field camera with lens array (left), Developed camera system(right).

Download Original Figure

Figure 2: Single-shot image from ultra-thin light field camera.

Download Original Figure

카메라 시스템은 무인체 탑재를 위한 휴대성과 실시간 이미 지 처리에 필요한 성능을 고려해 임베디드 컴퓨팅 보드인 Nvidia Jetson NX 기반으로 제작되었으며, 임베디드 보드에 내장된 MIPI-CSI2 인터페이스를 통해 카메라와 통신할 수 있다. Figure 1 에서 초박형 라이트필드 카메라 및 임베디드 컴퓨팅 보드와 케이 스가 포함된 카메라 시스템의 모습을 확인할 수 있다.

제작된 초박형 라이트필드 카메라를 사용하기 위해 우선 렌즈쉐 이딩(lens shading) 보정이 수행됐다. 우선 깨끗한 무광 백색 표 면을 촬영해 렌즈의 중심부분 대비 가장자리에서 발생하는 명도 감소를 측정하고, 이를 이용해 보정하기 위해 곱해져야 하는 값을 계산해 저장했다. 이후 실제 촬영 시에는 사전에 계산된 렌즈쉐 이딩 보정값을 이용해 이미지에 보정값을 곱해줌으로써 보정을 수행했다[5].

또한, 일반적으로렌즈에서 발생하는 기하학적 왜곡(geometric distortion) 보정 또한 수행 되었다. 이를 위해 아래 수식 (1) 의 계수가 2개인 radial distortion과 tangential distortion을 고려한 모 델을 기반으로 체크보드 이미지 촬영과 최적화를 통해 distortion model의 계수를 알아내고, 이를 통해 이미지의 왜곡을 보정했다.

여기서 x와 y는 이미지중심이 원점인 좌표계에서 가로, 세로 픽 셀 좌표 이며, x′, y′은 왜곡 모델에 의해 얻어지는 좌표이다. 렌즈 셰이딩 보정과 기하학적 왜곡 보정을 적용하기 전, 후의 결과는 Figure 3에서 확인 할 수 있다.

Figure 3: (a) lens shading correction: before (left), after (right), (b) Distortion correction: before (left), after (right).

Download Original Figure

일반적인 라이트필드 카메라의 경우 sub-aperture 이미지들의 baseline 차이로 인해 촬영 대상의 깊이(depth)에 따라 시차(parallax)가 발생하게 된다. 그러나, 초박형 라이트필드 카메라의 경우 짧은 초점거리로 인해 카메라로 부터 일정 거리 이상에있는 대상 의 경우 sub-aperture 이미지들은 시차가 0에 가까워지는 특성과, imaging plane이 하나의 센서라는 점을 고려하면 단순 평행이동 (translation)을 통해 정렬이 가능하다. 이를 위해 우선 원거리에 있는 대상을 다수 촬영하고, ORB[6] 특징점을 통해 각각의이미 지에서 대응되는 특징점을를 검출, 다수의 특징점들을 통해 sub-aperture 이미지지간의 평행이동 벡터를 사전에 계산하고, 계산된 평행이동 벡터를 기반으로 이미지 정렬이 수행됐다.

향상된 분해능을 얻기 위해 여러 이미지를 융합하는 방법은 여러 가지가 있지만, 본 연구에서는 실시간 처리 성능과 향상 정도를 고려해 라플라시안 피라미드 기반의융합 알고리즘[7]을 사용했 으며, 전체 과정이 Figure 4에 묘사되어 있다.

Figure 4: Overview of spatial resolution improvement algorithm.

Download Original Figure

우선 개별 sub-aperture 이미지들의 weigh map을 아래 수식을 통해 계산한다.

ω_C와 ω_E는 대비와 노출 정도에 대한 가중치이며, C는 대비(Contrast)로, 라플라시안 필터가 적용된 이미지의 절대값을 취한 값 이며, E는 노출 정도로, 0에서 1로 표준화 된 이미지의 세기 I인 픽셀에 대해 다음과같이 계산된다.

계산된 weight map의 가우시안 피라미드와 원본 sub-aperture 이미지의 라플라시안 피라미드[8]를 같은 레벨에 있는 이미지간 에 곱셈 연산을 통해 최종적으로 융합에 필요한 sub-aperture 이미 지의 라플라시안 피라미드를 얻어낼 수 있다. 위와 같은 과정을 모든 sub-aperture에 적용해 계산된 라플라시안 피라미드를 모두 합치면 분해능이 향상된 이미지의 라플라시안 피라미드가 나오 게 되고, 이를 reconstruction 하면 분해능이 향상된 이미지를 얻을 수 있다.

개발된 초박형 라이트필드 카메라는 임베디드 컴퓨팅 보드에서 CPU와 GPU를 모두 사용하는 구성으로 되었다. 기본적으로 이 미지를 수신해 업로드 하는 부분과 다운로드해 디스플레이하는 부분은 CPU에서 처리되며, 사전에 계산된 카메라 캘리브레이션 과 이미지 정렬을 적용하고 이미지 융합 알고리즘을 적용하는 부분은 GPU에서 치리된다. 이미지 연산은 C++와 GPU를 사용하 는 OpenCV 라이브러리를 통해 처리되며, 연산의 대부분은 GPU 를 통해 병렬적으로 처리된다. 또한 추가적으로 이미지 프레임의 처리 속도를 향상시키기 위해 OpenCV의 CUDA stream을 CPU 연산과 비동기식으로 처리하는 방식을 통해 Figure 5 과 같이 파 이프라이닝 하는 방식이 사용되었다.

Figure 5: Asynchronized pipeline for real-time processing.

Download Original Figure