PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:70)
1 서론
컴퓨터 비전에서 깊이 추정(Depth Estimation)은 이미징 시스템 을 통해 획득한 영상에서 객체나 장면의 깊이 정보를 추출하는 기 술로 그 응용 범위가 넓다 [1]. 일반적으로 깊이 추정은 단안 깊이 추정(Monocular Depth Estimation)과 스테레오 깊이 추정(Stereo Depth Estimation)으로 나눌 수 있다. 스테레오 깊이 추정은 두 개 이상의 카메라로 촬영된 이미지 간의 시차(Disparity)를 이용 하여 깊이를 추정하는 방법으로, 수학적 모델을 이용하여 정확한 이미지 시차를 기반으로 절대적인 수치의 추정이 가능하다. 그러 나 최소 두 장의 사진이 필요하기에 움직이는 장면에서의 깊이 추정을 위해서는 여러 대의 카메라를 이용하여 한 번에 촬영하는 기술이 필요하다. 단안 깊이 추정은 단일 이미지에서 딥러닝 등 을 이용하여 깊이 맵을 획득하는 방법으로 한 장의 이미지만으로 구현이 가능하지만 시차 정보가 존재하지 않아 깊이의 절대적인 수치를 알 수 없기에 상대적인 비교만이 가능하다.
스테레오 깊이 추정을 위해 라이트필드 카메라(Light Field Camera)를 이용하면 다양한 시점 이미지를 이용하여 보다 정확 한 깊이 맵을 획득할 수 있다. 라이트필드 카메라는 다수의 카메 라를 지지대에 배치하여 제작하거나, 렌즈 어레이를 이용하여 구 성하는 카메라 시스템으로 빛의 세기 정보와 각도 정보를 동시에 획득할 수 있기 때문에 다양한 응용이 가능하다. 그러나 일반적인 라이트필드 카메라의 경우 크기가 크고 여러 대의 카메라가 필요 하기 때문에 그 기능이 공간적으로 제한되며, 장면을 촬영하기 위한 비용이 크다는 단점이 있다.
본 연구에서는 한 센서 위에 마이크로렌즈 어레이를 배치하여 제작한 초박형 라이트필드 카메라를 기반으로 손 쉽게 획득한 다 중 시점 이미지에 스테레오 깊이 추정 기술을 적용하였다. 기존의 라이트필드 카메라와 달리, 본 연구에서 제작한 초박형 라이트필 드 카메라는 한 개의 센서를 이용하기 때문에 여러 카메라 센서의 동기화 과정이 필요하지 않으며, 시스템 크기의 간소화를 기반으 로 경량화되었다. 또한 그 무게가 가벼워 휴대성을 높인 시스템을 제작하였다. 본래 HDR을 위하여 설계된 이 카메라는 한 번의 촬 영으로 다양한 노출값의 이미지를 획득하여 이를 기반으로 HDR 합성을 진행하기 위해 제작되었지만, 기존의 연구에서는 각 렌 즈의 위치가 다르다는 것을 충분히 고려하지 못했다. 서로 다른 렌즈 위치에서 기인하는 이미지 시차를 계산하기 위해 스테레오 매칭을 적용할 수 있다. 이를 통해 최소 두 장의 이미지가 필요한 스테레오 깊이 추정을 최소 네 쌍의 이미지를 기반으로 시행할 수 있었고, 이를 위한 사진 또한 적은 비용으로 한 번의 촬영을 통해 획득할 수 있었다.
2 연구 배경
컴퓨터 비전에서 깊이 추정(Depth Estimation)은 촬영 장면의 객 체나 장면 자체의 깊이 정보를 추출하는 기술이다 [2, 3]. 깊이 추정 기법은 크게 스테레오 깊이 추정과, 단안 깊이 추정으로 분 류할 수 있는데, 스테레오 깊이 추정은 사람이 원근을 구별하는 것과 같은 방식인 시차를 이용하는 방식이다. 같은 물체를 다른 시점에서 촬영한 두 영상은 해당 물체에 대해 시차가 생기게 되는 데, 이 시차는 물체와의 거리가 가까울수록 커지게 되며, 반대로 물체와의 거리가 멀수록 시차는 작아지게 된다. 이를 수학적으로 계산하면 두 장 이상의 이미지를 기반으로 장면의 깊이 맵을 획 득할 수 있다. 이 방법의 경우 최소 두 장의 이미지가 필요하기 때문에 이를 위한 카메라 시스템이 필요하며, 두 카메라 사이의 거리도 캘리브레이션이 필요하다.
이와 달리 단안 깊이 추정의 경우 한 장의 이미지를 기반으로 딥러닝 기법 등을 이용하여 깊이 맵을 획득하는 방식으로 최근 활발한 연구가 진행되고 있다 [4, 5]. 이 기법의 경우 한 장의 이 미지만이 필요하기 때문에 추가적인 카메라 시스템의 구축이 불 필요하다는 장점이 있지만, 정확한 시차의 정보를 기반으로 한 방법이 아니기 때문에 상대적인 깊이 맵만을 획득할 수 있다.
라이트필드 카메라(Light Field Camera)는 빛의 세기와 방향 정 보를 모두 획득할 수 있는 카메라 시스템으로 일반적인 카메라와 달리 다수의 카메라 배열, 또는 단일 센서 위의 렌즈 배열을 이 용하여 빛의 방향과 세기를 기록한다 [6, 7, 8]. 라이트필드 카메 라는 공간적 위치와 각도 정보를 동시에 획득할 수 있어, 후처리 과정을 통해 다양한 응용이 가능한데 대표적으로 초점의 깊이를 재구성할 수 있다.
라이트필드 카메라의 경우 두 장이 넘는 다중 시점 이미지를 촬영하기 때문에 스테레오 깊이 추정에 유리하지만, 다수의 카메 라를 배치하는 시스템으로 인해 사용면에 있어 공간적인 한계가 존재하고, 시스템 구축에 큰 비용이 든다. 이를 보완하기 위한 방 안으로 한 개의 센서 위에 렌즈 어레이를 배치한 소형 라이트필드 카메라도 존재한다 [8].
본 연구에서는 한 개의 센서 위에 마이크로 렌즈 어레이를 부착 하여 제작한 초박형 라이트필드 카메라를 이용하였다. 기존의 연 구 [9]에서 이 카메라는 HDR 합성을 위해 설계된 것으로 다양한 노출값을 가진 조리개를 기반으로 하여 다른 노출의 이미지를 한 번의 촬영으로 획득하고 이를 합성하여 HDR 이미징을 구현하였 지만 해당 연구에서는 각 렌즈의 위치가 다르기 때문에 발생하는 시차를 충분히 고려하지 못했다. 정확한 이미지 합성을 위해서는 시차를 계산하여 이를 재배치 한 이후 합성하는 것이 중요하다. 또한 이러한 시차 계산 과정을 통해 깊이 추정 또한 가능하다. 이러한 배경에서 본 연구에서는 초박형 라이트필드 카메라를 기 반으로 다 중시점 이미지를 획득하고 해당 이미지들을 기반으로 스테레오 깊이 추정을 진행하였다. 또한 노이즈가 존재하는 이 미지를 보완하기 위하여 guided filter [10] 기법을 적용하고, 깊이 맵을 융합하는 과정을 통해 그 정확도를 높이는 연구를 진행하였 다 [11].
3 알고리즘
초박형 라이트필드 카메라는 한 개의 센서 위에 렌즈 어레이를 설 치하여 제작되었으며 센서는 IMX477 센서를 사용하였다. 렌즈 배열은 3×3 그리드 형태로 구성되어 있으며, 다양한 조도 환경에 서의 촬영이 가능하도록 다양한 조리개 값의 렌즈가 배치되었다.
IMX477 센서 보드는 USB 어댑터를 통해 NVIDIA Jetson Orin AGX에 연결된다. 카메라 시스템의 소형화를 위하여 소형 컴퓨터 에 연결하였으며, 이후 해당 소형 컴퓨터를 통하여 이미지 처리를 진행할 수 있도록 하였다.
초박형 라이트필드 카메라는 별도의 대물 렌즈를 사용하지 않고 단일 렌즈를 이용하기에 촬영된 이미지의 품질이 낮고 노이즈가 많이 발생하는 문제가 있다. 이러한 문제를 해결하기 위해 동일 한 카메라 시스템을 사용했던 연구에서와 같이 [9] 카메라 보정을 통해 각 sub-aperture 이미지의 품질을 향상시키고 사용하기에 용 이한 형태의 이미지를 획득하였다 [9].
먼저, 렌즈 비네팅 보정을 수행하여 렌즈 주변부로 갈수록 감소 하는 밝기를 조정한다. 이를 위해 흰색 패널 이미지를 캡처하고, 중심과 주변부의 밝기 차이를 계산하여 각 렌즈에 대한 보정 값을 적용한다. 이를 통해 이미지 밝기를 균일하게 조정할 수 있다.
다음으로, 광시야각 렌즈의 특성으로 인해 발생하는 radial distortion을 보정한다. 이를 위해 체커보드 이미지를 캡처하여 왜 곡 보정 계수를 계산한다. radial distortion 보정은 다음 수식 [2] 을 통해 이루어진다:
여기서 x′와 y′는 보정 전의 이미지 좌표, x과 y는 보정 후의 이미 지 좌표를 나타내며, k1, k2, k3는 보정 계수이다. 이 계수들은 보 정 과정에서 캡처된 체커보드 이미지를 통해 얻어진다. 이후 왜곡 보정을 통해 이후 태스크에 용이한 이미지를 획득할 수 있다.
렌즈 배열 디자인을 활용하여, 서로 다른 이미지 쌍에서 스테레 오 시차 맵 알고리즘을 여러 번 적용해 다중 시차 맵을 얻을 수 있다. 본래 이와 같은 사진을 획득하기 위한 라이트필드 카메라 시스템의 경우, 그 하드웨어 시스템으 크기가 크고 카메라들의 동기화 등 작업이 필요하지만 본 연구에서 제작한 카메라의 경우 한 개의 센서위에 장착된 렌즈 어레이를 이용하기 때문에 동기화 문제가 없으며 하드웨어 시스템 또한 매우 작은 크기를 가지고 있다. 이를 이용하여 한 대의 카메라 보드만 연결한 상태에서 깊 이 추정을 위한 다중 시점 이미지를 한 번의 촬영을 통해 획득할 수 있다. 이러한 시스템을 기반으로 네 개의 중간 노출 조리개 렌 즈를 사용하여 두 개의 수직 시차 맵과 두 개의 수평 시차 맵, 총 네 개의 시차 맵을 얻을 수 있다. 또한, 두 개의 저노출 조리개 렌 즈와 두 개의 고노출 조리개 렌즈로부터 각각 추가적인 두 개의 시차 맵을 얻을 수 있다. 따라서 이 렌즈 배열 디자인을 기반으로 총 6개의 시차 맵을 획득할 수 있다. 이 방법을 위한 렌즈 조합은 Figure 1에 나와 있다. 이때 각 이미지에서 시차 맵을 얻는 기법으 로 Stereo SGBM [12]을 사용하였다.
초기 캡처된 이미지가 노이즈가 많기 때문에, 시차 맵 또한 노 이즈가 많다. 원본 이미지 정보를 기반으로 시차 맵을 개선하기 위해 guided filter [10]를 사용하여 엣지 정보를 반영하는 시차 맵 을 얻는다. 이때 시차맵 개선을 위하여 사용된 reference 이미지는 시차 맵을 획득하기 위해 사용되었던 gray scale을 이용하였다. Figure 3은 원본 이미지와 함께 guided filter가 적용된 시차 맵을 보여준다.
이러한 방법으로 획득한 시차 값은 초점 거리와 캡처 과정에서 사 용된 카메라의 baseline을 이용하여 깊이 값으로 변환할 수 있다. 변환 식 [2]은 다음과 같은데
이때, Z가 깊이 값, f 는 초점 거리, T 는 baseline이며, disparity d 는 양안 시차(xl − xr)를 의미한다. 렌즈 어레이에서 각 렌즈의 정확한 초점 거리와 시차 맵 쌍의 기준선을 얻기 위해 스테레오 카메라 보정을 진행하였다. 보정을 위해 8 × 5 형태의 체스보드 이미지를 여러 장 캡처했으며, 정확한 보정을 위해 127장의 체스 보드 사진을 촬영했다. Figure 4은 보정을 위한 체스보드 사진의 예를 보여준다. 보정 후, 렌즈 쌍 간의 기준선과 초점 거리를 사용 하여 시차 맵을 깊이 맵으로 변환한다. 시차 맵과 그로부터 얻은 깊이 맵은 Figure 5에 나와 있다.
단일 렌즈 구조를 사용하는 렌즈 어레이와 렌즈 크기, 그리고 대 물 렌즈의 부재로, 이미지에는 노이즈가 많으며, 이는 각 장면의 시차 맵과 깊이 맵에서도 노이즈가 많다. 깊이 맵의 품질을 개선 하기 위해, 여러 깊이 맵을 하나의 깊이 맵으로 융합한다. 세 가지 다른 조리개 크기 때문에 시차 맵의 품질도 다양하다. 이러한 다 양한 노출을 활용하기 위해, 노출 가중치를 기반으로 이미지를 융합하였다. 가중치 함수는 Mertens et al.[11]의 노출 융합 알고 리즘을 기반으로 한다. 노출 융합 알고리즘에서 가중치 함수는 contrast, saturation, well-exposedness를 활용한다. 이 연구에서는 흑백 이미지를 사용하였기 때문에 가중치에는 saturation 항목을 사용하지 않는다. 또한, 노출 융합 알고리즘에서 융합할 대상 이 미지와 가중치 추출을 위한 이미지는 동일하다. 이 방법에서는 각 노출 이미지로부터 가중치를 추출하고, 해당 가중치를 기반으로 시차 맵을 융합한다. Figure 6은 깊이 맵 융합 전의 단일 깊이 맵 과 융합된 깊이 맵을 보여준다. 두 저노출 렌즈의 모든 깊이 맵이 적절하지 않고 노이즈가 많기 때문에, 깊이 맵 융합 과정에서는 중간 노출 렌즈와 고노출 렌즈의 깊이 맵만 융합한다.
4 결과
제안된 방법을 기반으로, 장면의 깊이 맵을 Figure 7와 같이 얻을 수 있다. 깊이 맵의 정확도 비교를 위한 Ground truth 깊이 맵이 없기 때문에, 캡처된 장면에서 일부 객체의 실제 깊이를 레이저 측정을 통해 측정하였다. 이러한 측정에 기반하여, 추정된 깊이 맵을 측정된 객체에 해당하는 픽셀 내에서 실제 깊이와 비교하였 다. Table 1은 추정된 깊이 맵의 평가 결과를 보여준다.
제작 공정의 불완전성과 대물 렌즈의 부재로 인해, 초박형 라이 트필드 카메라로 얻은 이미지는 노이즈와 왜곡이 존재한다. 보다 정확하고 깨끗한 입력을 얻기 위해 제조 공정을 개선할 필요가 있다. 렌즈 어레이 설계를 보완하여 렌즈 어레이 내의 렌즈가 더 매끄러운 형태를 갖고 노이즈가 줄어들게 되면 이미지 해상도가 향상될 것이다. 또한, 현재 카메라 보드와 NVIDIA Orin AGX 간 의 USB 연결은 노출 시간을 처리할 수 없다. 이를 CSI2 연결로 변경하면 캡처 과정에서 노출 시간을 처리할 수 있어 노이즈가 적은 이미지를 얻을 수 있을 것이다.
다중 시점 이미징을 통해 시차 맵과 깊이 맵을 얻을 수 있지만, 노이즈가 많아 정확한 깊이 맵을 얻기가 어렵다. 또한, 렌즈 어레 이 내 렌즈들의 짧은 baseline으로 인해 카메라와 충분히 가까이 있지 않은 객체의 깊이 맵은 얻을 수 없다. 이 문제는 렌즈 어레 이의 baseline을 더 길게 설계하여 해결할 수 있다. 동시에 이미지 품질을 개선하면 더 정확한 시차 맵을 얻을 수 있어, 깊이 추정 범위가 넓어질 것이다.
5 결론
본 연구에서는 단일 촬영 기반의 스테레오 깊이 추정을 위한 다 중 조리개 초박형 라이트필드 카메라 시스템과 관련 알고리즘을 개발했다. 이 시스템은 IMX477 센서 위에 저노출 조리개 렌즈 2개, 중간 노출 조리개 렌즈 5개, 고노출 조리개 렌즈 2개를 배 치하여 한 번의 촬영으로 여러 장의 이미지를 획득할 수 있도록 설계되었다. 이 시스템을 사용하여 이미지를 캡처함으로써, 스테 레오 깊이 추정에 사용할 수 있는 다중 시점의 이미지들을 획득할 수 있었고, 해당 이미지들을 기반으로 장면의 시차 맵을 획득하고 품질 개선을 위해 guided filter를 적용하였다. 이후 이를 기반으로 절대적인 수치의 깊이 맵을 획득하였다.
그러나, 하드웨어 설정 상 노이즈가 적어지도록 노출 시간을 조정하는 데 어려움이 있었다. 이로 인해, 본 연구에서 사용한 라 이트필드 카메라로 획득한 각 이미지들은 노이즈와 왜곡이 존재 하였고, 깊이 추정에 불리한 요소로 작용하였다. 추후 개선된 공 정과 렌즈 크기의 조정을 통해 이러한 문제를 개선하면 더 높은 품질의 이미지를 얻을 수 있으며, 더 먼 거리에 대해 정확한 깊이 추정이 가능할 것이다.
