PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:60)
1 서론
컴퓨터 비전 기술의 적용 분야가 넓어짐에 따라 다양한 카메라 시스템과 그 응용에 대한 관심이 커지고 있다 [1]. 특히, 반구형의 시야각을 제공하는 시스템과 거리 추정 기술을 위한 카메라 시 스템은 자율 주행, 로봇 비전, 증강 현실 등 그 응용 분야가 넓다. 거리 추정에 용이한 카메라 시스템은 대표적으로 라이트필드 카 메라가 존재한다 [2]. 라이트필드 카메라는 여러 대의 카메라를 이용하여 다중 시점 이미지를 기반으로 높은 해상도와 정밀도 를 제공하지만, 제한된 시야각으로 인해 일부 응용에서는 한계를 지닌다. 또한 어안렌즈 카메라의 경우 반구 이상의 시야각을 촬 영하는 이미징에 유리하지만 한 장의 이미지를 획득하기 때문에 거리 추정에 유리하지 않다.
본 연구에서는 기존의 라이트필드 카메라에 프리즘 렌즈를 추 가하여 최대 반구형 시야를 확보할 수 있는 새로운 카메라 시스 템과 이를 위한 알고리즘을 제안한다. 이 시스템은 두 가지 렌즈 그룹으로 구성된다. 첫 번째 그룹은 앞쪽을 촬영하는 메인 렌즈 들로, 이들은 각각 120도와 90도의 시야를 촬영한다. 두 번째 그 룹은 측면을 촬영하는 보조 렌즈들로, 각 렌즈는 프리즘을 통해 θ도씩을 촬영할 수 있도록 설계되었다. 이러한 구성은 전체적으 로 120 + 2θ도의 넓은 시야를 제공하며, 한 번의 촬영으로 반구 시야의 모든 방향을 촬영할 수 있다.
또한 메인 렌즈들은 라이트필드 카메라의 역할을 할 수 있어, 다중 시점의 촬영 이미지 획득이 가능하다. 이를 통해 기존의 라 이트필드 카메라가 제공하는 다양한 응용 기술, 예를 들어 초점 재구성, 3D 모델링, 심도 맵 생성 등을 그대로 적용할 수 있다. 따라서, 본 시스템은 라이트필드 카메라의 장점을 유지하면서도 더욱 넓은 시야를 제공하여, 기존 시스템의 한계를 극복한다.
본 연구의 목적은 각 렌즈에서 촬영된 이미지를 기반으로 한 이 미지 스티칭(stitching)으로 반구 시야를 시각화할 수 있는 하나의 큰 이미지를 생성하는 것이다. 그러나, 본 카메라 시스템의 낮은 화질과 노이즈, 그리고 메인 렌즈와 보조 렌즈의 중첩 영역의 부 재로 인해 보조 렌즈들에서 이미지 정합을 위한 특징점 추출이 자동으로 이루어질 수가 없으며 특징점을 기반으로 메인 렌즈와 보조 렌즈의 직접적인 정합이 불가능하다. 때문에, 각 렌즈가 촬 영한 영역을 정확히 파악하고 이를 기반으로 워핑(warping)하여 각 이미지를 정합하였다. 이를 위해 Insta360 카메라를 사용하여 복안 카메라와 같은 위치에서 반구 시야각을 커버하는 이미지를 먼저 촬영한 이후, 복안 카메라의 각 렌즈 이미지를 매치하여 이 를 바탕으로 각 렌즈 영상을 매핑한다.
결과적으로 본 연구는 한 번의 촬영으로 전방위 시야를 제공하 는 새로운 카메라 시스템과 이를 위한 알고리즘을 개발하는 것을 목표로 한다. 이 시스템은 기존의 반구형 카메라와 달리 라이트 필드 카메라 시스템의 장점을 지닐 수 있기 때문에 다양한 응용 분야에서 활용될 수 있을 것으로 기대된다.
2 연구 배경
라이트필드 카메라는 단일 이미지에서 얻기 어려운 깊이 정보와 다양한 시점의 이미지를 동시에 획득할 수 있는 이미징 시스템이 다 [3, 4, 5]. 이 카메라 시스템은 다수의 카메라를 배열하여 구성 하거나, 단일 카메라에 렌즈 배열을 부착하여 빛의 세기와 방향 정보를 동시에 기록한다 [6, 7]. 이를 통해 라이트필드 카메라는 일반적인 카메라와 달리, 촬영 후 초점을 변경하거나 3D 모델을 생성하는 등 다양한 후처리 작업이 가능하다.
라이트필드 카메라는 다중 시점 이미지를 제공하므로, 깊이 맵 생성, 초점 재구성, 객체 추적 등 컴퓨터 비전에서 필수적인 여러 작업에 유리하다. 그러나, 이러한 시스템은 일반적으로 크고 무 거우며 여러 대의 카메라를 필요로 하여 설치와 운용이 복잡하 며 비용이 많이 든다. 본 연구에서는 이러한 한계를 극복하고자, 라이트필드 카메라의 장점을 유지하면서도 소형화된 시스템을 제안하였다 [8].
그러나 라이트필드 카메라의 경우 일반적으로 동일 방향을 촬 영한 다중 시점 이미지이기 때문에 본 연구에서 목표로하는 반구 시야각을 모두 촬영하기에는 무리가 있다. 또한 소형 라이트필드 카메라에 이용할 수 있는 어안렌즈가 존재하지 않기 때문에 반구 시야각을 촬영하기 위해서 서로 다른 각도를 보는 렌즈들이 필 요하다. 이를 위해 본 연구에서는 각 방향에 배치할 수 있는 소형 프리즘 렌즈를 이용하여 다양한 방향의 이미지를 획득할 수 있게 하였다.
이미지 스티칭은 여러 장의 이미지를 하나로 합쳐 넓은 시야를 가진 이미지를 생성하는 기술이다. 이 기술은 특히 파노라마 촬 영에서 널리 사용되며 [9], 각 이미지 간의 중복 영역을 정합하여 매끄러운 전환을 구현한다. 그러나, 이미지 스티칭은 정확한 정 합을 위해 특징점의 정확한 매칭을 통한 위치 관계 파악이 필요하 며 이미지 간의 불일치나 왜곡을 해결하지 못하면 결과 이미지에 시각적인 결함이 발생할 수 있다.
본 연구에서는 주변 이미지와의 매칭이 아닌 Ground Truth (GT) 이미지와의 특징점 매칭을 통한 위치 관계 파악을 기반으 로 이러한 문제를 해결하고자 한다. Insta360 카메라로 촬영된 GT 이미지와 초박형 라이트필드 카메라 기반의 이미지를 매칭하여 각 렌즈 별 이미지의 매핑 정보를 획득하고, 해당 정보를 통한 매핑으로 이미지를 정합하고 워핑하였다.
이미지 스티칭 및 워핑 후에도 단순히 이미지를 결합하면 경계 선이나 밝기 차이로 인해 부자연스러운 결과가 나타날 수 있 다. 이러한 문제를 해결하기 위해 다양한 이미지 블렌딩(image blending) 기법이 사용된다. 대표적으로 경계선 근처의 픽셀을 부드럽게 혼합하는 방식인 페더링(feathering), 가우시안 필터를 사용해 이미지를 부드럽게 혼합하는 방식인 가우시안 블렌딩 (Gaussian blending), 두 이미지의 픽셀을 가중치를 두어 혼합하 는 알파 블렌딩(alpha blending) 등이 있다.
본 연구에서는 이 세 가지 방법들을 종합적으로 사용하여, 결 과 이미지의 목적에 따라 적합한 블렌딩 방식을 선택해 활용할 수 있도록 여러 결과를 제안하였다. 이를 통해 다양한 요구에 맞는 유연하고 효과적인 블렌딩 결과를 제공할 수 있었다.
3 카메라 시스템 및 워핑 알고리즘
본 연구의 카메라는 한 장의 IMX477 센서 위에 여러 렌즈를 배 치한 렌즈 어레이를 설치한 시스템이다. 렌즈 어레이는 메인 렌 즈부와 보조 렌즈부로 나누어지며, 메인 렌즈부는 정면 촬영을 위한 렌즈부로 Field of View가 120도인 렌즈 두 개와, 90도인 렌 즈 18개로 구성된다. 이때, 120도 FoV 렌즈는 반구형 이미징을 위해 넓은 정면을 촬영하는 목적을 가진 렌즈이며, 90도 FoV 렌 즈는 고해상도로 정면을 촬영하고, 서로 다른 조리개를 배치하여 HDR, 스테레오 거리 추정등의 역할을 수행할 수 있도록 배치한 렌즈이다. 본 메인 렌즈들을 이용하여 이전의 연구 [3]에서 진행 하였던 초박형 라이트필드 기반 HDR 알고리즘 및 거리 추정 알 고리즘을 적용할 수 있다.
보조 렌즈부는 반구 영역 중, 측면 촬영을 위한 렌즈부로 프리 즘을 이용하여 서로 다른 측면을 촬영하도록 설계된 14개의 렌즈 들로 구성된다. 각 보조 렌즈들은 상하좌우 θ도의 FoV를 가지며, 이를 융합하면 상하좌우 전체에서 최대 반구형 이미징이 가능하 다. Figure 1의 좌측에 각 렌즈별 영역들이 나와 있으며, 우측에 렌즈가 반구에서 담당하는 영역을 표시하는 그림을 나타냈다.
다양한 상황에서의 실시간 스트리밍과 촬영을 위하여 소형 컴 퓨터인 NVIDIA Jetson Orin AGX와 IMX477센서 보드를 MIPI- CSI2로 연결하였다. Figure 2 초소형 라이트필드 카메라의 모습 과 이를 Orin AGX 소형 컴퓨터에 연결한 모습을 나타냈다.
본 연구에서 사용된 초박형 라이트필드 카메라의 광경로에 단일 렌즈를 이용하기에, 촬영된 이미지의 품질이 낮고 노이즈가 많이 발생하는 문제가 있다. 이러한 문제를 해결하기 위해 동일한 카 메라 시스템을 사용했던 연구 [6]에서와 같이 카메라 보정을 통해 각 sub-aperture 이미지의 품질을 향상시키고 사용하기에 용이한 형태의 이미지를 획득하였다.
우선 렌즈의 비네팅 보정을 수행해 가장자리로 갈수록 감소하 는 밝기를 조정해야 한다. 이를 위해 흰색 보드 이미지를 촬영하 여 중심부와 주변부의 밝기 차이를 계산해 각 렌즈를 보정한다. 이를 통해 렌즈의 이미지 밝기를 균일하게 조정할 수 있다. 또한 이 흰색 보드 이미지를 이용하여, 이미지에서 각 렌즈들의 영역을 정확히 구분지을 수 있다.
마찬가지로 기존 연구처럼 광시야각 렌즈의 특성으로 인해 발 생하는 radial distortion을 보정한다. 체커보드 이미지를 촬영하여 왜곡 보정 계수를 계산하는데, radial distortion 보정은 다음 수식 을 통해 이루어진다 [10]:
이때 x′와 y′는 보정 전의 이미지 좌표, x과 y는 보정 후의 이미지 좌표이고, k1, k2, k3는 보정 계수이다. 이 계수들은 보정 과정에 서 촬영된 체커보드 이미지를 통해 얻어진다.
본 연구에서 제안하는 카메라 시스템은 메인 렌즈와 보조 렌즈 의 이미지를 합쳐 최대 반구형 시야를 제공하는 것을 목표로 한 다. 이를 위해 각 렌즈에서 촬영한 이미지를 단계적으로 처리하 여 최종적으로 hemicube와 hemisphere 두 형태의 결과를 생성해 야 한다. Hemicube는 반구 형태의 3D 공간을 직사각형 평면으로 펼쳐 표현하는 방식으로, 기하학적 변환이 간단하며 기존의 2D 이미지 처리 알고리즘과의 호환이 용이하다. 반면 hemisphere는 반구의 구조를 유지하면서 평면에 투영하여 직관적인 결과를 제 공한다.
먼저, 메인 렌즈로 촬영된 90도 이미지를 120도 광시야각 이미 지에 워핑하였다. 이 과정에서는 SuperPoint [11] 알고리즘으로 각 이미지의 특징점을 추출하고, SuperGlue [12]를 활용하여 특징 점 매칭을 수행한 뒤, 호모그래피(homography) 변환을 적용하였 다. 호모그래피 변환은 아래의 수식과 같이 이미지의 한 점 (x, y) 를 다른 이미지의 대응점 (x′, y′)로 매핑하는데, 3 × 3 행렬 H를 사용하기 때문에 최소 4쌍 이상의 대응점을 사용해서 추정한다. 이 과정을 통해 메인 렌즈에서 촬영한 고해상도 90도 이미지와 120도 이미지가 정확히 매칭되어 넓은 시야의 120도 광시야각 이미지를 생성할 수 있었다.
다음으로 이렇게 생성된 120도 광시야각 이미지를, Insta360 카메라로 촬영된 기준(GT) 이미지를 FoV 120도로 변환한 이미 지와 매칭하였다. 이 과정에서도 SuperPoint 및 SuperGlue를 활 용하여 특징점을 추출하고 매칭하고, 호모그래피 변환을 통해 워 핑을 수행하였다. 기준 120도 이미지를 바탕으로 메인 렌즈 이 미지를 정확히 워핑하여 hemisphere 형태의 초기 120도 영역을 확보하였다. Figure 3는 라이트필드 카메라의 각 렌즈 이미지와 Insta360 카메라의 이미지의 특징점 매칭 과정 예시를 보여준다.
그 후, 이 120도 이미지를 hemicube 형태로 변환하였다. 이는 반구 형태의 3D 공간을 직사각형 평면으로 투영하는 과정으로, hemicube로 변환된 현재까지의 상태에서는 상하좌우 120도만 보 이는 시야를 제공한다.
이어, 보조 렌즈들을 hemicube의 상하좌우에 외곽 θ도 영역을 추가하였다. 그러나 보조 렌즈들은 노이즈가 많아 자동 매칭 알 고리즘이 제대로 작동하지 않아 수동으로 특징점을 매칭하였다. 수동 매칭 결과를 바탕으로 호모그래피 변환을 적용하여 보조 렌즈의 이미지를 기존 hemicube에 결합하였다. 이 과정을 통해 기존 120도 hemicube가 상하좌우로 확장되어 최종적으로 120 + 2θ도로 최대 반구 시야각을 커버하는 hemicube가 완성되었다.
마지막으로, 완성된 120 + 2θ도 hemicube를 다시 반구 형 태로 변환하여 hemisphere 이미지를 생성하였다. hemicube에서 hemisphere로의 변환은 반구의 구조를 유지하면서 직관적인 시 각화를 가능하게 한다. 최종적으로 두 가지 형태의 반구를 커버 하는 시야를 제공하였다.
메인 렌즈들은 앞쪽의 넓은 시야를 촬영하며, 라이트필드 카메라 의 기능을 수행한다. 메인 렌즈에서 촬영된 이미지는 다중 시점 에서의 정밀한 데이터를 제공하며, 이를 통해 다양한 컴퓨터 비전 기술을 적용할 수 있다. 메인 렌즈들의 이미지를 처리하기 위해, 먼저 특징점을 기반으로 이미지를 정합(registration)하여 위치를 통일하였다. 이 역시 전통적인 방법보다 훨씬 강력한 SuperPoint, SuperGlue 방법으로 메인 렌즈 간 정확한 정합을 완료하였다.
그 다음, HDR(high dynamic range) 융합을 통해 다양한 노출 조건에서 촬영된 이미지를 하나로 합쳐 높은 품질의 이미지를 생 성하였다. HDR 융합 과정에서는 각각의 이미지를 적절히 노출된 영역을 강조하여 합성함으로써 [13], 전체 이미지의 디테일과 명 암비를 향상시킬 수 있었다. HDR 융합 과정에서는 Mertens et al. [13]의 Exposure Fusion 방법을 적용하였다. 이 기법은 각 노출 이미지의 well-exposed 영역에 높은 가중치를 부여하고, contrast, saturation, well-exposedness 등의 품질 지표를 기반으로 multi-resolution blending을 수행하여, 고정밀의 HDR 이미지를 생성한 다. Figure 4의 좌측은 메인 렌즈들을 정합하지 않았을 때의 결과 를, 우측은 특징점 기반 정합과 HDR 융합을 적용한 결과이다.
보조 렌즈들은 프리즘을 통해 각각 측면의 θ도 시야를 촬영하며, 각 렌즈가 촬영한 이미지를 정확하게 워핑하여 전체 시야를 완 성한다. 보조 렌즈의 이미지를 처리하기 위해, 카메라 캘리브레 이션에서 얻은 각도 정보를 사용하여 각 이미지의 정확한 위치와 방향을 매핑하였다. 보조 렌즈 간 중첩 영역이 부족하고 노이즈 가 많아 자동 특징점 기반 정합이 어렵기 때문에, 수동으로 선택 한 특징점에 기반해서 메인 렌즈 부분과 초기 호모그래피 정합을 수행하였다. 이때 각 렌즈의 촬영 방향에 대해서는 카메라 설계 도를 기반으로 초기 viewing direction을 추정하고, 이를 바탕으로 warp 대상 위치의 초기값으로 활용하여 정합 품질을 높였다.
최종적으로 메인 렌즈와 보조 렌즈의 모든 이미지를 합쳐 하나의 반구형 이미지를 생성하였다. 이 과정에서는 각 렌즈의 위치와 방향 정보를 기반으로 이미지를 정확히 매핑하고 왜곡을 최소화 하였다.
렌즈 이미지들 간의 스티칭 및 워핑 시, 단순 평균으로 이미지 를 합칠 경우 경계 부분이 매끄럽지 않을 수 있다. 이를 해결하기 위해 목적에 맞게 다양한 블렌딩 기법들을 적절히 사용하고 밝기 값 보정으로 자연스러운 결과를 얻었다.
각 렌즈마다 외곽부로 갈수록 노이즈와 왜곡이 심한 경향이 있어, 이러한 영역에는 픽셀 가중치를 낮게 부여하였다. 경계선 근처의 픽셀을 부드럽게 혼합하기 위해 페더링 기법을 사용하 였으며, 전체적으로 자연스러운 결과물이 필요할 때는 가우시안 블렌딩 [14]을 적용하였다. 반면, 일부 경계가 부자연스러울 수 있더라도 메인 렌즈 중심부의 중요도를 강조해야 하는 경우에는 알파 블렌딩을 활용하여 90도 FoV 메인 렌즈에 높은 가중치를 두고 혼합하였다.
4 결과
Figure 5는 본 연구의 최종 결과를 보여준다. 반구형 이미지를 2D로 표현하는 방법에는 여러 가지가 있지만, 본 연구에서는 hemicube 이미지와 hemisphere 이미지를 사용하여 결과를 시각 화하였다.
첫 번째 행은 블렌딩 기법을 사용하지 않고 워핑만 적용한 결과를 보여준다. 왼쪽 이미지는 hemicube, 오른쪽 이미지는 hemisphere 형태로 나타냈으며, 경계선이 뚜렷하고 자연스러운 연결이 부족한 결과를 관찰할 수 있다. 이는 단순 워핑만으로는 경계선 문제를 해결하기 어렵다는 것을 보여준다.
두 번째 행은 가우시안 블렌딩과 페더링 기법을 혼합하여 경 계선을 부드럽게 처리한 결과를 나타낸다. 이 블렌딩 기법들은 조명과 색상 차이를 줄이며 이미지의 전반적인 조화와 부드러움 을 개선하였다.
세 번째 행은 각 렌즈가 담당하는 영역을 색깔로 구분한 결과를 보여준다. 초록색과 빨간색은 메인 렌즈(90도 FoV, 120도 FoV) 영역을 나타내고, 파란색은 보조 렌즈(θ도 FoV) 영역을 나타낸 다. 렌즈별로 분리된 영역이 하나의 통합된 이미지로 잘 결합되 었음을 확인할 수 있다.
Figure 6는 메인 렌즈중 90도 FoV 렌즈들의 HDR 융합 결과를 보여준다. 좌측 이미지는 메인 렌즈의 세 가지 노출값을 비교한 결과를 나타낸다. 우측 이미지는 여러 노출값의 이미지들을 이 용해 HDR 융합을 진행한 결과이며, 이는 가운데 이미지인 단일 노출 렌즈를 사용한 경우보다 더 넓은 다이나믹 레인지를 포함하 고, 디테일이 풍부한 결과를 보여준다. 본 연구에서는 Exposure Fusion [13] 방법을 사용하여 융합을 진행했지만, 다른 HDR 기 법들도 적용 가능하다.
Figure 7은 hemicube(위) 및 hemisphere(아래) 형태로 표현된 이미지에 대해, 단순 평균 블렌딩 방식과 제안하는 weighted blending 방식의 품질을 시각적, 정량적으로 비교한 결과를 보 여준다. 수치적 비교를 위해 GT 이미지가 존재하는 3D 이미지 데이터셋 [15]을 사용하여 두 블렌딩 기법을 비교하였다. 360도 equirectangular 이미지에서 hemicube, hemisphere에 맞게 변형한 후 각 실제 렌즈 별 영역에 대해 같은 환경으로 가정하고 실험하 였다. 이미지 정합은 두 방식 모두 완벽하다고 가정하고, 다른 노 출값과 비네팅이 있는 환경을 가정하였다. Ground Truth(GT)와 의 PSNR 및 SSIM 지표를 통해 확인할 수 있듯, weighted blending 방식은 경계선 부근의 노출 차이와 색상 불일치를 효과적으로 완 화하여 더 자연스러운 결과를 제공하며, 수치적으로도 일관된 품 질 향상을 나타낸다. 특히 hemisphere 형태에서도 제안한 방식이 전반적인 구조 보존과 명암비 측면에서 우수한 성능을 보이는 것 을 확인할 수 있다.
이와 같은 결과는 초소형 라이트필드 카메라를 이용해 반구형 이미징을 효과적으로 구현했음을 보여준다. 또한, 목적에 따라 다양한 블렌딩 기법을 선택적으로 활용할 수 있는 유연성을 제공 하여 실용성을 높였다.
5 결론
본 연구에서는 초소형 라이트필드 카메라를 기반으로 반구를 커 버하는 이미징을 구현하기 위한 시스템과 알고리즘을 제안하였 다. 메인 렌즈와 보조 렌즈로 구성된 다중 렌즈 어레이를 활용하 여 넓은 시야와 정밀한 이미지 처리를 가능하게 했으며, 캘리브레 이션과 스티칭, 블렌딩을 통해 고품질의 HDR을 지원하는 반구 형 이미지를 생성하였다. 특히, 다양한 블렌딩 기법을 적용하여 경계선 문제를 해결하고 상황에 맞는 유연한 결과를 제공하였다.
추가적인 연구 방향으로는 하드웨어의 왜곡과 노이즈를 줄이 기 위한 개선과 자동화된 특징점 매칭 기술의 도입이 필요하다. 이를 통해 처리 속도와 정확도를 높이고, 현재의 실시간 시스템 보다 더욱 빠르고 안정적인 시스템으로 발전시킬 수 있다. 본 연 구는 초소형 라이트필드 카메라의 실용성을 입증했으며, 향후 다 양한 기술 발전과 융합을 통해 실질적인 활용도를 크게 확장시킬 것으로 기대된다.
