PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:100)
1. 서론
3D 재구성 기술은 2D 이미지를 이용하여 객체나 장면을 3D 모델로 표현하는 기술이다. 최근 Gaussian Splatting[1]은 고품질의 3D 장면 재구성을 빠르게 수행할 수 있는 기술로서 많은 관심을 받고 있다. Gaussian Splatting은 기존의 NeRF(Neural Radiance Fields)[2]보다 짧은 학습 시간과 빠른 렌더링이 가능하여 저비용으로 3D 콘텐츠 제작이 가능하고 실시간 응용에 효과적이다. 이러한 장점들을 기반으로 3D 모델 제작, 건물 및 주변 환경 시각화, 게임 등의 다양한 분야에서 활발히 연구되고 있다.
그러나 Gaussian Splatting은 빛의 반사나 반복적인 패턴이 많은 공간, 복도와 같이 협소한 공간에서 품질이 크게 저하되는 한계가 존재한다. 먼저, 반사된 물체는 물리적 존재를 가진 독립적인 요소로 잘못 취급되어 부정확한 재구성을 초래할 수 있다. 거울, 창문, 매끈한 표면을 가진 물체에 비쳐 보이는 물체들은 실제로 그 위치에 존재하지 않지만 반사에 의해 반사된 물체와 반사한 물체가 섞여 부정확한 재구성이 이루어질 수 있다. 또한, 반복되는 패턴이 있는 경우에는 카메라 포즈 추정에서 혼란을 일으켜 시점 정합 오류와 왜곡을 유발한다. 마지막으로, 복도와 같이 좁고 긴 공간은 다양한 시점에서 시각 정보를 확보하기 어렵기 때문에 카메라 포즈 추정하는데 어려움을 가진다. Figure 1은 빛의 반사와 반복 패턴으로 인해 사물함이 하나의 물체로 보여 Gaussian Splatting의 품질이 감소하였음을 보여준다.
이와 같은 Gaussian Splatting의 한계점을 개선하기 위해 후처리 기법이나 사후 최적화 연구가 많이 진행되었지만 촬영 경로 자체를 개선하는 연구는 상대적으로 부족한 상황이다[3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]. 촬영 경로는 Structure-from-Motion(SfM)[14] 기반의 포인트 클라우드 생성에 영향을 주는 핵심 부분이며 나아가 Gaussian Splatting 품질에 영향을 미치기 때문에 촬영 경로에 관한 연구가 필요한 상황이다.
따라서 본 연구에서는 Gaussian Splatting의 재구성 품질 저하가 발생할 수 있는 빛의 반사와 반복 패턴이 존재하고, 복도와 같이 협소한 공간에서도 안정적으로 특징점을 확보하여 Gaussian Splatting의 품질을 향상시킬 수 있는 체계적인 촬영 경로 설계 방법을 제안한다.
본 논문의 구성은 2장에서 촬영 경로 관련 연구를 검토하고, 3장에서는 제안하는 여러 촬영 경로들의 설계 원리를 설명한다. 4장에서는 두 실험 공간에 대한 각 촬영 경로들의 실험 및 결과를 분석하고, 5장에서는 결론 및 향후 연구 방향을 제시한다.
2. 관련 연구
Gaussian Splatting, NeRF 등의 3D 재구성 기법들은 입력 데이터의 품질과 촬영 환경에 의존한다. 특히, 촬영 경로 설정은 SfM 기반 파이프라인에서 카메라 포즈 추정과 포인트 클라우드 밀도에 직접적인 영향을 미치기 때문에 중요한 요소로 간주된다.
Gaussian Splatting은 최근 3차원 장면 재구성 방식으로 주목받고 있는 기법으로, NeRF 대비 빠른 렌더링 속도와 높은 시각적 품질을 동시에 제공한다는 점에서 큰 관심을 받고 있다. 이 기법은 장면을 수많은 3차원 Gaussian Splat 분포의 집합으로 표현하며, 각 Gaussian Splat은 공간상의 위치, 공분산, 색상, 불투명도 등의 속성을 가진다. 이러한 표현은 기존의 복셀(voxel) 또는 메쉬(mesh) 기반 기법보다 메모리 효율성이 높고, GPU 기반 래스터화(rasterization) 파이프라인과 호환되어 실시간 렌더링이 가능하다.
Kerbl, B.[1]은 Gaussian Splatting을 Figure 2와 같이 파이프라인으로 설정하여 설명하였다. 먼저 다양한 시점에서 촬영한 RGB 이미지와 대응하는 카메라 파라미터를 확보한다. 이를 위해 일반적으로 SfM 기법이 사용되며, 대표적으로 COLMAP[14]이 널리 활용된다. SfM을 통해 각 이미지의 카메라 포즈와 장면의 희소 3D 포인트 클라우드를 추출한다. 다음 단계에서 포인트 클라우드의 각 점은 초기 3D Gaussian으로 변환된다. 변환된 Gaussian Splat은 초기에는 등방성 크기를 가지지만, 이후 최적화 과정을 통해 비등방성 형태로 변형될 수 있다. 최적화 과정에서는 Gaussian Splat의 중심 좌표, 공분산인 Gaussian Splat의 크기와 모양 그리고 각 Gaussian Splat의 RGB 값, 불투명도 등의 파라미터들이 학습된다. 이 최적화는 주로 Photometric Loss를 기반으로 하며, 여러 시점에서 렌더링한 결과와 실제 입력 이미지를 비교하여 차이를 최소화한다.
또한, 불필요하거나 기여도가 낮은 Gaussian Splat은 Pruning 과정을 통해 제거하고, 중요한 세부 구조는 Refinement 단계에서 세밀하게 조정한다.
최종적으로 최적화된 Gaussian Splat의 집합은 실시간 3D 렌더링에 활용된다. 각 Gaussian Splat은 카메라 시점에서 2D 타원 형태로 투영되며, Z-buffer와 알파 블렌딩을 이용한 가중합 방식으로 화면에 합성된다. 이러한 접근은 NeRF처럼 모든 픽셀에 수천 개의 샘플을 ray marching할 필요가 없기 때문에 고해상도 장면에서도 초당 수십 프레임의 실시간 렌더링이 가능하다.
Gaussian Splatting의 품질은 초기 이미지 데이터의 품질과 구성에 크게 의존한다. 특히 SfM 추정이 부정확하면 3D 포인트 클라우드의 위치와 구조가 왜곡된다. 이로 인해 생성되는 Gaussian Splat의 중심 위치나 크기와 모양 또한 잘못 추정될 수 있다. 그 결과 최종 렌더링에서 구조가 흐릿하거나 왜곡이 발생하여 시각적 품질 저하가 발생한다.
이러한 문제를 방지하기 위해서 촬영한 이미지들이 서로 충분히 중첩되어야 하고, 이미지들의 순서를 연속적으로 유지하는 것이 중요하다. 중첩이 부족하면 동일 지점에 대한 특징점 매칭이 불안정해져 SfM 단계에서 카메라 포즈 추정이 실패할 가능성이 높다. 또한, 시점 변화가 지나치게 크거나 불규칙하면 인접 이미지 간의 매칭이 실패하고, 경로 전체에서 포즈 누적 오차가 커져 Gaussian Splatting의 품질이 저하된다.
또한, 촬영을 진행할 때 빈 벽을 촬영한 경우에는 특징점이 거의 추출되지 않아 해당 구간의 포인트 클라우드가 희소하게 생성되고, 강한 빛 반사가 있는 경우에는 반사 표면에서 잘못된 매칭이 발생해 실제 구조와 무관한 Gaussian Splat이 생성된다. 반복 패턴이 있는 경우에는 서로 다른 위치의 특징점이 잘못 연결되어 구조가 중첩되거나 왜곡될 수 있다. 이처럼 초기 이미지 데이터의 품질, 중첩도, 그리고 촬영 순서는 Gaussian Splatting의 전체적인 성능과 시각적 품질에 결정적인 영향을 미친다.
따라서 Gaussian Splatting에서 입력 이미지의 촬영 경로 설정은 단순한 데이터 수집 과정이 아니라 3D 모델의 품질을 결정짓는 핵심적인 과정으로 볼 수 있다. 특히 반사, 반복 구조가 많은 실내 복도 공간의 경우 잘못된 촬영 경로는 SfM 실패를 유발하여 3D 모델 품질을 저하시키는 원인이 된다[3, 4, 5, 8].
Scannet++[15]은 Gaussian Splatting 모델을 제작할 때 자주 사용하는 실내 3D 장면에 대한 데이터를 제공하는 대규모 데이터셋이다. 많은 연구에서 Scannet++ 데이터셋을 사용하였으며 주로 사무실, 강의실과 같은 공간을 레이저 스캐너와 DSLR 카메라, iPhone 13 Pro를 이용해 동영상 촬영하였다. 하지만 Scannet++은 고품질의 데이터셋을 만드는 것에 집중하여 촬영 경로를 설정하지 않았다.
Rangelov, D.[16]가 진행한 연구에서는 촬영 경로와 3D 재구성 품질 간의 상관관계를 분석하였다. 다양한 촬영 경로를 설정하고 Gaussian Splatting의 품질에 미치는 영향을 분석하였다. 주로 주요 물체나 벽면을 중심으로 촬영 경로들을 설정하였다. 그러나 해당 연구에서도 빛의 반사, 반복 패턴, 복도와 같은 협소한 공간과 같은 요소들을 촬영 경로 설계에 반영하지 않았다. 그 결과 이 연구에서 가장 품질이 좋게 나온 촬영 경로는 거실, 부엌 등의 공간에서는 품질이 좋았지만 복도 공간에서는 여전히 Gaussian Splatting의 품질이 좋지 않았다고 언급한다.
기존 연구들은 대부분 주어진 이미지 데이터셋이나 불규칙적인 촬영 경로로 촬영하여 모델을 제작하였다. 실제 공간의 특성과 구조적 문제를 반영한 체계적인 설계가 미비한 상황이다. 따라서 본 연구는 빛의 반사, 반복 패턴, 복도와 같은 협소한 공간을 고려한 체계적인 촬영 경로 설계 방안을 제안하여 복도 공간에서 Gaussian Splatting의 품질을 개선하고자 한다.
3. 제안 방법
본 연구는 촬영 경로에 따라 Gaussian Splatting의 품질이 달라질 수 있다는 가정을 하고 복도 공간에서 촬영하는 것을 전제로 세 가지 유형의 촬영 경로를 설정하였다. 각 촬영 경로의 구조도는 Figure 3을 통해 확인할 수 있다. 제안하는 경로 중 한 경로는 기존 연구에서 시도된 방식이며, 나머지 두 경로는 본 연구에서 새롭게 제안하는 방식이다.
-
● 분할 촬영 경로
분할 촬영 경로는 기존 연구[16]에서 제안된 방식을 기반으로 한다. Figure 3의 (a)는 분할 촬영 경로를 도식화한 것이다. 그림에서 공간을 색상이 다른 원은 촬영 경로를 의미한다. 즉, 전체 복도 공간을 두 부분으로 나누어 각각 독립적으로 촬영한 것이다. 그림처럼 나누어진 원을 따라 촬영을 진행하며, 원의 안쪽을 바라보고 촬영을 진행하였다. 이는 한 번에 전체 복도를 촬영할 경우 발생할 수 있는 과도한 연산을 방지하고 Gaussian Splatting의 품질을 향상시키는데 기여한다.
각 분할 구간에서 촬영할 때, 벽면의 특징점을 최대한 포착하기 위해 촬영 지점에서 수직 방향으로 상, 하단을 각각 촬영하여 촬영 지점 당 2장의 사진을 얻는다. 이러한 방식은 벽면 전체에 대한 특징점 정보를 확보하여 Gaussian Splatting의 품질을 향상시키는데 목적이 있다. 하지만 복도의 전체적인 공간을 담아내지 못한다. Figure 4 처럼 흰 벽만이 촬영 되어있기 때문에 특징점을 찾아내지 못하거나, 반복 패턴만이 촬영되어 비슷한 반복 패턴 이미지와 오인하여 SfM이 정확한 위치를 매칭하지 못한다.
-
● 직선 왕복 촬영 경로
직선 왕복 촬영 경로는 복도처럼 길고 좁은 형태의 공간에서 전체적인 구조를 이미지에 담기 위해 고안해낸 방식이다. Figure 3의 (b)는 직선 왕복 촬영 경로를 도식화한 것이다. 그림에서 중앙에 있는 화살표인 복도의 중앙 축을 따라 일직선으로 이동하면서 일정한 간격을 두고 촬영을 수행하고, 복도의 끝에 도달했을 경우 동일한 경로를 반대 방향으로 되돌아가며 촬영한다. Figure 5와 같이 각 촬영 지점에서 약 45도 간격으로 3장의 이미지를 획득하여 양쪽 벽면 및 전방의 시각 정보를 동시에 확보하였다. 이 방안은 복도 전체의 전반적인 공간 구조를 넓은 시야로 포착할 수 있으나, 벽면을 개별적으로 촬영하지 않기 때문에 얻을 수 있는 벽면의 특징점 정보가 적어 Gaussian Splatting 모델의 벽 부분 성능을 기대하기 힘들다.
-
● 빛 반사 및 반복 패턴을 고려한 촬영 경로
빛 반사 및 반복 패턴을 고려한 촬영은 본 논문에서 제안하는 방식으로 빛 반사를 최대한 회피하고, 반복 패턴이 전체 프레임을 가득 채우지 않도록 Figure 6와 같이 사선 방향으로 촬영하여 많은 정보를 담을 수 있도록 했다. Figure 3의 (c)는 빛 반사 및 반복 패턴을 고려한 촬영의 구조도이다. 복도의 벽면을 따라 일정한 간격으로 촬영을 진행하고 두 방향 모두 촬영을 진행한다. 두 방향은 Figure 3의 (c)에서 ①, ②로 확인할 수 있고 촬영 각도를 사선으로 지정한 것을 확인할 수 있다. 또한, 이 촬영 경로를 지나며 빛의 반사 및 반복 패턴이 포착되면, Figure 6 과 같이 복도의 끝이 보이지 않도록 벽면에 대한 추가 촬영을 하고, 빛의 반사 및 반복 패턴이 보이지 않을 경우 복도의 끝이 보이도록 촬영하였다. 이 방안을 통해 단순 정면 중심 또는 직선 이동 경로 대비 벽면에서 시각 정보의 다양성을 확보하여 결국에는 복도 전체의 시각 정보를 확보할 수 있다.
빛 반사 및 반복 패턴을 고려한 촬영 경로는 복도 환경에서 발생할 수 있는 빛 반사 및 반복 구조에 대응하는 촬영 방식이다. 이 방식은 벽면의 유리, 금속, 타일과 같은 반사 표면에서 발생할 수 있는 빛 반사를 최소화하고 반복 패턴이 사진의 전체 프레임을 점유하지 않도록 설계되었다.
4. 실험
3가지 촬영 경로의 실험은 2개의 복도 공간에서 진행되었다. 카메라는 iPhone 13 pro max를 이용하였다. 빛의 반사를 피하기 위해 밤에 촬영을 진행했고, 각 공간의 3가지 촬영 경로에 대한 사진 개수는 동일하게 하였다. Colmap을 이용하여 각 데이터셋의 SfM을 얻었고, 이를 이용하여 Gaussian Splatting 모델을 제작하였다. 모델 제작 환경은 NVIDIA GeForce RTX 4090 GPU, Ubuntu 20.04 이다. 공간 A는 반복적인 패턴을 가진 사물함들이 있으며 Figure 7로 볼 수 있듯이, 사물함으로 인한 반사가 있어 다른 물체가 사물함에 비쳐 보이는 복도 공간이다. 복도의 길이는 약 68.4M이며, 각 촬영 경로로 771장을 촬영하였다. 공간 A의 전체적인 모습은 Figure 8을 통해 확인할 수 있다. 공간 B는 Figure 9 와 같이 유리로 된 부분이 많아 반사가 많은 공간이며 반복적인 패턴을 가진 물체는 없다. 복도의 길이는 약 67.2M이며, 각 촬영 경로로 878장을 촬영하였다. 공간 B의 전체적인 모습은 Figure 10을 통해 확인할 수 있다. Table 1을 통해 각 공간의 촬영된 이미지 수, 반사 요인 유무, 반복 패턴 요인 유무, 복도의 길이를 알 수 있다.
| Photos | Reflection | Repetition | Length(m) | |
|---|---|---|---|---|
| Space A | 771 | O | O | 68.4 |
| Space B | 878 | O | X | 67.2 |
본 연구에서는 두 공간에서 3가지의 촬영 기법을 이용하여 촬영을 진행하였다. 또한, 빛 반사 및 반복 패턴을 고려한 촬영 경로에서 기본적인 촬영 경로는 동일하게 하되, 빛 반사 및 반복 패턴이 포착되어도 촬영을 하지 않는 사선 촬영 경로 실험도 진행했다. 이는 추가적인 촬영이 Gaussian Splatting 모델의 성능에 미치는 영향을 정량적으로 분석하기 위함이다. 촬영된 이미지들을 이용하여 Gaussian Splatting 모델들을 제작하였으며 이 모델들을 이용하여 SSIM, PSNR, LPIPS 지표를 측정하였다. 평가 지표들은 Gaussian Splatting 의 성능 개선 관련 연구[3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13] 와 관련 프레임워크 연구[17, 18], 이전 3D 재구성 관련 연구[1, 2, 15, 19]에서 Gaussian Splatting의 성능 비교를 위한 대표적인 평가지표로 사용해왔다. 따라서 본 연구에서도 대표적인 평가지표인 SSIM, PSNR, LPIPS를 사용하였다.
Table 2는 이 평가지표를 통해 각 공간에 대해 다른 촬영 경로로 만들어진 Gaussian Splatting 모델을 정량적으로 비교한 결과를 보여준다. Table 2에서 SSIM, PSNR, LPIPS 별로 가장 품질이 좋은 수치를 굵은 글씨로 표시하였다. 공간 A에서 SSIM이 0.810, PSNR이 24.187, LPIPS가 0.419로 가장 품질이 좋은 수치이고, 이 수치들 모두 빛 반사 및 반복 패턴 고려 촬영 방안에 해당한다. 공간 B에서 SSIM이 0.787, PSNR이 24.153, LPIPS가 0.424로 가장 품질이 좋은 수치이고, 이 수치들 모두 빛 반사 및 반복패턴 고려 촬영 방안의 품질에 해당한다. 이 수치들의 결과를 통해 각 공간에서 빛 반사 및 반복 패턴을 고려하여 촬영한 결과가 가장 품질이 좋은 것을 확인할 수 있다. 이 촬영 방안은 본 연구에서 제안하는 방안이며, 제안 방안은 Table 2에서 굵은 글씨로 표현되었다.
| Camera Path | SSIM↑ | PSNR↑ | LPIPS↓ | |
|---|---|---|---|---|
| Space A | 분할[16] | 0.773 | 16.120 | 0.467 |
| 0.654 | 13.620 | 0.587 | ||
| 직선 왕복 | 0.799 | 23.126 | 0.423 | |
| 사선 | 0.805 | 23.657 | 0.416 | |
| 빛 반사 및 반복 패턴 고려 | 0.810 | 24.187 | 0.419 | |
| Space B | 분할[16] | 0.592 | 13.071 | 0.654 |
| 0.674 | 12.209 | 0.607 | ||
| 직선 왕복 | 0.776 | 23.052 | 0.428 | |
| 사선 | 0.780 | 23.537 | 0.425 | |
| 빛 반사 및 반복 패턴 고려 | 0.787 | 24.153 | 0.424 |
사선 촬영 경로의 경우, 빛 반사 및 반복 패턴이 포착될 경우 추가적인 촬영을 진행하지 않고 오직 사선으로만 촬영을 진행했다. 이에 대한 결과로 빛 반사 및 반복 패턴을 고려한 촬영 기법보다 성능이 떨어지는 것을 확인할 수 있다. 이는 빛 반사 및 반복 패턴을 포착할 경우, 추가적으로 촬영하는 것이 Gaussian Splatting 성능을 향상시킴을 증명한다.
5. 결론
본 연구에서는 Gaussian Splatting의 품질이 복도와 같이 좁고 구조적으로 제한된 공간에서 시각적 품질 저하를 보이는 문제를 해결하기 위해, 빛 반사나 반복 패턴을 효과적으로 완화할 수 있는 촬영 경로를 제안하였다. 실험 결과에서 빛 반사 및 반복 패턴 고려 촬영 경로는 분할 촬영 경로, 직선 왕복 촬영 경로보다 시각적으로 품질이 더 좋았다. 또한 PSNR, SSIM, LPIPS 지표 모두에서 향상된 성능을 보인다. 추가적으로 진행한 사선 촬영 경로 실험에서도 빛 반사 및 반복 패턴이 포착되면 촬영하는 것이 Gaussian Splatting의 성능을 더욱 향상시키는 것을 정량적인 분석을 통해 증명하였다.
빛 반사 및 반복 패턴 고려 촬영 방안은 충분한 중첩 시점을 확보하고, 이미지 내 반복 패턴이 분산되도록 카메라 촬영 경로를 설계함으로써 SfM 과정에서 정확하고 완전한 포인트 클라우드 초기화를 가능하게 하였다. 촬영 경로를 설계함으로써 SfM 과정에서 정확하고 완전한 포인트 클라우드 초기화를 가능하게 하였다. 실험의 결과는 Gaussian Splatting의 품질이 후처리나 사후 최적화 기법 뿐만 아니라 데이터 획득 단계, 특히 촬영 경로 설계에도 의존한다는 것을 입증한다.
따라서 Gaussian Splatting 모델 제작 과정에서 촬영 경로 계획을 핵심 요소로 작용하며 복도와 같이 협소하고 반사가 많으며 반복 패턴이 많은 공간에서 특히 중요함을 알 수 있다.
향후 연구에서는 본 연구에서 찾아낸 빛 반사 및 반복 패턴 고려 촬영 경로를 더욱 자세하게 연구할 것이다. 빛 반사를 피해 촬영하는 것이 Gaussian Splatting 모델의 성능에 얼마나 큰 영향을 미치는지, 반복 패턴을 피해 촬영하는 것은 모델의 성능에 얼마나 큰 영향을 미치는지 정확하게 연구하고자 한다. 이 과정에서 새로운 촬영 경로를 기대할 수 있고, 촬영 경로를 통한 Gaussian Splatting의 성능 개선 연구의 완성도를 높일 수 있다.
또한, 본 연구의 결과를 기반으로 다양한 환경 조건에서 최적의 카메라 촬영 경로를 자동으로 추천할 수 있는 연구를 하고자 한다. 복도와 같이 협소하거나 반복 패턴이 존재하는 공간에서 발생할 수 있는 SfM 실패 사례와 Gaussian Splatting의 품질을 저하하는 요인들을 고려하여 가장 적합한 촬영 경로를 제안하는 방법을 연구할 계획이다. 이를 위해 촬영된 이미지의 중첩도, 조명 조건, 반사 조건, 반사 패턴 분포 등 다양한 요소를 고려하여 촬영 경로를 최적화할 수 있는 전략을 포함할 것이다. 실제 응용 단계에서는 사용자가 현장에서 스마트폰이나 휴대용 장비를 통해 간단하게 환경을 스캔하면 이를 분석하여 최적의 촬영 경로를 알려주는 방향으로 응용이 가능하다. 이러한 자동 촬영 경로 안내는 전문가 뿐만 아니라 비전문가도 Gaussian Splatting의 품질의 향상시킬 수 있도록 하며 향후 실내 내비게이션, 디지털 트윈 등 다양한 응용 분야로 확장될 가능성을 가진다.
