1. 서론
일반적으로 가상현실을 구현하기 위하여 VR(Virture Reality)이나 여러 대의 프로젝터를 이용한 대형 파노라마[1] 프로젝션 투사기법을 사용하고 있다. 파노라마 영상은 연속된 영상 프레임을 하나의 큰 뷰(view)를 갖는 영상으로 통합하여 일종의 스냅샷 효과를 얻을 수 있다.[2] 이를 구현하기 위한 프로젝션 투사기법은 긴 벽이나 Figure 1 과 같이 넓은 공간의 벽면에 다수 프로젝터들을 연동하여 영상을 투사하는 방법이다. 이러한 투사 방법은 하드웨어로서의 프로젝터 특성에 따라 조금씩 다른 최소 초점거리 이상의 거리를 가진 넓은 공간에서 실행이 가능하다. 프로젝션 된 파노라마는 먼 거리에서에 관람 해야만 이미지 전체를 볼 수 있다.
이러한 관계로 규모가 작은 미술관이나 소형 홍보관 같이 작은 원형 공간이나 사각형 공간에서 프로젝터 1대만을 사용하여 가상현실을 구현하는 것은 결코 쉽지 않은 일이다. 과학박물관 등에서 크기가 크지 않은 돔 스크린에 우주의 별자리를 보여주는 등의 콘텐츠도 역시 여러 대의 프로젝터들을 연동하여 콘텐츠를 투사하고 있다. 작은 공간에서는 초점 거리 때문에 프로젝터 설치도 어려울 뿐더러 영상의 크기를 확대하기 위하여 광각 렌즈를 사용한다고 하더라도 비록 수량은 조금 줄일 수 있겠지만 다수의 프로젝터를 설치해야하는 구성 방법은 크게 변하지 않는다. 이 경우, 유지비용도 많이 들기 때문에 파노라마 프로젝션은 작은 공간 보다는 주로 대형 공간에서만 이루어지고 있다고 볼 수 있다. 또한, 다수 프로젝터로 이미지 투사 할 때, 스크린에 투사된 이미지의 면과 면이 자연스럽게 연결되기 위하여 Stitching 처리를 해야 하는 기술적인 번거로움이 있다. 앞서 언급한 비용적인 문제와 기술적인 번거로움, 두 가지 문제를 해결 하고자 하는 많은 연구자들의 노력이 이어지고 있다. 해외에서는 2005년 Figure 2와 같이 바닥에 놓인 반구형 반사경에 프로젝션하여 영상을 돔 전체로 반사시키는 방법을 사용하여 작은 돔에 프로젝션하는 방법이 폴 버크(Paul Bourke호주)에 의하여 발표가 되었다.[4]
이 방법은 돔 구조를 가진 천정 공간에서 활용할 경우에 매우 적절하지만, 바닥까지 연결되는 돔 구조에서는 관람자에 의하여 발생하는 그림자에 취약한 단점을 가지고 있다.
국내에서는 2015년에 과학기술원의 노준용 연구팀에서 Figure 3과 같이 프로젝터를 바닥에 설치하고, 천정에 부착된 반구형 반사경에 영상을 프로젝션하여 반사된 영상이 공간 전체에 투영되는 방법을 발표한 바가 있다.[5] 이 방법은 돔 반사경과 프로젝터만 있으면 어느 공간에서나 기존의 시설물을 최대한 활용하면서 간단하게 전 방향 프로젝션이 가능한 편리한 방법이지만 두가지 점에서 개선이 필요하다. 첫째, 사전왜곡 이미지를 생성하는 과정에서 인풋 파노라믹 이미지 와 3차원 투사 공간간의 관계 설정 (“이미지 등록”) 과 프로젝터 이미지 공간과 투사공간간의 관계 설정 (“환경기하정보 지정”) 과정에 사용자가 이 관계를 상호작용 도구를 이용하여 직접 설정해야 하는 문제가 있다. 둘째, 프로젝터가 공간의 바닥 중앙에 위치하는 관계로 관람자의 동선을 제약하는 단점을 가지고 있다. 이와 같이 작고 다양한 공간에서 프로젝터 1대를 이용한 360도 파노라마 프로젝션 방법들이 거울 반사라는 공통점을 가지고 다양한 방법으로 연구되고 있다. 하지만 앞서 언급한 두 경우 모두 바닥에 광원이 놓이게 되면서 관람자의 동선을 제약하는 문제가 발생한다. 폴 버크의 돔 프로젝션은 관람자에 의한 그림자로 인하여 관원의 반대편 영상을 볼 수 없고, 노준용 연구팀의 경우는 공간의 중앙 바닥에 프로젝터가 위치하기 때문에 관람자들의 행동반경이 좁아지는 단점을 가지고 있다.
본 연구는 대형 공간에서 다수의 프로젝터를 연동하여 파노라마 영상을 구현하고 있는 일반적인 방법과는 다르게, 약 10m2 정도의 면적을 가진 작은 공간에서 관람객의 동선을 제약하지 않으면서 1대의 프로젝터와 반사경을 이용하여 360도 파노라마 영상 투사를 구현할 수 있는 방법을 제시라는 것을 목적으로 한다. 본 연구를 적용할 경우, 자치단체의 홍보관, 소규모 파노라마 전시, 테마가 있는 공간 인테리어 등 작은 공간이라는 한계와 예산 때문에 시도해보지 못했던 360도 파노라마 영상을 다양한 분야에서 구현할 수 있을 것으로 보인다.
연구의 방법과 범위는 사전연구를 통하여 성립된 1대의 프로젝터로 360도 파노라마 영상 투사가 가능할 것이라는 가설을 검증하는 방법으로 실험을 진행할 것이며, 이를 위하여 크게 하드웨어적인 측면과 콘텐츠를 제작하는 소프트웨어적인 측면, 두 가지로 나누어 연구를 진행할 것이고, 연구의 범위는 1대의 프로젝터를 이용한 프로젝션 원리, 하드웨어 구성 방법, 투사될 콘텐츠인 사전 왜곡 이미지 제작 방법으로 한정한다.
2. 관련 연구
본 연구진은 일반적으로 사용되고 있는 다수의 프로젝터 연동 방식이 아닌 단 1대만을 이용한 360도 프로젝션 방법은 없겠는가에 대한 질문을 통하여 만약 원뿔형 반사경을 이용한다면 1대의 프로젝터만으로도 360도 프로젝션이 가능할 것이라는 가설을 세우고 2018년부터 실험을 진행한바 있다. 프로젝터(NEC-NP200)를 지면에 거치하고 원뿔형 반사경을 프로젝터 렌즈의 정중앙에서 실험에 사용된 프로젝터의 최소 포커스 거리인 50cm 떨어진 지점에 배치하였다. 원형으로 제작된 사전 왜곡 이미지를 원뿔형 반사경에 투사하면 Figure 4의 우측과 같이 원통형 스크린의 1/4만큼에 해당하는 부분에 이미지가 반사 왜곡 과정을 거치면서 온전하게 투영되는 것을 확인할 수 있었다. 이 실험을 통하여 적합한 반사경이 있다면 1대의 프로젝트를 이용하여 작은 공간에서도 360도 파노라마 영상 투사가 가능하다는 것과 영상 투사에 필요한 사전 왜곡 이미지 제작 기술이 필요하다는 것을 확인할 수 있었다.
원뿔형 반사경과 프로젝터 1대를 이용한 360도 파노라마 투사 원리는 Figure 5와 같다. 좌측 그림에 프로젝터에서 투사되는 이미지의 중앙의 빨간색으로 표시된 위치의 영상 픽셀들은 원뿔 반사경의 윗부분의 각도로 반사되어 스크린의 상단부분(천정)에 투사 되고 이미지의 외곽부분에 있는 파란색으로 표시된 부분의 영상 픽셀들은 원뿔형 반사경의 하단 부분의 각도에 반사되어 스크린 하단부분에 이미지가 투영되게 된다. 이와 같이 원뿔형 반사경에 투사된 이미지는 반사경에서 반사되는 각도에 따라 원통형 파노라마 스크린에 수평으로 360도 파노라마 이미지를 만들어 낼 수 있다. Figure 5의 좌측 이미지는 원뿔형 반사경에 영상이 투사되고 반사경에서 영상이 반사되는 형태를 도식화 하여 나타낸 모습이다.
원뿔형 반사경을 제작하여 추가 실험을 진행한 결과, 투사된 파노라마 스크린의 이미지가 낮게 투사되고, 높이도 낮아 실제로 사용하기에는 어려움이 있다는 것을 확인할 수 있었다.
3. 실험 조건
사전연구에 사용되었던 원뿔형 반사경은 Figure 5에서 확인한 바와 같이 파노라마 스크린에 투사된 이미지 높이가 낮기 때문에 스크린 전체에 영상이 투영 되지 못하는 한계를 극복할 필요가 있으며, 투영된 영상의 높이를 획기적으로 높일 수 있는 방법을 찾아야 했다.
우리는 반사 단면이 직선을 형성하는 월뿔형 반사경과는 다르게 반사 단면이 곡선을 이루는 반구형 반사경이 사용 된다면 비록 각 픽셀들의 크기가 커지면서 해상도 손실이 우려 되지만 Figure 6와 같이 영상의 반사 범위가 넓어지면서 파노라마 스크린의 상당부분을 영상으로 채울 수 있을 것으로 판단하였다. 반구형 반사경은 이미지가 반사되어 투사되는 높이가 파노라마 스크린 하단부터 천정까지 반사되기 때문에 Figure 6의 오른쪽 이미지 같이 천장으로 가는 이미지의 중앙 부분을 블랙 처리를 하고 원형이미지의 나머지 부분을 투사할 이미지 영역으로 사용 하였다. 그렇지만 가상현실 공간 연출 구현을 위하여 천정까지 영상을 투사할 필요가 있는 돔 스크린과 같은 구조에서는 반사경의 상단까지 모두 사용하는 것이 가능하다.
반구형 반사경 제작방법은 평면 아크릴에 열을 가한 뒤 철판에 원형 구멍을 낸 틀을 아크릴 위에 두고 밑에서 바람을 불어 만든다. 그 뒤에 알루미늄 조각을 투명 반구 내면에 흡착시켜 미러 효과를 나게 한다. 알루미늄으로 미러 처리를 낸 반구 반사경은 분광측색계(CM-2500D)를 통해 반사율측정값인 90%의 반사율을 보이게 된다. 실제 주문제작을 통해 완성된 반구형 반사경은 Figure 7이다.
영상이 실제로 투사될 3면 파노라마 스크린 Figure 8은 스크린에 투사된 이미지를 알아보기 쉽게 흰색으로 칠해졌으면 높이 2m, 가로세로 3.2m 로 제작 되었다.
프로젝터는 엡손 EB – L1075U 제품으로 4K 해상도를 지원한다. 보다 높은 해상도를 이용하여 이미지를 투사하기 위해서이다. 반구형 반사경에 투사하기 위하여 프로젝터를 Figure 9처럼 아래쪽으로 향하게 설치하였다. 반사경 거치대에 거치된 반사경에 투사할 수 있게 투사 된 이미지를 좌, 우, 상, 하 이동이 가능한 렌즈 시프트 기능이 있다.
대부분 프로젝터에서는 렌즈시프트를 지원 하지 않아 연구에 적합하지 않다. EB – L1075U 에는 Vertical: ± 67.00 % Horizontal: ± 30.00 % 만큼의 렌즈 시프트 기능이 있다. Figure 10과 같이 프로젝터를 투사된 이미지를 상 67% 하 67% 좌 30% 우 30% 만큼 이동시킬 수 있으며 이미지를 정중앙에 투사하여 반구형 반사경에 반사시켜 파노라마를 형성 할 수 있다.
EB - L1075U 프로젝터에는 기존 렌즈에서 Epson ELPLU03 Short-throw Lens 광각렌즈로 교체를 하였다. 렌즈를 교체한 이유는 기존 렌즈는 엡손 공식 프로젝터 투사 거리계산 소프트에서 최소 포커스 지점이 1.53m이지만 광각렌즈로 교체하면 최소 포커스 지점이 1.11m이다. 광각렌즈로 사용하는 경우에는 기존 렌즈보다 반구형 반사경을 Figure 11처럼 프로젝터 렌즈에 더 가까이 설치 할 수 있다. 반구형 반사경을 렌즈에 가깝게 배치하기 위해 엡손에서 제공하는 포커스 지점이 아닌 광각렌즈의 실제 투사된 포커스 지점 위치를 알아 볼 필요가 있다. 이를 위해 프로젝터 렌즈 원점으로 부터 1.11m거리에 화이트보드를 설치 한 뒤 투사거리를 1cm씩 점 점 좁혀 나갔을 때 렌즈 포커스 원점에서부터 37cm 거리에서 포커스 시작 지점을 확인 할 수 있다.
사전 왜곡 이미지 제작을 위해 유니티에서 사용할 수 있는 최고 해상도인 8192 x 2040 4가지 이미지를 사용했다. 이는 Figure 12에서 확인 할 수 있다.
임의로 제작한 3가지 파노라마 이미지와 1개의 파노라마 이미지의 사용목적은 상이 왜곡되지 않고 정확하게 나열되는지, 명도, 채도, 색상등을 확인 하기 위해서 이다. 첫 번째 무지개 이미지는 파노라마 스크린에 정확한 수평으로 나오는지 확인하기 위한 목적이고, 두 번째 수직 이미지는 파노라마 스크린에 투사 시, 이미지가 4등분으로 해서 투사되는지와 수직으로 투사 되는지 확인하기 위한 목적이다. 세 번째 지그재그 이미지는 파노라마 스크린에 대각선으로 투사되는지 확인하기 위한 목적이고, 네 번째 도시 이미지는 투사 된 이미지가 원본과 선명도를 대조하기 위함 목적으로 각각 사용하였다.
파노라마 스크린에 투사하게 될 사전 왜곡 이미지 제작은 실제 실험 현장과 동일한 파노라마 스크린 높이와 프로젝터, 반구형 반사경을등을 3D 모델공간에 배치한뒤 사전 왜곡 이미지 촬영을 위해 프로젝터 렌즈와 동일한 위치에 가상카메라를 둔다. 그래야 실제 프로젝터 투사 시 동일한 값을 얻을 수 있는 부분으로 유추한다. 사전 왜곡 이미지 생성 프로그램은 Unity 의 C# 스크립팅과 컴퓨트 쉐이더에서 HLSL를 사용하여 구현했다. 아래 Figure 13의 화면은 사전 왜곡 이미지생성 프로그램 관련 씬들 이다.
Figure 14에서 Unity에서 생성된 사각방 파노라마 스크린에 텍스쳐 매핑된 이미지는 레이트레이싱 프로그램을 거쳐 반구형 반사경에 이미지가 맺히게 된다. 반구형 반사경에 맺힌 이미지는 사전 왜곡 이미지가 되고 반구형 반사경 위에 아래로 향한 가상카메라를 통해 실제 실험에 사용할 사전 왜곡 이미지 Figure 15가 생성이 된다.
사전 왜곡 이미지를 만들기 위한 순서는 다음과 같다. 1. 가상 카메라에서 나온 광선이 카메라가 보는 방향으로 발사하고 반구형 반사경 메시와 충돌 검사를 진행한다. 2. 충돌한 광선이 반사되어 스크린 메쉬와 충돌 여부를 체크 하며 충돌한 점의 색 정보와 UV 좌표를 가져온다. 3. 파노라마 스크린 메쉬 충돌에 성공하면, 반구형 반사경에 출발한 광선의 시작점의 UV와 파노라마 스크린 충돌점의 UV을 무게중심 좌표계에서 다시 3D 좌표계로 역변환하여 새로운 UV 좌표를 얻는다. 충돌시 얻은 색으로 새로운 UV 좌표에다 맵핑한다. 그리고 충돌에 실패한 광선들은 사용하지 않는다.
실험에 사용할 4가지 이미지를 유니티 사전 왜곡 이미지 생성 프로그램으로 제작하면 링 형태로 보이게 된다. 반구형 반사경이 렌즈와 멀어질수록 사전 왜곡 이미지도 작아진다. 링 형태로 제작된 사전 왜곡 이미지는 사이즈가 작아서 실제 투사 했을 시 픽셀이 많지 않아 원본이미지에 비해 선명도 부분에서 손실이 생겨서 보완해야 한다.
반사경 거치대 Figure 16은 알루미늄 가로세로1cm 사각 빈 파이프를 프로젝터 사이즈에 맞게 자른 후 3d프린트로 관절을 제작하여 연결하였다. 반사경은 프로젝터 거치시 반사경이 상, 하, 좌, 우 이동이 편리하게 설계하였다. 반사경 거치대에 반구형 반사경 사이즈에 맞는 받침대 위에 올라가 있는 반구형 반사경은 아래로 향해 있는 프로젝터의 렌즈와의 거리를 조절 할 수 있다. 반사경이 달라지거나 사이즈에 맞는 받침대를 빼고 끼우기 쉽게 받침대가 만들어져 있다. 실험을 위해 거치한 반구형 반사경 맨 위 꼭지 점 과 프로젝터 렌즈의 거리는 위에서 언급한 프로젝터의 포커스 시작 지점인 37cm 이다.
4. 실험과 결과
4가지 이미지 투사실험에 앞서 사각형 이미지를 Figure 17처럼 사각형 꼭지점 마다 서로 붙게 한뒤 대각선으로 나열한다. 나열한 사각형이미지는 앞서 언급한 프로젝터 렌즈의 포커스 시작 지점인 37cm의 거리를 두고 사전 왜곡 이미지로 제작한다. 제작 된 이미지는 Figure 18 이다. 파노라마 스크린에 투사시 스크린 1면마다 20개의 사각형이 몇 개가 투사되고 실제 사각형으로도 투사되는지 확인 해보았다.
임의로 제작한 사각이미지를 사전 왜곡 이미지화 시킨 부분을 확대해서 보면 Figure 19에서 오른쪽 위 아래처럼 사각형이 얇아진걸 볼 수 있다. 특히 위 아래 흰색은 거의 없다 싶이 해져서 실제 투사시에도 없을것으로 예상했다.
Figure 20은 사전 왜곡 이미지를 프로젝터에서 투사한 뒤 반구형 반사경에 반사시켜 파노라마 스크린에 투사된 모습이다. 파노라마 스크린에 투사된 사각형 이미지는 실제 사각형으로 보이지 않으며 위아래 흰색 부분이 대부분 보이지 않는 것으로 확인됐다. 각각의 면마다 17~19개의 사각형 이미지가 투사 되었다. Unity에서 제작된 실제와 동일한 실험 공간에서 얻은 사전 왜곡 이미지가 실제로 투사되면 실제 파노라마 스크린 상부에서 하단까지 맺히게 될 줄 알았으나 실제로는 그렇게 되지 않았다. 아주 미세한 거리나 각도 등에 영향을 미칠 수도 있지만 반구형 반사경 제작 시 틀에 찍어 만든 것이 아니라 수작업으로 제작된 것이기에 미세한 각도에도 이미지가 불균형하게 나올 수도 있는 부분이기 때문에 향후 추가 제작을 통해 개선해 나가야 한다.
사각형 이미지 실험에서 파노라마 스크린에 투사된 이미지의 중간부터 하단까지 원래 투사된 이미지의 상단 부에서 같은 그림이 1개 포착되고 그 아래로 여러 개로 보이는 현상이 Figure 21에서 생겼다.
Figure 22에서 보듯이 프로젝터에서 투사된 이미지가 수직으로 내려가서 반사 될 때 반구형 반사경 표면 아크릴(1) 에서 첫 번째 반사(A)가 일어나고 반구형 반사경 내면에 처리된 미러(2) 에서 실제 반사(B)가 일어난다. 그리고 (B)에서 반사된 이미지가 반구형 반사경 아크릴 표면(1)에서 반사 되어 반구형 반사경 내면 미러 부분에서 반사되어 잔상들을 파노라마 스크린에 투사된 이미지의 상단 하단 부분에 생성하게 된다. 이는 일반적인 반사경의 제작 방식이 반사물질을 반구의 외곽이 아닌 내면에 증착하는 방법을 선택하고 있기 때문이다. 반사물질을 외곽에 직접 증착할 수도 있지만 이 경우, 표면에 생기는 기포로 인하여 반사경의 품질이 현저하게 저하되기에 사용되지 않고 있다. 그러므로 반사경이 가지는 이중 반사라는 물리적인 특성을 개선할 수 있는 방법이 현 단계에서는 없어 보이므로 콘텐츠를 제작할 때, 인지하고 있어야 하고 이에 대한 별도의 연구가 필요해 보인다.
Figure 23은 4가지의 파노라마 이미지를 Unity에서 사전 왜곡 이미지생성 프로그램으로 사전 왜곡 이미지를 제작하였고, 프로젝터에서 반구형 반사경에 투사된 이미지가 반사되어 파노라마 스크린에 투사된 모습이다. Unity 사전 왜곡 생성 이미지 프로그램에서 보았던 사각 공간 모델링 내면에 맵핑된 텍스쳐와 파노라마 스크린에 투사된 파노라마 이미지와의 색상, 명도, 채도 및 높이 차이가 있지만 대부분 비슷한 모습을 보였다. 단 하단부분에서 이중 반사를 통해 생성된 이미지들이 서로 겹쳐서 흐리게 보이는 부분을 볼 수 있다.
5. 결론
우리는 실험을 통하여 1대의 프로젝터와 프로젝터에 근접하게 설치된 반구형 반사경에 투사하여 바닥으로부터 1.5m 높이를 가지는 360도 파노라마 이미지가 파노라마 스크린에 투영 되는 것을 확인할 수 있었다. 본 연구방법을 적용할 경우, 관람자로 인하여 발생하는 그림자를 최소화화 하면서 관람자의 동선을 제약하지 않으면서 콘텐츠를 감상할 수 있을 것으로 보인다. 하지만 파노라마 원본이미지를 사전 왜곡 이미지로 생성 시, 원본이미지에 비해 영상의 픽셀수가 줄어들어 360도 파노라마 투사 시 원본에 비해 선명도가 떨어지는 문제와 반구형 반사경이 가지는 이중반사현상에 대한 보완이 필요하므로 이를 개선하기 위한 후속 연구를 진행할 필요가 있다.
