Article

1대의 프로젝터와 반구형 반사경을 이용한 사각방 360도 파노라마 생성 기법

이정직1https://orcid.org/0000-0003-1851-1119, 박연용2https://orcid.org/0000-0001-6216-106X, 이윤상3https://orcid.org/0000-0002-3649-0932, 이준엽4https://orcid.org/0000-0002-4692-4116, 정은영5https://orcid.org/0000-0001-7739-5424, 유림6https://orcid.org/0000-0002-3214-8590, 강명진7https://orcid.org/0000-0002-6990-4003, 정문열8,*https://orcid.org/0000-0003-3809-1326
Jung-jik Lee1https://orcid.org/0000-0003-1851-1119, Yoen-yong Park2https://orcid.org/0000-0001-6216-106X, Yun-sang Lee3https://orcid.org/0000-0002-3649-0932, Jun-yuep Lee4https://orcid.org/0000-0002-4692-4116, Eun-yeong Jung5https://orcid.org/0000-0001-7739-5424, Rim Yu6https://orcid.org/0000-0002-3214-8590, Myongjin Kang7https://orcid.org/0000-0002-6990-4003, Moon-ryul Jung8,*https://orcid.org/0000-0003-3809-1326
Author Information & Copyright
1서강대학교 영상대학원
2서강대학교 영상대학원
3서강 게임 & 평생교육원
4서강 게임 & 평생교육원
5서강대학교 공학부 화공생명공학과
6서강대학교 일반대학원 아트앤테크놀로지학과
7서강대학교 일반대학원 아트앤테크놀로지학과
8서강대학교 지식융합미디어학부
1Sogang University Graduate School of Media honestjj@naver.com
2Sogang University Graduate School of Media viabrera@hanmail.net
3Game & Continuing Education Center of Sogang University dlrnt1995@gmail.com
4Game & Continuing Education Center of Sogang University skfakrdk45@gmail.com
5Sogang University Chemical and Biomolecular Engineering rocknroll@sogang.ac.kr
6Art&Technology, Graduate School, Sogang limlim_e@naver.com
7Art&Technology, Graduate School, Sogang kangel429@nate.com
8Sogang University School of Media, Art, and Science moon@sogang.ac.kr
*corresponding author: Moon-ryul Jung/Sogang University(moon@sogang.ac.kr)

© Copyright 2020 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 21, 2020; Revised: Jun 22, 2020; Accepted: Jun 25, 2020

Published Online: Jul 01, 2020

요약

본 연구는 1대의 프로젝터를 이용하여 360도 파노라마를 구현할 수 있는 방법을 하드웨어적인 부분과, 투사 될 사전왜곡 이미지 제작 부분에 대해 기술하고 있다. 관람객의 위치에 따라 발생하는 그림자를 최소화하기 위하여 공간의 중앙 천정에 프로젝터와 반사경을 설치하는 방법을 제안하고 있다. 유니티 엔진 가상공간에서 프로젝터 및 반구 반사경의 위치를 전시공간과 동일하게 설정한 후, 프로젝터를 가상 카메라로 간주하고 환경을 렌더링하여 프로젝터를 이용하여 투사할 때 사용할 사전왜곡 이미지를 생성하였다. 스크린에 투사할 이미지를 가상공간의 벽면에 맵핑시켜 놓은 뒤 레이트레이싱 기법을 이용하여 가상 카메라에 가상 촬영 (레이 트레이싱) 하는 방식으로 사전 왜곡 이미지를 제작 하였다. 본 기법의 특징은 사전왜곡 이미지 생성에 사용자가 최소한으로 개입한다는 것이다. 사전왜곡 이미지를 가상 카메라와 동일한 위치에 설치된 프로젝터에서 반구형 반사경에 투사하면 반구경 거울에 의해 이미지가 사방으로 반사되어 원통형 또는 사각방 모양의 파노라마 스크린에 360도로 투영된다.

Abstract

In this research, we describe the method of implementing a 360-degree panorama using one projector, in terms of hardware and in the production of projected pre-distortion images. We propose a method of installing a projector and a reflector on the central ceiling of the space to minimize the shadows generated based on the position of the spectators. We used a virtual camera and virtual space where the projector and hemisphere positions were set to the same as in the exhibition space in Unity. After the image projected on the screen was mapped on the wall of the virtual space, the pre-distortion image was created by the method of capturing from the virtual camera using the ray tracing technique. When the produced pre-distortion image is hemispherical reflected and projected by the projector installed at the same position as the virtual camera, the image is reflected and projected 360 degrees on the panoramic screen.

Keywords: 가상현실; 파노라마; 프로젝션 맵핑; 프로젝터; 반사경; 사전왜곡이미지
Keywords: Virtual reality; panorama; projection mapping; projector; reflector; pre-distortion image

1. 서론

1.1 연구의 배경

일반적으로 가상현실을 구현하기 위하여 VR(Virture Reality)이나 여러 대의 프로젝터를 이용한 대형 파노라마[1] 프로젝션 투사기법을 사용하고 있다. 파노라마 영상은 연속된 영상 프레임을 하나의 큰 뷰(view)를 갖는 영상으로 통합하여 일종의 스냅샷 효과를 얻을 수 있다.[2] 이를 구현하기 위한 프로젝션 투사기법은 긴 벽이나 Figure 1 과 같이 넓은 공간의 벽면에 다수 프로젝터들을 연동하여 영상을 투사하는 방법이다. 이러한 투사 방법은 하드웨어로서의 프로젝터 특성에 따라 조금씩 다른 최소 초점거리 이상의 거리를 가진 넓은 공간에서 실행이 가능하다. 프로젝션 된 파노라마는 먼 거리에서에 관람 해야만 이미지 전체를 볼 수 있다.

jkcgs-26-3-133-g1
Figure 1: Aerial simulation panorama[3] - Pulkovo airport, St. Petersburg-Projecting images on a 360-degree cylindrical panoramic screen by linking eight projectors installed at the top.
Download Original Figure

이러한 관계로 규모가 작은 미술관이나 소형 홍보관 같이 작은 원형 공간이나 사각형 공간에서 프로젝터 1대만을 사용하여 가상현실을 구현하는 것은 결코 쉽지 않은 일이다. 과학박물관 등에서 크기가 크지 않은 돔 스크린에 우주의 별자리를 보여주는 등의 콘텐츠도 역시 여러 대의 프로젝터들을 연동하여 콘텐츠를 투사하고 있다. 작은 공간에서는 초점 거리 때문에 프로젝터 설치도 어려울 뿐더러 영상의 크기를 확대하기 위하여 광각 렌즈를 사용한다고 하더라도 비록 수량은 조금 줄일 수 있겠지만 다수의 프로젝터를 설치해야하는 구성 방법은 크게 변하지 않는다. 이 경우, 유지비용도 많이 들기 때문에 파노라마 프로젝션은 작은 공간 보다는 주로 대형 공간에서만 이루어지고 있다고 볼 수 있다. 또한, 다수 프로젝터로 이미지 투사 할 때, 스크린에 투사된 이미지의 면과 면이 자연스럽게 연결되기 위하여 Stitching 처리를 해야 하는 기술적인 번거로움이 있다. 앞서 언급한 비용적인 문제와 기술적인 번거로움, 두 가지 문제를 해결 하고자 하는 많은 연구자들의 노력이 이어지고 있다. 해외에서는 2005년 Figure 2와 같이 바닥에 놓인 반구형 반사경에 프로젝션하여 영상을 돔 전체로 반사시키는 방법을 사용하여 작은 돔에 프로젝션하는 방법이 폴 버크(Paul Bourke호주)에 의하여 발표가 되었다.[4]

jkcgs-26-3-133-g2
Figure 2: Typical position of the projector (16:9), mirror, and dome in a planetarium environment. Paul Bourke(2005)[4]
Download Original Figure

이 방법은 돔 구조를 가진 천정 공간에서 활용할 경우에 매우 적절하지만, 바닥까지 연결되는 돔 구조에서는 관람자에 의하여 발생하는 그림자에 취약한 단점을 가지고 있다.

국내에서는 2015년에 과학기술원의 노준용 연구팀에서 Figure 3과 같이 프로젝터를 바닥에 설치하고, 천정에 부착된 반구형 반사경에 영상을 프로젝션하여 반사된 영상이 공간 전체에 투영되는 방법을 발표한 바가 있다.[5] 이 방법은 돔 반사경과 프로젝터만 있으면 어느 공간에서나 기존의 시설물을 최대한 활용하면서 간단하게 전 방향 프로젝션이 가능한 편리한 방법이지만 두가지 점에서 개선이 필요하다. 첫째, 사전왜곡 이미지를 생성하는 과정에서 인풋 파노라믹 이미지 와 3차원 투사 공간간의 관계 설정 (“이미지 등록”) 과 프로젝터 이미지 공간과 투사공간간의 관계 설정 (“환경기하정보 지정”) 과정에 사용자가 이 관계를 상호작용 도구를 이용하여 직접 설정해야 하는 문제가 있다. 둘째, 프로젝터가 공간의 바닥 중앙에 위치하는 관계로 관람자의 동선을 제약하는 단점을 가지고 있다. 이와 같이 작고 다양한 공간에서 프로젝터 1대를 이용한 360도 파노라마 프로젝션 방법들이 거울 반사라는 공통점을 가지고 다양한 방법으로 연구되고 있다. 하지만 앞서 언급한 두 경우 모두 바닥에 광원이 놓이게 되면서 관람자의 동선을 제약하는 문제가 발생한다. 폴 버크의 돔 프로젝션은 관람자에 의한 그림자로 인하여 관원의 반대편 영상을 볼 수 없고, 노준용 연구팀의 경우는 공간의 중앙 바닥에 프로젝터가 위치하기 때문에 관람자들의 행동반경이 좁아지는 단점을 가지고 있다.

jkcgs-26-3-133-g3
Figure 3: The installation of our projection system, side view (a), perspective view (b).[5]
Download Original Figure
1.2 연구의 목적, 방법과 범위

본 연구는 대형 공간에서 다수의 프로젝터를 연동하여 파노라마 영상을 구현하고 있는 일반적인 방법과는 다르게, 약 10m2 정도의 면적을 가진 작은 공간에서 관람객의 동선을 제약하지 않으면서 1대의 프로젝터와 반사경을 이용하여 360도 파노라마 영상 투사를 구현할 수 있는 방법을 제시라는 것을 목적으로 한다. 본 연구를 적용할 경우, 자치단체의 홍보관, 소규모 파노라마 전시, 테마가 있는 공간 인테리어 등 작은 공간이라는 한계와 예산 때문에 시도해보지 못했던 360도 파노라마 영상을 다양한 분야에서 구현할 수 있을 것으로 보인다.

연구의 방법과 범위는 사전연구를 통하여 성립된 1대의 프로젝터로 360도 파노라마 영상 투사가 가능할 것이라는 가설을 검증하는 방법으로 실험을 진행할 것이며, 이를 위하여 크게 하드웨어적인 측면과 콘텐츠를 제작하는 소프트웨어적인 측면, 두 가지로 나누어 연구를 진행할 것이고, 연구의 범위는 1대의 프로젝터를 이용한 프로젝션 원리, 하드웨어 구성 방법, 투사될 콘텐츠인 사전 왜곡 이미지 제작 방법으로 한정한다.

2. 관련 연구

2.1 사전 연구

본 연구진은 일반적으로 사용되고 있는 다수의 프로젝터 연동 방식이 아닌 단 1대만을 이용한 360도 프로젝션 방법은 없겠는가에 대한 질문을 통하여 만약 원뿔형 반사경을 이용한다면 1대의 프로젝터만으로도 360도 프로젝션이 가능할 것이라는 가설을 세우고 2018년부터 실험을 진행한바 있다. 프로젝터(NEC-NP200)를 지면에 거치하고 원뿔형 반사경을 프로젝터 렌즈의 정중앙에서 실험에 사용된 프로젝터의 최소 포커스 거리인 50cm 떨어진 지점에 배치하였다. 원형으로 제작된 사전 왜곡 이미지를 원뿔형 반사경에 투사하면 Figure 4의 우측과 같이 원통형 스크린의 1/4만큼에 해당하는 부분에 이미지가 반사 왜곡 과정을 거치면서 온전하게 투영되는 것을 확인할 수 있었다. 이 실험을 통하여 적합한 반사경이 있다면 1대의 프로젝트를 이용하여 작은 공간에서도 360도 파노라마 영상 투사가 가능하다는 것과 영상 투사에 필요한 사전 왜곡 이미지 제작 기술이 필요하다는 것을 확인할 수 있었다.

jkcgs-26-3-133-g4
Figure 4: (Left) Distorted image to be projected on the reflector: The top right of the image is part of the image projected on the screen (1/4 of the entire image) and the (Right) image is reflected. It is projected on the screen with a conical reflector. [6] The furnace screen is 1/4 of the cylindrical screen with a diameter of about 90 cm installed at a distance of 45 cm from the cylindrical reflector.
Download Original Figure
2.2 프로젝터 1대를 이용한 원통형 360도 파노라마 투사 원리

원뿔형 반사경과 프로젝터 1대를 이용한 360도 파노라마 투사 원리는 Figure 5와 같다. 좌측 그림에 프로젝터에서 투사되는 이미지의 중앙의 빨간색으로 표시된 위치의 영상 픽셀들은 원뿔 반사경의 윗부분의 각도로 반사되어 스크린의 상단부분(천정)에 투사 되고 이미지의 외곽부분에 있는 파란색으로 표시된 부분의 영상 픽셀들은 원뿔형 반사경의 하단 부분의 각도에 반사되어 스크린 하단부분에 이미지가 투영되게 된다. 이와 같이 원뿔형 반사경에 투사된 이미지는 반사경에서 반사되는 각도에 따라 원통형 파노라마 스크린에 수평으로 360도 파노라마 이미지를 만들어 낼 수 있다. Figure 5의 좌측 이미지는 원뿔형 반사경에 영상이 투사되고 반사경에서 영상이 반사되는 형태를 도식화 하여 나타낸 모습이다.

jkcgs-26-3-133-g5
Figure 5: (Left) Virtual image with conical reflector for 360 degree panorama and one projector (Right) Pre-distorted image to be projected on the reflector
Download Original Figure

원뿔형 반사경을 제작하여 추가 실험을 진행한 결과, 투사된 파노라마 스크린의 이미지가 낮게 투사되고, 높이도 낮아 실제로 사용하기에는 어려움이 있다는 것을 확인할 수 있었다.

3. 실험 조건

3.1.1 반구형 반사경

사전연구에 사용되었던 원뿔형 반사경은 Figure 5에서 확인한 바와 같이 파노라마 스크린에 투사된 이미지 높이가 낮기 때문에 스크린 전체에 영상이 투영 되지 못하는 한계를 극복할 필요가 있으며, 투영된 영상의 높이를 획기적으로 높일 수 있는 방법을 찾아야 했다.

우리는 반사 단면이 직선을 형성하는 월뿔형 반사경과는 다르게 반사 단면이 곡선을 이루는 반구형 반사경이 사용 된다면 비록 각 픽셀들의 크기가 커지면서 해상도 손실이 우려 되지만 Figure 6와 같이 영상의 반사 범위가 넓어지면서 파노라마 스크린의 상당부분을 영상으로 채울 수 있을 것으로 판단하였다. 반구형 반사경은 이미지가 반사되어 투사되는 높이가 파노라마 스크린 하단부터 천정까지 반사되기 때문에 Figure 6의 오른쪽 이미지 같이 천장으로 가는 이미지의 중앙 부분을 블랙 처리를 하고 원형이미지의 나머지 부분을 투사할 이미지 영역으로 사용 하였다. 그렇지만 가상현실 공간 연출 구현을 위하여 천정까지 영상을 투사할 필요가 있는 돔 스크린과 같은 구조에서는 반사경의 상단까지 모두 사용하는 것이 가능하다.

jkcgs-26-3-133-g6
Figure 6: (Left) The hemispherical reflector for a 360-degree panorama and the path through which the image of a virtual image installed on one projector is projected. (Right) 16:9 image should be projected on the reflector.
Download Original Figure

반구형 반사경 제작방법은 평면 아크릴에 열을 가한 뒤 철판에 원형 구멍을 낸 틀을 아크릴 위에 두고 밑에서 바람을 불어 만든다. 그 뒤에 알루미늄 조각을 투명 반구 내면에 흡착시켜 미러 효과를 나게 한다. 알루미늄으로 미러 처리를 낸 반구 반사경은 분광측색계(CM-2500D)를 통해 반사율측정값인 90%의 반사율을 보이게 된다. 실제 주문제작을 통해 완성된 반구형 반사경은 Figure 7이다.

jkcgs-26-3-133-g7
Figure 7: Hemispherical reflector (radius 8 cm, acrylic, aluminum coating)
Download Original Figure
3.1.2 파노라마 투사용 스크린

영상이 실제로 투사될 3면 파노라마 스크린 Figure 8은 스크린에 투사된 이미지를 알아보기 쉽게 흰색으로 칠해졌으면 높이 2m, 가로세로 3.2m 로 제작 되었다.

jkcgs-26-3-133-g8
Figure 8: (Left) Real view of the panoramic screen for the experiment viewed from the front (Right) Design image of the panoramic screen viewed in cross section
Download Original Figure
3.1.3 실험용 프로젝터

프로젝터는 엡손 EB – L1075U 제품으로 4K 해상도를 지원한다. 보다 높은 해상도를 이용하여 이미지를 투사하기 위해서이다. 반구형 반사경에 투사하기 위하여 프로젝터를 Figure 9처럼 아래쪽으로 향하게 설치하였다. 반사경 거치대에 거치된 반사경에 투사할 수 있게 투사 된 이미지를 좌, 우, 상, 하 이동이 가능한 렌즈 시프트 기능이 있다.

jkcgs-26-3-133-g9
Figure 9: EB – L1075U Laser projector
Download Original Figure

대부분 프로젝터에서는 렌즈시프트를 지원 하지 않아 연구에 적합하지 않다. EB – L1075U 에는 Vertical: ± 67.00 % Horizontal: ± 30.00 % 만큼의 렌즈 시프트 기능이 있다. Figure 10과 같이 프로젝터를 투사된 이미지를 상 67% 하 67% 좌 30% 우 30% 만큼 이동시킬 수 있으며 이미지를 정중앙에 투사하여 반구형 반사경에 반사시켜 파노라마를 형성 할 수 있다.

jkcgs-26-3-133-g10
Figure 10: Images projected on the projector's wall can be moved vertically and horizontally
Download Original Figure

EB - L1075U 프로젝터에는 기존 렌즈에서 Epson ELPLU03 Short-throw Lens 광각렌즈로 교체를 하였다. 렌즈를 교체한 이유는 기존 렌즈는 엡손 공식 프로젝터 투사 거리계산 소프트에서 최소 포커스 지점이 1.53m이지만 광각렌즈로 교체하면 최소 포커스 지점이 1.11m이다. 광각렌즈로 사용하는 경우에는 기존 렌즈보다 반구형 반사경을 Figure 11처럼 프로젝터 렌즈에 더 가까이 설치 할 수 있다. 반구형 반사경을 렌즈에 가깝게 배치하기 위해 엡손에서 제공하는 포커스 지점이 아닌 광각렌즈의 실제 투사된 포커스 지점 위치를 알아 볼 필요가 있다. 이를 위해 프로젝터 렌즈 원점으로 부터 1.11m거리에 화이트보드를 설치 한 뒤 투사거리를 1cm씩 점 점 좁혀 나갔을 때 렌즈 포커스 원점에서부터 37cm 거리에서 포커스 시작 지점을 확인 할 수 있다.

jkcgs-26-3-133-g11
Figure 11: Projector's existing lens throw distance and wide-angle lens throw distance virtual image
Download Original Figure
3.1.4 실험에 사용한 이미지

사전 왜곡 이미지 제작을 위해 유니티에서 사용할 수 있는 최고 해상도인 8192 x 2040 4가지 이미지를 사용했다. 이는 Figure 12에서 확인 할 수 있다.

jkcgs-26-3-133-g12
Figure 12: Top to bottom rainbow image, vertical image, zigzag image, city image
Download Original Figure

임의로 제작한 3가지 파노라마 이미지와 1개의 파노라마 이미지의 사용목적은 상이 왜곡되지 않고 정확하게 나열되는지, 명도, 채도, 색상등을 확인 하기 위해서 이다. 첫 번째 무지개 이미지는 파노라마 스크린에 정확한 수평으로 나오는지 확인하기 위한 목적이고, 두 번째 수직 이미지는 파노라마 스크린에 투사 시, 이미지가 4등분으로 해서 투사되는지와 수직으로 투사 되는지 확인하기 위한 목적이다. 세 번째 지그재그 이미지는 파노라마 스크린에 대각선으로 투사되는지 확인하기 위한 목적이고, 네 번째 도시 이미지는 투사 된 이미지가 원본과 선명도를 대조하기 위함 목적으로 각각 사용하였다.

3.2 360도 파노라마를 위한 사전 왜곡 이미지 생성 방법
3.2.1 사전 왜곡 이미지 제작을 위한 Unity 설정

파노라마 스크린에 투사하게 될 사전 왜곡 이미지 제작은 실제 실험 현장과 동일한 파노라마 스크린 높이와 프로젝터, 반구형 반사경을등을 3D 모델공간에 배치한뒤 사전 왜곡 이미지 촬영을 위해 프로젝터 렌즈와 동일한 위치에 가상카메라를 둔다. 그래야 실제 프로젝터 투사 시 동일한 값을 얻을 수 있는 부분으로 유추한다. 사전 왜곡 이미지 생성 프로그램은 Unity 의 C# 스크립팅과 컴퓨트 쉐이더에서 HLSL를 사용하여 구현했다. 아래 Figure 13의 화면은 사전 왜곡 이미지생성 프로그램 관련 씬들 이다.

jkcgs-26-3-133-g13
Figure 13: (Left) Unity pre-distorted image production space is in the same condition as the experiment site. (Right) Scene of pre-distorted image creation program
Download Original Figure

Figure 14에서 Unity에서 생성된 사각방 파노라마 스크린에 텍스쳐 매핑된 이미지는 레이트레이싱 프로그램을 거쳐 반구형 반사경에 이미지가 맺히게 된다. 반구형 반사경에 맺힌 이미지는 사전 왜곡 이미지가 되고 반구형 반사경 위에 아래로 향한 가상카메라를 통해 실제 실험에 사용할 사전 왜곡 이미지 Figure 15가 생성이 된다.

jkcgs-26-3-133-g14
Figure 14: Image schematically showing the sequence for creating pre-distorted images in Unity.
Download Original Figure
jkcgs-26-3-133-g15
Figure 15: Rainbow images, vertical images, zigzag images, and city images were produced as pre-distortion images.
Download Original Figure

사전 왜곡 이미지를 만들기 위한 순서는 다음과 같다. 1. 가상 카메라에서 나온 광선이 카메라가 보는 방향으로 발사하고 반구형 반사경 메시와 충돌 검사를 진행한다. 2. 충돌한 광선이 반사되어 스크린 메쉬와 충돌 여부를 체크 하며 충돌한 점의 색 정보와 UV 좌표를 가져온다. 3. 파노라마 스크린 메쉬 충돌에 성공하면, 반구형 반사경에 출발한 광선의 시작점의 UV와 파노라마 스크린 충돌점의 UV을 무게중심 좌표계에서 다시 3D 좌표계로 역변환하여 새로운 UV 좌표를 얻는다. 충돌시 얻은 색으로 새로운 UV 좌표에다 맵핑한다. 그리고 충돌에 실패한 광선들은 사용하지 않는다.

실험에 사용할 4가지 이미지를 유니티 사전 왜곡 이미지 생성 프로그램으로 제작하면 링 형태로 보이게 된다. 반구형 반사경이 렌즈와 멀어질수록 사전 왜곡 이미지도 작아진다. 링 형태로 제작된 사전 왜곡 이미지는 사이즈가 작아서 실제 투사 했을 시 픽셀이 많지 않아 원본이미지에 비해 선명도 부분에서 손실이 생겨서 보완해야 한다.

3.3 360도 파노라마를 위한 반구형 반사경 설치

반사경 거치대 Figure 16은 알루미늄 가로세로1cm 사각 빈 파이프를 프로젝터 사이즈에 맞게 자른 후 3d프린트로 관절을 제작하여 연결하였다. 반사경은 프로젝터 거치시 반사경이 상, 하, 좌, 우 이동이 편리하게 설계하였다. 반사경 거치대에 반구형 반사경 사이즈에 맞는 받침대 위에 올라가 있는 반구형 반사경은 아래로 향해 있는 프로젝터의 렌즈와의 거리를 조절 할 수 있다. 반사경이 달라지거나 사이즈에 맞는 받침대를 빼고 끼우기 쉽게 받침대가 만들어져 있다. 실험을 위해 거치한 반구형 반사경 맨 위 꼭지 점 과 프로젝터 렌즈의 거리는 위에서 언급한 프로젝터의 포커스 시작 지점인 37cm 이다.

jkcgs-26-3-133-g16
Figure 16: Hemispherical reflector Hemispherical reflector installed on a pedestal
Download Original Figure

4. 실험과 결과

4.1 사각형 실험 및 이중반사
4.1.1 사각형이미지 투사 실험

4가지 이미지 투사실험에 앞서 사각형 이미지를 Figure 17처럼 사각형 꼭지점 마다 서로 붙게 한뒤 대각선으로 나열한다. 나열한 사각형이미지는 앞서 언급한 프로젝터 렌즈의 포커스 시작 지점인 37cm의 거리를 두고 사전 왜곡 이미지로 제작한다. 제작 된 이미지는 Figure 18 이다. 파노라마 스크린에 투사시 스크린 1면마다 20개의 사각형이 몇 개가 투사되고 실제 사각형으로도 투사되는지 확인 해보았다.

jkcgs-26-3-133-g17
Figure 17: (Left) Rectangle white red image with 8192 x 2040 resolution (Right) 100x100 pixels per square
Download Original Figure
jkcgs-26-3-133-g18
Figure 18: Pre-distorted image produced in Unity using Figure 17
Download Original Figure

임의로 제작한 사각이미지를 사전 왜곡 이미지화 시킨 부분을 확대해서 보면 Figure 19에서 오른쪽 위 아래처럼 사각형이 얇아진걸 볼 수 있다. 특히 위 아래 흰색은 거의 없다 싶이 해져서 실제 투사시에도 없을것으로 예상했다.

jkcgs-26-3-133-g19
Figure 19: (Left) The distorted image is divided into eight equal parts at 1000 x 1000 pixels in the middle part. (Right) Enlarged view of 1 and 2
Download Original Figure
4.1.2 사각형 실험 결과

Figure 20은 사전 왜곡 이미지를 프로젝터에서 투사한 뒤 반구형 반사경에 반사시켜 파노라마 스크린에 투사된 모습이다. 파노라마 스크린에 투사된 사각형 이미지는 실제 사각형으로 보이지 않으며 위아래 흰색 부분이 대부분 보이지 않는 것으로 확인됐다. 각각의 면마다 17~19개의 사각형 이미지가 투사 되었다. Unity에서 제작된 실제와 동일한 실험 공간에서 얻은 사전 왜곡 이미지가 실제로 투사되면 실제 파노라마 스크린 상부에서 하단까지 맺히게 될 줄 알았으나 실제로는 그렇게 되지 않았다. 아주 미세한 거리나 각도 등에 영향을 미칠 수도 있지만 반구형 반사경 제작 시 틀에 찍어 만든 것이 아니라 수작업으로 제작된 것이기에 미세한 각도에도 이미지가 불균형하게 나올 수도 있는 부분이기 때문에 향후 추가 제작을 통해 개선해 나가야 한다.

jkcgs-26-3-133-g20
Figure 20: Panorama 3-sided screen 1. Left screen 2. Front screen 3. Right screen
Download Original Figure
4.1.3 이중 반사 현상

사각형 이미지 실험에서 파노라마 스크린에 투사된 이미지의 중간부터 하단까지 원래 투사된 이미지의 상단 부에서 같은 그림이 1개 포착되고 그 아래로 여러 개로 보이는 현상이 Figure 21에서 생겼다.

jkcgs-26-3-133-g21
Figure 21: Afterimages caused by double reflections on a panoramic screen. Image Afterimage at the top of the square image (A) Multiple afterimage at the bottom of the square image (B)
Download Original Figure

Figure 22에서 보듯이 프로젝터에서 투사된 이미지가 수직으로 내려가서 반사 될 때 반구형 반사경 표면 아크릴(1) 에서 첫 번째 반사(A)가 일어나고 반구형 반사경 내면에 처리된 미러(2) 에서 실제 반사(B)가 일어난다. 그리고 (B)에서 반사된 이미지가 반구형 반사경 아크릴 표면(1)에서 반사 되어 반구형 반사경 내면 미러 부분에서 반사되어 잔상들을 파노라마 스크린에 투사된 이미지의 상단 하단 부분에 생성하게 된다. 이는 일반적인 반사경의 제작 방식이 반사물질을 반구의 외곽이 아닌 내면에 증착하는 방법을 선택하고 있기 때문이다. 반사물질을 외곽에 직접 증착할 수도 있지만 이 경우, 표면에 생기는 기포로 인하여 반사경의 품질이 현저하게 저하되기에 사용되지 않고 있다. 그러므로 반사경이 가지는 이중 반사라는 물리적인 특성을 개선할 수 있는 방법이 현 단계에서는 없어 보이므로 콘텐츠를 제작할 때, 인지하고 있어야 하고 이에 대한 별도의 연구가 필요해 보인다.

jkcgs-26-3-133-g22
Figure 22: Example image of double reflection occurring in a hemispherical reflector
Download Original Figure
4.2 4가지 파노라마 이미지를 이용한 투사 실험

Figure 23은 4가지의 파노라마 이미지를 Unity에서 사전 왜곡 이미지생성 프로그램으로 사전 왜곡 이미지를 제작하였고, 프로젝터에서 반구형 반사경에 투사된 이미지가 반사되어 파노라마 스크린에 투사된 모습이다. Unity 사전 왜곡 생성 이미지 프로그램에서 보았던 사각 공간 모델링 내면에 맵핑된 텍스쳐와 파노라마 스크린에 투사된 파노라마 이미지와의 색상, 명도, 채도 및 높이 차이가 있지만 대부분 비슷한 모습을 보였다. 단 하단부분에서 이중 반사를 통해 생성된 이미지들이 서로 겹쳐서 흐리게 보이는 부분을 볼 수 있다.

jkcgs-26-3-133-g23
Figure 23: (Left) Image texture mapping of a three-sided panoramic screen in Unity (Right) Panorama image projected on the panorama screen
Download Original Figure

5. 결론

우리는 실험을 통하여 1대의 프로젝터와 프로젝터에 근접하게 설치된 반구형 반사경에 투사하여 바닥으로부터 1.5m 높이를 가지는 360도 파노라마 이미지가 파노라마 스크린에 투영 되는 것을 확인할 수 있었다. 본 연구방법을 적용할 경우, 관람자로 인하여 발생하는 그림자를 최소화화 하면서 관람자의 동선을 제약하지 않으면서 콘텐츠를 감상할 수 있을 것으로 보인다. 하지만 파노라마 원본이미지를 사전 왜곡 이미지로 생성 시, 원본이미지에 비해 영상의 픽셀수가 줄어들어 360도 파노라마 투사 시 원본에 비해 선명도가 떨어지는 문제와 반구형 반사경이 가지는 이중반사현상에 대한 보완이 필요하므로 이를 개선하기 위한 후속 연구를 진행할 필요가 있다.

감사의 글

본 논문의 일부분은 “한국콘텐츠진흥원 2019 문화기술 연구 지원 사업”의 지원에 의하여 연구되었습니다.

References

[2].

Michal Irani, P. Anandan, and Steve Hsu “Mosaic Based Representations of Video Sequences and Their Applications” IEEE, pp. 605-611, 1995

[4].

Paul Bourke, Graphite (ACM Siggraph) “Using a spherical mirror for projection into immersive environments“ Dunedin Nov/Dec 2005, Proceedings of the 3rd international conference on Computer graphics and interactive techniques in Australasia and South East Asia. pp 281-284, 2005

[5].

Bumki Kim, Jungjin Lee, Younghui Kim, Seunghwa Jeong, Junyong Noh “Omnidirectional Environmental Projection Mapping with Single Projector and Single Spherical Mirror” Journal of the Korea Computer Graphics Society, Vol. 21, No. 1, pp. 1-11, 2015

[6].

Lee Jungjik, Park Yoenyong, Jung Moonryul “Cylinderic panorama fog screen” The HCI Society of Korea, pp. 737-739, 2019

<저자소개>

이 정 직

jkcgs-26-3-133-g24

  • 2009년 재능대학교 재즈음악과 전문학사

  • 2014년 서울예술대학교 미디어 창작학부 학사

  • 2019년 서강대학교 영상대학원 예술공학과 석사수료

  • 관심분야: 음악공연, 미디어아트, 인공지능

박 연 용

jkcgs-26-3-133-g25

  • 1992년 서울예술대학교 연극과 전문학사

  • 2005년 Accademia di Belle Arti di Brera(Italia, Milano) Scenografia 학사

  • 2015년 서강대학교 영상대학원 예술공학과 석사

  • 2017년 서강대학교 영상대학원 영상예술공학과 박사과정 수료

  • 관심분야: 무대공연, 홀로그램, 피지컬 미디어

이 윤 상

jkcgs-26-3-133-g26

  • 서강대학교 게임교육원 게임프로그래밍과 재학 중

  • 관심분야 : 컴퓨터 그래픽스, 게임 프로그래밍

이 준 엽

jkcgs-26-3-133-g27

  • 서강대학교 게임교육원 게임프로그래밍과 재학 중

  • 관심분야 : 컴퓨터 그래픽스

정 은 영

jkcgs-26-3-133-g28

  • 서강대학교 화공생명공학과 재학 중

  • 관심분야: 데이터 과학, 계산화학 시뮬레이션

유 림

jkcgs-26-3-133-g29

  • 2018년 경희대학교 전자공학과 학사

  • 서강대학교 일반대학원 아트앤테크놀로지학과 재학 중

  • 관심분야 : 인공지능, 미디어 아트

강 명 진

jkcgs-26-3-133-g30

  • 홍익대학교 학사

  • 서강대학교 일반대학원 아트앤테크놀로지학과 재학 중

  • 관심분야 : 인공지능, 미디어 아트

정 문 열

jkcgs-26-3-133-g31

  • 1980년 서울대학교 계산통계학과 학사

  • 1982년 카이스트 계산통계학과 석사

  • 1992년 Univ. of Pennsylvania 계산통계학과 박사

  • 1992년 ~ 1994년 큐슈공과대학교 전자공학부 조교수

  • 1994년 ~ 1999년 숭실대학교 컴퓨터공학부 부교수

  • 1999년 ~ 현재 서강대학교 아트&테크놀로지 학과/영상대학원 교수

  • 관심분야: 피지컬 미디어, 두뇌동역학 모델링, 인공자연 예술