PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 1 Article
Metrics (View:4,813)
1. 서론
이미 많은 연구개발이 진행된 가상현실 (VR: virtual reality)，증 강현실 (AR: argumented reality)과 함께 혼합현실 (MR: mixed reality)을 위한 상용 디 바이스들이 출시되고 있다 [1，2]. VR은 현 실공간과 차폐 된 HMD (Head-mounted Display)를 착용하고 완전 가상공간을 사용자가 체험하는 시스템이고，AR은 카메라로 촬영 된 실사 영상 위에 3D 렌더링 이미지 합성하여 디스플레이 하는 시스템이다. 반면 MR은 현실세계의 스캔 정보를 기반으로 작동 하기 때문에 가상 물체와 실제 물체 간의 상호작용이 가능하다는 점이 큰 특징이다 [3，4]. 따라서 현실세계에 존재하는 물체에 의 해 가상 물체가 가려지거나 충돌하는 등의 현상을 사실적으로 표현할 수 있다 (실제로 이러한 기능은 최신 AR 디바이스들도 지원하기 시작했다). 또한 실세계를 볼 수 있는 반투명 디스플 레이를 사용하기 때문에 VR 콘텐츠 체험과정에서 나타나는 매 스꺼움, 두통 등의 문제가 거의 없다는 장점이 있다. 하지만 MR HMD에서 영상이 출력되는 디스플레이 영역이 VRHMD에 비해 상대적으로 작기 때문에 체험자의 시야각 (FOV: field of view)이 매우 좁다는 심각한 한계를 갖는다. 실제로, MR HMD 제품 가 운데 2018년에 발표된 Magic Leap사의 Magic Leap One은 가로 40도，세로 30도로 4:3 비율의 해상도를 지니고 있다 [5]. 이처럼 비 교적 최 신 HMD도 만족할만한 시 야각을 충족시 키 지 못하고 있 는데，이는 일반 VR HMD의 100도가 넘는 시야각에 비해 턱 없이 부족하다. 이 러한 제약으로 인해 일반 사용자들은 MR 콘텐츠에 대한 체험에서 몰입감을 느끼지 못하고, MR 응용 분야 확대 속 도도 매우 더 딘 상황이다.
본 논문은 앞서 설명한 좁은 시야각 문제를 완화하고 사용자 들에게 높은 몰입감을 제공하기 위한 새로운 시스템인 Beyond the Sight (BtS)에 대해 설명한다. 시스템 구현과 실험 과정에서 마이크로소프트 (Microsoft)사의 홀로렌즈 (HoloLens) 개발자 버 전 [6]을 사용하였으나 그 이외의 MR HMD를 활용하는 것도 가 능하다. 참고로 홀로렌즈의 하드웨어 사양은 표 1과 같다. 대부분 의 MR HMD 시야각은 상당히 좁기 때문에 가까운 거리의 가상 물체를 보았을 때 전체적인 형태를 볼 수 없고 양쪽 눈의 시차 를 활용하여 원근감을 표현하므로 최소한의 거리가 필요하다. 그림 1은 HoloLens, Magic Leap One을 통해 보이는 영역이 매우 좁다는 사실을 직관적으로 보여주고 있다.
| FOV | 30 (horizontal), 17 (vertical) |
| Resolution | 720 p (16:9) |
| Max frame rate | 60 fps |
| Interface | gesture, voice |
| IDE | Unity3d [7] |
본 논문에서는 M대의 MR HMD를 N대 의 빔 프로젝 터 와 연동 시켰다. HMD에서 표현 불가능한 바깥 쪽 부분을 프로젝션 이미 지를 배경으로 채우고，HMD에서 보이는 객체들과 동기화하는 방식으로 좁은 시야각 문제를 완화려고 하였다 [8]. N대의 프로 젝터를 연속적으로 연결하여 넓은 범위를 디스플레이할 수 있으 므로 더욱 몰입감있고 압도적 인 장면을 연출할 수 있다. 이를 위 해서 프로젝션 매핑 (projection mapping) 기능을 지원하는 전용 소프트웨어를 개발하였다. 또한 Μ대의 HMD와 N대의 디스플 레이 장치를 연동하기 위한 기능도 개발하였다. 프로젝터는 고성 능 PC에 연결되기 때문에 낮은 성능의 무선 연결 HMD와는 달리 고화질의 렌더 링 영상 출력이 가능하다는 장점을 갖는다. 하지만 프로젝터는 2D 영상을 사영하므로 3D 영상을 출력하는 HMD와 괴리감이 생길 수밖에 없다. 이를 최소화하기 위한 해결책으로 본 논문에서는 프로젝션된 평면 영상의 2D 객체가 HMD에서 3D 로 스크린에서 튀어나오는 기능을 구현함으로써 좁은 시이각을 넓히고자 하였다. 빔 프로젝터와 MR HMD의 연동을 위해서는 다음과 같은 기능의 구현이 필요하다:
2. 시스템구성
본 BtS 시스템은 N대의 빔 프로젝터와 Μ대의 MR HMD로 구 성된다. 물론 프로젝터는 고화질 TV나 LED 패널 어레이 (panel array) 등의 다양한 디스플레이 장치로 대치될 수 있다. 그림 2 은 BtS 시스템의 디스플레이 하드웨어 구축 사례를 보여준다. 그림 2(a)은 두 대의 프로젝터 중 한 대는 바닥에 다른 하나는 벽에 영상을 출력하고 있다. 그림 2(b)는 한 대의 프로젝터는 테이블 위에 영상을 출력하고, 두 벽면에 TV를 설치한 경우이다. TV는 프로젝터에 비해 고해상도 영상을 생성하는 비용이 상대적으로 높다는 단점이 있지만，보다 밝고 선명한 영상을 디스플레이 할 수 있다는 장점을 갖는다. 그림 2(c)는 두 대의 대형 프로젝터를 사용하여 몰입감 높은 쇼케이스 (showcase) 공간을 구축한 사례 로, 실물 크기 객체의 사실적 디스플레이가 필요한 대규모 전시 행사를 위해 활용될 수 있다. 참고로，이후 설명될 BtS 시스템은 그림 2(c)의 형태로 구축하는 경우를 가정한다.
클라이언트-서버 모델 [11] 기반으로 개발된 BtS 시스템의 전 체적인 수행 흐름은 그림 3과 같다. 시스템을 관리하는 System Manager, HMD와의 동기화 (synchronization)를 담당하는 Object Synchronization, 여 러 대의 디스플레이 장치를 캘리브레이션 하 는 Calibration Module, 최종 렌더 링 영상을 저장하는 Renderer, 그리고 복수의 프로젝터에 영상을 출력하는 Multiple Projection Mapping이 핵심 모듈이다.
디스플레이 영상과 서버에 연결된 HMD간의 통신 동기화를 담당하는 Server는 콘텐츠에서 각 이벤트 마다 발생하는 트리거 (trigger)를 연결된 모든 클라이언트들에게 브로드캐스팅(broad-casting) 하는 방식으로 실시간 렌더 링 장면(scene)을 동기화한다.
3. 캘리브레이션
본 절 에서는 빔 프로젝 터들과 MR HMD들 사이 의 캘 리브레 이션 방법에 대해 설명한다. 본 시스템은 다양한 분야에서 사용되는 프로젝션 매핑 (projection mapping) 기법을 사용하여 빔 프로젝 터들의 영상을 캘리브레이션 한다. 션 매핑으로 인해 변화된 영상 크기를 고려하기 위한 MR HMD 와 프로젝터의 캘리브레이션 방법을 소개한다.
프로젝터가 생성하는 영상에서의 객체 크기와 MR HMD에서 보 이는 객체의 크기는 동일해야 한다. MR HMD는 현실 공간에 3D 오브젝트를 배치하기 때문에 크기와 길이를 나타내는 단위가 중 요하다. 실제로 HMD의 1 m 단위는 콘텐츠 개발 환경 인 Unity3d 의 단위 1과 동일하다. 예를 들어, 가로 세로 0.5 m 크기의 객체를 생성하려면 Unity3d에서 x,y,z 축으로 0.5 단위의 객체를 만들 면 된다. 이러한 특성을 프로젝터에서 적용하기 위해서 HMD의 단위와 프로젝터에서 표출된 영상의 크기를 동일하게 조절해야 한다. 우선 개별 영상 연결을 위한 프로젝터들 간 캘리브레이션을 완료한 후, 프로젝션 된 객체의 크기에 따라 HMD에 디스플레이 되는 객체의 크기를 맞춤으로써 두 디바이스가 생성하는 객체들 의 크기가 일치하게 된다. 이와같은 각장치들 간의 캘리브레이션 작업을 효율적으로 수행하기 위해 전용 소프트웨어를 개발하였 다 (그림 4 참조).
인접한 빔 프로젝터들이 생성하는 영상의 모서 리 연결 부분에 서 나타나는 불일치 문제는 전용 캘리브레이션 소프트웨어를 이 용해 해결한다. 먼저 위치를 잡기위해 그림 4의 Grid 버튼을 선택 하면 각 프로젝션 영상에 격자가 나타나게 된다. 이 격자의 연결 부분을 Move Plane, Rotate, Zoom 메뉴를 이용해 정 렬할 수 있고, 프로젝터의 뒤틀림은 Vertex 기능을 이용해 그림 4의 Plane 각 꼭 지점을 이동시킴으로써 수정할 수 있다. 최종적으로 자연스럽게 연결된 격자 영상이 완성되면 Save 버튼을눌러 현재까지 설정된 파라미터 값을 저장하고, 이 후에는 Load 기능으로 재사용할 수 있다. 그 밖의 기능으로 카메라 위치 변경, FOV 조절, NearPlane 거리 설정 등의 옵션이 제공된다. 그림 5은세 대의 빔 프로젝터에 대해 캘리브레이션이 완료된 결과를 보여준다.
앞서 설명했던 프로젝터 간 캘리브레이션을 진행하면 프로젝터 에서 벽에 사영하는 영상의 크기가 변하게 된다. 그러면 개발 툴 인 Unity3d에서 장면 구성 중 정의했던 맵의 크기와 객체들의 크 기 또한 바뀌게 된다. 반면 MR HMD는 실제 눈에 보이는 오브 젝트의 크기에 맞춰 장면을 구성한다. 이를 맞춰 주어야 MR용 HMD와 프로젝터 영상의 오브젝트 크기가 동일하게 되어 정확 한 BtS 환경을 구성할 수 있다. 크기를 맞추기 위해 길이 단위를 통일해야 한다. Unity3d의 단위 1은 MR HMD에서 사용하는 현 실 공간의 1 m를 의미하므로 Unity3d 프로젝트 내에서 구성했 던 길이를 기준 값 1로 설정한다. 다음으로 프로젝터로 보여지는 객체의 크기를 이에 대입하여 크기의 비율을 구한다. 그림 6은 Unity3d 프로젝트 안에서 지정한 격자로 Unity3d 단위로 높이가 1 인 객체이다. 이를 프로젝터를 이용해 출력하면 Unity3d 단위 1 에 대한 비율을 측정할 수 있고, 이렇게 구해진 비율을 모든 HMD 맵 구성 최상위 객체에 대입하여 프로젝터와 HMD의 스케일을 통일시킬 수 있다.
4. 렌더링공간분할
일단 빔 프로젝터와 MR HMD 사이 에 렌더 링 장면에 대한 스케 일 값이 결정되면，각 디바이스 별로 렌더링을 담당할 공간을 분할 하게 된다. 그림 7은 프로젝터와 HMD의 렌더 링 공간을 어떻게 나누는지 보여준다. 프로젝터 영상이 사영되는 스크린을 기준으 로 HMD 렌더 링 공간과 프로젝터 렌더 링 공간을 분리한다. 그림 7(a)에서 스크린을 기준으로 HMD를 착용한 사용자가 위치하 는 공간을 MR 디 스플레 이 영 역 이 라 부르고，그 반대 부분인 스크 린 뒤쪽 공간은 프로젝터 디스플레이 영역이라고 말할 수 있다. 다시말해 프로젝터가 스크린에 영상을 표출하기 때문에 HMD를 착용한 사람의 입장에서 보면 스크린에 투사된 프로젝터 영상은 스크린을 넘 어선(beyond the screen) 세계를 볼 수 있는 창으로 생 각할 수 있다. 결국 프로젝터의 큰 영상을 배경으로 MR HMD를 통해 객체를 정합하게 되므로 좁은 시야각으로인해 볼 수 없는 영 역을 프로젝션 영상으로 보완하게 된다.
프로젝 터와 MR HMD 디 바이스의 렌더 링 공간을 분리하기 위해 프로젝터의 영상이 사영되는 스크린을 기준으로 두 디바이스의 객체를 잘라(clipping) 주어야한다 [12]. 먼저 프로젝터 에서 디스 플레이 장치 영역의 객체를잘라주기 위해 프로젝터 가상 렌더링 카메라 속성 중 near clipping의 거 리를 변경해주어야 한다. 이것 은 카메라의 위치에서 어느 정도 거리 이상부터 렌더링을 할지 결정하는 속성으로 이를 조절하여 스크린 안쪽을 잘라준다. 그림 8(a)은 카메라 속성을 변경하여 렌더링된 최종 이미지를 보여 준다. MR HMD에서는 프로젝터와는 반대로 MR HMD 디스플 레이 영 역의 렌더 링 결과만 보여주어야 한다. 하지만 MR HMD 는 착용자의 시점이 실시간으로 변경되기 때문에 프로젝터처럼 가상 카메라 속성을 조절하여 설정할 수가 없다. 그래서 스크린 위치에 클리핑 평면을 쉐이더(Shader)로 구현 및 배치하여 디스 플레이 장치 영역의 렌더링 영상을 볼 수 없도록 하였다 [13]. 그림 8(b)를 보면 자동차 뒷 부분이 잘린걸 볼 수 있다.
프로젝터와 MR HMD의 클리핑 설정을 통해 두 디바이스의 클리핑 평면을 통과하는 객체는 스크린에서 3D 오브젝트가 튀어 나오는 효과를 줄 수 있다. 그림 8(c)는 실제 플레이 화면으로 두 클리핑 평면을 통과하여 스크린 안으로 들어가는 자동차를 보여 준다.
그림 9는 프로젝터 영상을 렌더링하기 위한 가상 카메라를 배치 한 것으로 2대의 디스플레이 장치를 사용했기 때문에 카메라 아 이콘 2개가 존재한다. 그림 9에서 카메라 아이콘에서부터 뻗어 나가는 삼각형의 형태는 가상 카메라의 렌더링 영역을 표현한 것이다.
그런데 벽 바깥쪽 두 가상 카메라의 렌더링 영역 사이에 사각 지대가 존재한다. 이 부분은 각 가상 카메라간의 렌더링 영역이 정확히 겹치지 않아 생기는 영역이다. 두 카메라의 영역을 정확 히 일치시키지 않으면 프로젝터에서 사영하는 영상이 스크린에 서 연결되지 않고 단락이 생기게 된다. 이러한 문제는 프로젝터 영상이 표출되는 실제 벽의 각도와관련이 높으며 벽 사이의 각도 에 따라 생기는 사각지대의 영역의 범위가 달라진다. 사각지대를 없애기 위해서는 가상 카메라들의 렌더 링 영 역의 경계가 일치해 야한다. 경계를 일치시키기 위해 표출되는 영상의 종횡비(aspect ratio)를 변경하여 가상 카메라의 경계를 평행하게 맞춰준다. 그림 10는 BtS 시스템 내부의 카메라 종횡비 설정이 완료된 결과 이다.
5. 좌표계공유
본절에서는빔프로젝터와MR HMD의객체와장면을공유하기 위한 좌표계 설정 방법을 설명한다. 프로젝터 영상과 MR HMD 의 렌더링 결과를 같은 위치에 표현하기 위한 좌표계는 다음과 같다:
MR HMD는 처음 어플리케이션이 실행된 위치를 월드 좌표계 로 설정한다. 따라서 다수의 HMD가 개별적으로 어플리케이션 을 실행하면 각자의 월드 좌표계를 설정하기 때문에 같은 좌표로 오브젝트를 위치시켜도 각각의 HMD는 다른 곳에 오브젝트를 렌더링하여 같은 장면을 공유하지 못할 것이다. 그러므로 이를 위해 모든 HMD가공통적으로 사용할 수 있는 기준이 되는 좌표 계를 생성해야한다. 식 (1)은 MR HMD에서 사용하는 좌표계를 나타낸다. MR의특성상크기는동일하므로회전 R과 이동 T만을 사용한다. c는 좌표계 상의위치를 나타낸다.
F’는 처음 서버에 접속한 MR HMD의 월드 좌표계로 이후 접 속하는 MR HMD의 기 준 좌표계가 된다. 기 준 좌표계를 모든 MR HMD가 사용하려 면 자신의 월드 좌표계 F에서 F’로 변환할 행 렬 보을 HMD 마다 구해야한다. 각 MR HMD의 변환 행 렬 M은 BtS 에서 사용하는 MR 장비인 홀로렌즈의 Sharing Anchor 기능을 활용하여 구하였다 [14].
이번에는 프로젝터에서 사영되는 스크린 영상의 객체와 MR HMD의 객체들의 좌표를 맞춰주기 위한 방법을 설명한다. 식 (2) 는 MR HMD의 좌표인 F’에 프로젝터 스크린 영상의 위치로 변 환하는 행렬 P를 곱해 최종적으로 산출해 내야하는 행렬 P’을 나타낸다. 식 (1)과 다르게 프로젝터 영상은 스크린 크기 에 따라 영상 크기가 변하므로 스크린에 보이는 객체의 크기와 MR HMD 에서 보이는 객체 크기를 동일하게 맞춰주기 위해 크기 조절 행 렬인 S가 존재한다. 크기인 S를 구하는 방법은 콘텐츠 프로젝트 내부에 존재하는 객체의 크기를 기준으로 스크린에 보이는 영상 크기와 비교하여 측정한다(3.2 참조).
회전과 이동 행렬인 R과T를구해야한다. 그림 11처럼 프로젝 터 에서 마커를 출력하고 MR HMD로 인식하여 마커를 프로젝터 의 영상 좌표계로 사용한다 [15]. 이렇게 생성된 P 행렬을 MR HMD에 적용하면 최종 좌표계가 완성된다. 콘텐츠 내부에서는 마커를 출력한 위치를 원점으로하고 콘텐츠 내부 씬을 구성하 여야한다. 생성된 좌표계인 식 (2)의 F’과 P를 서버에 저장하여 다른 디바이스가 연결되어도 사용할 수 있도록 한다.
이렇게 생성된 좌표계를 모든 MR HMD 의 기준 좌표계로 사용 하면 프로젝 터 와 N대 의 HMD간의 객 체 정 보를 공유할 수 있다. 그림 12는 본 BtS에서 사용되는 MR HMD간의 좌표계 공유와 프로젝터 영상 좌표계 설정 방법을 순서대로 설명하는 그림이다.
다음은 그림 12의 MR용 HMD와 디스플레이 장치 의 좌표계 공유 순서에 따른 방법에 대해 설명한다.
-
MR HMD 간 좌표계
그림 12의 첫 번째 단계로, 처음 접속한 MR 디 바이 스의 월드 좌표 위치를 다른 MR 디바이스에서 기준 좌표계로 사용하 기 위해 좌표 정보를 서버에 업로드한다. 이후 접속한 다른 MR 디 바이스 장치들은 기준 좌표계를 서 버로부터 내 려받 아 좌표계로 사용한다. 이 상태에서는 모든 MR 디바이스는 좌표계를 공유하므로 같은 씬을 공유한다.
-
디스플레이 장치 좌표계
그림 12의 두번째 상태이다. 프로젝터에서는 그림 11 와같이 프로젝터에서 마커를 출력하고 이를 MR 디바이스로 인식 하여 마커를 기준으로 새로운 좌표계를 만든다. 이렇게 되면 MR HMD의 마커 좌표계와 프로젝터 에서 출력하는 영상의 원점이 동일하게 된다. 그리고 생성된 좌표계를 서버에 저장 한다.
-
프로젝 터 와 MR HMD 좌표계
1단계와2단계가 종료되면 모든 행렬은 서버에 저장되게 된 다. 그 후 새로운 MR 디 바이 스 유저가 서 버 에 접속하면 MR HMD는 서버에 업로드 되어 있는 기준 좌표계를 다운로드 하고 MR HMD 간의 좌표계가 설정 된다. 그 디스플레이 좌 표계를 서 버로부터 식 2의 P 행렬을 다운로드 받아 자신의 좌표계로 사용하면 매번 마커를 볼 필요 없이 모든 MR용 HMD와 디스플레이 장치의 좌표계와 객체들의 위치가 동 일하게 설정된다.
그림 13은 위의 단계를 흐름도로 만든 것이다.
6. 콘텐츠 활용 예
이 절에서는 지금까지 설명한 BtS 기능을 활용하여 제작된 세 종 류의 콘텐츠를 소개한다.
콘텐츠 Under the Sea는 그림 2(c)와 같이 두 대 의 빔 프로젝 터를 활용한 대화면 콘텐츠이다 (그림 14 참조). 이것은 두 개의 프로 젝션 매핑 벽면 앞에 위치한 체험자에게 심해로 들어온 것 같은 몰입감을 제공한다. MR HMD를 착용한 체험자는 바다 밑을 헤 엄치는 물고기와 상어들을 보며 콘텐츠를 체험한다.
그림 15는 그림 2(a)처럼 2개의 빔 프로젝터를 사용하여 책상과 벽에 영상을 사영한 신개념 게임 콘텐츠이다. MR용 HMD의 불 편한 인터페이스를 개선하고 사용자 조작감을 높이기 위해 테블 릿을활용하여 인터페이스를 대체하였고 최대 4명의 플레이어가 동시에 참가는 멀티플레이 게임이다. 게임은 공룡들을 주인공으 로 하며 평 화롭게 살고 있는 공룡 마을에 나쁜 공룡들이 침 입 하는 것을 방어한다는 내용으로 이벤트 발생시 불타는 운석이 벽쪽 스 크린에서 책상위로 날아오거나(그림 15(a) 참조) 적공룡이 튀어 나오는 등의 내용이 포함되 었다.
콘텐츠 Mr. Showcase는 실측 사이즈 객체의 쇼케이스 룸 구축을 위한 콘텐츠이다. 자동차 소개 목적으로 개발되었으며, 그림 16 에서 실제 크기의 자동차가 2D 프로젝터 영 역과 3D MR HMD 영 역을 넘나들며 이동하는 것을 관찰할 수 있다. 또한 자동차를 정지시켜놓고 실내 디자인과 외부 프레임등을 자세히 확인할 수 있다.
소개한 콘텐츠들은자체 제작된 SpectatorView [16] 시스템과 연동 가능하므로 MR HMD를 착용하지 않은 주변 관찰자들이 보는 제3자 시점의 합성 영상도 디스플레이 할 수 있다. 참고로, 그림 14, 16들은 SpectatorView를 이용해 촬영한 것이다
7. 결론 및 향후 연구
최근 다양한 MR용 HMD가 출시되고 있으며 본 논문에서 사용한 MR 디바이스인 홀로렌즈도 2019년 초에 새로운 버전인 홀로렌 즈 2로 업그레 이드 되 었다. 하지만 홀로렌즈 2도 기존 홀로렌즈 에 비해 약 2배 이상 영상 면적이 넓어졌지만 VR HMD에 비해 시야각은 좁다. 새로운 디바이스에 대한 기대감이 높았지만 아직 부족한 디바이스의 문제를 해결하기 위해 BtS 시스템은 하나의 대 안이 될 수 있다. 디 스플레 이 장치 와 MR용 HMD를 연동하여 MR 디바이스들의 시야각 문제를 해결하고 디스플레이 장치와 MR 디바이스간 표현 영역의 분리를 통해서 2D 영상에서 3D 오 브젝트가 튀어나오는 효과를 제작할 수 있다. 이를 통해 보다 다 양한 MR 콘텐츠 제작과 활용 영 역의 확대를 목표로 했다. 대단 위의 쇼케이스를 위한 대형 프로젝터부터 소규모 콘텐츠를 위한 TV나 모니터까지 지원하는 캘리브레이션 소프트웨어를 제작하 여 누구든지 쉽게 BtS 기능을 사용할수 있는 기반을마련하였다.
BtS 시스템은 현재 디스플레이 장치의 영상이 출력되는 영역 이 평탄해야만 하는 단점 이 존재한다. 가령 다각형 벽 면을 하나의 프로젝터로 영상을 출력하면 다각형에 의한 영상 왜곡이 생기게 되고 MR용 HMD와 연동시에 원하지 않았던 위치에 오브젝트가 나타나게 되거나 크기 및 형태가 맞지 않게 된다. 그리고 여러 대의 빔 프로젝터를 사용할 때에도 프로젝터들이 유효한 각도를 이루도록 설치되어야 한다. 이러한 제약을 극복하기 위해 향후 연구에서는 다각형 벽면에도 영상이 제대로 출력되는 캘리브레 이션 기능을 추가할 계획이다 [17, 18]. 또한 MR HMD는 1 인칭 시점으로 자유롭게 이동하면서 콘텐츠를 체험하지만 프로젝터 에서는 고정된 가상 카메라 위치에서 렌더링 되는 영상이 출력 된다. 이 상황에서 체험자의 시점 변화로 생기는 2D와 3D 사이 변환 오차를 최소화하기 위해 프로젝 터 의 가상 카메 라에 대한 최 적 위치를 찾는 알고리즘을 개발이 필요하다.
