1. 서론
확장현실(eXtended Reality: XR)은 가상현실(Virtual Reality: VR), 증강현실(Augmented Reality: AR)과 혼합현실(Mixed Reality: MR) 기술을 활용하여 확장된 세상을 창조하는 초실감형 기술을 말한다[1]. 확장현실에 기반한 콘텐츠는 기존 2D 서비스에 비해 풍부한 정보를 제공할 수 있으며, 제한된 장소에 다양한 체험과 경험을 통해 높은 몰입감을 느낄 수 있다는 장점이 있다[2]. 최근 확장현실을 활용한 연구는 활발하게 진행되고 있으며, 엔터테인먼트, 제조 산업 및 교육, 의료용 목적 등 다양한 산업에서 활용 중이다[3].
확장현실 기술 중 증강현실은 현실 세계에 가상 객체를 결합하여 상호작용을 하며 현실 공간에 가상 객체를 배치하는 기술이다[4]. 증강현실 기술은 사용자에게 장소의 가치를 부여하는 경험을 제공하기 위해 위치 정보를 활용하기도 한다[5]. 이러한 위치 기반 증강현실은 사용자의 물리적 위치 정보와 기기를 통해 바라보는 방향을 바탕으로 가상 객체를 증강한다. 이 기술은 주로 GPS와 같은 다양한 센서와 카메라가 탑재된 스마트폰을 활용한다. 스마트폰을 기반으로 하는 증강현실은 다양한 소프트웨어 개발 키트(SDK)를 통해 손쉽게 개발할 수 있는 환경이 조성되어 있다. 그러나 스마트폰을 활용하는 증강현실은 작은 디스플레이 등의 한계로 몰입도를 제공하기 어렵다는 한계가 있다[6].
한편 확장현실의 기술 발전과 함께 메타 퀘스트3, 애플 비전 프로와 같은 혼합현실 기반 HMD(Head Mounted Display)가 출시되고 있다. 이러한 HMD를 활용한 확장현실은 현실 정보에 기반한 콘텐츠를 통해 사용자에게 몰입과 경험의 가치를 제고한다[7]. HMD는 점점 경량화되고 있으며 광학적 혼합현실을 제공하는 스마트 안경에 대한 연구도 활발히 진행되고 있다. 경량화된 기기를 활용한 혼합현실은 시각 장애인을 위한 시각 보조 기술이나 정보의 시각화를 제공하며 실외에서 활용될 때 삶의 질을 높이는 가능성을 지닌다[8]. 따라서 HMD의 실외 활용 가능성은 점차 높아지고 있다. 상술한 바와 같이 위치 기반 증강현실을 구현하기 위해서는 실외에서 사용자 위치를 파악하는 것이 필요하다. 하지만 상용 HMD의 경우 정확한 사용자 위치를 파악할 수 있는 GPS 센서가 없고, 기기에 부착된 센서나 카메라가 햇빛에 민감하게 반응하는 등 실외 환경에서 사용하는 것에 여러 제한점이 있다[9, 10]. 그러므로 실외에서 HMD를 활용하는 방법에 대한 연구 필요성이 대두되었다.
본 논문은 실외 환경에서 상용 HMD를 활용하는 연구를 처음으로 시도하며 HMD에서 실시간 위치 정보를 활용해 현실 세계와 가상 객체 간 상호작용을 경험하는 확장현실 구현 방법을 제안한다. 또한, 제안하는 방법을 검증하기 위해 사용자가 위치한 곳에서 해당 장소의 과거 사진을 증강하여 한 장소에서 자유롭게 시간을 넘나들 수 있는 시공간 연동 경험을 제공하는 콘텐츠를 제작하였다.
2. 관련 연구
위치 기반 서비스(Location Based Service: LBS)는 이동 통신의 발전으로 실외에서 어플리케이션 사용이 가능해지면서 크게 성장했다[11]. LBS 어플리케이션은 사용자에게 정보를 인터페이스를 통해 시각적으로 전달하는 방식을 사용한다. 주로 스마트폰에서 사용되었지만 360o 인터페이스를 제공하는 HMD와 같은 새로운 기기들의 등장으로 LBS의 제공 범위가 확장되었다[12].
위치 기반 서비스 중 위치 기반 증강현실은 사용자의 위치 정보를 추적하여 장소에 맞는 가상 객체를 배치하고 가상 객체와 상호작용을 제공한다. 이 기술은 추상적인 것을 시각화하거나 공간 정보를 묘사할 때 활용된다[5]. 그러나 단순히 위치 정보만 활용하여 배치할 경우 정렬 과정에 문제가 생기거나 떨림 현상이 일어날 수 있다. 따라서 위치 정보뿐만 아니라 증강현실이 구현되는 기기의 회전 및 방향 정보를 함께 고려해야 한다[13].
위치 기반 증강현실에서 가상 객체는 장소의 정보, 사진이나 3D 모델 등이 사용된다. 대표적인 위치 기반 증강현실 사례로 ‘포켓몬고’가 있다. 포켓몬고는 현실 세계와 가상 환경 사이를 넘나드는 위치 기반 증강현실 게임이다. 포켓몬고에서 위치 정보를 사용하는 것은 사용자의 상호작용을 위해 중요한 요소로 사용되었다[14]. 위치 기반 증강현실을 활용하여 과거 사진을 현재의 모습과 중첩하여 보여주는 콘텐츠를 구현한 연구도 있었다[15]. 사진이 가지고 있는 위치, 방향과 시야각 정보는 가상 객체로서 사진을 배치할 때 중요하게 사용된다[16].
본 연구에서는 위치 정보를 기반으로 사진을 배치하기 위해 GPS 센서를 통해 사용자의 위치를 얻고, 배치할 사진의 위치와 방향을 추정하여 현실 위치에 증강하였다.
HMD를 활용하여 위치 기반 증강현실을 구현하려는 연구도 진행되고 있다. 실외 활동인 스포츠를 위해 다양한 센서를 부착한 HMD를 제작하거나[17] 혼합현실을 제공하는 홀로렌즈와 같은 HMD를 활용하여 내비게이션을 구현하려는 연구가 있다[18]. 그러나 단순한 가상 객체나 정보 증강 이상으로 직접적인 상호작용을 하는 연구 사례는 거의 없다.
혼합현실 기반 HMD를 활용하면 현실 공간과 가상 환경을 결합하여 단순히 보는 것에서 더 나아가 손의 움직임으로 가상 객체와 상호작용까지 할 수 있다.
최근 출시된 메타 퀘스트3은 깊이 카메라를 활용한 혼합현실 경험을 지원하고[19] 애플 비전 프로는 더 나아가 라이다 센서를 통해 더욱 정밀한 공간 인식을 가능하게 했다[20]. 현재 대부분의 HMD는 카메라 정보에 접근할 수 없기 때문에 컴퓨터 비전과 같이 이미지를 활용할 수 있는 기술을 사용할 수 없다.
따라서 본 연구는 센서 정보에 기반한 증강현실을 구현하기 위해 실외에서 사용할 수 있는 센서인 GPS 센서와 HMD 내부에 있는 회전 센서를 활용하는 위치 기반 기술과 가상 객체와 사용자의 손이 상호작용이 가능한 확장현실 구현 방법을 연구하였다.
3. HMD 기반 시공간 연동 확장현실 설계
Figure 1은 본 연구에서 제안하는 HMD 기반 시공간 연동 확장현실 설계도이다. 실외에서 HMD를 착용하고 현실과 가상 객체인 사진을 함께 보고 사진과 직접적인 상호작용을 할 수 있도록 한다.
구현을 위해 사용자의 위치 정보와 현실 세계에 배치되어야 하는 사진의 위치 정보를 활용하였다. 스마트폰의 GPS 센서에서 얻은 위도, 경도 값을 서버를 통해 HMD로 전달하고, HMD에서 얻은 방향 정보를 결합하여 사용자의 위치를 결정하였다. 결정된 위치 정보는 사용자가 위치한 곳을 확인하고 사진이 배치될 위치를 결정할 때 사용하였다.
사진은 사용자가 위치한 지점(POI: Point of Interest)을 촬영한 시대별 과거 사진을 활용하였으며 사진을 촬영한 위치와 방향 정보를 추정하여 사진을 증강할 위치를 결정하였다.
본 연구에서 활용한 HMD는 메타 퀘스트3으로 혼합현실 기능인 '패스 스루(Passthrough)'와 사용자 손 인식을 지원하는 기기이다. 패스 스루 기능을 통해 사용자는 POI의 현재 모습과 사진을 통한 과거 모습을 함께 볼 수 있고 본 연구에서 제작한 시간 제어 인터페이스에서 손 제스처를 통해 원하는 시대를 선택할 수 있다. POI는 광화문을 사용하였다. 광화문은 시대별 자료가 많은 곳이자 서울 시민과 외국인들이 선호하는 랜드마크이므로 향후 콘텐츠로 활용할 가능성이 높을 것으로 예상하여 선정하였다.
Figure 2는 제안하는 방법에 대한 개념도이다. 현실 세계에 배치된 사진과 그림은 POI의 다양한 시기 이미지로 사용자는 원하는 위치에서 POI의 여러 시대 모습을 혼합현실로 체험할 수 있다.
GPS 센서가 없는 메타 퀘스트3은 위치 정보를 알아내기 위해 와이파이 포지셔닝 시스템(Wi-Fi Positioning System: WPS)을 활용한다. WPS는 와이파이 공유기(Access Point: AP)의 개수에 따라 정확도가 크게 차이나기 때문에 실외에서 정확한 위치를 추적하기에 어려움이 있다.
Figure 3과 같이 근처에 AP가 10개 미만인 곳에서 WPS를 통해 얻은 위도, 경도 값과 GPS 센서를 통해 얻은 위도, 경도 값을 지도에서 비교하였을 때 약 100m 이상의 오차가 발생하는 것을 확인하였다. 반면 AP가 30개 이상인 장소에서는 GPS와 약 15m 차이가 나며 비교적 높은 정확도를 보였다. HMD는 실외에서 위치 정보를 받아올 수 있음을 확인하였지만, 근처 AP의 개수가 충분하지 않다면 정확한 위치 정보를 파악하기 어렵다는 것을 확인했다. 따라서 위도, 경도 값은 스마트폰을 통해 받아오는 방법을 사용하였다. 스마트폰에서 GPS 센서를 통해 얻은 실시간 위도, 경도 값을 서버에 전송하여 HMD로 전달하도록 하였다.
전달받은 사용자의 위치 정보가 POI의 위도, 경도 값을 기준으로 설정한 임계값(본 실험에서는 150미터로 설정) 이내에 들어온 것으로 인식하면 사진 증강 시스템이 활성화된다. 사용자와 POI 사이의 거리는 유클리드 거리 식을 통해 계산했다.
(x1, y1): POI의 위도, 경도 값
(x2, y2): 사용자의 위도, 경도 값
POI를 바라보는 지점(Viewpoint)은 좌측, 우측과 중앙 두 곳 총 4곳으로 특정하였다.
사진이 가지고 있는 위치 정보와 추정한 방향을 활용하여 Viewpoint에서 광화문을 바라보는 모습과 유사하게 촬영된 사진을 증강하였다. Figure 4처럼 사용자의 위치가 특정한 지점(Viewpoint)이고, 광화문을 바라본다면 사진이 알맞은 위치에 배치된다.
HMD가 바라보는 방향은 유니티3D에서 제공하는 OVRCamera 객체의 회전 정보를 활용하였다. HMD가 북쪽을 바라보도록 한 상태에서 회전을 (0, 0, 0)으로 초기화 하고, 이후에 광화문을 바라본 상태의 회전 값이 초기 상태에서 어떻게 변화했는지를 확인하여 사용자가 어느 방향을 바라보고 있는지 결정하였다.
메타 퀘스트3에서 지원하는 ‘패스 스루(Passthrough)’ 기능을 사용하여 카메라를 통한 현실 화면과 가상 객체인 광화문의 과거 사진을 함께 보고 더 나아가 가상 세계와 현실 세계 간 상호작용을 경험할 수 있도록 하였다[19].
사용자의 위치 정보를 기준으로 배치된 사진은 현실 세계 위에 배치되는 것으로 사용자는 패스 스루 기능을 통해 바라보고 있는 현재 광화문 위에 과거의 광화문 사진이 올라간 화면을 볼 수 있다.
GPS 정보 활용이 활성화된 기기에서 촬영한 사진은 사진 데이터에 위치 정보를 확인할 수 있다. 하지만 GPS 정보를 활용할 수 없는 기기에서 촬영되었을 경우 촬영된 위치를 정확히 알아낼 수 없다. 본 연구에서 활용한 광화문의 과거 사진은 대부분 위치 정보가 없는 사진들로 사진이 촬영된 위치를 결정하는 과정이 필요했다.
사진에서 정확한 위치 정보를 확인할 수 있는 경우에는 사진에 저장된 정보를 활용하였다. 하지만 위치 정보가 없는 사진을 증강하는 경우 사진에서 보이는 광화문의 크기와 방향을 통해 촬영된 위치를 추정하였다.
사진의 위치 정보는 사진을 증강할 때 활용하였다. Figure 5는 사용자의 위치와 사진의 증강 위치를 지도 위에 표시한 사진이다. 사용자와 사진의 위치 정보를 비교하여 얻은 거리 차이와 방향 정보로 사진이 배치될 위치를 결정하였다.
사용자의 위치 정보에 배치된 사진이 특정한 위치와 방향에 부합하여 사진이 증강되고 난 이후에 사용자의 작은 움직임에도 사진이 떨리는 현상을 없애기 위해 HMD의 속도와 각속도 정보를 활용하였다. 두 센서 정보를 더 안정적으로 사용하기 위해 상보 필터(Complementary Filter)를 사용하였다. 필터를 통해 보정된 값은 사용자의 방향 회전 정보를 보다 구체적으로 알아낼 수 있게 한다. 사용자의 움직임이 특정 수준 이하 값을 가지고 있다면 증강된 사진은 고정되어 있고, 특정 수준 이상의 값을 가진다면 값의 정보에 따라 사진의 증강 위치를 변경한다.
메타 퀘스트3에서 지원하는 ‘핸드 트래킹(Hand Tracking)’ 기능을 통해 사용자가 원하는 시대를 선택할 수 있는 인터페이스를 설계하였다. 핸드 트래킹 기능은 HMD의 카메라를 이용하여 손의 위치와 방향, 손가락의 배열을 감지한 후 컴퓨터 비전 알고리즘을 사용하여 손의 움직임과 방향을 추적한다[21].
POI 근처 Viewpoint에 도착하면 방향을 초기화하는 단계를 먼저 거친다. 방향이 초기화된 이후에는 사용자가 광화문을 바라보는 방향과 Viewpoint 위치에 따라 알맞은 사진을 배치한다. 방향을 초기화하면 Figure 6처럼 현재 POI 모습 위에 과거 사진이 배치된다.
사용자는 원하는 시대를 선택할 수 있다. 원하는 시대를 선택하기 위해 미리 설정해둔 손 모양을 취해야 한다. Figure 7의 왼쪽 사진은 손 모양이 인식된 후 원하는 시대로 조정할 수 있는 스크롤바가 나온 모습이다. 스크롤바를 옆으로 밀어 원하는 시대로 변경하면 Figure 7의 오른쪽 사진처럼 선택한 시대에 맞는 사진으로 변경되는 모습을 확인할 수 있다.
4. 실험 및 구현 결과
본 연구는 상용 HMD를 실외에서 활용하는 것을 처음으로 시도하며 기기의 실외 활용 가능성을 실험을 통해 확인하고자 하였다. 확인을 위해 핵심적으로 사용한 아이디어는 HMD에서 스마트폰의 GPS 정보를 활용하는 것과 실외 환경에서 증강된 사진과 사용자와의 상호작용을 제공하는 것이다.
HMD에서 GPS 정보를 활용하여 사진을 증강하는 방법을 검증하기 위해 본 연구에서 사례로 결정한 광화문에서 실험을 진행하였다.
Viewpoint에서 증강할 사진들은 과거부터 지금까지 모습이 담긴 광화문의 그림이나 사진으로 시간 제어를 통한 사진의 시대 변화를 경험할 수 있도록 시대별로 다양한 사진들을 직접 수집하였다. 사진이 촬영된 위치와 방향을 기준으로 4곳의 Viewpoint 중 알맞은 곳에서 증강하도록 분류하고 GPS 센서 정보를 통해 사용자의 위치를 인식하여 알맞은 곳에 사진이 증강되는지 실험을 통해 확인하였다.
Figure 8은 사용자가 볼 수 있는 첫 화면으로 GPS 정보를 전송하라는 안내 문구를 보여주며 방향을 초기화한다. Figure 8의 오른쪽 사진은 스마트폰에 있는 GPS 정보 전달 버튼으로 해당 버튼을 클릭하면 HMD로 GPS 정보가 전달된다.
GPS 정보를 통해 확인한 사용자의 위치가 광화문 근처 Viewpoint에 도착한 것이 확인되면 Figure 9처럼 Viewpoint에 맞는 사진이 배치된다. 사진이 배치된 이후에 사용자가 고개만 돌려서 다른 곳을 보더라도 사진의 위치는 변화하지 않는다. 하지만 만약 사용자가 장소를 옮겨 Viewpoint가 달라졌다고 판단이 되면 Figure 9의 오른쪽 모습처럼 옮겨진 장소에 맞는 사진 배치로 변경된다.
지속적인 위치 변경과 회전 값 변경으로 인해 센서값에 오류가 생길 수 있다. 오류는 사진이 부정확한 장소에 배치되거나 떨림 현상을 발생시킬 수 있다. 이런 상황에서 사용자는 방향을 다시 초기화할 수 있다.
Figure 10은 메타 퀘스트3가 사용자의 손을 인식한 화면이다. 사용자가 시간 제어 인터페이스를 사용하기 위해서는 지정한 제스처를 취해야 한다. 손 모양은 Unity에서 미리 지정해두었다. Figure 10의 오른쪽 사진은 제스처를 취한 모습이다. 사용자가 알맞은 제스처를 취하게 되면 Figure 11의 모습처럼 시대를 조정할 수 있는 UI가 뜬다.
Figure 12의 왼쪽 사진은 시간 조정 인터페이스를 통해서 원하는 시대로 돌리기 전 모습으로 조선시대의 광화문을 기록한 그림이 증강되어 있다. Figure 12의 오른쪽 사진은 시간 제어 UI를 통해서 사용자가 선택한 1950년대 사진이 증강된 모습이다. 이처럼 사용자는 자유로운 시간 제어를 통해 원하는 시대의 모습을 확인할 수 있다.
본 연구는 몇 가지 한계점이 있다. 첫 번째로, 하드웨어 기능 부족에 의한 제약이다. 연구에서 사용한 메타 퀘스트3은 햇빛에 노출되면 센서와 디스플레이가 영구적으로 손상될 수 있어[8] 직사광선에 영향을 받지 않는 환경에서만 사용할 수 있었다.
두 번째로, 메타 퀘스트3 등의 상용 HMD는 카메라 정보에 접근하지 못하기 때문에 이미지 기반 기술은 사용하지 못하였다. 향후 카메라에 접근이 가능해지거나 별도의 카메라를 부착하여 사용한다면 컴퓨터 비전 기술을 활용하여 가상 객체를 더욱 정밀한 위치에 배치할 수 있게 될 것이다.
5. 결론
본 연구에서는 HMD에서 실외 위치 정보를 활용하여 가상 객체를 증강하고 가상 객체와 사용자의 실시간 상호작용을 통한 시공간 연동 확장현실을 구현하는 방법을 제안했다.
스마트폰의 GPS 센서를 활용하여 실외에서 HMD를 착용한 사용자의 위치를 확인하고, 사용자의 위치 정보를 통해 사진이 배치될 위치를 결정하는 과정을 통해 HMD의 실외 활용 방법에 대해 확인하였다.
본 연구는 주로 실내에서 사용하던 HMD를 실외에서 활용할 수 있는 가능성을 확인하며 HMD를 통한 새로운 경험을 제공하는 것에 의의가 있다.
향후 HMD의 실외 사용 기술을 개선하여 자유롭게 시공간을 넘나드는 경험을 제공하는 시공간 연동 메타버스 연구로 확장할 예정이다.
