Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

메타 퀘스트 프로를 활용한 혼합현실과 가상현실 기반의 몰입형 콘텐츠 제작 및 경험에 관한 연구

김종선1https://orcid.org/0009-0006-2478-0314, 공수민1https://orcid.org/0009-0002-0021-9718, 장문수1https://orcid.org/0009-0003-6210-1202, 김진모1,*https://orcid.org/0000-0002-1663-9306
Jongseon Kim1https://orcid.org/0009-0006-2478-0314, Sumin Kong1https://orcid.org/0009-0002-0021-9718, Moonsu Jang1https://orcid.org/0009-0003-6210-1202, Jinmo Kim1,*https://orcid.org/0000-0002-1663-9306
1한성대학교 컴퓨터공학부
1Division of Computer Engineering, Hansung University
*corresponding author: Jinmo Kim/ Hansung University (jinmo.kim@hansung.ac.kr)

© Copyright 2024 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 15, 2024; Revised: Jul 02, 2024; Accepted: Jul 05, 2024

Published Online: Jul 25, 2024

요약

본 연구는 혼합현실 사용자와 가상현실 사용자가 함께 참여하여 상호작용하는 비대칭 가상환경으로 메타 퀘스트 프로를 활용한 몰입형 콘텐츠 제작공정을 정리한다. 이를 기반으로 사용자의 체험 환경이 제공하는 현존감과 경험의 차이를 비교 분석한다. 제안하는 제작공정은 유니티 3D 엔진을 기반으로 Meta XR All-in-One SDK를 활용하여 통합 개발환경을 구축하는 것이다. 이는 현실 세계의 혼합현실 사용자와 가상 장면을 기반으로 하는 가상현실 사용자가 고정된 좌표에서 유기적이고 정확한 상호작용을 위하여 Room Model 기능을 활용한 현실 공간 분석 방법을 포함한다. 이를 토대로, 본 연구는 혼합현실 사용자와 가상현실 사용자가 함께 활동하는 몰입형 탁구 콘텐츠를 제작한다. 마지막으로, 제작된 콘텐츠를 활용하여 플랫폼 및 참여 방식의 차이가 현존감과 경험에 미치는 영향을 비교 분석하기 위한 설문 실험을 진행한다. 그 결과, 본 연구는 현실과 가상이 대응되는 체험 환경 내에서 모든 사용자가 만족하는 현존감과 경험을 느낄 수 있음을 확인하였다.

Abstract

This study organizes an immersive content production pipeline using Meta Quest Pro as an asymmetric virtual environment where mixed reality(MR) and virtual reality(VR) users participate and interact together. Based on this, we compare and analyze the differences in presence and experience provided by the user's experience environment. The proposed production process is to build an integrated development environment using Meta XR All-in-One SDK based on the Unity 3D engine. This includes a real space analysis method using the Room Model function for organic and accurate interaction between MR users in the real world and VR users based on virtual scenes at fixed coordinates. Based on this, this study produces immersive table tennis content where MR and VR users participate together. Finally, we conduct survey experiments to compare and analyze the effects of differences in platform and participation methods on presence and experience using the produced content. As a result, this study confirmed that all users can feel a satisfactory presence and experience within an experience environment where real and virtual correspond.

Keywords: 혼합현실; 가상현실; 몰입형 콘텐츠; 비대칭 가상환경; 메타 퀘스트 프로
Keywords: Mixed reality; virtual reality; immersive contents; asymmetric virtual environments; Meta Quest Pro

1. 서론

가상현실(Virtual Reality, VR)은 현실과 유사한 경험을 제공하거나 현실에서 경험하기 힘든 새롭고 다양한 경험을 제공하기 위한 기술로 활용된다, 최근에는 다양한 가상현실 HMD(Head Mounted Display)를 토대로 한 입체적인 시각정보로부터 몰입감 높은 체험 환경을 제공하는 다양한 실감형 콘텐츠들이 제작되고 있다. 이와 더불어, 손, 시선 등의 추적을 통한 몰입형 상호작용, 그리고 청각, 촉각 등의 감각을 기반으로 가상과 현실의 경계를 허물어 보다 높은 현실적 경험을 제공하는 기술로 발전하고 있다[1].

증강현실(Augmented Reality, AR)은 실제로 존재하는 현실의 환경 위에 가상의 사물이나 정보를 합성하여 마치 실제로 존재하는 사물, 환경처럼 보이도록 하는 기술이다. 그리고 혼합현실(Mixed Reality, MR)은 여기서 더 나아가 가상과 현실의 정보를 결합하여 융합시키는 공간을 만드는 기술이다. 궁극적으로, 증강현실과 가상현실의 장점을 함께 살려 진화된 가상세계를 표현할 수 있다. 이러한 기술은 교육, 의료, 공학 등 다양한 영역에서 폭넓게 활용되고 있다[2]. 특히, 혼합현실은 가상과 실제 세계를 혼합하고 두 공간 사이에서 정확하고, 자연스러운 상호작용을 통해 향상된 몰입과 경험을 제공하는 것이 중요하다. 이와 관련하여 가상현실에서 의미론적으로 적응 가능한 증강현실 경험을 제공할 수 있는 ScalAR 연구가 진행되기도 하였다. 이는 증강현실로부터 수집된 현실 공간정보를 토대로 가상현실에서 디자이너가 의미적 연관성을 저작하고 이를 토대로 현실에서의 경험을 확장할 수 있는 기술을 제안하였다[3].

현실을 기반으로 디지털화된 가상환경은 가상현실, 증강현실, 그리고 혼합현실을 아우르는 확장현실(eXtended Reality, XR) 기술을 기반으로 사용자가 높은 몰입, 다양한 경험, 그리고 새로운 활동 등을 수행할 수 있는 체험 환경으로 연구가 발전되고 있다[4-6]. 그리고, 다수의 사용자가 함께 협업하는 협업 가상환경에 관한 연구들[7, 8]을 시작으로 비몰입형 사용자와 몰입형 사용자가 상호작용[9], 가상현실 사용자와 증강현실 사용자의 비대칭 상호작용[10] 등 비대칭 가상환경과 관련된 응용 연구들이 현재까지도 다양한 플랫폼을 고려하거나 인터페이스를 제안하는 등의 방향으로 진행되고 있다[11, 12].

본 연구는 확장현실 기술을 기반으로 다양한 플랫폼의 사용자가 함께 참여하는 협업 확장현실(XR) 환경과 관련된 응용 연구[13]를 토대로 메타 퀘스트 프로 (Meta Quest Pro)를 활용한 혼합현실과 가상현실 사용자가 함께 참여하는 몰입형 콘텐츠 제작공정을 정리한다. 그리고 같은 체험 환경, 상호작용 등의 조건에서 현실을 기반으로 체험하는 혼합현실 사용자와 그래픽 환경에서의 가상현실 사용자의 현존감, 경험을 비교 분석하고자 한다. 다음은 본 연구의 핵심 목표를 정리한 것이다.

  1. 혼합현실과 가상현실 사용자 참여를 고려한 몰입형 콘텐츠 제작공정 정리: 현실과 가상으로 구분되는 두 사용자가 같은 고정 좌표를 기준으로 장면을 해석하고, 유기적이고 정확한 상호작용이 가능한 협업 환경을 통한 몰입형 콘텐츠 제작공정을 정리한다.

  2. 협업 환경에서의 사용자 현존감 및 경험 비교분석: 몰입형 탁구 콘텐츠 제작을 통해 협업 환경에서의 혼합현실 사용자와 가상현실 사용자의 현존감과 경험을 비교하여 분석하기 위한 설문 실험 진행한다.

2. 관련연구

원거리에 분산된 여러 사용자가 주어진 상호작용을 기반으로 협업하는 협업 가상 환경(Collaborative Virtual Environments, CVEs)에 관한 연구는 PC, 모바일을 기반으로 키보드, 마우스 또는 터치 등을 통해 WIMP(window, icon, menu, pointer)와 같은 전통적인 인터페이스를 활용하여 상호작용하는 것은 물론 가상현실, 증강현실 등 몰입형 기술과 결합하여 현실과 유사한 환경에서 언어적 의사소통, 시선, 행동 등 비언어적 의사소통이 결합하여 몰입감 높은 협업 환경을 제공하는 방향으로 연구가 진행되고 있다. Le et al.[14]은 스마트폰이 대중화되는 환경에서 모바일 장치를 통해 원격으로 참가하는 사용자들 간의 창의적 협업을 위한 몰입형 환경을 제안하였다. 그리고 모바일 기반의 증강현실 기술이 발전과 함께 3차원 객체의 공동 조작을 위한 핸드헬드 기반의 인터페이스(handheld-based interface) 디자인을 제시하고, 모바일 증강현실 환경에서 협업 3차원 상호작용 기술을 평가하였다[15]. 최근에는 가상현실 HMD (Head Mounted Display)의 보급을 통해 다수의 가상현실 사용자들이 참여하는 협업 환경에서 향상된 현존감과 경험을 제공함을 목적으로 협업기반 다수 사용자 상호작용 방법을 제안하기도 하였다[8].

PC, 모바일 등과 같은 대중적인 기기는 물론 가상현실, 증강현실 기술을 활용한 몰입형 기기를 사용하는 사용자들까지 다양한 플랫폼(크로스 플랫폼, 이기종 크로스 기기), 입력 방식을 갖춘 다수의 사용자가 함께 참여하여 협업 또는 상호작용하는 비대칭 가상환경에 관한 연구들이 주목받고 있다. PC 또는 테이블 탑 시뮬레이터 등 비몰입형 기기와 가상현실 HMD를 활용한 몰입형 사용자 사이의 비대칭 협업 구조에서 상호작용하는 연구들이 진행되었다[16]. 또한, 모바일 증강현실과 가상현실 사용자의 협업 환경과 이를 기반으로 협업 과정에서의 특징, 성능을 분석하기도 하였다[17]. Cho et al.[10]은 모바일 증강현실 사용자와 가상현실 사용자가 함께 참여하는 비대칭 가상환경에서 플랫폼, 입력 방식의 차이 및 특징을 고려한 상호작용과 인터페이스를 기반으로 한 협업 환경을 제안하였다. 이외에도, 사용자의 특성을 구분하고 각자의 참여 방식에 따른 역할을 설정하여 차별화된 경험 및 가상환경에 대한 사용자별 현존감을 비교 분석하는 연구들이 진행되기도 하였다[9, 18]. 가상 협업 환경과 비대칭 가상환경에 관한 여러 연구를 기반으로 다양한 산업 분야로 활용하거나 응용 방향을 제시하고 있는 상황이다[13, 19, 20].

혼합현실 사용자와 가상현실 사용자가 같은 체험 환경에서 협업 및 의사소통하기 위해서는 공간 전체에 대한 해석과 더불어 협업, 소통, 상호작용에 필요한 고정된 좌표의 계산, 상호작용성 객체의 정의 등 현실과 가상에 대한 통일된 정보를 계산하고, 분석하는 과정이 필요하다. 이러한 배경에서 실내 장면을 3차원으로 캡처 및 스캔하고 걷기 가능한 영역을 매핑하여 가상환경을 생성하는 과정을 통해 가상현실 사용자가 현실 세계를 기반으로 실제와 같은 걷기를 표현할 수 있는 Oasis를 제안하기도 하였다[21]. 또한, 작업 공간의 3차원 재구성을 통해 혼합현실 환경에서의 원격 협업을 개선하기 위한 연구[22], 디지털 트윈을 통해 가상현실에서 증강현실 데이터를 시각화하는 연구[23] 등이 제안되었다. 결국, 현실을 기반으로 하는 증강현실 또는 혼합현실 사용자와 가상환경에 존재하는 가상현실 사용자가 같은 체험 공간에서 활동하며 상호작용하는 콘텐츠, 시스템으로 응용 및 발전되고 있다. Radu et al.[24]은 증강현실, 혼합현실, 그리고 가상현실을 병합하여 각각의 작업자가 3차원 물리적 객체에 관하여 토론, 탐색, 학습할 수 있는 원격 협업을 위한 시스템을 제안하였다. 그리고 Scott et al.[25]은 실제 박물관을 배경으로 모바일 증강현실 사용자와 가상현실 사용자가 현장에서 직접 또는 원격으로 같은 박물관에 접속하여 물리적 공간을 공유하고, 상호작용하는 연구를 진행하였다. 본 연구 역시, 혼합현실 사용자와 가상현실 사용자가 같은 물리적 공간에서 함께 또는 원격으로 참여하여 상호작용을 수행하는 과정에서 사용자의 경험을 분석하는 연구를 진행하고자 한다. 이를 위해 메타 퀘스트 프로를 활용한 몰입형 콘텐츠 제작공정을 정리하고, 이를 기반으로 탁구를 주제로 하는 콘텐츠를 직접 제작하여 사용자별 경험을 비교 분석하고자 한다.

3. 협업 환경 구축

3.1 개발 도구

본 연구는 메타 퀘스트 프로를 활용하여 혼합현실 사용자와 가상현실 사용자가 함께 참여하는 비대칭 가상환경에서의 몰입형 콘텐츠 제작을 위하여 개발 도구 및 공정을 정리한다. 콘텐츠 제작은 유니티 3D 엔진을 기반으로 메타 퀘스트 기기 연동을 위한 패키지를 통합하여 개발환경을 구축한다. 유니티 3D 엔진은 자체적으로 가상현실, 증강현실 및 혼합현실 콘텐츠 개발을 위한 OpenXR 기반의 템플릿 및 AR Foundation과 같은 패키지를 제공한다. 이는 특정 장비에 국한되지 않고, 크로스 플랫폼 개발환경을 구축하는데 용이하다는 이점을 갖는다. 다만, 본 연구는 메타 퀘스트 프로를 활용하고, 혼합현실 사용자와 가상현실 사용자가 함께 참여하는 비대칭 가상환경을 구축함을 목적으로 한다. 따라서, 장비에 최적화된 기능을 제공하며 외부 패키지 사용을 최소화하기 위하여 메타에서 제공하는 개발 도구를 활용한다. 유니티 3D 엔진을 기반으로 하는 메타 XR 패키지는 Oculus Integration에서 Meta XR All-in-One SDK로 최신 버전이 업데이트되었다. 개발 과정에서의 큰 차이는 기존 (Oculus Integration)에는 확장현실 콘텐츠 개발에 필요한 주요 기능 (CameraRig, Interaction, Hand Tracking, 등)을 프리팹으로 구현하여 제공한다. 이에 반하여, Meta XR All-in-One SDK는 Building Blocks 도구를 통해 손쉽게 기능을 추가 및 속성을 변경할 수 있도록 제공한다. Figure 1은 유니티 3D 엔진에서 기존의 개발 방식과 새롭게 제공되는 개발 도구의 인터페이스와 메타 퀘스트 프로 카메라를 제어 기능(Camera Rig)을 설정하는 방법을 비교해서 보여주고 있다.

jkcgs-30-3-71-g1
Figure 1: Comparison of the extended reality(XR) development environment in the Unity 3D engine, (a) the existing method using the Oculus Integration package, (b) the method using the Building Blocks function of the Meta XR All-in-One SDK.
Download Original Figure
3.2 현실기반 가상환경 구성

혼합현실 사용자와 가상현실 사용자가 같은 체험 공간에서 정확하고 유기적인 협업을 위해서는 좌표계를 일치하는 과정이 필요하다. 혼합현실 (증강현실 포함) 사용자는 혼합현실 환경에 접속하는 순간 현실 세계에서의 본인을 기준으로 하는 상대적 좌표를 통해 공간을 인지하는 데 반하여, 가상현실 사용자는 가상 공간의 정의된 원점을 기준으로 공간을 판단한다. 따라서, 두 사용자가 같은 고정 좌표를 기준으로 장면을 해석하기 위해서는 일치된 좌표계를 계산하는 과정이 요구된다. 이를 위해 현실 세계를 기준으로 가상객체의 위치와 방향을 설정하기 위한 고정 참조 프레임 기능을 하는 앵커(spatial anchor)를 활용하거나, 장면 이해(scene understanding)를 통해 현실 세계 공간의 3차원 기하학적 정보를 분석하여 이를 기준으로 가상 공간을 구성하여 하나의 공간으로 대응시키는 방법 등이 있다.

본 연구에서 활용하는 Meta XR All-in-One SDK는 Room Model이라는 기능을 사용하여 메타 퀘스트를 통해 사용자가 사전에 스캔한 방 정보를 토대로 쉽고 빠르게 현실 공간정보를 가상으로 대응시킬 수 있는 기능을 제공한다. 우선, 구현하고자 하는 비대칭 가상환경의 현실 세계 공간에 대한 스캔 작업을 수행한다. 메타 퀘스트 프로를 착용한 사용자가 제공되는 스캔 기능을 활용하여 360도 전체 공간을 스캔하고, 벽, 천장 등의 공간 레이아웃에 대한 기본적인 3차원 기하 정보를 설정한다. 그리고 상호작용을 위해 인식 및 분류되어야 할 객체가 있다면 메타 퀘스트 프로에서 제공하는 분류 정보(책상, 침대 등)를 선택하고 해당 객체에 대한 3차원 볼륨을 지정한다. 사용자가 사전에 설정한 현실 공간정보는 유니티 3D 엔진에서 Meta XR All-in-One SDK의 Building Block 기능 중 Room Model을 활용하면 가상 공간에 정확히 현실 공간의 기하 정보를 대응시킬 수 있다. Figure 2는 이를 나타낸 것으로, Figure 2(a)는 사용자가 사전에 협업 환경을 위해 현실 공간을 스캔한 결과이며, Figure 2(b)는 Room Model을 통해 유니티 3D 엔진에서 현실을 기반으로 가상 공간을 표현한 결과이다. 또한, 상호작용을 위해 분류한 객체에 대한 현실 공간의 볼륨 정보 위에 가상 공간에 표현하고자 하는 가상객체를 연결하여 혼합현실 사용자는 현실 객체 위에서 상호작용을 수행하고, 가상현실 사용자는 같은 위치에 배치된 가상객체와 상호작용함으로써 정확하고 유기적으로 연결되는 환경을 구축할 수 있다. Figure 2(c)는 사전에 정의한 볼륨 위에 가상의 테이블을 연결하여 표현한 결과를 보여주고 있다.

jkcgs-30-3-71-g2
Figure 2: Process of implementing a virtual scene based on the real world, (a) setting real space information using the Meta Quest Pro’s scan function, (b) rendering of scanned real space information in the Unity 3D engine, (c) Setting virtual objects for interaction based on real space information, (d) Result of creating a scene corresponding to reality.
Download Original Figure

마지막으로, 혼합현실 사용자와 가상현실 사용자의 렌더링 방식을 설정하는 과정이다. 혼합현실 사용자는 현실 세계에서 체험하고, 메타 퀘스트 프로의 혼합현실은 패스스루 (passthrough) 방식을 지원한다. 따라서, 혼합현실 사용자의 HMD 카메라(Camera Rig) 설정에서 패스스루를 활성화하는 것만으로 혼합현실 모드를 쉽게 설정할 수 있다. 가상현실 사용자는 패스스루가 설정되어 있지 않은 기본 방식으로 렌더링을 하면 가상 공간에 대한 기본 정보를 토대로 가상 그래픽 장면을 HMD를 통해 전달받게 된다. Figure 3은 본 연구에서 구축한 간단한 협업 환경으로, 혼합현실 사용자의 시점에서의 장면과 가상현실 사용자의 시점에서 보여주는 결과의 차이를 나타내고 있다. Figure 2에서 현실과 가상을 대응시킨 장면을 토대로 같은 위치의 테이블을 기준으로 혼합현실 사용자와 가상현실 사용자가 각각 배치되어 장면을 보고 있는 것을 확인할 수 있다.

jkcgs-30-3-71-g3
Figure 3: Scenes from the perspectives of mixed reality(MR) and virtual reality(VR) users, (a) MR user, (b) VR user.
Download Original Figure

4. 몰입형 콘텐츠 제작

메타 퀘스트 프로를 활용하고 Meta XR All-in-One SDK를 통해 혼합현실 사용자와 가상현실 사용자가 함께 참여하여 상호작용하는 비대칭 가상환경을 구축하는 개발환경을 토대로 하여 본 연구는 몰입형 콘텐츠를 제작한다. 몰입형 콘텐츠는 탁구 스포츠로 탁구장 현실 공간의 고정 좌표 설정을 위하여 사전에 기하 정보를 설정하고, 여기에 탁구대를 현실과 가상을 연결하는 볼륨 객체로 설정하여 두 사용자가 탁구를 함께 즐길 수 있도록 한다. 혼합현실 사용자와 가상현실 사용자가 같은 공간 안에서 탁구대를 기준으로 탁구공을 통해 상호작용할 수 있도록 사용자의 변환 정보(위치, 방향), 탁구공의 변환 정보 및 제어 소유, 그리고 각 사용자가 컨트롤러를 활용하여 탁구채를 조작하는 과정 등을 동기화한다. 이를 위해 본 연구는 PUN(Photon Unity Networking) 패키지를 활용한다. Figure 4는 본 연구에서 제안하는 개발 공정을 활용하여 비대칭 가상환경에서의 몰입형 탁구 콘텐츠를 제작한 결과를 보여주고 있다. 혼합현실 사용자와 가상현실 사용자의 시점에서 각각 현실과 가상의 장면 정보를 토대로 탁구 활동을 자연스럽게 수행할 수 있음을 확인하였다. 그리고 제작된 콘텐츠를 기반으로 혼합현실 사용자와 가상현실 사용자의 현존감과 경험을 비교 분석하기 위한 설문 실험 콘텐츠로 활용한다.

jkcgs-30-3-71-g4
Figure 4: Results of immersive table tennis content production, (a) play scene of MR user, (b) play scene of VR user
Download Original Figure

5. 실험 및 분석

혼합현실 사용자와 가상현실 사용자가 함께 참여하여 협업 및 상호작용하는 비대칭 가상환경을 토대로 몰입형 콘텐츠를 제작하는 공정과 체험 환경은 Unity 2022.3.20f1 (64bit)[26], Meta XR All-in-One SDK[27], 그리고 포톤 엔진의 PUN 패키지[28]를 활용하여 구현하였다. 혼합현실 사용자는 메타 퀘스트 프로 HMD를, 가상현실 사용자는 메타 퀘스트 2를 착용한 상태에서 전용 컨트롤러를 사용하여 상호작용한다. 마지막으로, 통합개발 환경과 설문 실험을 위한 PC는 Intel(R) Core(TM) i7-7700HQ (2.8GHz), 16GB of RAM, 그리고 Geforce GTX1060 GPU를 탑재하고 있다. 가상현실 사용자의 HMD를 PC에 연결하여 실행하는 경우, 가상현실 사용자 체험 PC는 Intel(R) Core(TM) i7-11375H (3.3GHz), 32GB of RAM, Geforce RTX3060 Laptop GPU로 구성된 환경이다. Figure 5는 혼합현실 사용자와 가상현실 사용자가 제작된 몰입형 탁구 콘텐츠를 체험하는 실험 환경으로 같은 탁구장 공간에서 체험할 수 있고, 각자 자신만의 공간에서 원격으로 참여하여 체험할 수 있다.

jkcgs-30-3-71-g5
Figure 5: Configuration of the experience environment, (a) co-located participation, (b) remote participation
Download Original Figure

Figure 5의 체험 환경에서 제작된 몰입형 탁구 콘텐츠 (Figure 4)를 활용하여 사용자를 대상으로 각 사용자의 특징을 확인하기 위한 현존감과 경험을 비교 분석하는 실험을 진행하였다. 설문 참가자는 21~30세 사이의 총 8명(남: 4명, 여: 4명)으로 구성하였다. 설문의 목적은 같은 목적을 가지는 콘텐츠를 같은 상호작용을 토대로 체험하는 과정에서 현실 세계를 기반으로 하는 혼합현실 사용자와 가상 장면을 기반으로 하는 가상현실 사용자가 느끼는 경험의 차이를 확인하는 것이다. 설문 참가자는 주어진 콘텐츠를 혼합현실과 가상현실로 각각 한 번씩 체험하게 된다. 체험 순서는 전체 참가자 중 절반(4명)이 혼합현실을 먼저, 나머지는 가상현실을 먼저 체험함으로써 순서로 인한 설문 결과의 차이를 줄이고자 한다. 단, 모든 참가자가 상대의 체험 환경을 인지한 상태에서 경험을 비교 분석하기 위하여 Figure 5(a)와 같이 같은 공간에서 참여하여 실험을 진행한다.

첫 번째 설문 실험은 현존감에 대한 분석이다. 체험 환경, 장비의 차이에 따라 비대칭 가상환경에 제공하는 몰입, 조작, 적응, 예측과 관찰 등을 비교 분석하고자 하였다. 이를 위하여 Witmer et al.[29]의 현존감 설문지(presence questionnaire)의 5개 항목, 19가지 문항을 활용하고 참가자들은 7점 척도로 경험을 기록하였다. Table 1은 비교 분석결과를 나타낸 것이다. 설문 실험결과, 주어진 콘텐츠 체험 환경에 관한 몰입 및 적응, 탁구 활동을 수행하는 과정에서 행동을 예측하고 관찰하는 등에 관한 전반적인 만족도는 혼합현실 사용자가 가상현실 사용자에 비해 높게 나타났다. 다만, 혼합현실 사용자는 현실 공간 위에 가상객체 및 가상 아바타로 표현되는 사용자와 상호작용하기 때문에 현실과 가상이 혼합되어 표현되는 과정에서 탁구 활동에 방해를 받는 경우가 발생하였다. 이에 반하여, 가상현실 사용자는 탁구 활동에 필요한 그래픽 정보만으로 행동을 수행하여 방해나 불편함은 없어 인터페이스 질의 측면에서의 만족도는 높게 나타나는 것을 알 수 있었다. 일원 분산 분석(one-way ANOVA)을 통해 통계적 유의성을 확인한 결과, 경험에서의 차이가 존재한다는 점은 알 수 있으나, 통계적으로 유의미한 차이까지는 영향을 미치지 않았다는 점을 통계 분석을 통해 확인하였다.

Table 1. Comparative analysis results on user-specific presence in the proposed asymmetric virtual environment.
MR user VR user
Mean(SD)
realism 5.857(0.619) 5.607(0.847)
possibility to act 5.781(0.896) 4.969(0.939)
quality of interface 5.667(1.040) 6.125(0.644)
possibility to examine 5.667(1.067) 5.208(1.322)
self-evaluation of performance 5.375(1.556) 4.938(0.916)
Pairwise Comparison
realism F(1, 14)= 0.397, p=0.539
possibility to act F(1, 14)= 2.741, p=0.120
quality of interface F(1, 14)= 0.981, p=0.339
possibility to examine F(1, 14)= 0.509, p=0.487
self-evaluation of performance F(1, 14)= 0.411, p=0.532
Download Excel Table

다음 설문 실험은 몰입형 콘텐츠가 제공하는 사용자 경험을 분석하는 것이다. 이를 위해 game experience questionnaire(GEQ)[30]의 in-game 모듈로 7개 항목, 14가지 문항을 활용하였다. 참가자는 5점 척도로 주어진 문항에 대한 값을 기록하였다. Table 2는 설문 결과를 토대로 비교 분석결과를 정리한 것이다. 탁구 활동에 관한 전반적인 경험들 역시 혼합현실 사용자가 모든 부분에서 만족하는 결과를 보이는 것을 확인할 수 있었다. 탁구를 통해 경쟁하는 과정에서 흥미, 집중, 긴장, 도전적 자세를 비롯하여 지루함 같은 부정적 요인이나 긍정적 경험에 대한 부분들까지 현실을 기반으로 하는 것이 유익한 경험을 제공한다는 것이다. 이는 혼합현실 사용자는 실제 탁구장이라는 공간에서 가상의 탁구를 수행하는 반면, 가상현실 사용자는 그래픽을 통해 제공되는 장면, 공간으로 제한되어 이러한 결과 차이를 보이는 것으로 판단하였다. 가상현실 사용자 역시 탁구장이라는 완성된 가상 장면, 공간에서 체험한다면 경험에서도 향상된 결과를 예측해 볼 수 있을 것이다. 마지막으로 일원 분산 분석을 통해 통계적 유의성을 확인할 결과 경험에서의 차이는 존재하였지만, 이 역시도 유의미한 차이까지는 아니었다는 점을 확인하였다. 따라서, 가상현실 사용자의 체험 환경 개선을 통해 모든 사용자가 만족하는 경험을 느낄 수 있도록 발전시킬 수 있을 것이다.

Table 2. Comparative analysis results on user-specific experience in the proposed asymmetric virtual environment.
VR user MR user
Mean(SD)
Competence 2.188(1.223) 2.063(0.768)
Sensory and Imaginative Immersion 3.125(0.415) 3.063(0.390)
Flow 3.250(0.661) 2.688(0.899)
Tension 0.188(0.242) 0.188(0.242)
Challenge 3.000(0.612) 2.938(0.299)
Negative affect 0.250(0.354) 0.437(0.390)
Positive affect 3.125(0.857) 2.563(1.158)
Pairwise Comparison
Competence F(1, 14)= 0.052, p=0.822
Sensory and Imaginative Immersion F(1, 14)= 0.084, p=0.776
Flow F(1, 14)= 1.777, p=0.204
Tension F(1, 14)= 0.000, p=1.000
Challenge F(1, 14)= 0.059, p=0.812
Negative affect F(1, 14)= 0.887, p=0.362
Positive affect F(1, 14)= 1.068, p=0.319
Download Excel Table

6. 한계 및 토론

비대칭 가상환경에 참여하는 혼합현실 사용자와 가상현실 사용자는 메타 퀘스트 버전의 장비를 착용한다는 제한 조건을 갖는다. 물론, 메타 퀘스트 프로 뿐 아니라 메타 퀘스트 3 등 메타에서 제공하는 HMD 장비는 같은 조건으로 콘텐츠를 제작하고 개발환경을 구축할 수 있다. 그럼에도 불구하고, 마이크로소프트 홀로렌즈를 포함한 다른 혼합현실 장비 또는 가상현실 기기와의 호환성을 고려하지 못한다는 점은 본 연구의 한계이다. 따라서, 향후 유니티 3D 엔진의 혼합현실/가상현실 템플릿을 기반으로 현실을 기반으로 하는 통일된 가상환경을 설정하고 다양한 장비, 플랫폼의 혼합현실, 가상현실 사용자 참여가 가능한 비대칭 가상환경 구축에 관한 발전된 연구를 진행할 계획이다.

현실 세계와 가상 공간을 연결하여 고정된 좌표를 기준으로 정확한 협업 및 상호작용을 위하여 본 연구는 Meta XR All-in-One SDK에서 제공하는 Room Model 기능을 활용하였다. 이는 사용자가 사전에 설정한 현실 공간정보를 유니티 3D 엔진에서 빠르게 시뮬레이션하고 쉽게 편집 및 조작을 할 수 있도록 기능을 정의한 기능이다. 다만, 현재 개선된 Meta XR All-in-One SDK의 building blocks의 기능에는 Room Model 기능이 제외되었다. 하지만, 기존에 메타에서 제공하는 혼합현실 유틸리티 도구인 MRUK(Mixed Reality Utility Kit)를 활용하면 Room Model에서 제공하는 같은 기능을 구현할 수 있다. 그뿐만 아니라, building block에서 제공하는 공간 앵커 코어(spatial anchor core) 기능을 통해 현실과 가상의 기준이 되는 지점을 직접 지정함으로써 같은 결과를 도출할 수 있다. 하지만, 이 역시도 메타 퀘스트 프로를 기반으로 하는 제약이 따르기 때문에 장면 이해를 활용하여 고정 좌표계를 설정하는 일반적인 방법들에 관한 연구도 향후에 진행할 계획이다.

마지막으로 제작된 몰입형 탁구 콘텐츠의 완성도에 대해서는 보완이 필요한 부분이 존재한다. 현재의 콘텐츠에서는 실제 탁구와 같이 강한 스매싱이나 스핀과 같은 동작들은 다루고 있지 않다. 이로 인해, 탁구공이 빠르게 움직이는 물리 과정에서의 문제도 발생하여 체험에서의 현실감을 방해하는 요인으로 작용하였다. 향후, 가상현실 사용자 관점에서의 시각적 만족을 높이는 그래픽 요소의 보완과 함께 콘텐츠의 완성도를 높여나갈 계획이다.

7. 결론

본 연구는 메타 퀘스트 프로를 활용하여 혼합현실 사용자와 가상현실 사용자가 함께 참여하는 비대칭 가상 환경과 이를 기반으로 사용자가 협업 및 상호작용이 가능한 몰입형 콘텐츠 제작을 위한 공정을 정리하였다. 이를 기반으로, 사용자별 현존감 및 경험을 비교 분석하고자 하였다. 우선, 유니티 3D 엔진을 기반으로 Meta XR All-in-One SDK를 활용하여 현실 세계의 공간과 가상 환경과의 유기적인 협업 및 정확한 상호작용을 위해 Room Model을 활용하여 고정 좌표를 설정하는 과정을 설명한다. 제작공정을 통해 혼합현실 사용자와 가상현실 사용자가 함께 참여하는 비대칭 가상환경 응용을 위하여 몰입형 탁구 콘텐츠를 제작하였다. 또한, 제작된 콘텐츠를 활용하여 현실 세계를 기반으로 체험하는 혼합현실 사용자와 가상 장면을 통해 그래픽을 기반으로 체험하는 가상현실 사용자가 서로 다른 체험 환경에서 같은 콘텐츠에 참여할 때 느끼는 현존감과 경험의 차이를 분석하기 위하여 설문 실험을 진행하였다. 설문 결과, 현실을 기반으로 구성된 가상환경에서 사용자가 서로를 인지하고 체험하였을 때, 혼합현실 사용자 뿐 아니라 가상현실 사용자도 만족하는 현존감과 경험을 느낄 수 있다는 것을 확인할 수 있었다. 다만, 상대적으로 가상현실 사용자의 결과가 낮은 점에 대해서는 제작된 콘텐츠의 그래픽적 완성도가 영향을 주었다. 따라서, 현실과 가상이 대응되면서 가상현실 사용자가 체험하는 가상 장면에 대한 그래픽의 질을 높인다면 모든 사용자가 함께 협업하는 과정에서 유익한 경험을 받을 수 있을 것으로 판단하였다.

제안하는 제작공정과 설문 실험에서 도출된 사용자의 경험을 토대로 다양한 활동, 상호작용이 가능하고 다수의 사용자가 참여가 가능한 비대칭 가상환경으로의 응용 콘텐츠를 제작하여 다양한 산업 분야에 응용 가능함을 확인해 보고자 한다.

References

[1].

Y. Cho, M. Park and J. Kim, “XAVE: Cross-Platform Based Asymmetric Virtual Environment for Immersive Content,” IEEE Access, vol. 11, pp. 71890-71904, 2023.

[2].

Zhu E, Hadadgar A, Masiello I, and Zary N. “Augmented reality in healthcare education: an integrative review,” PeerJ, 8;2: e469. 2014.

[3].

X. Qian, F. He, X. Hu, T. Wang, A. Ipsita, and K. Ramani. “ScalAR: Authoring Semantically Adaptive Augmented Reality Experiences in Virtual Reality,” In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (CHI '22), Association for Computing Machinery, New York, NY, USA, Article 65, 1–18, 2022.

[4].

J. Lee and T. Lee, “Development of contents based on virtual environment of basic physics education,” Journal of the Korea Computer Graphics Society, vol. 29. no. 3 pp. 149-158, 2023.

[5].

T. Kang, D. Lee and J. Kim, “Production of Digital Fashion Contents based on Augmented Reality Using CLO 3D and Vuforia,” Journal of the Korea Computer Graphics Society, vol. 26. no. 3 pp. 21-29, 2020.

[6].

J. Kim, J. Song, J. Park, J. Nam, S. Yoon and S. Park, “Mixed Reality Extension System Using Beam Projectors : Beyond the Sight,” Journal of the Korea Computer Graphics Society, vol. 25. no. 3 pp. 65-73, 2019.

[7].

De Back, T. T., Tinga, A. M., and Louwerse, M. M,. “Learning in immersed collaborative virtual environments: design and implementation,” Interactive Learning Environments, vol. 31, no. 8, pp. 5364–5382, 2021.

[8].

S. Park, W. Park, H. Heo and J. Kim, “A Study on Presence of Collaboration based Multi-user Interaction in Immersive Virtual Reality,” Journal of the Korea Computer Graphics Society, vol. 24. no. 3 pp. 11-20, 2018.

[9].

Lee, J., Kim, M. and Kim, J., “RoleVR: Multi-experience in immersive virtual reality between co-located HMD and non-HMD users,” Multimedia Tools and Applications, vol. 79, pp. 979–1005, 2020.

[10].

Cho Y, Kang J, Jeon J, Park J, Kim M, and Kim J., “X-person asymmetric interaction in virtual and augmented realities,” Computer Animation and Virtual Worlds, vol. 32, issue 5, e1985, 2020.

[11].

P. Jansen, F. Fischbach, J. Gugenheimer, E. Stemasov, J. Frommel and E. Rukzio, “ShARe: Enabling Co-Located Asymmetric Multi-User Interaction for Augmented Reality Head-Mounted Displays,” In Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology, Association for Computing Machinery, New York, NY, USA, 459–471, 2020.

[12].

J. An, J. H. Lee, S. Park and I. Ihm, “Integrating Heterogeneous VR Systems Into Physical Space for Collaborative Extended Reality,” IEEE Access, vol. 12, pp. 9848-9859, 2024.

[13].

L. Oppermann, F. Buchholz and Y. Uzun, “Industrial Metaverse: Supporting remote maintenance with avatars and digital twins in collaborative XR environments,” In Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems (CHI EA '23), Association for Computing Machinery, New York, NY, USA, Article 178, 1–5, 2023.

[14].

K. Le, M. Fjeld, A. Alavi and A. Kunz, “Immersive environment for distributed creative collaboration,” In Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology (VRST '17), Association for Computing Machinery, New York, NY, USA, Article 16, 1–4, 2017.

[15].

J. G. Grandi, H. G. Debarba, I. Bemdt, L. Nedel and A. Maciel, “Design and Assessment of a Collaborative 3D Interaction Technique for Handheld Augmented Reality,” 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Tuebingen/Reutlingen, Germany, pp. 49-56, 2018.

[16].

T. Duval and C. Fleury, “An asymmetric 2D Pointer/3D Ray for 3D interaction within collaborative virtual environments,” In Proceedings of the 14th International Conference on 3D Web Technology (Web3D '09), Association for Computing Machinery, New York, NY, USA, 33–41, 2009.

[17].

J. G. Grandi, H. G. Debarba and A. Maciel, “Characterizing Asymmetric Collaborative Interactions in Virtual and Augmented Realities,” 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Osaka, Japan, 2019.

[18].

J. Gugenheimer, E. Stemasov, J. Frommel and E. Rukzio, “ShareVR: Enabling Co-Located Experiences for Virtual Reality between HMD and Non-HMD Users,” In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (CHI '17), Association for Computing Machinery, New York, NY, USA, 4021–4033, 2017.

[19].

N. Feld and B. Weyers, “Mixed Reality in Asymmetric Collaborative Environments: A Research Prototype for Virtual City Tours,” in 2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Lisbon, Portugal, pp. 250-256, 2021.

[20].

S. Karaosmanoglu, K. Rogers, D. Wolf, E. Rukzio, F. Steinicke and L.E. Nacke, “Feels like Team Spirit: Biometric and Strategic Interdependence in Asymmetric Multiplayer VR Games,” In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (CHI '21), Association for Computing Machinery, New York, NY, USA, Article 443, 1–15, 2021.

[21].

M. Sra, S. Garrido-Jurado and P. Maes, “Oasis: Procedurally Generated Social Virtual Spaces from 3D Scanned Real Spaces,” IEEE Transactions on Visualization and Computer Graphics, vol. 24, no. 12, pp. 3174-3187, 1 Dec. 2018.

[22].

H. Tian, G. A. Lee, H. Bai and M. Billinghurst, “Using Virtual Replicas to Improve Mixed Reality Remote Collaboration,” IEEE Transactions on Visualization and Computer Graphics, vol. 29, no. 5, pp. 2785-2795, May 2023.

[23].

A. Prouzeau, Y. Wang, B. Ens, W. Willett and T. Dwyer, “Corsican Twin: Authoring In Situ Augmented Reality Visualisations in Virtual Reality,” In Proceedings of the International Conference on Advanced Visual Interfaces (AVI '20), Association for Computing Machinery, New York, NY, USA, Article 11, pp. 1–9, 2020.

[24].

I. Radu, T. Joy and B. Schneider, “Virtual Makerspaces: Merging AR/VR/MR to Enable Remote Collaborations in Physical Maker Activities,” In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems, Association for Computing Machinery, New York, NY, USA, Article 202, pp. 1–5, 2021.

[25].

E. Schott, E.B. Makled, T.J. Zoeppig, S. Muehlhaus, F. Weidner, W. Broll and B. Froehlich, “UniteXR: Joint Exploration of a Real-World Museum and its Digital Twin,” In Proceedings of the 29th ACM Symposium on Virtual Reality Software and Technology (VRST '23), Association for Computing Machinery, New York, NY, USA, Article 25, pp. 1–10, 2023.

[26].

Unity engine, UnityTechnologies, [Internet] Available: https://unity.com/, 2022.

[27].

Meta XR All-in-One SDK, Meta Quest, [Internet] Available: https://assetstore.unity.com/packages/tools/integratio-n/meta-xr-all-in-one-sdk-269657, 2024.

[28].

Photon Engine, Photon, [Internet] Available: https://www.photonengine.com/ko-kr, 2024.

[29].

B. Witmer., C. Jerome, and M. Singer, “The factor structure of the presence questionnaire,” Presence: Teleoperators and Virtual Environments, vol. 14, no. 3, pp. 298–312, 2005.

[30].

Poels, K., de Kort, Y. A. W., and IJsselsteijn, W. A., “Game Experience Questionnaire: development of a self-report measure to assess the psychological impact of digital games,” Technische Universiteit Eindhoven, pp. 1-9, 2013.

<저 자 소 개>

김 종 선

jkcgs-30-3-71-i1

  • 2018년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

공 수 민

jkcgs-30-3-71-i2

  • 2021년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

장 문 수

jkcgs-30-3-71-i3

  • 2021년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

김 진 모

jkcgs-30-3-71-i4

  • 2006년 동국대학교 멀티미디어학과 학사

  • 2008년 동국대학교 영상대학원 멀티미디어학과 석사

  • 2012년 동국대학교 영상대학원 멀티미디어학과 박사

  • 2012년~2014년 동국대학교 영상문화콘텐츠연구원 전임연구원

  • 2014년~2019년 부산가톨릭대학교 소프트웨어학과 조교수

  • 2019년~현재 한성대학교 컴퓨터공학부 부교수

  • 관심분야: 컴퓨터그래픽스, 가상현실, 증강현실, 메타버스, 게임 공학 등