1. 서론
혼합현실(Mixed Reality, MR)은 물리적 환경 위에 가상의 디지털 정보를 혼합하여 사용자에게 높은 현실감을 기반으로 다양한 경험을 제공하는 기술이다. Milgram과 Kishino[1]는 완전히 현실적인 환경과 완전한 가상환경 사이의 연속적 범위의 개념으로 가상성 연속체(virtuality continuum)라는 개념을 통해 혼합현실을 해석하기도 하였다. Speicher et al.[2]는 혼합현실이 무엇인지에 관한 질문을 토대로 전문가 인터뷰 및 논문 분석을 수행하였고, 혼합현실은 다양한 의미가 있을 수 있으며 이해하는 방식은 맥락에 따라 달라질 수 있기에 7가지 차원의 개념적 프레임워크와 6가지 작업으로 정의하였다. 최근 HMD(Head Mounted Display) 기술의 빠른 발전과 함께 메타 퀘스트 3S를 비롯한 다양한 하드웨어가 등장하였고 이와 더불어 혼합현실 콘텐츠 제작에 관한 연구도 활발히 진행되고 있다.
혼합현실 콘텐츠 제작과 관련한 연구들로, 마이크로소프트 홀로렌즈를 활용한 혼합현실 교육 콘텐츠 제작의 기본 방법을 연구하고 이를 통해 과학실험 콘텐츠 제작 방안을 제안하였다[3]. 또한, 메타 퀘스트 프로를 활용한 혼합현실 사용자와 가상현실 사용자가 비대칭 가상환경에서 상호작용하는 몰입형 콘텐츠 제작 공정을 정리하는 연구들도 진행되었다[4]. 이외에도, 모션 캡처를 기반으로 액터를 통해 행동하는 가상 아바타가 혼합현실 환경에서 함께 상호작용하는 대화형 콘텐츠를 제작하는 연구[5], 같은 목표를 가지는 콘텐츠 조건에서 가상현실 사용자와 혼합현실 사용자가 상호작용 과정에서 사이버 멀미를 느끼는 요인의 차이를 분석하는 연구[6] 등 혼합현실 콘텐츠 제작에 관한 다양한 연구들이 현재까지도 폭넓게 진행되고 있다. Wang et al.[7]은 직관적이고 사실적인 상호작용을 기반으로 한 몰입형 문화유산 프레젠테이션 응용 사례, 기술, 기기를 종합적으로 검토하고 향후 연구 방향을 제시하였다. Li et al.[8]은 박물관 방문객을 위한 몰입형, 교육적, 참여형 경험을 창출하기 위해 몰입형 기술을 활용하는 동향을 분석하였으며, Oppermann et al.[9]은 산업 현장에서의 공유 디지털 공간을 통해 연결된 현장 작업자와 사무실 작업자에게 혼합현실 및 가상현실 환경을 제공하여 산업용 애플리케이션으로 활용을 위한 특징을 분석하고 프로토타입 환경을 제공하는 연구를 진행하기도 하였다. 이처럼 혼합현실 콘텐츠는 교육, 엔터테인먼트, 문화유산 등 다양한 분야에서 사용자의 몰입과 상호작용을 향상하기 위한 주요 기술로 활용되고 주목받고 있다.
뮷즈(MU:DS)는 뮤지엄(MUseum)과 굿즈(gooDS)의 합성어로 국립박물관의 다양한 문화유산을 기념품으로 기획, 개발, 판매하는 문화상품 브랜드이다[10, 11]. 우리나라 국보 제83호 반가사유상을 축소하여 재현한 ‘반가사유상 미니어처’, 김홍도 필 평안감사형연도 속 취객 선비를 모티브로 온도에 따라 표정이 변하는 ‘취객선비 변색잔’, 그리고 백제 금동대향로의 기능을 살린 ‘금동대향로 미니어처’ 등이 대표적인 뮷즈이다(Figure 1)[11, 12]. 박물관 문화상품인 뮷즈의 2025년 누적 매출액이 400억 원을 넘어서는 등 뮷즈의 인기가 급격히 상승하고 있고, 이와 더불어 국립중앙박물관의 연간 누적 관람객 수가 650만 명을 돌파하기도 하였다[13]. 박물관 문화상품을 모바일 기반 증강현실 기술을 활용하여 유물 원형의 3차원 모델과 음성 및 텍스트 정보로 간단한 역사 정보를 전달하는 콘텐츠를 구현하는 연구가 진행되었다[14]. 또한, 관람객의 참여를 능동적으로 유도하기 위하여 어포던스 개념을 통해 실감형 미술관 콘텐츠를 제작하는 연구를 진행하기도 하였다[15]. 하지만 관련한 연구는 아직 초기 단계로 혼합현실 HMD 등을 활용하여 높은 몰입과 직관적이고 흥미로운 정보 전달과 몰입형 상호작용을 고려한 연구들은 아직 부족한 상황이다.
박물관과 문화유산 영역에서 혼합현실 기술을 활용한 가이드 콘텐츠에 관한 연구는 국․내외적으로 다양하게 진행되고 있다. Martí-Testón et al.[16]은 높은 몰입을 기반으로 직관적이고 자연스러운 조작 방식을 통해 박물관과 문화 유적지를 투어하는 가이드 애플리케이션을 제작하였다. Aoki et al.[17]는 기존 전시물에 디지털 해설과 프레젠테이션을 추가한 혼합현실 기반의 가이드 투어 시스템을 통해 박물관 관람 경험을 제공하는 연구를 수행하였다. 실험 결과 참가자의 80% 이상이 시스템의 효과에 만족하여 추가 체험 비용을 지불할 의향이 있는 것으로 실험을 통해 확인하는 등 혼합현실 기술이 사용자의 가이드에 긍정적인 영향을 미치는 것을 알 수 있었다. Sanfilippo et al.[18]은 확장현실 환경에서 게임화를 통해 문화 체험을 탐구하는 과정에서 참여자의 참여도, 협력, 상호작용을 향상하는 연구를 수행하였다. 특히, 혼합현실 환경이 가상현실 환경과 비교하여 더 높은 몰입과 전반적으로 향상된 사용자 경험을 제공함을 확인하였다. 역사적 또는 문화적 내용을 담고 있는 콘텐츠를 혼합현실 기술을 활용하여 가이드하는 방식은 사용자에게 높은 몰입을 기반으로 만족하는 경험을 제공할 수 있다는 것을 기존의 연구를 통해 확인할 수 있다. 그럼에도, 박물관 문화상품 자체를 인식하고 이와 연동된 가이드 정보를 혼합현실 환경에서 제공하는 연구들은 부족한 상황이다.
본 연구는 국립박물관 문화상품인 뮷즈를 혼합현실 기반으로 가이드하는 콘텐츠를 높은 몰입과 흥미로운 체험 환경으로 제작함을 목표로 한다. 이를 위한 콘텐츠 제작 공정은 현실 세계의 뮷즈 인식 처리 과정과 현실 공간과 가상 장면의 동기화를 통한 몰입형 상호작용의 두 단계 핵심 과정으로 구성한다. 단, 제안하는 방법은 메타 퀘스트 3 HMD를 활용한 혼합현실 체험 환경으로 유니티 엔진[19]을 기반으로 Meta XR All-in-One SDK[20]를 통한 개발 환경을 구축하고자 한다. 우선, 현실 세계의 뮷즈를 혼합현실 HMD의 카메라를 통해 효과적으로 인식하기 위한 처리 과정으로 개발 도구에서 제공하는 빌딩 블록(Building Blocks)의 인공지능(Artificial Intelligence, AI) 기능 가운데 객체 탐지(Object Detection) 기능을 활용하는 방법을 정리한다. 다음으로 인식된 현실 객체와 사용자가 존재하는 현실 공간에 가상 장면을 혼합하여 가이드에 필요한 행동을 정의하는 몰입형 상호작용을 설계한다. 제안하는 제작 공정을 바탕으로 실제 뮷즈[21. 22]를 활용하여 각각의 문화상품이 가지는 역사적 사건 또는 전통적 의미에 대한 가이드를 혼합현실 기반의 몰입형 체험 환경에서 흥미롭게 전달할 수 있는 콘텐츠를 직접 제작한다. 마지막으로, 제작된 혼합현실 기반 뮷즈 가이드 콘텐츠 제작 과정에서 현실 뮷즈 객체 인식 및 추론에 관한 정량적 실험과 함께 가이드를 목적으로 하는 콘텐츠의 사실감, 가이드 과정에서의 행동, 유용성, 만족도, 그리고 콘텐츠 체험 과정에서의 종합적인 사용자 경험을 설문 실험을 통해 통계 분석한다[23-25].
2. 콘텐츠 제작 공정
제안하는 혼합현실 기반 뮷즈 가이드 콘텐츠는 메타 퀘스트 3 HMD를 활용하고, 유니티 엔진을 기반으로 메타에서 제공하는 Meta XR All-in-One SDK를 통해 개발 환경을 구성한다. 제작 공정은 현실 공간의 뮷즈 상품을 인식하는 처리 과정과 인식된 객체와 현실 공간을 중심으로 가상의 그래픽 정보를 합성하고 같은 좌표계로 동기화하여 현실과 가상이 정확하게 대응하여 상호작용하는 두 단계의 핵심 과정으로 처리된다. 그리고 모든 핵심 기능은 Meta XR All-in-One SDK 빌딩 블록의 주요 도구들을 활용하여 구현한다.
Figure 2는 제안하는 콘텐츠 제작 공정의 작업 흐름을 정리한 것이다. 첫 번째 단계는 뮷즈 객체를 분류하여 이미지 데이터셋을 구축하고, 추론 및 인식을 위한 모델 파일을 생성하여 최종적으로 객체 탐지 빌딩 블록을 통해 혼합현실 HMD의 카메라를 통해 현실 뮷즈를 인식하는 과정으로 구성된다. 두 번째 단계는 사용자가 존재하는 현실 공간에서 인식된 뮷즈 객체를 중심으로 가상의 그래픽을 혼합하기 위한 현실 공간의 기하학적 구조를 반영한 가상 장면 생성 및 현실과 가상 객체의 위치 동기화 방법으로 구성된다. Table 1은 콘텐츠 제작 공정을 위해 본 연구에서 사용한 개발 도구와 주요 기능을 정리한 것이다.
Meta XR All-in-One SDK 빌딩 블록에서 제공하는 인공지능 기능 가운데 객체 탐지는 클래스 인덱스, 입력 이미지상에서 탐지된 객체의 경계 영역 좌표, 탐지 결과의 신뢰도 값으로 구성된 3개의 출력 결과를 포함한 ONNX(Open Neural Network Exchange) 파일 형식의 모델을 활용한다. 따라서, 본 연구는 뮷즈 인식을 위하여 다음의 순서로 작업을 진행한다.
본 연구는 콘텐츠 제작을 위한 뮷즈 상품으로 2023 뮷즈 공모 선정작인 거북선 팝업카드와 2025 대한민국 관광공모작인 북어 벨을 선택하였다[21, 22]. 두 뮷즈를 각각의 클래스로 정의하고, 이미지 데이터셋을 구축한다. 그리고 로보플로우를 활용하여 다양한 각도에서 촬영된 이미지 데이터셋을 기반으로 경계 영역 좌표를 설정한다[26]. 경계 영역 좌표 설정은 수작업을 통해 직접 설정한다. 단, 수작업을 통해 누적된 데이터가 쌓이게 되면 자동으로 계산하는 기능을 제공하고 있고, 계산된 경계 영역에 수정이 필요하다면 수작업으로 다시 설정하는 것도 가능하다. 여기에, 로보플로우에서 제공하는 증강 옵션을 활용하여 1차적인 데이터 증강 작업을 수행한다.
구축된 데이터셋은 구글 코랩(Colab) 개발 환경에 연동하여 YOLOv12n 모델을 학습하는 데 사용하였다. Meta의 공식 개발 문서[27]를 통해 검증된 YOLO 모델은 HMD에 내장된 모바일 칩셋을 이용한 온디바이스 추론에 최적화되어 있다. 이를 통해 시스템의 렌더링 품질에 영향을 미치지 않으면서도 패스스루 카메라를 통한 실시간 객체 인식을 안정적으로 수행할 수 있다. 학습을 통해 생성된 모델은 ONNX 형식의 파일로 저장하고 빌딩 블록의 객체 탐지 기능에서 모델 에셋으로 설정하면 현실 공간의 뮷즈 인식을 위한 개발 과정은 마무리된다. Figure 3은 본 연구에서 정리한 현실 공간의 객체 탐지 과정을 단계별로 보여주고 있다.
메타 퀘스트 3 HMD는 풀 컬러 패스스루 방식으로 혼합현실 환경을 구성한다. 또한, 공간 설정 기능을 통해 현실 공간의 물리적 구조인 바닥, 벽 등과 공간을 구성하는 책상, 의자, 모니터 등의 여러 객체를 분류하고 경계를 설정하여 공간 정보를 저장함으로써 개발에 빠르게 활용할 수 있다. 사전에 설정된 공간 정보를 Meta XR All-in-One SDK 빌딩 블록의 이펙트 메시(EffectMesh) 기능을 통해 가상환경에 정확히 재구성할 수 있다.
본 연구는 현실 공간의 기하학적 구조를 반영한 가상 장면을 생성하기 위하여 사전에 계산된 책상 위의 지정된 위치와 방향에 뮷즈 상품을 배치할 수 있도록 좌표를 설정한다. 그리고 설정된 좌표에 유니티 엔진의 충돌체(Collider)를 설정하여 실제 뮷즈와 가상 객체의 행동을 동기화한다. 마지막으로, Meta XR All-in-One SDK 빌딩 블록의 손 추적, 상호작용(Hand Tracking, Grab/Poke Interaction) 기능을 활용하여 손으로 직접 실제 뮷즈 모델 또는 대응이 된 가상 객체를 동시에 조작하는 방식의 상호작용을 구현한다. Figure 4는 제안하는 몰입형 상호작용을 위한 일련의 처리 과정을 정리한 것이다.
3. 혼합현실 콘텐츠 제작
본 연구에서는 현실 공간의 객체 탐지와 몰입형 상호작용으로 구성된 혼합현실 가이드 콘텐츠 제작 공정을 정의한다. 그리고 이를 기반으로 혼합현실 환경에서 뮷즈에 대한 가이드를 높은 몰입과 흥미로운 경험을 통해 효과적으로 전달할 수 있는 대화형 콘텐츠를 제작한다.
우선, 콘텐츠 제작에서 중요한 작업으로 3차원 그래픽 리소스를 디자인하는 과정이 필요하다. 현실 공간에서 인식된 뮷즈 상품과 대응하여 역사적 사건 또는 전통적 의미를 전달하기 위해서는 뮷즈의 모티브가 되는 원본 모델의 특징을 반영할 수 있는 그래픽 리소스가 필요하다. 하지만, 그래픽 리소스를 직접 제작하거나 목적과 정확하게 부합하는 리소스를 구매하는 작업은 많은 시간과 비용이 발생할 수 있다. 따라서 본 연구는 생성형 인공지능 기반의 단계적 처리 과정을 통해 가상 객체를 효율적으로 생성한다. 첫 번째로 OpenAI의 ChatGPT Images 2.0을 활용하여 목표 객체의 2차원 참조 이미지를 생성한다[28]. 본 연구는 거북선 팝업카드와 북어벨의 두 뮷즈를 사용하고 있다. 따라서, 거북선에 대한 역사적 사건을 설명하기 위한 이순신 장군과 상대 수군에 대한 특징, 형태 등의 시각적 특성을 프롬프트로 기술하여 참조 이미지를 생성한다. 북어벨은 북어의 전통적 의미를 효과적으로 전달하기 위하여 북어를 캐릭터화한 북어 모델과 집안의 액운을 막고 잡귀를 쫓아내며 복을 불러오는 주술적 의미의 상징물로 알려진 북어의 의미와 풍습을 설명하기 위한 액운 모델을 가상으로 생성한다(Figure 5 (a)).
다음으로 Meshy[29]의 Image-to-3D 기능을 활용하여 생성된 참조 이미지를 입력으로 3차원 메시 모델을 생성한다. Meshy는 인공지능 기반의 3차원 모델 생성 플랫폼으로 2차원 이미지 또는 프롬프트 등을 통해 3차원 메시와 텍스처를 자동으로 생성하는 기능을 제공한다(Figure 5 (b)).
제안하는 혼합현실 기반 뮷즈 가이드 콘텐츠는 두 개의 뮷즈를 활용하여 각각의 내용을 구성한다.
우선, 거북선 팝업카드는 거북선에 관한 역사적 사건을 이순신 장군을 중심으로 거북선이라는 역사적 사료를 쉽게 이해할 수 있도록 이야기를 구성한다. 사용자는 혼합현실 HMD를 착용하고 지정된 위치에 뮷즈 상품을 배치하면 뮷즈 탐지 과정을 수행하고 거북선 가이드에 관한 해설을 음성으로 전달한다. 그리고 동시에 제작된 이순신 가상 모델을 현실 공간 위에 혼합하고 이야기 흐름에 맞는 동작으로 전환하는 방식으로 구현한다. 또한, 거북선이 가지는 독특한 포구와 전투 방식을 표현하기 위하여 파티클과 효과음을 활용한다. 이때 파티클은 실제 뮷즈 모델 위에 혼합함으로써 사용자의 몰입과 집중을 높일 수 있도록 한다. 거북선을 활용한 전투 과정을 효과적으로 표현하기 위하여 사용자는 실제 뮷즈 상품을 직접 손으로 잡고 움직이는 등의 조작과 함께 GUI(Graphical User Interface)로 제공되는 버튼을 클릭하면 실제 뮷즈 팝업카드 위에서 대포가 발사되는 방식의 직관적인 상호작용을 적용한다.
다음은 북어 벨 가이드이다. 북어가 가지는 우리나라만의 전통적 의미를 효과적이고 직관적으로 전달할 수 있도록 콘텐츠를 구성한다. 이 역시, 뮷즈 모델이 인식되면 실제 상품 위로 제작된 가상 북어 모델을 혼합한다. 그리고, 가상 북어 주변으로 액운을 형상화한 가상 모델을 함께 배치한다. 북어가 액운을 방지하고 소멸한다는 의미를 표현하기 위하여 가상 북어 모델을 손으로 직접 잡고 액운의 방향으로 조작하면 액운 모델이 북어 입으로 소멸하는 과정을 게임 방식으로 구현한다. 또한, 사용자가 액운을 손으로 직접 선택하면 액운 각각의 의미를 음성으로 전달함으로써 직관적으로 콘텐츠를 쉽게 이해할 수 있도록 하였다. 마지막으로, 거북선 팝업카드와 같이 파티클을 적절히 활용하여 몰입, 집중, 그리고 흥미를 높일 수 있도록 콘텐츠를 구성한다. Figure 6은 본 연구에서 최종적으로 제작한 혼합현실 기반 뮷즈 가이드 콘텐츠 제작 결과를 나타낸 것이다.
4. 실험 및 분석
본 연구는 거북선 팝업카드와 북어벨 뮷즈를 직접 촬영하여 YOLO를 통한 전이 학습에 사용되는 이미지 데이터셋을 직접 구축하였다. 또한, 데이터 증강을 통해 객체 탐지 과정에서의 신뢰도를 높일 수 있도록 하였다.
학습을 위한 코랩 런타임 환경은 Tesla T4로 설정하였으며 이미지 사이즈는 640, 50 에포크(Epoch)로 학습되었다. 또한, YOLO 모델 학습을 위한 패키지 Ultralytics 8.4.42를 통해 2차 데이터 증강을 적용하여 매 학습 시 적용되도록 하였다. 학습 완료까지 11분 35초가 소요되었으며, 추론 시간은 0.028초가 걸렸다.
본 연구를 통해 제작된 콘텐츠는 혼합현실 기술을 활용함으로써 뮷즈에 대한 가이드를 높은 몰입을 기반으로 콘텐츠가 전달하고자 하는 내용을 정확하고 효과적으로 전달하고 뮷즈 가이드라는 새로운 체험 환경에서 만족하는 경험을 통해 설명하고자 하는 것이 주요 목표이다. 이러한 목표를 바탕으로 사용자 경험을 체계적으로 분석하기 위하여 3가지 설문지를 활용하여 사용자 경험 분석을 위한 실험을 진행한다. 사용자 평가를 위한 설문 실험 참가자는 총 18명으로 남성 7명, 여성 11명으로 구성하였고, 나이는 23세부터 26세, 평균 25세이다. 설문 실험은 모든 참가자가 제작된 콘텐츠를 각각 체험한 후 주어진 설문에 응답하는 방식으로 진행한다. 분석 절차는 다음과 같다. (1) 두 응답의 차이 점수에 대해 Shapiro-Wilk 검정을 통해 정규성을 확인한다. (2) 정규성을 만족하면 대응표본 t-검정을, 만족하지 않는 경우 Wilcoxon signed-rank 검정을 적용하여 두 콘텐츠 간 차이의 유의성을 판단한다.
첫 번째 설문은 현실과 가상이 혼합된 혼합현실 환경에서의 사실감과 함께 체험 환경에서 사용자가 주어진 행동을 잘 수행하였는지를 분석하고 음성 해설을 통해 전달되는 뮷즈의 내용이 효과적으로 전달되었는지를 평가하기 위하여 PQ (Presence Questionnaire)[23] 설문지를 활용하였다. 24개의 문항, 7개의 항목으로 구성된 설문지 가운데 Realism, Self-evaluation of performance, Sounds 항목의 총 12개의 문항을 선별하여 7점 척도(1~7)로 응답받아 설문에 활용하였다. Table 2는 설문 결과를 정리한 것으로, 전반적으로 제작된 두 콘텐츠 모두 6.0 이상으로, 혼합현실 환경에서 높은 사실감과 뮷즈의 내용이 효과적으로 전달되었음을 나타낸다. 특히, 북어 벨 콘텐츠에서 상대적으로 높은 결과를 보인다. 거북선 팝업카드는 실제 상품을 손으로 직접 제어를 하지만 북어 벨 콘텐츠는 합성된 가상 북어 모델을 조작한다는 행동의 차이가 있다. 또한, 북어로 액운을 소멸시키는 게임적 요소가 적용되었다. 이 과정에서 상대적으로 직접적이고 동적인 행동을 수행하면서 현실과 합성된 가상 정보를 깊게 탐색하고 집중할 수 있는 환경이 제공되었음을 확인할 수 있다. 대응표본 t-검정 결과 역시, 모든 항목에서 유의미한 차이가 나타남을 확인할 수 있다. Sound의 경우 두 콘텐츠 모두 같은 방식의 음성 해설과 파티클 효과음을 사용하고 있음에도 유의미한 차이를 보였다. 북어 벨 콘텐츠의 경우 액운을 손으로 직접 선택하면 액운에 대한 음성 해설이 추가되었고, 액운마다 다른 음성, 음색으로 제공되었다. 이러한 부분들이 같은 이야기 흐름을 가지는 콘텐츠에서도 차이를 발생할 수 있다는 결과를 도출할 수 있었다.
다음은 뮷즈 가이드를 위한 콘텐츠의 구성과 상호작용에 관한 유용성을 종합적으로 평가하기 위한 설문 실험이다. 제작된 콘텐츠가 사용자의 목표 달성에 실질적으로 도움이 되는지, 내용을 전달하는 과정에서 필요한 행동, 조작 등을 직관적으로 쉽게 파악할 수 있는지, 그리고 사용자 경험에 대한 전반적인 만족감이 높은지 여부를 분석하기 위하여 USE (Usefulness, Satisfaction, Ease of use)[24] 설문지를 활용한다. USE 4가지 항목 가운데 Usefulness, Ease of Use, 그리고 Satisfaction 항목의 문항을 선택하였으며, 7점 척도(1~7)로 응답받았다. Table 3은 설문 결과를 정리한 것으로, 유용성 역시 6.0 이상의 점수를 기록하여, 제작된 모든 콘텐츠가 뮷즈의 의미와 용도를 정확히 전달하는 데 도움이 되었다는 것을 확인할 수 있었다. 또한, 현실 상품과 가상 객체의 혼합을 통해 표현되는 혼합현실 환경에서 쉽게 조작할 수 있는 방식으로 제공되었음을 알 수 있다. 특히, Usefulness와 Ease of Use 항목에서 유의미한 차이를 보이는 것을 알 수 있다. 이는 앞서 설명한 바와 같이, 거북선 팝업카드 콘텐츠는 현실 상품을 조작하고, 북어 벨 콘텐츠는 가상 객체를 조작하는 차이에서 발생한 것으로 판단된다. 현실 상품을 직접 손으로 잡고 조작하는 것보다 가상 객체 제어를 통해 행동하는 것이 가이드 콘텐츠에 유용할 수 있다는 것을 확인할 수 있었다. 마지막으로, 전반적인 만족도는 두 콘텐츠 모두 유의미한 차이가 없음을 실험을 통해 확인하였다.
마지막 설문 실험은 혼합현실 기반 뮷즈 가이드 콘텐츠의 전반적인 사용자 경험을 다각적으로 평가하기 위하여 7개 항목과 14개의 설문 문항으로 구성된 GEQ(Game Experience Questionnaire)[25]의 In-game 모듈, 5점 척도(0~4)를 기반으로 설문을 진행하였다. Table 4는 이를 분석한 결과로, 종합적인 사용자 경험은 정규성을 만족하지 않는 설문 데이터가 포함되어 있어 대응표본 t-검정과 Wilcoxon signed-rank 검정을 같이 사용하였다. 따라서, p-value 확인으로 유의미성만 분석하였다. 대부분의 항목에서 3.5 이상의 높은 사용자 경험을 제공함을 확인할 수 있다. 전반적인 사용자 경험에서는 제작된 두 콘텐츠 모두 유의미한 차이가 없는 것으로 나타났다. Flow 항목에서만 유의미한 차이를 보였는데, 이는 게임적인 요소와 다양한 음성 효과가 콘텐츠의 전체적인 흐름에 더욱 집중할 수 있게 유도된 것으로 판단된다. 또한, 역사적 사건과 비교하여 전통적 의미를 다루는 콘텐츠가 상대적으로 친근하고 쉽게 몰입하고 이해할 수 있었다는 점이 유의미한 차이를 나타내게 하는 요인이었던 것으로 분석된다.
Kim and Yu[14]는 모바일 기반 증강현실 기술을 활용하여 박물관 문화상품을 체험하는 콘텐츠를 제작하였다. 이는 본 연구에서 다루고자 하는 뮷즈 가이드와 유사한 목표와 기능을 담고 있다. 따라서, 기존 연구와의 비교 분석을 통해 제안하는 방법의 특징과 차이점을 명확히 제시하고자 한다. Table 5는 비교 분석 결과를 정리한 것이다. 우선, 콘텐츠에서 다루는 뮷즈의 수가 다른 것 외에도 모바일 기반 증강현실과 메타 퀘스트 3 HMD를 활용한 혼합현실이 가지는 체험 환경의 차이가 상호작용, 가이드 방식에서 많은 차이를 가지게 됨을 확인할 수 있다. 또한, 사용자 경험 분석을 위한 설문 실험은 기존 연구의 경우 검증되지 않는 주관적 문항을 직접 설계하여 진행한 반면, 본 연구는 검증된 설문지인 PQ, USE, GEQ[23-25]를 활용하여 다양한 측면에서 체계적으로 분석하고 있는 차이가 있다.
| Kim and Yu[14] | Our | |
|---|---|---|
| The number of MU:DS | 1 | 2 |
| Interaction | 2D button | Hand and 2D/3D GUI |
| Guide method | 3D model animation, particle, audio | 3D model, particle, audio, game elements |
| Experiential environment | 2D mobile screen | 3D MR experience environment |
| Survey experiment | Unverified subjective items regarding Usability, Usefulness, and Satisfaction | Validated questionnaires: USE, PQ, GEQ |
5. 한계 및 토의
본 연구에서는 연구자가 직접 구매한 국립박물관문화재단의 문화상품 브랜드 ‘뮷즈(MU:DS)’ 제품을 물리적 객체로 활용하였다. 혼합현실 환경에서는 실물 문화상품 위에 가상 객체 및 디지털 정보를 정합하여 사용자 경험을 제공하였으며, 이는 문화상품의 외형이나 디자인을 복제·재생산하기 위한 목적이 아니라 현실 상품 기반의 혼합현실 인터페이스를 구현하기 위한 연구적 활용에 해당한다. 또한 본 연구는 비상업적 학술 연구 목적으로만 수행되었다.
제안하는 혼합현실 기반 뮷즈 가이드 콘텐츠는 현재 두 가지 뮷즈 상품만을 다루고 있다. 제안하는 제작 공정을 실질적인 콘텐츠로 확장할 수 있는 콘텐츠로 발전시키기 위해서는 다양한 뮷즈들을 폭넓게 가이드할 수 있는 방향으로 콘텐츠를 기획 및 제작해야 할 것으로 판단된다. 또한, 제작된 콘텐츠를 통해 전달하고자 하는 역사적 사건 또는 전통적 의미를 효과적으로 가이드함으로써 콘텐츠의 목적을 사용자에게 명확히 이해시키며 혼합현실을 활용한 체험 환경이 사용자 경험에 긍정적인 영향을 미치는지를 분석하기 위한 여러 설문 실험을 진행하였다. 하지만, 기존의 뮷즈를 소개하는 안내서 또는 시청각 자료와의 비교를 통해 제작된 콘텐츠가 가지는 장, 단점 등을 분석할 수 있는 추가적인 실험이 필요하다. 따라서, 향후 다양한 뮷즈를 다루는 콘텐츠로 발전시키고 기존 뮷즈 안내 방식과의 비교 실험을 통해 제안하는 새로운 방식의 콘텐츠가 국립박물관 등에서 실질적으로 활용할 수 있는 이점이 있는지를 명확히 분석할 수 있는 실험으로 보완하고자 한다.
설문 실험을 통해 가이드 과정에서 게임적 요소, 음성 등의 효과들이 사용자 경험에 긍정적인 영향을 미치는 것을 확인하였다. 이와 관련하여 GUI와 손을 활용한 상호작용 방식, 게임적 요소와 시청각 효과 유무 등을 비교하는 ablation study를 수행함으로써 콘텐츠 가이드 과정에서 사용자 경험에 미치는 요인을 보다 설득력 있게 체계적으로 분석할 수 있는 연구를 진행할 계획이다.
현재의 제작 공정은 Meta XR All-in-One SDK를 기반으로 개발 환경이 구축되어 있어 메타 퀘스트 3와 같은 제한된 장비만을 활용할 수 있다는 명확한 한계가 존재한다. 따라서, 유니티 엔진의 템플릿을 기반으로 TensorFlowSharp 등을 활용하여 객체 탐지 과정을 직접 구현하는 방식 등으로 제작 공정을 개선한다면 특정 장비에 국한되지 않는 범용적인 제작 공정으로 정의할 수 있을 것으로 판단한다.
6. 결론
본 연구는 혼합현실 기반의 국립박물관 문화상품 '뮷즈' 가이드 콘텐츠 제작 공정을 정의하고, 콘텐츠 제작과 설문 실험을 통해 실질적인 활용성을 검증하였다. 제안하는 제작 공정은 현실 공간의 객체 탐지 과정과 현실-가상 공간 좌표 동기화를 토대로 손 추적 기술을 통합한 몰입형 상호작용 과정을 구축하였다. 이를 바탕으로 생성형 인공지능을 이용해 3차원 그래픽 리소스를 생성하고, 거북선 팝업카드와 북어 벨 뮷즈를 활용한 몰입형 가이드 콘텐츠를 제작하여 뮷즈가 지닌 역사적·전통적 가치를 효과적으로 전달하고자 하였다. 설문 실험을 통한 사용자 평가를 진행한 결과, 제안된 혼합현실 기반 콘텐츠는 사용자에게 높은 현존감과 유용성을 제공하며 전반적으로 만족하는 경험을 제공하는 것으로 확인되었다. 특히, 가이드 과정에서 목적에 부합하는 게임적 요소와 시청각 효과를 적절히 활용할 경우, 사용자의 현실감을 극대화하고 능동적인 행동 유도에 매우 긍정적인 영향을 미친다는 사실을 확인하였다. 결론적으로 본 연구에서 제시한 제작 공정과 결과물은 향후 뮷즈를 비롯한 다양한 문화상품을 효과적으로 안내하는 새로운 매체로서 높은 실질적 활용 가치를 지닌다.
