1. 서론
가상현실 (Virtual Reality, VR)은 컴퓨터를 기반으로 인공적으로 생성한 가상의 환경을 실제와 유사하게 표현하는 기술 자체를 의미하거나 또는 만들어진 특정한 환경, 상황을 의미한다. 최근 HTC Vive, Oculus Rift CV1/Go와 같은 가상현실 HMD (HeadMounted Display)기술의 발전과 더불어 입체적인 시각정보를 제공함으로써 가상 환경에서의 몰입이 더욱 높아지고 있다. 이를 기반으로 가상의 환경에 존재하는 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 경험을 제공하기 위한 상호작용(시선, 손 등)과 하드웨어 기술 (햅틱 시스템, 모션 플랫폼 등)과 관련한 몰입형 가상현실 응용 연구가 다양한 접근을 통해 이루어지고있다 [1, 2, 3, 4].
몰입형 가상현실에서 사용자가 실제와 같은 경험을 체험하는데 필요한 핵심 요인은 현존감이다. 현존감은 사용자가 실제 환경, 상황에 존재하지 않음에도 마치 그 장소에 자신이 존재하고있는 듯한 심리적 경험을 갖게 하는 것이다. 시각, 청각, 촉각 등다양한 감각기관을 활용하여 가상의 환경, 객체들과 상호작용하는 과정에서의 몰입이 사용자의 현존감을 향상시키는데 있어 중요하다. 따라서 향상된 현존감을 제공하기 위하여 사용자의 몰입을 높이는 상호작용 기술들이 연구되고 있다.
현존감에 기반한 몰입형 가상현실에 관한 연구는 사용자에게 공간에서의 몰입을 높이는 입체적인 시각정보를 전달하는 HMD와 같은 디스플레이장비를 기반으로 사운드 소스 클러스터링과 하이브리드 오디오 렌더링을 결합하여 복잡한 가상 장면에서의 사실적인 음향 효과를 생성하는 연구 [5]와 시선, 손 등을 활용하여 가상 환경과 보다 직접적이면서 사실적으로 몰입하며 상호작용할 수 있는 사용자 인터페이스를 제시하는 연구들 [6, 7]과이 과정에서 발생하는 물리적 반응을 피드백하는 햅틱 시스템을통한 촉각 등에 대한 연구들이 현재까지도 다양한 기술적 접근을 통해 이루어지고 있다 [8]. 또한, 거대하고 역동적인 가상 공간에서 자유로운 걷기를 표현하기 위한 방법을 트레드 밀이나 모션캡쳐와 같은 고비용의 장비 없이 휴대용 걷기 시뮬레이터 [9]나 알고리즘 [4]으로 현실감있게 제공하는 연구들이 진행되고 있다.
이러한 몰입형 가상현실에 관한 연구들은 다수 사용자가 함께 공존하는 가상협업환경 (Collaborative Virtual Environments, CVE)과 융합되는 방향으로 확대되고 있다. 특히, HMD를 착용한 사용자들이 몰입형 가상현실에서 주어진 조건과 환경에 맞는 상호작용을 통해 현실감있게 협업하거나 소통할 수 있는 방법들이 연구되고 있다. 여기서 한 가지 중요한 점은 가상협업환경에 참여하는 HMD 사용자의 인원이 한 명에서 다수로 증가되는 것외에 제시하는 역할과 상호작용이 사용자마다 동일하다면 가상 협업환경에서 중요한 사회적 상호작용(social interaction)과 이에 기반한 흥미 또는 몰입이 감소하게 된다는 것이다. 즉, 가상현실에 존재하는 사용자들마다 다르게 요구할 수 있는 제한된 또는 확장된 상호작용, 경험의 폭(또는 범위) 등을 반영하여 소통에 기반하여 각각의 역할을 수행할 수 있는 협업 환경이 제공되는 것이 필요하다. 이러한 이유로 Cheng et al. [10]의 TurkDeck이나Gugenheimer et al. [11]의 ShareVR과 같은 연구들이 이루어져있다. 이는 동일한 공간에 존재하는 HMD 사용자와 Non-HMD 사용자 사이의 차별화된 상호작용과 체험환경을 제시함으로써 비대칭 몰입 환경 안에서 새로운 경험을 생성하는 연구들이다. 하지만 이에 반해 HMD 사용자들로만 구성된 가상협업환경에서 각자 다른 역할과 행동을 통해 소통하고 협업할 수 있는 다수 사용자 상호작용에 대한 연구는 부족한 상황이다.
따라서 본 연구는 다수의 HMD 사용자들에게 구분된 역할과 주어진 각자의 역할에 적합한 상호작용을 설계하고, 소통과 협업을 통하여 새로운 경험을 제공함은 물론 나아가 1인 중심의 몰입형 가상현실 이상의 향상된 현존감을 제시하는 방법과 체험환경을 제안하고자 한다. 제안하는 다수 사용자 상호작용과 체험환경은 두 가지 핵심 구조를 갖는다.
2. 관련 연구
몰입형 가상현실에 관한 연구들은 사용자에게 가상의 환경에서시각, 청각, 촉각 등의 오감을 통해 보다 실제와 같은 경험을 제공함을 목적으로 진행되어 왔다. 비록 가상이지만 사용자가 자신이 어디에서 누구와 함께 어떠한 행동을 하는지에 대한 경험을 실제와 같이 느끼는 것이 중요하고 이를 위해선 향상된 현존감을 위한 다양한 접근 연구들이 필요하다.
현존감 기반의 몰입형 가상현실에 관한 연구는 사용자에게 입체적인 시각 정보를 전달하여, 공간에서의 경험을 실제와 같이 제공하는 디스플레이 기법에 대한 연구부터 공간감을 향상시키는 오디오 소스에 기반하여 청각에 대한 몰입을 높이고, 손과 발등 사용자의 신체를 활용하여 잡고, 만지고, 걷는 등 가상의 환경과 직접적으로 상호작용하면서 동시에 촉각을 포함한 물리적반응을 사실적으로 제공하는 연구들까지 다양하게 이루어지고 있다 [1, 12, 13].
가상의 환경에서 사용자가 취하는 다양한 동작과 행동들이 실제와 같이 느껴지기 위해서는 사용자가 사용하는 여러 인체 관절들의 움직임을 정확히 감지, 추적하고 가상 환경에 똑같이 반영시켜야 한다. 이를 위해 관절 부위에 여러 종류의 마커를 부착하고 이를 촬영 또는 추적하여 움직임을 분석하는 연구 [14]나 키넥트, 립 모션 등의장비를 활용하여 손은 물론 몸 전체의 움직임을 검출하고, 사용자가 취하는 동작을 인식하는 연구들 [2]이 이루어지고 있다. 최근에는 보다 정교한 손 관절 모델을 계산하기위한 추적 모델을 제안 [15]하거나, 모션 캡쳐 장비를 통해 촬영된 영상 정보들로부터 사용자의 행동을 사실적으로 가상 공간에 표현하는 연구 [6]들이 진행되었다. 이러한 연구들은 사용자의 행동, 동작을 가상의 환경에 반영하고 객체들과 직접 상호작용하는 과정에서 발생하는 물리적 반응을 촉각으로 피드백 함으로써 현존감을 향상시키도록 발전되고 있다. Hayward et al. [16]이 제안한 전자 액츄에이터부터 3-RSR 햅틱 웨어러블 장비 [3]와 같은 햅틱 기반 인터페이스들에 대한 연구들은 사용자에게 촉각을 정교하게 전달함으로써 몰입을 높여준다. 이러한 햅틱 시스템에 관한 연구들은 촉각과 청각, 촉각과 시각을 동시에 만족시키는 멀티 모달리티 (multimodality) 연구로 발전되기도 하였으며, 가상현실 HMD 장비가 대중화 됨에 따라 이러한 햅틱 장비들도 대중성을 고려하여 휴대하여 사용하기 쉬운 형태로 제공하기 위한 연구들도 진행되고 있다 [8, 17]. 이외에도 넓고 동적인 가상 공간에서 사용자의 움직임을 실제와 같이 표현하기 위한 연구들로, 투영영상의 왜곡을 활용하여 사용자의 걷기를 계산함으로써 제한된 공간에서 무한한 걷기를 가능하도록 하는 연구 [4]나 제자리 걸음을 감지하여 가상 캐릭터의 자유로운 움직임을 표현하는연구 [9] 등이 진행되었다. 이러한 몰입형 가상현실의 대부분의 연구들은 1인 가상현실 사용자의 몰입에 기반한 현존감 향상을 목적으로 진행되고 있다. 다수 사용자들이 존재하는 확장된 가상현실을 구성할 경우 앞선 몰입형 상호작용 또는 기술들을 1인에서 다수 사용자로 확장시키는 것만으로는 한계가 있다. 다수 사용자간의 몰입을 위해서는 소통과 협업을 활용한 가상현실 체험환경을 구성하는 것이 필요하고 이에 적합한 상호작용이 뒷받침되어야 한다.
가상협업환경은 다수 사용자가 존재하는 가상 환경에서 사용자들이 가상 환경과 상호작용하는 것은 물론 사용자간에 협업과 소통을 통해 서로 상호작용할 수 있는 방법과 기술을 모두 고려하고 있다. 가상협업환경과 관련된 연구들은 분산 협업에서의몰입형 환경을 제공하기 위한 목적으로 분산 대화식 가상 환경 (DIVE, Distributed Interactive Virtual Environments) 에서부터 원격 다수 사용자를 위한 응용 기술까지 발전되어 왔다 [18, 19]. 다수의 가상현실 사용자가 가상 공간에 함께 존재하는 상황에서 공간을 효율적이면서 사실적으로 공유하고 걷기에 대한 표현을 가능하도록 하는 방법 [20], 같은 위치에서 가상현실을 체험하는 다수 사용자가 함께 작업을 하는 과정에서 서로를 인식하는 과정을 분석하는 연구 [21], 통신 및 상호작용 측면에서 원격 혼합현실에서의 협업을 향상시키는 기술 [22] 그리고 제스쳐를 기반으로 가상협업환경에서 다수 사용자가 효율적인 의사소통을 가능하게 하는 연구 [23] 등 다수 사용자가 경험을 공유하면서 가상현실에 대한 현존감을 높이기 위한 연구들이 다양하게 이루어지고 있다. 이러한 연구들은 HMD 사용자가 아닌 HMD를 착용하지않은 사용자도 함께 참여시켜 상호작용할 수 있는 비대칭 가상현실로 발전되고 있다. 대표적으로 Gugenheimer et al. [11]이 제안한 ShareVR이나 Ibayashi et al. [24]이 제안한 Dollhouse VR이 있다. 이들은 HMD 사용자와 Non-HMD 사용자의 참여 방식을 구분하여 각각에 맞는 장비, 상호작용을 부여함으로써 새로운 경험을 제공하는 연구들이다. 하지만 HMD 사용자들로 구성되어 사용자 모두 동일한 입력 방식을 토대로 같은 행동을 실행하는 가상협업환경에서는 사용자간에 의사소통만 할 수 있는 환경이 제시되는 것이 아니라 사용자 각자에게 다른 역할을 제시하고 사용자는 자신만의 역할을 수행하는 과정에서 소통, 협업할 수 있는 상호작용이 제시된다면 사용자간 사회적 상호작용을 통해 더욱 몰입할 수 있고 결과적으로 향상된 현존감을 제공하는 새로운 체험환경을 제공할 수 있을 것이다.
따라서 본 연구는 이러한 기존 연구의 한계를 극복하기 위하여 가상협업환경에 존재하는 다수 사용자들을 독립적으로 구분하고 각자가 다른 환경, 상황 속에서 함께 협업함으로써 새로운 경험을 생성할 수 있는 상호작용과 체험환경을 제안한다.
3. 가상현실 어플리케이션
본 연구에서 제안하는 다수 사용자간의 상호작용은 HMD를 착용한 가상현실 사용자들이 몰입형 가상현실에서 공동의 목적을 달성하기 위해 각자 독립적인 행동을 수행하는 방식이 아닌 서로 소통과 협업을 통해함께 목적을 달성해 나가는데 필요한 구조를가지고 있으며, 이를 통해 사회적 상호작용에 기반하여 사용자들이 더욱 향상된 현존감을 느낄 수 있는 체험환경을 제공하는 것이 중요한 목표이다. 이를 위해서는 가상협업환경에서의 다수 사용자 상호작용을 검증할 수 있는 실험 어플리케이션이 필요하다. Farpoint VR [25]과 같은 기존의 다수 사용자 가상현실 어플리케이션을 살펴보면 제시하는 미션을 수행하기 위하여 자신에게 주어진 역할과 행동만을 수행한다. 나의 행동이 플레이 전체에 영향을 주거나 상대방의 행동에 일부 영향을 미치기는 하지만 사용자간 직접적인 관계는 맺지 않는다. 또한 이러한 어플리케이션은 1인 체험을 하였을 때와 다수 사용자가 함께 체험을 하였을때 사용자가 가상환경에서 할 수 있는 행동의 차이는 없기 때문에 여럿이 모여 체험을 할 경우 흥미가 조금 더 유발될 수 있다는점 외에 경험의 차이는 존재하기 어렵다.
본 연구의 가상현실 어플리케이션은 제시하는 목표를 완료하기 위해서 반드시 다수 사용자가 함께 협력해야만 달성할 수 있는 방식으로 제작한다. 제작되는 어플리케이션이 본 연구의 다수 사용자 상호작용의 현존감 향상을 일반화하기에는 한계가 있지만 최대한 협업에 초점을 맞추어 사용자가 소통할 수 있는 구조로 설계한다. 이를 통해 사용자 모두에게 제공되는 기본적인 사용자 인터페이스를 기반으로 독립된 역할을 구분하여 제공하고 역할 사이의 효과적인 소통과 협업이 가능한 의사소통 구조를 포함한 다수 사용자 상호작용을 어플리케이션에 반영하도록 한다.
어플리케이션에서 사용자들에게 제시하는 목표는 다트 판에 적힌 숫자를 다트를 이용하여 빠르게 맞춰서 NPC가 제시하는 숫자를 제한시간 내에 넘기는 것이다. 두 명 중 한 명의 사용자가 다트를 선택하면 나머지 한 명은 다트 판을 선택하게 되고, 지정 된 위치로 이동하여 다트를 든 사용자가 다트 판을 향해 다트를 던지면 다트 판을 든 사용자가 날아오는 다트를 확인하여 다트판에 정확히 맞을 수 있도록 움직인다. Figure 1은 제안하는 어플리케이션으로 두 명의 사용자가 협력하여 목표를 달성할 수 있는환경을 구성하고, 한 명의 사용자는 다트를 다른 한 명의 사용자는다트 판을 들고 서로의 행동을 살피며 협력하도록 구현한다.
4. 다수 사용자 상호작용
본 연구는 소통과 협업에 기반한 가상협업환경에서의 다수 사용 자간의 상호작용을 통해 몰입형 가상현실에서의 향상된 현존감을 제공하는 것에 초점을 맞추고 있다. 이를 위해 제안하는 다수사용자 상호작용을 3단계로 나누어 정의한다.
우선 사용자가 가상 환경에 존재하는 객체들과 상호작용하는 기본 모델로 손을 활용한 입력 방법을 설계한다. 이는 가상현실 컨트롤러를 손 동작과 행동으로 대응시킴으로써 가상 캐릭터의 손을 통해 환경 또는 객체와 직접 상호작용할 수 있도록 한다. 여기서 중요한 점은 사용자간 협업을 고려한 상호작용을 함께 제시한다는 것이다. 본 연구에서는 두 명의 사용자 중 한 명이 선택한 객체 (다트)를 나머지 한 명의 사용자가 선택한 객체 (다트 판)에 맞춤으로써 협업하는 구조의 상호작용을 설계한다. 이때 3차원 가상 공간에 존재하는 가상 객체들의 변환 정보, 손을 활용한사용자의 애니메이션에 기반한 행동 등이 정확히 동기화되어야 한다. 마지막으로 사용자간의 협업 과정에서 필요한 정보나 상태를 주고받는 의사소통을 위한 인터페이스를 추가로 설계한다.
본 연구에서 제안하는 다수 사용자 상호작용과 이를 적용한 어플리케이션은 유니티 3D (Unity 3D) 엔진을 활용하여 구현하며, HTC Vive HMD와 전용 컨트롤러를 활용하여 사용자가 가상현실을 체험할 수 있도록 환경을 구성하였기 때문에 유니티 3D엔진에 SteamVR 플러그인을 통합하여 인터페이스를 설계한다. Table 1은 유니티 3D 엔진 개발 환경에서 SteamVR 플러그인을 통해 컨트롤러에 대한 입력 처리를 위해 사용되는 핵심 코드를 나열한 것이다.
손은 몰입형 가상현실에서 사용자가 다양한 행동을 표현하는데 있어 가장 자주 사용되는 신체이다. 따라서 제안하는 다수 사용자 상호작용에서 사용자가 가상 환경과 가상 환경에 존재하는 객체들 그리고 사용자간의 상호작용하는 도구로 손을 활용한다.우선, 관절 정보가 포함된 3차원 손 모델을 유니티 3D 엔진개발환경으로 불러온 다음 SteamVR 플러그인에서 제공하는 컨트롤러 객체의 하위 객체로 등록시킨다. Figure 2는 SteamVR 플러그인을 포함한 유니티 3D 엔진에 개발환경에서 컨트롤러와 3차원 손 모델을 대응시키는 과정을 보여준다. SteamVR 플러그인에서 제공하는 HMD 카메라 속성과 양손 컨트롤러의 입력 관리 기능이 포함된 프리팹에 3차원 손 모델을 등록시키는 구조이다. 그런 다음 Table 1의 입력 방식을 활용하여 컨트롤러와 손 동작을 대응시킨다. Figure 3은 이를 나타낸 것으로 HTC Vive 컨트롤러의 입력 키를 통하여 3차원 손 모델의 동작을 대응시킨 결과이다. 기본적으로 손을 쥐고 펴는 동작을 취하며 3차원 가상 공간에 존재하는 객체들을 손으로 잡아 제어할 수 있도록 한다.
손은 몰입형 가상현실에서 사용자가 다양한 행동을 표현하는데 있어 가장 자주 사용되는 신체이다. 따라서 제안하는 다수 사용자 상호작용에서 사용자가 가상 환경과 가상 환경에 존재하는 객체들 그리고 사용자간의 상호작용하는 도구로 손을 활용한다. 우선, 관절 정보가 포함된 3차원 손 모델을 유니티 3D 엔진개발환경으로 불러온 다음 SteamVR 플러그인에서 제공하는 컨트롤러 객체의 하위 객체로 등록시킨다. Figure 2는 SteamVR 플러그인을 포함한 유니티 3D 엔진에 개발환경에서 컨트롤러와 3차원 손 모델을 대응시키는 과정을 보여준다. SteamVR 플러그인에서 제공하는 HMD 카메라 속성과 양손 컨트롤러의 입력 관리 기능이 포함된 프리팹에 3차원 손 모델을 등록시키는 구조이다. 그런다음 Table 1의 입력 방식을 활용하여 컨트롤러와 손 동작을 대응시킨다. Figure 3은 이를 나타낸 것으로 HTC Vive 컨트롤러의 입력 키를 통하여 3차원 손 모델의 동작을 대응시킨 결과이다. 기본적으로 손을 쥐고 펴는 동작을 취하며 3차원 가상 공간에 존재하는 객체들을 손으로 잡아 제어할 수 있도록 한다.
이외에도 가상현실 공간에 존재하는 캐릭터의 이동을 컨트롤러의 키 입력을 통해 구현한다. HTC Vive의 양손 컨트롤러 가운데 왼손 컨트롤러의 터치 패드를 활용하여 캐릭터의 이동 방향을계산한다. Figure 4는 이를 나타낸 것으로 컨트롤러의 터치패드를 xz축 평면으로 투영하여 캐릭터의 이동 벡터를 계산하는 것이다.
다수의 HMD 사용자들로 구성된 가상협업환경을 구현하기 위하여 유니티 3D 엔진 개발환경에서 제공하는 UNet (Unity Network)을 활용한다. 이는 저 수준의 세부 사항에 대해 개발자가 크게 신경 쓰지 않아도 다수 사용자간 통신에 필요한 요구사항 을 만족시킬 수 있는 커맨드에 접근할 수 있다. 유니티 네트워크시스템에서 어플리케이션은 하나의 서버와 여러 클라이언트를 가진다. 본 연구에서 제안하는 다수 사용자 상호작용기반 체험환경은 두 사람의 사용자 사이의 협업을 고려하고 있기 때문에 클라이언트 중 하나가 서버의 역할을 함께 하는 호스트 (host)가 되어 네트워크를 구성한다. 호스트는 서버와 로컬 클라이언트를 모두 포함하고 있어 직접 함수 호출과 메시지 대기열을 통해 서버와 통신한다. 전용 서버 없이 클라이언트간 직접 통신을 통해협업 과정에서의 지연이나 끊김 현상을 최소화하도록 한다.
본 연구에서 실험을 위해 제작한 어플리케이션을 예로 상황을 분석하면 사용자가 협업 과정에서 정확하게 동기화가 되어야만 체험이 정상적으로 진행되는 객체 또는 상황이 있다. 사용자간 위치정보, 손을 활용한 동작 및 행동 그리고 모든 사용자가 함께 공유하여 선택, 제어할 수 있는 객체들 (예, 다트, 다트판, 박스 등)이 이에 해당한다. 가상 환경에서 사용자를 대신하는 플레이어의 위치, 방향과 같은 기본 변환 정보들은 유니티 네트워크 시스템에서 제공하는 Network Transform 속성을 사용하여 동기화한다. 하지만 이는 클라이언트 플레이어 그 중에서도 최상위 계층이 객체에만 적용 가능한 속성이기에 플레이어 외에 동기화가 필요한 모든 객체, 상황은 커맨드 (command)와 클라이언트 RPC기능을 활용한다. 커맨드는 클라이언트에서 호출되어 서버에서 실행되는 구조이고, 클라이언트 RPC는 서버에서 호출되어 클라이언트에서 실행하는 것이다. 동기화가 필요한 객체의 변환, 상태 정보를 두 호출 방식을 통해 처리함으로써 모든 클라이언트가 같은 상태를 유지하도록 한다. Table 2는 제안하는 어플리케이션에서 커맨드와 클라이언트RPC를 통해 동기화한 객체와 상태와 동기화 과정에서 사용한 코드의일부를 나타낸 것이다. 커맨드와 클라이언트RPC를 통해 동기화하는 과정에서 멤버 변수에 대한동기화가 필요한 경우 [SyncVar] 명령어를 사용하도록 한다.
Figure 5는 앞서 설명한 동기화 과정을 통해 다수 사용자가 협업을 통해 원활하게 어플리케이션을 진행하는 과정을 나타낸 것 이다.
이외에도 손을 이용한 악수, 터치 등 동기화에 기반하여 사용자가 직접적인 상호작용을 가능하도록 설계한다 (Figure 6).
다수 사용자가 동일한 공간에서 가상현실 어플리케이션을 체험 할 경우 직접 대화를 통해 자신의 생각, 필요한 정보들을 교환할 수 있다. 하지만 사용자가 원격으로 존재할 경우에는 빠르고 효율적으로 의사소통 할 수 있는 구조가 필요하다. 이를 위해 본 연구에서는 추가적으로 사용자간 의사소통을 효과적으로 처리할수 있는 인터페이스를 설계한다. Figure 7은 본 연구에서 제작한 어플리케이션에서 필요할 수 있는 상황에 맞게 구체적인 예를 들어 인터페이스를 구현한 것이다. 이 역시 컨트롤러의 터치패드와 인터페이스의 좌표를 대응시켜서 사용자가 편리하게 입력할 수 있도록 구현한다. 또한, 입력한 아이콘을 상대방 사용자가 바로 확인할 수 있도록 가상 공간에 존재하는 자신의 캐릭터 주변에 활성화시키도록 한다. 추가적으로 어플리케이션의 재미 요소를 향상시키기 위하여 상대방 캐릭터의 머리를 때리면 음향 효과와 함께 캐릭터의 표정이 바뀌는 상호작용을 적용한다.
5. 실험 및 분석
본 연구는 다수 사용자가 함께 가상현실 환경에 존재하며 소통과 협업에 기반한 사회적 상호작용을 통해 향상된 현존감을 제공받 는 가상협업환경을 제시하고자 한다. 이때 다수 사용자가 동일 공간에서 체험하는 것은 물론 원격으로 체험할 수 있는 환경도 함께 고려한다.
실험을 위해 제작한 가상현실 어플리케이션은 Unity 3D 2017.3.1f1 엔진을 기반으로 SteamVR 플러그인을 통합하여 구현하였다. 어플리케이션 제작에 사용된 그래픽 리소스 중 주 캐릭터, NPC 그리고 협업에 필요한 핵심 리소스들 (다트, 다트 판등)은 Autodesk 3ds Max 2017, Adobe Photoshop CS5, Adobe Illustrator CS5를 활용하여 직접 제작하였고, 그 외 배경적 요소들은 유니티 사의 에셋 스토어 (asset store)에서 제공하는 리소스를 활용하였다. 다수 사용자 참여가 가능한 어플리케이션 제작을 기반으로 함께 협업하여 체험할 수 있는 환경을 구축하였으며, 이때사용된 PC는 Intel Core I7-6700, 16GB RAM, Geforce 1080 GPU 를 탑재하고 있다. Figure 8은 본 연구에서 제작한 어플리케이션의 결과로 직접 제작한 그래픽 리소스들과 어플리케이션 진행 흐름에 따라 캡쳐한 장면을 나타낸 것이다.
다음은 다수 사용자 상호작용을 고려한 체험환경 구성이다. HTC Vive 장비에서 허용하는 크기의 공간 내에서 사용자가 함께 또는 각자 체험을 즐기도록 한다. Figure 9는 본 연구에서 제시하는 체험환경을 나타낸 것으로 HMD를 착용한 사용자가 전용컨트롤러를 활용하여 다른 사용자와 함께 소통, 협업하여 주어진목표를 달성하게 된다.
마지막으로 다수 사용자 상호작용을 통해 가상현실에 존재하는모든 사용자가 향상된 현존감을 느끼면서 전체적으로 만족감 (흥미, 사회적 상호작용)을 느끼는지를 설문 실험을 통해 확인하였다. 우선 설문참가자는 21∼37세 사이의 총 12 (남: 8, 여: 4)을 대상으로 진행하였다. 두 명의 참가자가 한 조를 이루어 12명 6조로 체험이 진행된다. 단, 사용자의 역할이 다르기 때문에 역할을 나누어 두 번씩 체험을 하도록 하였다. 첫 번째 설문 실험은 현존감에 대한 분석이다. 본 연구는 Witmer et al. [26]가 제안 한현존감 설문지를 활용하여 설문 결과를 도출하고 이를 분석하였다. 현존감 설문지는 현존감에 대한 다양한 질문을 토대로 총 19 개의 문항으로 구성되어 있으며, 참가자는 1∼7사이의 값을 선택하여 입력하도록 되어있다. 평균이 7에 가까운 값이 기록될수록 높은 현존감을 느꼈다고 판단할 수 있으며, 일반적으로 평균 5점 이상이 되면 가상현실에서 만족스러운 현존감을 제공하였다고 판단할 수 있다. 설문 결과 다트를 다트 판에 던지는 사용자의 역할을 하는 경우의 현존값 평균은 6.443 (표준편차: 0.234), 반대로 다트 판을 들고 날아오는 다트를 정확히 잡아주는 역할을 하는 경우의 현존값 평균은 6.316 (표준편차: 0.215)으로 기록되었다. 상대적으로 다트를 던지는 역할을 하는 경우의 현존감이 높게 기록되었는데 이는 일반적으로 다트 게임을 할 때 다트를 던지는 것이 받는 것에 비해 능동적이기 때문에 좀 더 몰입을 할 수 있었던 것으로 확인되었다. 여기에 참가자 각각의 설문 값을 토대로 다트 사용자와 다트 판 사용자 사이의 유의 확률 (p-value)을 계산한 결과 8.326 × 10−2 (> 0.05)으로 사용자 역할의 차이와 현존감사이에는 유의미한 차이가 없음을 알 수 있었다. 또한, 전체적인현존감 평균을 보면 모두 6.379 이상으로 기록되어 어떤 역할을 수행하든지 간에 만족하는 현존감을 제공받았음을 알 수 있었다.
세부적으로 상황을 확인해 보았을 때 사용자간에 충분한 소통과 협업에 필요한 정보를 교환해 가면서 어플리케이션을 체험하고 진행 과정에서 자신의 생각과 감정을 충분히 드러낼 경우 현존감이 상승하는 경우가 많았다. 반대로 특별한 의사소통 없이 주어진 역할에만 충실할 경우에는 상대적으로 낮은 결과를 기록하였지만, 컴퓨터가 아닌 사람이 함께 체험하기 때문에 현재상황에서 발생할 수 있는 행동은 예측하기 어려운 부분들이 존재하고 이로 인하여 어플리케이션이 진행되는 동안 긴장과 몰입이 지속됨으로써 현존감이 높게 유지되는 경향을 보이고 있다. 1인 사용자를 중심으로 한 몰입형 가상현실과의 비교 실험을위해 고정된 다트 판에 다트 사용자 혼자서 체험하도록 하여 현존감 설문을 진행한 결과 현존감은 5.812 (표준편차: 0.224)로 앞서 설문한 모든 결과보다도 낮은 값이 기록되었다. 이는 누군가와 함께 경험을 공유하는 것이 가상의 환경에 몰입하고 집중하는데 영향을 미친다는 것이다.
두 번째 설문 실험은 경험에 대한 설문 분석으로 게임 경험 설문지 (GEQ, Game Experience Questionnaire) [27]를 활용하여 어플리케이션을 체험하는 과정에서 사용자가 느꼈던 흥미, 사회적 상호작용을 확인하였다. 두 설문 요소 모두 0∼4점 사이의 값을 기록하였으며, 흥미에 대한 평균 값은 다트 사용자는 3.736 (표준편차: 0.546), 다트 판 사용자는 3.653 (표준편차: 0.551)로 두사용자의 역할 모두 흥미 유발에 좋은 효과가 있음을 확인할 수 있었다. 역시, 유의 확률 (p-value)을 계산한 결과 1.573 × 10−1 으로 흥미와 사용자 역할과의 관계는 유의미한 영향을 미치지 않는 것으로 확인되었다. 어플리케이션을 체험하는 과정에서 각자 독립된 행동을 하는 것이 아닌 서로 소통과 협업을 통해 상호작용함을 전체로 진행이 됨으로 인하여 다트를 사용하는 사용자 못지않게 다트 판을 사용자도 충분히 즐거운 경험을 제공받음을 알수 있었다. 앞에서와 같은 방법으로 1인 단독 체험환경에서 다트사용자의 흥미 설문 값을 기록한 결과 3.055 (표준편차: 0.414)의 값을 나타내었다. 흥미에 대한 경험에 있어 소통과 협업이 중요한 요인 중 하나가 될 수 있으며, 궁극적으로 이는 현존감에도 영향을 미치게 된다.
다음으로 사회적 상호작용의 경우 두 역할 모두 3.778 (다트 사용자, 표준편차: 0.394), 3.757 (다트 판 사용자, 표준편차: 0.392)로 높은 값을 기록함을 알 수 있었다. 협업을 기반으로 설계한다수 사용자 상호작용이 사용자들로 하여금 충분히 만족스러운 의사소통을 했다는 것으로 분석할 수 있다. 다트 사용자 혼자 체험하는 환경의 경우 사용자간 상호작용이 배제된 가상환경과의 상호작용만으로 설문이 기록되어 2.157 (표준편차: 0.321)의 차이가 나는 작은 값을 보였다. 이는 상호작용에서 사용자간 의사소통이 중요한 역할을 담당하고 있으며, 이 역시도 현존감과 밀접한 관계를 나타내고 있음을 확인할 수 있었다.
결과적으로 다수 사용자들이 함께 참여하는 가상현실 어플리케이션에서 사용자의 역할과 참여 방식을 구분하여 설계하고 이과정에서 사용자간 소통과 협업을 할 수 있는 구조를 적절히 설계할 수 있다면 1인 중심의 가상현실 어플리케이션과 비교하여 높은 현존감과 다양한 경험을 제공할 수 있는 하나의 가상현실 어플리케이션의 응용 방향을 제시할 수 있을 것이다.
6. 결론
본 연구는 한 명의 HMD 사용자를 중심으로 하는 몰입형 가상현실에서의 체험환경을 넘어 여러 사용자가 함께 가상 공간에 모여 체험하는 과정에서 소통과 협업을 통해 향상된 현존감과 새로운 경험을 제공받을 수 있는 다수 사용자 상호작용을 제안하였다. 이를 위해 동일한 행동과 상호작용을 다수 사용자에게 적용하고 각자의 역할을 독립적으로 수행하는 과정에서 공동의 목표를 달성하는 기존의 가상현실 어플리케이션과 달리 사용자마다 행동과 역할을 구분시키고 어플리케이션이 제시하는 목표를 달성 하기 위하여 사용자가 주어진 역할 하에서 소통과 협업을 통해 상호작용할 수 있는 방법을 제안하였다. 우선, 구체적인 상황을 제시하여 실험할 수 있도록 가상현실 어플리케이션을 제작하고 여기에 사용자 각각의 상호작용과 협업을 위해 필요한 상태나 객체들에 대한 동기화 처리과정을 구현하였다. 추가적으로 원격 다수 사용자간 의사소통을 고려한 사용자 인터페이스를 설계하여 사용자가 서로 효율적으로 소통하면서 함께 협력해 나갈 수 있도 록 설계하였다. 이러한 과정을 통해 궁극적으로 모든 사용자가 향상된 현존감과 만족하는 경험을 제공받았음을 확인하기 위하여 참가자들 (n=12)을 대상으로 제시한 상호작용을 경험하게 한 후,현존감과 경험의 설문 결과를 기록하였다. 그 결과 본 연구에서 목표로 한 모든 사용자들이 가상협업환경에서 향상된 현존감을 느낄 수 있음을 확인할 수 있었고, 또한 높은 흥미와 사회적 상호작용 경험을 느꼈다고 응답하였다. 이러한 설문 실험을 통하여 단순히 1인 가상현실 체험환경을 다수의 사용자에게 확대시키는 방식이 아니라 구분된 역할을 토대로 사용자가 소통하고 협업할 수 있는 상호작용을 가상협업환경에 적용한다면 사용자가 더욱 긴장하고 몰입하면서 흥미를 느낄 수 있는 체험환경을 제시할 수있을 것이다.
본 연구는 다수 사용자 상호작용을 통해 향상된 현존감과 만족스러운 경험을 확인하는 과정에서 사용자의 수를 두 명으로 제한하여 어플리케이션을 제작하였다. 향후 사용자간 소통과 협업의폭을 넓히고 일반화된 상호작용 방향을 제시함을 목표로 다양한 어플리케이션을 제작하여 실험할 수 있도록 할 것이다. 또한, 더욱 많은 참가자들을 대상으로 설문 실험을 진행함으로써 분석결과 값의 신뢰도를 높일 수 있도록 진행할 계획이다.
