Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

비대칭 가상현실에서의 현존감을위한 HMD 사용자와 Non-HMD 사용자간 몰입형 상호작용에 관한 연구

이지원, 김민규1, 김진모*
Jiwon Lee, Mingyu Kim1, Jinmo Kim*
부산가톨릭대학교 소프트웨어학과
1고려대학교 영상정보처리협동과정
Department of Software, Catholic University of Pusan
1Interdisciplinary Program in Visual Information Processing, Korea University
*corresponding author:Jinmo Kim/Catholic University of Pusan(jmkim11@cup.ac.kr)

© Copyright 2018 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 11, 2018 ; Revised: Jun 29, 2018 ; Accepted: Jul 04, 2018

Published Online: Jul 10, 2018

요 약

본 연구는 비대칭 가상현실 환경에 존재하는 HMD 사용자와 Non-HMD 사용자 모두에게 향상된 현존감을 제공하기 위하여사용자의 체험 환경에 최적화된 몰입형 상호작용을 제안한다. 제안하는 몰입형 상호작용의 핵심은 HMD 사용자와 Non-HMD 사용자 사이의 비대칭 환경의 차이를 구분하여 사용자에게 최적화된 상호작용을 제시하는 것이다. 그리고 사용자 각각에게 주어지는 비대칭 가상현실 환경에서 향상된 몰입을 제공하여 현존감을 높이기 위하여 HMD 사용자에게는 공간의 몰입을 향상시키는 걷기 상호작용을, Non-HMD 사용자에게는 직접적인 조작을 통해 상황을 전체적으로 이해하고 관리함으로써 몰입을 향상시키는 손 기반 인터페이스를 설계한다. 마지막으로 몰입형 상호작용을 통해 모든 사용자가 향상된 현존감을 제공받으면서 동시에 각각의 체험에 환경에 특화된 경험을 하였음을 설문실험을 통해 검증한다. 이러한 과정들을 통하여 제안한 상호작용이 비대칭 가상현실에서 Non-HMD 사용자도 보조자가 아닌 참가자로써 HMD 사용자와 함께 몰입할 수 있음을 확인한다.

Abstract

This study proposes an immersive interaction optimized for the user’s experience environment to provide an improved presence for both HMD and Non-HMD users in the asymmetric virtual reality (VR) environment. The core of the proposed immersiveinteraction is to distinguish the differences of the asymmetric environment between the HMD and Non-HMD users and presentthe optimized interaction to the user. And, in order to increase the presence by providing improved immersion in the asymmetricvirtual reality environment given to each user, we design the walking interaction to improve the immersion of space for theHMD users, a hand-based interface that improves immersion by fully understanding and managing the situation through directcontrol. Finally, through the experiment using questionnaire, it is verified that the immersive interaction provides all users withan enhanced presence and specialized experience in each environment experience. Through these processes, we confirmed thatthe Non-HMD user can be immersed in an asymmetric virtual reality using by proposed interaction as participant rather than assistant with HMD user.

Keywords: 비대칭 가상현실; 몰입형 상호작용; 현존감; Non-HMD와 HMD 사용자
Keywords: asymmetric virtual reality; immersive interaction; presence; Non-HMD and HMD users

1. 서론

컴퓨터로 만들어진 가상 환경에 존재하는 사용자에게 실제와 같은 경험을 제공하는 가상현실 기술은 Oculus Rift CV1/Go, HTC Vive를 비롯한 HMD의 발전과 함께 트레드 밀, 모션 플랫폼 등과 같은 하드웨어 시스템과 결합하여 더욱더 몰입할 수 있는 환경을 제시하고 있다. 또한, 가상 환경을 구성하는 다양한 형식의 객체들과 직접적이면서 현실감 있게 상호작용할 수 있는 몰입형 가상현실(IVR, Immersive Virtual Reality)에 관한 연구들이 현재까지도 다양한 분야에서 이루어지고 있다 [1, 2, 3].

몰입형 가상현실은 오감을 기반으로 사용자가 어디에서 누구와 함께 어떠한 행동을 하는지에 대한 경험을 실제처럼 느끼도록 제공한다. 사용자의 오감을 통해 우리가 어디에 있는지, 누구와 함께 있는지, 무슨 행동을 하는지에 대한 경험을 실제와 같이 느끼는 가상 환경을 제시함을 목적으로 입체적 시각정보를 전송하는 디스플레이에서 체적(volumetric) 오디오 소스를 활용한 청각 그리고 물리적 반응을 인체(손, 발 등)로 직접 피드백하는 햅틱 시스템을 통한 촉각 등에 대한 연구들이 현재까지도 이루어지고 있다 [4, 5, 6]. 보다 구체적으로 가상과 실제 사이의 사실적인 상호작용을 설계하기 위해서는 인체 관절의 움직임을 정확히 감지하고, 동작의 의도를 분석하는 과정이 필요하다. 표면 마커(Surface maker) [7] 또는 광학 마커(optical marker) [8]를 통해 손의 움직임을 캡쳐하고 이를 가상환경에 반영하여 실제 손 동작이 가상에 매핑될 수 있도록 하는 연구 [9]들을 시작으로 구형 메쉬 추적 모델(sphere-mesh tracking model)을 통해 정교한 손 모델을 계산하는 방법 [10]과 모션 캡쳐 데이터를 활용하여 손 제스처는 물론 얼굴표정, 몸 움직임을 포함한 사람의 행동을 사실적으로 가상 공간에 표현하는 연구 [1]들이 진행되었다. Vasylevska et al. [11]은 유연한 공간(flexible space)을 제안하여 제한된 공간에서 무한한 걷기가 가능하도록 하였다. 이를 기반으로 Dong et al. [12]은 넓은 가상 공간에서 적은 등각 투영 왜곡(isometric distortion)으로 실제와 같은 걷기를 계산하는 방법(Smooth Assembled Mappings)을 연구하였고, Marwecki et al. [2]은 다수 가상현실 사용자가 가상 공간을 함께 공유하는 과정에서 사실적이면서 효율적인 걷기 표현이 가능하도록 하는 방법을 제안하였다. Lee et al. [13]은 제자리 걸음을 활용한 걷기 시뮬레이터를 설계하여 간단하고 쉬운 방식으로 가상현실 환경에서 자유로운 움직임을 표현하기도 하였다.

인체 관절의 움직임을 정확히 감지하여 가상 환경에 사실적으로 표현하거나 가상 공간에서의 자유로운 걷기를 표현하는 것은 물론, 가상 환경과 상호작용하는 과정에서 발생하는 물리적 힘을 촉각으로 피드백하는 연구들 또한 몰입형 가상현실에서 중요한 부분이다. 이와 관련하여 3-RSR 햅틱 웨어러블 장비 [14]나 3-DOF 웨어러블 햅틱 인터페이스 [15] 를 제안하여 손가락 끝에 접촉되는 힘을 정교하게 조절할 수 있는 연구들이 진행되었다. 이러한 햅틱 시스템은 사용자 친화적인 관점에서 휴대하기 쉽고 가볍게 이용할 수 있는 방식으로 발전되고 있다 [5]. 여기서 한 가지 주목할 수 있는 점은 대부분의 몰입형 가상현실은 사용자 한 명의 오감에 초점을 맞추어 알고리즘, 시스템 또는 사용자 인터페이스를 설계하고 연구하고 있다는 것이다. 하지만 가상현실에 존재하는 사용자는 자신들이 참여하는 수준이나 역할이 다를 수 있기 때문에(때로는 관람하기를 원하고, 일부는 제한된 상호작용을 원하거나 반대로 경험의 일부가 되기를 희망함) 몰입형 가상현실 연구는 사용자의 오감에서 소통과 역할 등 사회적 상호작용 (social interaction)으로 확장되어야 할 필요성이 존재한다.

가상협업환경 (CVE, Collaborative Virtual Environments)은 가상 환경에 존재하는 여러 사용자가 주어진 조건과 환경에서 협업하거나 소통하기 위한 상호작용 방법을 제안하고 있다. 가상현실기술에 기반한 가상협업환경에 관한 연구들은 주로 HMD를 착용한 다수의 사용자가 주어진 환경에 더욱 더 몰입할 수 있도록 시스템을 설계하거나 다양한 경험을 공유할 수 있는 환경을 제시하고 있다.

가상협업환경과 관련된 연구들은 다중 가상현실 사용자들 간의 공동 작업을 효율적으로 처리하거나 몰입 환경에서 의사소통할 수 있는 상호작용을 제안하는 것은 물론 일반적인 PC 사용자와 같은 비몰입형 사용자들로 참여의 폭을 넓혀가는 비대칭가상현실에서의 상호작용 연구로 발전되어가고 있다. 최근 Gugenheimer et al. [16]이 제안한 ShareVR은 동일한 공간에 위치한 HMD 사용자와 Non-HMD 사용자 모두가 만족하는 경험을 제공받을 수 있는 비대칭 상호작용을 제안하였다. 하지만 가상협업환경에서 비대칭 가상현실 연구들은 대부분 HMD 와 같은몰입형 장비를 착용한 가상현실 사용자를 중심으로 하고 있으며, Non-HMD 사용자와 같은 비몰입형 사용자는 가상 공간에서 함께 협업하는 참가자보단 보조자 또는 관람자로 제한된 참여만이 가능한 경우들이다. 결국, Non-HMD 사용자는 가상현실에 대한경험을 공유하는데 한계가 발생한다.

본 연구는 동일한 공간에 존재하는 HMD 사용자와 Non-HMD사용자의 체험 환경의 차이를 분석하고, 각자의 상황에 적합한몰입 환경과 어플리케이션을 설계한다. 그리고 각각의 사용자가 동일한 가상현실 환경에서 함께 몰입하는 과정을 통해 향상된 현존감과 경험을 제공받을 수 있는 몰입형 상호작용을 제안한 다. 핵심은 하나의 가상현실 환경을 체험하는 두 사용자(HMD 와 Non-HMD)가 모두 현존감은 물론 흥미 그리고 소통을 통한사회적 상호작용 경험에서의 만족감을 느끼도록 하는 것이다. 제안하는 몰입형 상호작용은 HMD 사용자와 Non-HMD 사용자의 체험 환경의 차이를 고려하여 HMD 사용자는 걷기 시뮬레이터를 활용하여 가상 공간에서의 이동 과정에서 몰입을 향상시키고, Non-HMD 사용자는 장면을 전체적으로 관찰하고, 상황을 이해하며 각각을 제어할 수 있는 장점을 극대화시키기 위하여 손을 활용한 인터페이스를 설계한다.

2. 관련 연구

사용자를 중심으로 한 몰입형 가상현실에서 고려해야 하는 핵심요인은 현존감이다. 현존감은 사용자가 가상현실을 실제와 같이 인지하는 것처럼 행동하고 느끼는 현상이다. 그리고 사용자가 실제와 가상을 구분하기 어려울 정도의 높은 현존감을 경험하기 위해서는 가상 환경에 더욱 몰입할 수 있는 환경을 제시해야 한다. 따라서 향상된 현존감을 제공하기 위해서는 사용자의 몰입을 높이는 상호작용 기술을 연구, 개발함은 물론 다양한 사회적, 문화적 관점에서의 접근들도 필요하다. Slater et al. [17]은 몰입형가상현실에서 현존감에 대한 연구를 다양한 관점에서 폭넓게 진행해 오고 있다. 인공신경망을 활용한 가상 네비게이션 기능과 광학 모션 추적 장비 등을 활용하여 사용자의 걷기에서의 현존감을 비교하는 연구 [18], 제한된 환경에서 시선을 활용하여 의사소통하는 과정에서의 현존감을 확인하는 연구 [19] 등을 진행하였다. 이러한 연구들은 가상현실 사용자가 존재하는 환경과 조건에 따라 인식과 행동의 차이가 발생함을 연구 [20]하거나 심리학, 신경 과학, 사회 현상 등의 포괄적 접근을 통해 가상현실과 사용자 간의 관계를 분석하는 연구 [21]들로 발전되고 있다. 최근에는 구체적인 사례를 중심으로 가상현실에서의 학습 활동에 있어 대화식과 수동적 방법이 미치는 효과 등을 분석 [22]하거나 가상현실에서의 폭력적 충돌 시 구경꾼의 행동 반응과 구조 행동의 관계를 분석하는 연구 [23]들도 이루어지고 있다. 이외에도 사용자 인터페이스를 기반으로 한 상호작용에서의 현존감을 비교 분석하는 연구들로 시선, 손, 걷기 등을 활용하여 가상 환경과 직접적으로 상호작용하는 과정에서 향상된 현존감을 제공할 수있는 새로운 상호작용을 제안하는 연구들 [3, 24]도 이루어지고 있다. 몰입형 가상현실에서의 현존감에 대한 연구들은 다중 사용자가 존재하는 가상협업환경으로 확대되어 여러 사용자들이 생각과 감정을 공유하거나 의사 소통하는 과정에서 몰입을 유도하고, 다양한 경험을 제공함으로써 현존감을 향상시킬 수 있음을 확인하기도 한다.

가상협업환경은 Carlsson et al. [25]이 제안한 분산 대화식 가상 환경(DIVE, Distributed Interactive Virtual Environments)과 같이 사용자와 환경 또는 다중 사용자간의 상호작용을 연구하는 것으로부터 시작되었다. 이러한 연구들은 현재까지도 분산 협업에서의 몰입형환경을 제공하기 위한 목적으로 꾸준히 연구되고 있다 [26]. 뿐만 아니라 가상환경에서 건축을 디자인함에 있어 다중 사용자가 창의성을 발휘하며 효과적으로 협업할 수 있는 원격 작업들을 비교 분석하는 연구 [27], 가상현실에서 협업 학습을 위한 기술과 방법을 제안하는 연구 [28] 그리고 가상협업환경에서 인간 표현에 대한 사용자 경험을 평가하는 연구 [29] 등 다양한 응용 연구들이 이루어지고 있다.

가상현실에 기반한 가상협업환경은 HMD 사용자는 물론 Non-HMD 사용자들까지도 같은 장소에 위치하며, 이들 다중 사용자들의 역할과 행동이 구분된 비대칭 가상현실로 발전되어 왔다. 가상현실에서 HMD 사용자와 PC 환경에서의 전통적인 그래픽 사용자 인터페이스(GUI, Graphical User Interface)를 사용하는 사용자 사이의 상호작용을 제안하는 연구 [30]와 같이 비대칭한 체험 환경을 구분하여 제시하는 연구들이 진행되었다. Duvalet al. [31]은 HMD 사용자와 PC 사용자 사이의 비대칭 2D/3D 상호작용을 제시하였고, Oda et al. [32]은 증강현실 HMD를 착용한 사용자가 원격 사용자와 상호작용할 수 있는 새로운 방법을 제안하기도 하였다. 최근에는 비대칭 협업을 위하여 물리적인 위치와 가상 위치 간의 정확한 상호작용을 설계하는 연구 [33]가 진행되기도 하였다. 이러한 비대칭 가상현실에 대한 연구들은HMD 사용자와 Non-HMD 사용자 사이의 역할과 행동을 구분하여 정의하기도 한다. Cheng et al.이 제안한 Haptic Turk [34]나 TurkDeck [35]은 Non-HMD 사용자들에게 사람 액추에이터로써 가상현실에 좀 더 직접적으로 참여할 수 있도록 하였다. 하지만 비대칭 가상현실에서의 Non-HMD 사용자는 HMD 사용자의 현존감을 향상시키는 보조자의 한계를 넘지 못하고 있다. Gugenheimer et al. [16]은 비대칭한 경험과 Non-HMD 사용자의 햅틱피드백 역할을 통합한 Share VR을 제안하였다. 이는 동일한 공간에 존재하는 HMD 사용자와 Non-HMD 사용자 사이의 비대칭한 상호작용을 가능하게 하고, 이를 통하여 모든 사용자가 주어진 환경에 만족할 만한 경험을 제공받을 수 있음을 확인하였다. 하지만 비대칭 가상현실에서의 현존감에 대한 비중은 시스템적인 또는 환경적인 차이로 인하여 HMD 사용자에게 많은 초점이 맞추어져 있다. 즉, Non-HMD 사용자가 가상현실에 관점에서 HMD 사용자와 유사한 현존감을 제공받기 위한 연구들이 아직까지는 이루어지고 있지 않다는 점이다. 최근에는 Playroom VR과 같은 비대칭 가상현실 콘텐츠들 [36]이 출시되고 있고, 시프테오 큐브(Sifteo Cube)를 활용한 비대칭 게임인 Maze Commander [37] 등이 연구되기도 하였다. 하지만 이러한 어플리케이션 역시 Non-HMD 사용자는 일반적인 입력 장비(키보드, 마우스 그리고 컨트롤러)를 사용하기 때문에 가상현실에서의 경험은 제한적일 수밖에없다.

본 연구는 이러한 한계와 문제점들을 극복하기 위하여 비대칭 가상현실에서 Non-HMD 사용자만의 향상된 현존감을 제공하고동시에 사용자에 최적화된 상호작용을 부여하여 모두가 만족하는 경험을 느낄 수 있는 몰입형 상호작용을 설계하고자 한다.

3. 몰입형 상호작용

가상협업환경에 존재하는 다양한 환경의 사용자들 간 의사소통에 있어 비대칭 상호작용은 모든 사용자의 현존감을 향상하는데 있어 중요한 역할을 담당한다. 이때, 상호작용 과정에서의 몰입요소가 어떻게 설계되느냐가 핵심이 된다. 따라서 본 연구는 비대칭 가상현실에 존재하는 HMD 사용자와 Non-HMD 사용자의 체험 환경의 차이를 구분하고 대화를 통한 의사 전달과 함께 몰입을 극대화시킴으로써 현존감을 함께 상승시킬 수 있는 몰입형 비대칭 상호작용을 설계한다. 우선 HMD 사용자와 Non-HMD 사용자가 함께 동일한 공간에 위치한 상태에서 하나의 가상캐릭터를 두 명의 사용자가 함께 제어함을 전제로 한다. 그리고 이 과정에서 사용자의 역할과 행동의 차이를 시스템적 경험적 체험환경의 차이에 따라 구분하는 것이다. 본 연구는 상대적으로 가상현실에서의 입체적인 시각적, 공간적 정보를 직접적으로 받는 HMD 사용자에게는 두 다리를 직접 활용하여 걷기를 제어하는 상호작용을 설정하고, 장면을 전체적으로 보면서 상황을 제어하기에 적합한 Non-HMD 사용자에게는 행동의 사실성과 활동성을 높일 수 있는 손 기반 인터페이스를 설계함으로써 HMD사용자에게 보다 직관적으로 명령 또는 의사를 전달하고 가상현실에서의 경험을 함께 공유할 수 있도록 한다.

3.1 HMD 사용자를 위한 걷기 상호작용

첫 번째 상호작용은 HMD 사용자를 위한 걷기 상호작용이다. 본연구는 비대칭 가상현실에서 HMD 사용자에게는 입체적인 시각정보를 토대로 현장에 더욱 집중할 수 있도록 이동에 몰입할 수있는 상호작용을 설계한다. 이동은 다리를 이용하기 때문에 다리를 직접 활용할 수 있는 상호작용을 설계하는 것이 중요하다.기존의 비대칭 가상현실 어플리케이션의 경우 가상 캐릭터의 이동을 제어하는 입력 장치로 키보드 또는 게임패드와 같은 컨트롤러를 사용한다. 제한된 영역에서 공간을 활용하는 연구들의 경우 HTC Vive에서 제공하는 작은 방 크기의 이동만을 표현하는 것이 전부이다. 하지만 제안하는 걷기 상호작용은 제한된 공간에서 비교적 자유로운 걷기를 사용자에게 제공하기 위하여 Lee et al. [13]이 제안한 휴대용 걷기 시뮬레이터를 활용한다. 이는 제자리 걸음을 가상 환경의 이동에 반영하였을 경우 키보드나 컨트롤러를 활용하는 기존의 입력 처리 방식과 비교하였을 때 비용이나 휴대성의 차이가 없음에도 불구하고 월등히 향상된 몰입을 제공하고 이로 인하여 현존감이 높아짐을 확인하였다 [24]. 따라서 본 연구 역시 제자리 걸음 기반의 걷기 시뮬레이터를 활용하여 가상캐릭터의 이동을 HMD 사용자가 높을 몰입을 통해 제어할 수 있도록구현한다. 단, 기존의 시뮬레이터가 가지는 기능의 비효율적 측면을 보완하고 알고리즘을 수정하여 새로운 이동을 추가한다.

Lee et al. [13]이 제안한 걷기 시뮬레이터는 아두이노를 활용하여 휴대성, 단순 조작성은 물론 쉽게 착용할 수 있는 장점들을 가지고 있다. 세부적인 구조는 양 다리의 움직임 변화를 각각 측정하는 슬레이브 보드와 양 다리의 움직임을 기반으로 제자리 걸음을 종합적으로 판단하는 마스터 보드로 구성된다. 슬레이브와 마스터 모두 아두이노 나노 보드를 사용하여 작은 크기의 시스템으로 제작하였다.

제자리 걸음 인식 과정은 다음과 같다. 우선 슬레이브 보드에 부착된 자이로 센서(MPU 6050)의 3개의 축(yaw, pitch, roll) 중 roll 축의 변화를 통해 걸음 유무, pitch 축의 변화를 통해 방향전환 여부를 판단한다. 이는 Lee et al. [13]의 제자리 걸음 알고리즘과 대부분 유사하다. 본 연구는 전진 이동만 가능한 기존의시뮬레이터의 한계를 보완하기 위하여 전, 후진 선택 기능을 추가한다 (Figure 1). 이를 위해 자이로 센서가 측정하는 기울기와 가속도 변화 값을 함께 활용한다. 오른쪽 다리를 전, 후진 선택의 입력다리로 설정하여 제자리 걸음을 하는 중에 앞으로 한 보 이동하면 전진 모드로 뒤로 한 보 이동하면 후진 모드로 변경하도록 한다. 오른쪽 다리가 기준이기 때문에 반드시 오른쪽 다리부터 이동해야 하며, 기준 다리는 바꿀 수 있도록 한다. 양 다리에 부착된 슬레이브 보드에서 측정된 자이로 센서 값을 마스터 보드가 받아 최종적인 걷기 상태를 결정한다. 이때 마스터 보드의 역할은 크게 두 가지로 구성된다. 첫 번째는 최종 걷기 상태를 결정하는 것이다. 슬레이브 보드는 각각 걸음, 방향 전환, 정지 순서대로 현재 상태를 판단하여 마스터 보드에 전송한다. 마스터 보드는 양다리의 상태를 종합적으로 판단하여 사용자의 걷기 여부를 결정한다. 다음은 전, 후진 상태 판단이다. 이는 오른쪽 다리 슬레이브보드에 연결된 자이로 센서의 y축과 z축 가속도 변화 값을 통해 현재 방향 전환 행동을 전송 받고 최종적인 전, 후진 상태를 결정한다. Algorithm 1은 Lee et al. [13]의 제자리 걸음인지 알고리즘을 기반으로 새롭게 정의한 걷기 시뮬레이터의 구조이다.

jkcgs-24-3-1-g1
Figure 1: Walking simulator including forward and backwardmovement selection functions.
Download Original Figure
3.2 Non-HMD 사용자를 위한 손 기반 인터페이스

손은 몰입형 가상현실에서 사용자가 다양한 행동을 취하는데 있어 가장 사용빈도가 높은 신체이다. 따라서 HMD 사용자의 상호작용이 가상 캐릭터의 이동에 초점을 맞추어 다리를 직접 사 용하도록 하였다면, Non-HMD 사용자는 가상 캐릭터의 행동을 직접적으로 표현하기 위하여 손을 사용하도록 한다. 손을 사용하여 가상 환경과 상호작용하는 과정에서 실제와 같은 현존감을 제공할 수 있는 손 기반 인터페이스를 설계하는 것이 Non-HMD사용자의 상호작용에서의 핵심이다. 우선 기존의 연구 [3]에서 제시한 립 모션 기반의 손 인터페이스를 보면 사용자의 키보드나 컨트롤러를 활용하는 단순한 제어 방식과 비교하여 몰입형 가상 현실에서 상대적으로 높은 몰입을 통해 현존감을 향상 시키는데 도움을 주고 있음을 알 수 있다. 또한, 3인칭 시점의 가상현실과 관련된 연구에서 손을 사용하여 인터페이스를 제공할 경우 객체를 제어하거나 행동을 표현하는데 있어 좋은 상호작용 방식임을 알 수 있다 [38]. Non-HMD 사용자는 HMD 사용자와 같은 시점에서는 몰입형 환경의 차이로 인하여 낮은 현존감이 제공될 수 밖에 없기 때문에 시점을 다르게 하여 다른 경험을 제공받고 이를 토대로 역할과 행동 또한 구분시키고자 하는 것이 본 연구에서 제안하는 비대칭 상호작용의 특징이라고 할 수 있다. 따라서 3인칭이라는 공통된 시점에서 접근하였을 때 손을 사용한 상호작용이 적합할 수 있다는 전제하에 본 연구는 Non-HMD 사용자를 위한 손 기반 인터페이스를 설계한다. 그리고 이를 위해 립 모션장비를 사용하여 손을 보다 직접적으로 활용하고 사실적으로 표현할 수 있도록 한다. 여기서 립 모션 센서는 손의 움직임 캡쳐 및추적, 제스처 인식 등을 효과적으로 처리하는 기능을 담당한다.

Algorithm 1

Walking interaction through Simulator.

1: procedure Slave Module for Walking Detection

2: motion ← motion state of each leg.

3: ypr ← yaw, pitch, roll axis vector.

4: detect change in gradient value of ypr.pitch and ypr.roll.

5: determining motion (0: pause, 1: change in eye view, 2:walking-in-place) referenced by Lee et al. [13].

6: transmit motion to master board.

7: if current slave module is on right leg then

8: state ← motion direction change state.

9: accel ← gyro sensor’s acceleration vector.

10: detect gradient value of accel.y and accel.z.

11: determine state change (0: none, 1: forward(positive gradient of accel.z), 2: backward(negative gradient of accel.z)).

12: transmit state to master board

13: end if

14: end procedure

15: procedure Master Module for Walking Analysis

16: dir ← current forward, backward direction information (0: forward, 1: backward).

17: motion ← final walking state of user.

18: slave ← 2D vector for motion values received from both legs.

19: right ← motion change state received from right leg.

20: if slave.left == 1 or slave.right == 1 then

21: motion = rotation (not walking).

22: else if slave.left == 2 or slave.right == 2 then

23: motion = walking.

24: else if slave.left == 0 and slave.right == 0 then

25: motion = pause.

26: end if

27: if dir == 0 and right == 2 then

28: dir = 1 (change movement direction to backward).

29: else if dir == 1 and right == 2 then

30: dir = 0 (change movement direction to forward).

31: end if

32: end procedure

손을 활용한 Non-HMD 사용자의 행동은 다음과 같은 흐름으로 정리할 수 있다. 우선 왼손을 편 상태에서 손바닥이 나오도록 뒤집으면 손가락 끝에 사용자가 취할 수 있는 행동의 종류가 3차원 인터페이스로 표현된다. 다음으로 사용자는 오른손 검지 손가락을 사용하여 원하는 메뉴를 직접 클릭하는 방식으로 선택 행동을 취한다. 마지막으로 선택한 메뉴에 대응되는 제스처를 사전에 정의시키고 제스처가 인식되면 대응되는 행동이 가상현실공간에 실행되는 것이다. 이때, 손 추적을 비롯한 제스처 인식의모든 과정은 립 모션 개발도구에서 제공하는 함수를 활용하여 구현한다. Figure 2는 제안하는 손 기반 인터페이스에서 정의한 제스처의 일부를 나타낸 것이고, 필요에 따라 사용자가 추가해서 정의할 수 있다. Algorithm 2는 립 모션을 활용하여 Non-HMD 사용자에게 제공하는 손 기반 인터페이스를 정리한 것이다.

jkcgs-24-3-1-g2
Figure 2: Examples of the defined gestures for behavior control ofthe proposed hand-based interface: (a) hold, (b) grab an object, (c)point, (d) menu selection.
Download Original Figure

4. 비대칭 가상현실 체험 환경

4.1 시스템 개요

본 연구에서 고려하는 비대칭 가상현실은 가상 공간에 존재하는하나의 가상 캐릭터를 HMD 사용자와 Non-HMD 사용자가 각각의 독립적인 상호작용과 대화를 통한 의사소통으로 함께 제어하도록 환경을 구성한다. 따라서 비대칭 가상현실 어플리케이션역시 HMD 사용자를 위한 캐릭터와 Non-HMD 사용자를 위한 캐릭터를 구분하여 생성하지 않고, 하나의 캐릭터를 두 사용자가 공유할 수 있는 형식으로 제작해야 되는 조건이 선행된다. 이러한 배경을 바탕으로 본 연구는 제안한 몰입형 상호작용의 성능과 활용성을 검증하기 위하여 비대칭 가상현실 어플리케이션을 직접 제작하고 이를 사용자가 실험할 수 있는 체험 환경을 구축한다.

실험을 위해 제작한 비대칭 가상현실 어플리케이션과 HMD, Non-HMD 사용자의 체험 환경은 Unity 3D 5.3.4f1, Oculus SDK(ovr unity utilities 1.3.2), 립 모션 개발도구 v.4.1.4를 사용하여 구현하였다. 또한 HMD 사용자의 이동 제어에 사용된 걷기 시뮬레이터는 Lee et al. [13]을 기반으로 아두이노 스케치 v.1.6.12를 사용하여 새롭게 설계하였다. 마지막으로 통합 개발 환경 구 축과 실험을위한 PC는 Intel Core I7-6700, 16GB RAM, Geforce 1080 GPU를 탑재하고 있다.

Algorithm 2

Hand Interface based on Leap Motion.

1: procedure User Action Process Using Hand

2: hand ← hand information captured through Leap Motion using GetLeapHand().

3: palm ← vector in direction of user’s left palm using hand.PalmNormal.ToVector3().

4: ① control menu using palm of left hand.

5: if palm faces camera then

6: activate menu on hand.

7: finger ← finger information based on hand.Finger[i].

8: 0: thumb, 1: index, 2: middle, 3: ring, 4: pinky.

9: if click menu using index finger then

10: ② select menu (ex. bomb-dropping, shield, time control).

11: end if

12: else

13: deactivate menu.

14: end if

15: if gesture recognition (ex. grab, point, etc.) then

16: ③ execute action corresponding to the selected menu.

17: end if

18: end procedure

Figure 3은 제안하는 몰입형 상호작용이 동일한 위치에서 HMD 사용자와 Non-HMD 사용자가 함께 경험을 공유하는 과정에서 현존감, 흥미 그리고 사회적 상호작용 등을 분석하기 위하여 제작한 어플리케이션의 예이다. 어플리케이션의 목적에 따라다양한 장르의 어플리케이션을 제작하였다. Figure 3 (a)는 아케이드 장르의 게임 콘텐츠로 HMD 사용자는 걷기를 통해 NPC를피해 목적지로 안전하게 이동하고, Non-HMD사용자는 콘텐츠 진행과정에서 수행하는 동작(NPC 제거, 아이템 획득 및 사용 등)을 손을 사용하여 제어하며 상황을 전체적으로 보면서 필요한 정보를 HMD 사용자에게 대화로 전달한다. Figure 3 (b)는 가상현실 인테리어로 HMD 사용자는 가상의 방을 돌아다니며 인테리어 된객체들을 살펴보고, Non-HMD사용자는 가구의 재배치, 인테리어 소품 수정 등 직접적인 행동을 수행하도록 한다. Figure 3 (c)는 가상현실 농장으로 게임적 요소가 포함된 체험 콘텐츠로 이역시도 HMD 사용자는 농장을 직접 돌아다니며 상황을 파악하고, Non-HMD 사용자는 현재 상황에 맞는 적절한 행동을 직접 수행하도록 한다.

jkcgs-24-3-1-g3
Figure 3: Results of the asymmetric virtual reality application created for the experiments (top: Non-HMD view, bottom: HMD view): (a) an arcade game, (b) an interior house, (c) a virtual farm.
Download Original Figure
4.2 체험 환경 구성

다음은 HMD 사용자와 Non-HMD 사용자 사이의 의사소통과 각각의 상호작용을 고려한 체험 환경 구성이다. 가로 2.5m × 세로 2.5m 크기의 공간에 두 사용자가 함께 체험을 즐기게 되며, 특히 Non-HMD 사용자는 전체적인 상황을 확인할 수 있는 3인칭시점의 장면과 함께 HMD 사용자의 1인칭 시점 장면까지 함께 확인할 수 있도록 모니터를 배치한다. 이는 HMD 사용자가 경험 하는 것을 Non-HMD 사용자가 간접적으로 경험할 수 있도록 제공함으로써 현존감 향상에 도움을 주기 위한 것이다. 또한, Non-HMD 사용자의 상호작용을 위한 립 모션은 3인칭 시점 모니터앞에 배치하여 전체 상황을 통솔할 수 있도록 한다. Figure 4는 본연구에서의 비대칭 가상현실 체험 환경을 구성한 것이다.

jkcgs-24-3-1-g4
Figure 4: Construction of the proposed asymmetric virtual reality experience environment.
Download Original Figure

5. 실험 및 분석

본 연구에서 제안하는 비대칭 가상현실에서의 몰입형 상호작용의 핵심은 어플리케이션을 체험하는 모든 사용자 (HMD, Non-HMD 사용자 모두)가 향상된 현존감을 느끼면서 어플리케이션에 대한 전체적인 만족 (흥미 유발, 사회적 상호작용)을 경험하도록 하는 것이다. 이러한 본 연구의 목적을 체계적으로 분석하기위하여 참가자들을 대상으로 한 설문 실험을 진행한다. 우선 설문 참가자는 20∼35세 사이의 총 16(남:12, 여:4)명을 대상으로 구성하였다. 그리고 2인 1조로 한 사람이 HMD를 착용하면 다른한 사람은 HMD를 착용하지 않는 Non-HMD 사용자의 역할을 수행하여 비대칭 가상현실 체험을 진행한다.

첫 번째 실험은 현존감 비교 설문에 대한 분석이다. 제안하는몰입형 상호작용은 가상현실에 존재하는 모든 사용자가 HMD 착용과 상관없이 향상된 현존감을 느끼는 것을 목표로 한다. 본연구는 Witmer et al. [39]가 제안한 현존감 설문지를 활용하여 설문 실험을 진행하였다. Figure 5 (a)는 본 연구에서 실험을 위해제작한 비대칭 가상현실 어플리케이션을 체험한 HMD 사용자와 Non-HMD 사용자가 설문 값을 기록한 결과로 현존감 차이가크지 않음을 확인할 수 있다(M: 5.91, 5.82, SD: 0.52, 0.55). 제안하는 몰입형 상호작용은 HMD 착용 유무에 따라 비대칭 가상현실에서 가상 환경과 상호작용할 수 있는 방법을 구분하였고, 각각에 대해 보다 높은 몰입을 유도할 수 있도록 설계하였다. 그결과 HMD 착용 유무와 상관없이 전체적으로 높은 현존감 결과를 얻을 수 있었다. 본 연구에서 의도한 대로 하나의 캐릭터에 대해 Non-HMD 사용자와 HMD 사용자 각각 주어진 상호작용으로 진행할 경우 HMD 사용자는 가상 공간에 대한 현장감을 그대로 느끼고 Non-HMD 사용자는 상황에 대한 긴박감 또는 긴장감을 함께 느낌으로 인하여 경험의 차이는 있지만 동일한 수준의 현존감을 제공받을 수 있었다. 하지만 세부적으로 상황을 분석했을 때, 본 연구의 의도와 다른 결과도 확인할 수 있었다. 전체적인 상황을 판단하고 대화를 이끌어가면서 행동을 주도하는 Non-HMD 사용자에게 손을 활용한 상호작용을 부여함에도 오히려 HMD 사용자가 대화를 주도하여 상황을 이끌어 갈 경우, Non-HMD 사용자의 존재가 비몰입 환경에서 더욱 수동적이게 되어 현존감의 차이가 벌어지는 결과를 나타내었다. 이는 주로 사용자의 성격(내성적 또는 외향적) 차이나 어플리케이션에서 제시하는 규칙에 대한 이해가 부족함으로 인하여 대화를 주도해야 하는 Non-HMD 사용자의 상호작용을 정확히 수행하지 못하는 데에 원인이 있었다. 하지만 대다수의 참가자들은 충분한 시간을 가지고 제안하는 상호작용을 숙지시키도록 하여 모두가 향상된 현존감을 제공받을 수 있도록 노력하였고 결과로 확인할 수 있었다. 또한, 종합적으로 분석하였을 때 제안한 상호작용이 비대칭 체험환경에서 유사한 현존감을 제공하는데 중요한 역할을 하였음을 확인할 수 있었다. 추가적으로 모든 참가자들이 기록한 값들을 토대로 Wilcoxon Test를 통해 계산한 유의확률은 5.8679×10−1 로 두 사용자 사이의 현존감이 유의미한 차이(> 0.05)를 나타내지 않음을 확인할 수 있었다.

jkcgs-24-3-1-g5
Figure 5: Survey results of immersive interaction between HMDand Non-HMD users: (a) presence comparison, (b) interest experi-ence, (c) social interaction experience.
Download Original Figure

다음 실험은 제안하는 몰입형 상호작용으로부터 사용자들에게 유도되는 경험을 분석하는 것이다. 이를 위해 본 연구는 게임경험 설문지(GEQ, Game Experience Questionnaire) [40] 가운데 사회적 현존감 모듈과 게임 모듈의 항목들을 활용하여 흥미, 사회적 상호작용에 대한 경험 만족도를 도출하였다. Figure 5 (b), (c) 는 이에 대한 결과를 HMD 사용자와 Non-HMD 사용자로 나누어 기록한 것이다. 흥미의 경우 상대적으로 HMD 사용자가 높은값(M: 3.49, 3.41, SD: 0.48, 0.28)을 기록하였지만 사회적 상호작용은 Non-HMD사용자가 높은 값(M: 3.66, 3.76, SD: 0.27, 0.24)을 기록하였다. 하지만 이들 사이의 평균 값 차이는 크지 않고 평균 값이 상위에 기록되어 모두가 만족하는 경험을 하고 있음을 확인할 수 있었다.

Non-HMD 사용자의 경우 전체적인 상황을 판단하고, 대화를 주도하는 등 어플리케이션이 진행되는 동안 상대적으로 많은 감정과 정보를 공유해야 할 필요가 있다. 또한 행동을 수행하기 위해서도 현재 위치, 상황을 HMD 사용자와 주고 받아야 하기때문에 사회적 상호작용에 있어 상대적으로 높은 값을 기록할 수 있었다. 반대로 HMD 사용자는 Non-HMD 사용자가 제공하는 정보에 기반하여 입체적인 영상이 전송되고 있는 실제 가상의 현장에서 순간적인 움직임을 직접적으로 수행하여 흥미에 대한 경험이 다소 높은 값을 기록하였다. 이때 HMD사용자가 Non-HMD 사용자보다 상황을 더 전체적으로 주도할 경우 흥미 값의 간격이 더 벌어지기도 하였다. 하지만 이 역시 Wilcoxon Test를 통해 유의확률을 계산하였을 때 만족도의 차이가 무의미함을 알 수 있다 (흥미: 1.5070×10−1, 사회적 상호작용: 7.5224×10−2).

6. 결론

본 연구는 HMD 사용자를 중심으로 하는 일반적인 몰입형 가상현실에서의 체험 환경이 아닌 HMD 사용자와 Non-HMD 사용자가 동일한 공간에서 함께 존재하는 비대칭 가상현실의 체험 환경에 모두가 만족할 수 있는 현존감과 함께 높은 만족의 경험을 제공받을 수 있는 몰입형 상호작용을 제안하였다. 이를 위해 제안하는 상호작용은 사용자의 시스템적, 경험적 환경의 차이를 구분하여 최적화된 상호작용을 설계하였다. 기본적인 조건은 가상환경을 체험하는 가상 캐릭터는 한 명이며, 한 명의 캐릭터를 두명의 사용자가 공유하면서 제어하는 것이다. 이러한 전제 조건하에서 HMD 사용자는 이동에 초점을 맞춘 상호작용을, Non-HMD 사용자는 전체적인 상황을 판단하고 결정하며 행동을 담당하는 상호작용을 제안하였다. 이는 사전 연구를 통해 몰입과 흥미 유발 등에서 긍정적인 효과를 나타냄이 검증된 시스템과 사용자 인터페이스를 토대로 사용자에 최적화된 상호작용으로 설계하였다. HMD 사용자는 공간에 대한 몰입을 높이기 위하여 직접 두 다리를 사용하면서 제한된 공간에서 자유로운 움직임을 표현할수 있는 제자리 걸음 기반의 걷기 시뮬레이터를 중심으로 상호작용을 설계하였다. 또한, Non-HMD 사용자는 감정이나 의사를 표현할 때 많이 사용되는 신체 기관 중 하나인 손을 활용하여 행동함으로써 가상 환경과 직접적으로 상호작용할 수 있는 손 기반 인터페이스를 구현하였다. 제안한 몰입형 상호작용이 본 연구에서 목표로 하고 있는 향상된 현존감과 만족하는 경험을 제공할수 있음을 확인할 수 있는 비대칭 가상현실 어플리케이션을 직접 제작하였다. 마지막으로 일반 참가자들(n=16)을 대상으로 HMD 와 Non-HMD 체험 환경 모두를 경험하게 한 후 현존감, 경험의 결과를 기록하였다. 그 결과 본 연구에서 목표로 한 모든 사용자들이 가상현실 환경에서 향상된 현존감을 느낄 수 있음을 확인할 수 있었다. 그리고 경험에 대한 설문 결과 역시 모든 사용자가 높은 그리고 유사한 흥미, 사회적 상호작용 경험을 느꼈다고 응답하였다. 이러한 과정들을 토대로 상대적으로 비몰입형 환경에 놓인 Non-HM 사용자가 몰입형 가상현실에서 HMD 사용자만큼의 몰입을 하는데 있어 시스템적, 경험적 차이를 명확히 구분하는 체험 환경을 설계하고 이에 적합한 상호작용을 제시하는 것이 중요하다는 것을 증명하였다.

본 연구는 HMD 사용자와 Non-HMD 사용자 사이의 몰입형 상호작용을 하나의 가상 캐릭터를 기준으로 구분하였다. 따라서향후 HMD 사용자가 제어하는 가상의 캐릭터와 Non-HMD 사 용자가 제어하는 가상의 캐릭터를 구분하여 독립된 비대칭 체험환경에서 모든 사용자가 향상된 현존감과 함께 만족하는 경험을 제공받을 수 있는 상호작용을 설계할 것이다. 또한 실험을 위해 제작하는 비대칭 가상현실 어플리케이션 역시 다양한 장르, 분야로 확장할 수 있도록 주제를 다변화 하여 제작하며 이를 통해 더욱 많은 참가자들을 대상으로 설문 실험을 진행할 계획이다.

감사의 글

이 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. NRF-2017R1D1A1B03030286)

References

[1].

H. Joo, T. Simon, and Y. Sheikh, “Total capture: A 3d deformation model for tracking faces, hands, and bodies,” CoRR, vol. abs/1801.01615, 2018.

[2].

S. Marwecki, M. Brehm, L. Wagner, L.-P. Cheng, F. F. Mueller, and P. Baudisch, “Virtualspace - overloading physical space with multiple virtual reality users,” in Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, ser. CHI ’18. ACM, 2018, pp. 241:1–241:10.

[3].

S. Han and J. Kim, “A study on immersion of hand interaction for mobile platform virtual reality contents,” Symmetry, vol. 9, no. 2, p. 22, 2017.

[4].

C. Schissler, A. Nicholls, and R. Mehra, “Ef?cient hrtf-based spatial audio for area and volumetric sources,” IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 4,pp. 1356–1366, Apr. 2016.

[5].

M. Kim, C. Jeon, and J. Kim, “A study on immersion and presence of a portable hand haptic system for immersive virtual reality,” Sensors, vol. 17, no. 5, p. 1141, 2017.

[6].

Y. Visell, J. R. Cooperstock, B. L. Giordano, K. Franinovic, A. Law, S. Mcadams, K. Jathal, and F. Fontana, “A vibrotactile device for display of virtual ground materials in walking,” in Proceedings of the 6th International Conference on Haptics: Perception, Devices and Scenarios, ser. EuroHaptics ’08. Springer-Verlag, 11-13 June 2008, pp. 420–426.

[7].

C. D. Metcalf, S. V. Notley, P. H. Chappell, J. H. Burridge, and V. T. Yule, “Validation and application of a computational model for wrist and hand movements using surface markers,” IEEE Transactions on Biomedical Engineering, vol. 55, no. 3, pp. 1199–1210, March 2008.

[8].

W. Zhao, J. Chai, and Y.-Q. Xu, “Combining marker-based mocap and rgb-d camera for acquiring high-?delity hand motion data,” in Proceedings of the ACM SIG-GRAPH/Eurographics Symposium on Computer Animation. Eurographics Association, 29–31 July 2012, pp. 33–42.

[9].

C. Carvalheiro, R. Nóbrega, H. da Silva, and R. Rodrigues, “User redirection and direct haptics in virtual environments,” in Proceedings of the 2016 ACM on Multimedia Conference, ser. MM ’16. ACM, 15–19 October 2016, pp. 1146–1155.

[10].

E. Remelli, A. Tkach, A. Tagliasacchi, and M. Pauly, “Low-dimensionality calibration through local anisotropic scaling for robust hand model personalization,” in 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp.2554–2562.

[11].

K. Vasylevska, H. Kaufmann, M. Bolas, and E. A. Suma, “Flexible spaces: Dynamic layout generation for in?nite walking in virtual environments,” in 2013 IEEE Symposium on 3D User Interfaces. IEEE, 16-17 March 2013, pp. 39–42.

[12].

Z.-C. Dong, X.-M. Fu, C. Zhang, K. Wu, and L. Liu, “Smooth assembled mappings for large-scale real walking,” ACM Trans. Graph., vol. 36, no. 6, pp. 211:1–211:13, Nov. 2017.

[13].

J. Lee, K. Jeong, and J. Kim, “Mave: Maze-based immersive virtual environment for new presence and experience,” Computer Animation and Virtual Worlds, vol. 28, no. 3-4, p.e1756, 2017.

[14].

D. Leonardis, M. Solazzi, I. Bortone, and A. Frisoli, “A 3-rsr haptic wearable device for rendering ?ngertip contact forces,” IEEE Transactions on Haptics, vol. 10, no. 3, pp. 305–316,July 2017.

[15].

D. Prattichizzo, F. Chinello, C. Pacchierotti, and M. Malvezzi, “Towards wearability in ?ngertip haptics: A 3-dof wearable device for cutaneous force feedback,” IEEE Transactions on Haptics, vol. 6, no. 4, pp. 506–516, Oct 2013.

[16].

J. Gugenheimer, E. Stemasov, J. Frommel, and E. Rukzio, “Sharevr: Enabling co-located experiences for virtual reality between hmd and non-hmd users,” in Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, ser. CHI ’17. ACM, 2017, pp. 4021–4033.

[17].

M. Slater and M. Usoh, “Simulating peripheral vision in immersive virtual environments,” Computers & Graphics, vol. 17, no. 6, pp. 643 – 653, 1993.

[18].

M. Slater, M. Usoh, and A. Steed, “Taking steps: The in?uence of a walking technique on presence in virtual reality,” ACM Trans. Comput.-Hum. Interact., vol. 2, no. 3, pp. 201–219, Sept. 1995.

[19].

V. Vinayagamoorthy, M. Garau, A. Steed, and M. Slater, “An eye gaze model for dyadic interaction in an immersive virtual environment: Practice and experience,” Computer Graphics Forum, vol. 23, no. 1, pp. 1–11, 2004.

[20].

M. Slater and M. V. Sanchez-Vives, “Transcending the self in immersive virtual reality,” Computer, vol. 47, no. 7, pp.24–30, July 2014.

[21].

M. Slater and M. V. Sanchez-Vives, “Enhancing our lives with immersive virtual reality,” Frontiers in Robotics and AI, vol. 3, p. 74, 2016.

[22].

M. Roussou and M. Slater, “Comparison of the effect of interactive versus passive virtual reality learning activities in evoking and sustaining conceptual change,” IEEE Transactions on Emerging Topics in Computing, pp. 1–1, 2017.

[23].

R. Hortensius, S. Neyret, M. Slater, and B. de Gelder, “The relation between bystanders’ behavioral reactivity to distress and later helping behavior during a violent con?ict in virtual reality,” PLOS ONE, vol. 13, no. 4, pp. 1–20, 04 2018.

[24].

J. Lee, M. Kim, and J. Kim, “A study on immersion and vr sickness in walking interaction for immersive virtual reality applications,” Symmetry, vol. 9, no. 5, p. 78, 2017.

[25].

C. Carlsson and O. Hagsand, “Dive a multi-user virtual reality system,” in Proceedings of IEEE Virtual Reality Annual International Symposium, Sep 1993, pp. 394–400.

[26].

K.-D. Le, M. Fjeld, A. Alavi, and A. Kunz, “Immersive environment for distributed creative collaboration,” in Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology, ser. VRST ’17. ACM, 2017, pp. 16:1–16:4.

[27].

S. W. Hong, A. E. Antably, and Y. E. Kalay, “Architectural design creativity in multi-user virtual environment: A comparative analysis between remote collaboration media,” Environment and Planning B: Urban Analytics and City Science, 2017.

[28].

S. Greenwald, A. Kulik, A. Kunert, S. Beck, B. Frohlich, S. Cobb, S. Parsons, N. Newbutt, C. Gouveia, C. Cook, A. Snyder, S. Payne, J. Holland, S. Buessing, G. Fields, W. Corning, V. Lee, L. Xia, and P. Maes, “Technology and applications for collaborative learning in virtual reality,” in Making a Difference: Prioritizing Equity and Access in CSCL, 12th International Conference on Computer Supported Collaborative Learning (CSCL), ser. CSCL ’17. International Society of the Learning Sciences, 18-22 June 2017, pp. 719–726.

[29].

D. Economou, I. Doumanis, L. Argyriou, and N. Georgalas, “User experience evaluation of human representation in collaborative virtual environments,” Personal Ubiquitous Comput., vol. 21, no. 6, pp. 989–1001, Dec. 2017.

[30].

J. C. Oliveira, X. Shen, and N. D. Georganas, “Collaborative virtual environment for industrial training and e-commerce,” in IEEE VRTS 288, 2000.

[31].

T. Duval and C. Fleury, “An asymmetric 2d pointer/3d ray for 3d interaction within collaborative virtual environments,” in Proceedings of the 14th International Conference on 3D Web Technology. ACM, 2009, pp. 33–41.

[32].

O. Oda, C. Elvezio, M. Sukan, S. Feiner, and B. Tversky, “Virtual replicas for remote assistance in virtual and augmented reality,” in Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology, ser. UIST ’15. ACM, 2015, pp. 405–415.

[33].

D. Clergeaud, J. S. Roo, M. Hachet, and P. Guitton, “Towards seamless interaction between physical and virtual locations for asymmetric collaboration,” in Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology, ser. VRST ’17. ACM, 2017, pp. 17:1–17:4.

[34].

L.-P. Cheng, P. Lühne, P. Lopes, C. Sterz, and P. Baudisch, “Haptic turk: A motion platform based on people,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 26 April-1 May 2014, pp. 3463–3472.

[35].

L.-P. Cheng, T. Roumen, H. Rantzsch, S. Köhler, P. Schmidt, R. Kovacs, J. Jasper, J. Kemper, and P. Baudisch, “Turkdeck: Physical virtual reality based on people,” in Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology. ACM, 8-11 November 2015, pp. 417–426.

[36].

SCE-Japan-Studio, “The playroom vr,” Game [PS4/PS VR],2016. [Online]. Available: https://www.playstation.com/engb/games/the-playroom-vr-ps4/

[37].

P. Sajjadi, E. O. Cebolledo Gutierrez, S. Trullemans, and O. De Troyer, “Maze commander: A collaborative asynchronous game using the oculus rift & the sifteo cubes,” in Proceedings of the First ACM SIGCHI Annual Symposium on Computer-human Interaction in Play, ser. CHI PLAY ’14. ACM, 2014, pp. 227–236.

[38].

M. Kim, J. Lee, C. Kim, and J. Kim, “Tpvr: User interaction of third person virtual reality for new presence and experience,” Symmetry, vol. 10, no. 4, p. 109, 2018.

[39].

B. G. Witmer, C. J. Jerome, and M. J. Singer, “The factor structure of the presence questionnaire,” Presence: Teleoper. Virtual Environ., vol. 14, no. 3, pp. 298–312, jun 2005.

[40].

W. A. Ijsselsteijn, Y. A. W. de Kort, and K. Poels, “The Game Experience Questionnaire:Development of a self-report measure to assess the psychological impact of digital games. Manuscript in Preparation,” 2013.