1. 서론
컴퓨터로 만들어진 가상 환경에 존재하는 사용자에게 실제와 같은 경험을 제공하는 가상현실 기술은 Oculus Rift CV1/Go, HTC Vive를 비롯한 HMD의 발전과 함께 트레드 밀, 모션 플랫폼 등과 같은 하드웨어 시스템과 결합하여 더욱더 몰입할 수 있는 환경을 제시하고 있다. 또한, 가상 환경을 구성하는 다양한 형식의 객체들과 직접적이면서 현실감 있게 상호작용할 수 있는 몰입형 가상현실(IVR, Immersive Virtual Reality)에 관한 연구들이 현재까지도 다양한 분야에서 이루어지고 있다 [1, 2, 3].
몰입형 가상현실은 오감을 기반으로 사용자가 어디에서 누구와 함께 어떠한 행동을 하는지에 대한 경험을 실제처럼 느끼도록 제공한다. 사용자의 오감을 통해 우리가 어디에 있는지, 누구와 함께 있는지, 무슨 행동을 하는지에 대한 경험을 실제와 같이 느끼는 가상 환경을 제시함을 목적으로 입체적 시각정보를 전송하는 디스플레이에서 체적(volumetric) 오디오 소스를 활용한 청각 그리고 물리적 반응을 인체(손, 발 등)로 직접 피드백하는 햅틱 시스템을 통한 촉각 등에 대한 연구들이 현재까지도 이루어지고 있다 [4, 5, 6]. 보다 구체적으로 가상과 실제 사이의 사실적인 상호작용을 설계하기 위해서는 인체 관절의 움직임을 정확히 감지하고, 동작의 의도를 분석하는 과정이 필요하다. 표면 마커(Surface maker) [7] 또는 광학 마커(optical marker) [8]를 통해 손의 움직임을 캡쳐하고 이를 가상환경에 반영하여 실제 손 동작이 가상에 매핑될 수 있도록 하는 연구 [9]들을 시작으로 구형 메쉬 추적 모델(sphere-mesh tracking model)을 통해 정교한 손 모델을 계산하는 방법 [10]과 모션 캡쳐 데이터를 활용하여 손 제스처는 물론 얼굴표정, 몸 움직임을 포함한 사람의 행동을 사실적으로 가상 공간에 표현하는 연구 [1]들이 진행되었다. Vasylevska et al. [11]은 유연한 공간(flexible space)을 제안하여 제한된 공간에서 무한한 걷기가 가능하도록 하였다. 이를 기반으로 Dong et al. [12]은 넓은 가상 공간에서 적은 등각 투영 왜곡(isometric distortion)으로 실제와 같은 걷기를 계산하는 방법(Smooth Assembled Mappings)을 연구하였고, Marwecki et al. [2]은 다수 가상현실 사용자가 가상 공간을 함께 공유하는 과정에서 사실적이면서 효율적인 걷기 표현이 가능하도록 하는 방법을 제안하였다. Lee et al. [13]은 제자리 걸음을 활용한 걷기 시뮬레이터를 설계하여 간단하고 쉬운 방식으로 가상현실 환경에서 자유로운 움직임을 표현하기도 하였다.
인체 관절의 움직임을 정확히 감지하여 가상 환경에 사실적으로 표현하거나 가상 공간에서의 자유로운 걷기를 표현하는 것은 물론, 가상 환경과 상호작용하는 과정에서 발생하는 물리적 힘을 촉각으로 피드백하는 연구들 또한 몰입형 가상현실에서 중요한 부분이다. 이와 관련하여 3-RSR 햅틱 웨어러블 장비 [14]나 3-DOF 웨어러블 햅틱 인터페이스 [15] 를 제안하여 손가락 끝에 접촉되는 힘을 정교하게 조절할 수 있는 연구들이 진행되었다. 이러한 햅틱 시스템은 사용자 친화적인 관점에서 휴대하기 쉽고 가볍게 이용할 수 있는 방식으로 발전되고 있다 [5]. 여기서 한 가지 주목할 수 있는 점은 대부분의 몰입형 가상현실은 사용자 한 명의 오감에 초점을 맞추어 알고리즘, 시스템 또는 사용자 인터페이스를 설계하고 연구하고 있다는 것이다. 하지만 가상현실에 존재하는 사용자는 자신들이 참여하는 수준이나 역할이 다를 수 있기 때문에(때로는 관람하기를 원하고, 일부는 제한된 상호작용을 원하거나 반대로 경험의 일부가 되기를 희망함) 몰입형 가상현실 연구는 사용자의 오감에서 소통과 역할 등 사회적 상호작용 (social interaction)으로 확장되어야 할 필요성이 존재한다.
가상협업환경 (CVE, Collaborative Virtual Environments)은 가상 환경에 존재하는 여러 사용자가 주어진 조건과 환경에서 협업하거나 소통하기 위한 상호작용 방법을 제안하고 있다. 가상현실기술에 기반한 가상협업환경에 관한 연구들은 주로 HMD를 착용한 다수의 사용자가 주어진 환경에 더욱 더 몰입할 수 있도록 시스템을 설계하거나 다양한 경험을 공유할 수 있는 환경을 제시하고 있다.
가상협업환경과 관련된 연구들은 다중 가상현실 사용자들 간의 공동 작업을 효율적으로 처리하거나 몰입 환경에서 의사소통할 수 있는 상호작용을 제안하는 것은 물론 일반적인 PC 사용자와 같은 비몰입형 사용자들로 참여의 폭을 넓혀가는 비대칭가상현실에서의 상호작용 연구로 발전되어가고 있다. 최근 Gugenheimer et al. [16]이 제안한 ShareVR은 동일한 공간에 위치한 HMD 사용자와 Non-HMD 사용자 모두가 만족하는 경험을 제공받을 수 있는 비대칭 상호작용을 제안하였다. 하지만 가상협업환경에서 비대칭 가상현실 연구들은 대부분 HMD 와 같은몰입형 장비를 착용한 가상현실 사용자를 중심으로 하고 있으며, Non-HMD 사용자와 같은 비몰입형 사용자는 가상 공간에서 함께 협업하는 참가자보단 보조자 또는 관람자로 제한된 참여만이 가능한 경우들이다. 결국, Non-HMD 사용자는 가상현실에 대한경험을 공유하는데 한계가 발생한다.
본 연구는 동일한 공간에 존재하는 HMD 사용자와 Non-HMD사용자의 체험 환경의 차이를 분석하고, 각자의 상황에 적합한몰입 환경과 어플리케이션을 설계한다. 그리고 각각의 사용자가 동일한 가상현실 환경에서 함께 몰입하는 과정을 통해 향상된 현존감과 경험을 제공받을 수 있는 몰입형 상호작용을 제안한 다. 핵심은 하나의 가상현실 환경을 체험하는 두 사용자(HMD 와 Non-HMD)가 모두 현존감은 물론 흥미 그리고 소통을 통한사회적 상호작용 경험에서의 만족감을 느끼도록 하는 것이다. 제안하는 몰입형 상호작용은 HMD 사용자와 Non-HMD 사용자의 체험 환경의 차이를 고려하여 HMD 사용자는 걷기 시뮬레이터를 활용하여 가상 공간에서의 이동 과정에서 몰입을 향상시키고, Non-HMD 사용자는 장면을 전체적으로 관찰하고, 상황을 이해하며 각각을 제어할 수 있는 장점을 극대화시키기 위하여 손을 활용한 인터페이스를 설계한다.
2. 관련 연구
사용자를 중심으로 한 몰입형 가상현실에서 고려해야 하는 핵심요인은 현존감이다. 현존감은 사용자가 가상현실을 실제와 같이 인지하는 것처럼 행동하고 느끼는 현상이다. 그리고 사용자가 실제와 가상을 구분하기 어려울 정도의 높은 현존감을 경험하기 위해서는 가상 환경에 더욱 몰입할 수 있는 환경을 제시해야 한다. 따라서 향상된 현존감을 제공하기 위해서는 사용자의 몰입을 높이는 상호작용 기술을 연구, 개발함은 물론 다양한 사회적, 문화적 관점에서의 접근들도 필요하다. Slater et al. [17]은 몰입형가상현실에서 현존감에 대한 연구를 다양한 관점에서 폭넓게 진행해 오고 있다. 인공신경망을 활용한 가상 네비게이션 기능과 광학 모션 추적 장비 등을 활용하여 사용자의 걷기에서의 현존감을 비교하는 연구 [18], 제한된 환경에서 시선을 활용하여 의사소통하는 과정에서의 현존감을 확인하는 연구 [19] 등을 진행하였다. 이러한 연구들은 가상현실 사용자가 존재하는 환경과 조건에 따라 인식과 행동의 차이가 발생함을 연구 [20]하거나 심리학, 신경 과학, 사회 현상 등의 포괄적 접근을 통해 가상현실과 사용자 간의 관계를 분석하는 연구 [21]들로 발전되고 있다. 최근에는 구체적인 사례를 중심으로 가상현실에서의 학습 활동에 있어 대화식과 수동적 방법이 미치는 효과 등을 분석 [22]하거나 가상현실에서의 폭력적 충돌 시 구경꾼의 행동 반응과 구조 행동의 관계를 분석하는 연구 [23]들도 이루어지고 있다. 이외에도 사용자 인터페이스를 기반으로 한 상호작용에서의 현존감을 비교 분석하는 연구들로 시선, 손, 걷기 등을 활용하여 가상 환경과 직접적으로 상호작용하는 과정에서 향상된 현존감을 제공할 수있는 새로운 상호작용을 제안하는 연구들 [3, 24]도 이루어지고 있다. 몰입형 가상현실에서의 현존감에 대한 연구들은 다중 사용자가 존재하는 가상협업환경으로 확대되어 여러 사용자들이 생각과 감정을 공유하거나 의사 소통하는 과정에서 몰입을 유도하고, 다양한 경험을 제공함으로써 현존감을 향상시킬 수 있음을 확인하기도 한다.
가상협업환경은 Carlsson et al. [25]이 제안한 분산 대화식 가상 환경(DIVE, Distributed Interactive Virtual Environments)과 같이 사용자와 환경 또는 다중 사용자간의 상호작용을 연구하는 것으로부터 시작되었다. 이러한 연구들은 현재까지도 분산 협업에서의 몰입형환경을 제공하기 위한 목적으로 꾸준히 연구되고 있다 [26]. 뿐만 아니라 가상환경에서 건축을 디자인함에 있어 다중 사용자가 창의성을 발휘하며 효과적으로 협업할 수 있는 원격 작업들을 비교 분석하는 연구 [27], 가상현실에서 협업 학습을 위한 기술과 방법을 제안하는 연구 [28] 그리고 가상협업환경에서 인간 표현에 대한 사용자 경험을 평가하는 연구 [29] 등 다양한 응용 연구들이 이루어지고 있다.
가상현실에 기반한 가상협업환경은 HMD 사용자는 물론 Non-HMD 사용자들까지도 같은 장소에 위치하며, 이들 다중 사용자들의 역할과 행동이 구분된 비대칭 가상현실로 발전되어 왔다. 가상현실에서 HMD 사용자와 PC 환경에서의 전통적인 그래픽 사용자 인터페이스(GUI, Graphical User Interface)를 사용하는 사용자 사이의 상호작용을 제안하는 연구 [30]와 같이 비대칭한 체험 환경을 구분하여 제시하는 연구들이 진행되었다. Duvalet al. [31]은 HMD 사용자와 PC 사용자 사이의 비대칭 2D/3D 상호작용을 제시하였고, Oda et al. [32]은 증강현실 HMD를 착용한 사용자가 원격 사용자와 상호작용할 수 있는 새로운 방법을 제안하기도 하였다. 최근에는 비대칭 협업을 위하여 물리적인 위치와 가상 위치 간의 정확한 상호작용을 설계하는 연구 [33]가 진행되기도 하였다. 이러한 비대칭 가상현실에 대한 연구들은HMD 사용자와 Non-HMD 사용자 사이의 역할과 행동을 구분하여 정의하기도 한다. Cheng et al.이 제안한 Haptic Turk [34]나 TurkDeck [35]은 Non-HMD 사용자들에게 사람 액추에이터로써 가상현실에 좀 더 직접적으로 참여할 수 있도록 하였다. 하지만 비대칭 가상현실에서의 Non-HMD 사용자는 HMD 사용자의 현존감을 향상시키는 보조자의 한계를 넘지 못하고 있다. Gugenheimer et al. [16]은 비대칭한 경험과 Non-HMD 사용자의 햅틱피드백 역할을 통합한 Share VR을 제안하였다. 이는 동일한 공간에 존재하는 HMD 사용자와 Non-HMD 사용자 사이의 비대칭한 상호작용을 가능하게 하고, 이를 통하여 모든 사용자가 주어진 환경에 만족할 만한 경험을 제공받을 수 있음을 확인하였다. 하지만 비대칭 가상현실에서의 현존감에 대한 비중은 시스템적인 또는 환경적인 차이로 인하여 HMD 사용자에게 많은 초점이 맞추어져 있다. 즉, Non-HMD 사용자가 가상현실에 관점에서 HMD 사용자와 유사한 현존감을 제공받기 위한 연구들이 아직까지는 이루어지고 있지 않다는 점이다. 최근에는 Playroom VR과 같은 비대칭 가상현실 콘텐츠들 [36]이 출시되고 있고, 시프테오 큐브(Sifteo Cube)를 활용한 비대칭 게임인 Maze Commander [37] 등이 연구되기도 하였다. 하지만 이러한 어플리케이션 역시 Non-HMD 사용자는 일반적인 입력 장비(키보드, 마우스 그리고 컨트롤러)를 사용하기 때문에 가상현실에서의 경험은 제한적일 수밖에없다.
본 연구는 이러한 한계와 문제점들을 극복하기 위하여 비대칭 가상현실에서 Non-HMD 사용자만의 향상된 현존감을 제공하고동시에 사용자에 최적화된 상호작용을 부여하여 모두가 만족하는 경험을 느낄 수 있는 몰입형 상호작용을 설계하고자 한다.
3. 몰입형 상호작용
가상협업환경에 존재하는 다양한 환경의 사용자들 간 의사소통에 있어 비대칭 상호작용은 모든 사용자의 현존감을 향상하는데 있어 중요한 역할을 담당한다. 이때, 상호작용 과정에서의 몰입요소가 어떻게 설계되느냐가 핵심이 된다. 따라서 본 연구는 비대칭 가상현실에 존재하는 HMD 사용자와 Non-HMD 사용자의 체험 환경의 차이를 구분하고 대화를 통한 의사 전달과 함께 몰입을 극대화시킴으로써 현존감을 함께 상승시킬 수 있는 몰입형 비대칭 상호작용을 설계한다. 우선 HMD 사용자와 Non-HMD 사용자가 함께 동일한 공간에 위치한 상태에서 하나의 가상캐릭터를 두 명의 사용자가 함께 제어함을 전제로 한다. 그리고 이 과정에서 사용자의 역할과 행동의 차이를 시스템적 경험적 체험환경의 차이에 따라 구분하는 것이다. 본 연구는 상대적으로 가상현실에서의 입체적인 시각적, 공간적 정보를 직접적으로 받는 HMD 사용자에게는 두 다리를 직접 활용하여 걷기를 제어하는 상호작용을 설정하고, 장면을 전체적으로 보면서 상황을 제어하기에 적합한 Non-HMD 사용자에게는 행동의 사실성과 활동성을 높일 수 있는 손 기반 인터페이스를 설계함으로써 HMD사용자에게 보다 직관적으로 명령 또는 의사를 전달하고 가상현실에서의 경험을 함께 공유할 수 있도록 한다.
첫 번째 상호작용은 HMD 사용자를 위한 걷기 상호작용이다. 본연구는 비대칭 가상현실에서 HMD 사용자에게는 입체적인 시각정보를 토대로 현장에 더욱 집중할 수 있도록 이동에 몰입할 수있는 상호작용을 설계한다. 이동은 다리를 이용하기 때문에 다리를 직접 활용할 수 있는 상호작용을 설계하는 것이 중요하다.기존의 비대칭 가상현실 어플리케이션의 경우 가상 캐릭터의 이동을 제어하는 입력 장치로 키보드 또는 게임패드와 같은 컨트롤러를 사용한다. 제한된 영역에서 공간을 활용하는 연구들의 경우 HTC Vive에서 제공하는 작은 방 크기의 이동만을 표현하는 것이 전부이다. 하지만 제안하는 걷기 상호작용은 제한된 공간에서 비교적 자유로운 걷기를 사용자에게 제공하기 위하여 Lee et al. [13]이 제안한 휴대용 걷기 시뮬레이터를 활용한다. 이는 제자리 걸음을 가상 환경의 이동에 반영하였을 경우 키보드나 컨트롤러를 활용하는 기존의 입력 처리 방식과 비교하였을 때 비용이나 휴대성의 차이가 없음에도 불구하고 월등히 향상된 몰입을 제공하고 이로 인하여 현존감이 높아짐을 확인하였다 [24]. 따라서 본 연구 역시 제자리 걸음 기반의 걷기 시뮬레이터를 활용하여 가상캐릭터의 이동을 HMD 사용자가 높을 몰입을 통해 제어할 수 있도록구현한다. 단, 기존의 시뮬레이터가 가지는 기능의 비효율적 측면을 보완하고 알고리즘을 수정하여 새로운 이동을 추가한다.
Lee et al. [13]이 제안한 걷기 시뮬레이터는 아두이노를 활용하여 휴대성, 단순 조작성은 물론 쉽게 착용할 수 있는 장점들을 가지고 있다. 세부적인 구조는 양 다리의 움직임 변화를 각각 측정하는 슬레이브 보드와 양 다리의 움직임을 기반으로 제자리 걸음을 종합적으로 판단하는 마스터 보드로 구성된다. 슬레이브와 마스터 모두 아두이노 나노 보드를 사용하여 작은 크기의 시스템으로 제작하였다.
제자리 걸음 인식 과정은 다음과 같다. 우선 슬레이브 보드에 부착된 자이로 센서(MPU 6050)의 3개의 축(yaw, pitch, roll) 중 roll 축의 변화를 통해 걸음 유무, pitch 축의 변화를 통해 방향전환 여부를 판단한다. 이는 Lee et al. [13]의 제자리 걸음 알고리즘과 대부분 유사하다. 본 연구는 전진 이동만 가능한 기존의시뮬레이터의 한계를 보완하기 위하여 전, 후진 선택 기능을 추가한다 (Figure 1). 이를 위해 자이로 센서가 측정하는 기울기와 가속도 변화 값을 함께 활용한다. 오른쪽 다리를 전, 후진 선택의 입력다리로 설정하여 제자리 걸음을 하는 중에 앞으로 한 보 이동하면 전진 모드로 뒤로 한 보 이동하면 후진 모드로 변경하도록 한다. 오른쪽 다리가 기준이기 때문에 반드시 오른쪽 다리부터 이동해야 하며, 기준 다리는 바꿀 수 있도록 한다. 양 다리에 부착된 슬레이브 보드에서 측정된 자이로 센서 값을 마스터 보드가 받아 최종적인 걷기 상태를 결정한다. 이때 마스터 보드의 역할은 크게 두 가지로 구성된다. 첫 번째는 최종 걷기 상태를 결정하는 것이다. 슬레이브 보드는 각각 걸음, 방향 전환, 정지 순서대로 현재 상태를 판단하여 마스터 보드에 전송한다. 마스터 보드는 양다리의 상태를 종합적으로 판단하여 사용자의 걷기 여부를 결정한다. 다음은 전, 후진 상태 판단이다. 이는 오른쪽 다리 슬레이브보드에 연결된 자이로 센서의 y축과 z축 가속도 변화 값을 통해 현재 방향 전환 행동을 전송 받고 최종적인 전, 후진 상태를 결정한다. Algorithm 1은 Lee et al. [13]의 제자리 걸음인지 알고리즘을 기반으로 새롭게 정의한 걷기 시뮬레이터의 구조이다.
손은 몰입형 가상현실에서 사용자가 다양한 행동을 취하는데 있어 가장 사용빈도가 높은 신체이다. 따라서 HMD 사용자의 상호작용이 가상 캐릭터의 이동에 초점을 맞추어 다리를 직접 사 용하도록 하였다면, Non-HMD 사용자는 가상 캐릭터의 행동을 직접적으로 표현하기 위하여 손을 사용하도록 한다. 손을 사용하여 가상 환경과 상호작용하는 과정에서 실제와 같은 현존감을 제공할 수 있는 손 기반 인터페이스를 설계하는 것이 Non-HMD사용자의 상호작용에서의 핵심이다. 우선 기존의 연구 [3]에서 제시한 립 모션 기반의 손 인터페이스를 보면 사용자의 키보드나 컨트롤러를 활용하는 단순한 제어 방식과 비교하여 몰입형 가상 현실에서 상대적으로 높은 몰입을 통해 현존감을 향상 시키는데 도움을 주고 있음을 알 수 있다. 또한, 3인칭 시점의 가상현실과 관련된 연구에서 손을 사용하여 인터페이스를 제공할 경우 객체를 제어하거나 행동을 표현하는데 있어 좋은 상호작용 방식임을 알 수 있다 [38]. Non-HMD 사용자는 HMD 사용자와 같은 시점에서는 몰입형 환경의 차이로 인하여 낮은 현존감이 제공될 수 밖에 없기 때문에 시점을 다르게 하여 다른 경험을 제공받고 이를 토대로 역할과 행동 또한 구분시키고자 하는 것이 본 연구에서 제안하는 비대칭 상호작용의 특징이라고 할 수 있다. 따라서 3인칭이라는 공통된 시점에서 접근하였을 때 손을 사용한 상호작용이 적합할 수 있다는 전제하에 본 연구는 Non-HMD 사용자를 위한 손 기반 인터페이스를 설계한다. 그리고 이를 위해 립 모션장비를 사용하여 손을 보다 직접적으로 활용하고 사실적으로 표현할 수 있도록 한다. 여기서 립 모션 센서는 손의 움직임 캡쳐 및추적, 제스처 인식 등을 효과적으로 처리하는 기능을 담당한다.
Walking interaction through Simulator.
1: procedure Slave Module for Walking Detection
2: motion ← motion state of each leg.
3: ypr ← yaw, pitch, roll axis vector.
4: detect change in gradient value of ypr.pitch and ypr.roll.
5: determining motion (0: pause, 1: change in eye view, 2:walking-in-place) referenced by Lee et al. [13].
6: transmit motion to master board.
7: if current slave module is on right leg then
8: state ← motion direction change state.
9: accel ← gyro sensor’s acceleration vector.
10: detect gradient value of accel.y and accel.z.
11: determine state change (0: none, 1: forward(positive gradient of accel.z), 2: backward(negative gradient of accel.z)).
12: transmit state to master board
13: end if
14: end procedure
15: procedure Master Module for Walking Analysis
16: dir ← current forward, backward direction information (0: forward, 1: backward).
17: motion ← final walking state of user.
18: slave ← 2D vector for motion values received from both legs.
19: right ← motion change state received from right leg.
20: if slave.left == 1 or slave.right == 1 then
21: motion = rotation (not walking).
22: else if slave.left == 2 or slave.right == 2 then
23: motion = walking.
24: else if slave.left == 0 and slave.right == 0 then
25: motion = pause.
26: end if
27: if dir == 0 and right == 2 then
28: dir = 1 (change movement direction to backward).
29: else if dir == 1 and right == 2 then
30: dir = 0 (change movement direction to forward).
31: end if
32: end procedure
손을 활용한 Non-HMD 사용자의 행동은 다음과 같은 흐름으로 정리할 수 있다. 우선 왼손을 편 상태에서 손바닥이 나오도록 뒤집으면 손가락 끝에 사용자가 취할 수 있는 행동의 종류가 3차원 인터페이스로 표현된다. 다음으로 사용자는 오른손 검지 손가락을 사용하여 원하는 메뉴를 직접 클릭하는 방식으로 선택 행동을 취한다. 마지막으로 선택한 메뉴에 대응되는 제스처를 사전에 정의시키고 제스처가 인식되면 대응되는 행동이 가상현실공간에 실행되는 것이다. 이때, 손 추적을 비롯한 제스처 인식의모든 과정은 립 모션 개발도구에서 제공하는 함수를 활용하여 구현한다. Figure 2는 제안하는 손 기반 인터페이스에서 정의한 제스처의 일부를 나타낸 것이고, 필요에 따라 사용자가 추가해서 정의할 수 있다. Algorithm 2는 립 모션을 활용하여 Non-HMD 사용자에게 제공하는 손 기반 인터페이스를 정리한 것이다.
4. 비대칭 가상현실 체험 환경
본 연구에서 고려하는 비대칭 가상현실은 가상 공간에 존재하는하나의 가상 캐릭터를 HMD 사용자와 Non-HMD 사용자가 각각의 독립적인 상호작용과 대화를 통한 의사소통으로 함께 제어하도록 환경을 구성한다. 따라서 비대칭 가상현실 어플리케이션역시 HMD 사용자를 위한 캐릭터와 Non-HMD 사용자를 위한 캐릭터를 구분하여 생성하지 않고, 하나의 캐릭터를 두 사용자가 공유할 수 있는 형식으로 제작해야 되는 조건이 선행된다. 이러한 배경을 바탕으로 본 연구는 제안한 몰입형 상호작용의 성능과 활용성을 검증하기 위하여 비대칭 가상현실 어플리케이션을 직접 제작하고 이를 사용자가 실험할 수 있는 체험 환경을 구축한다.
실험을 위해 제작한 비대칭 가상현실 어플리케이션과 HMD, Non-HMD 사용자의 체험 환경은 Unity 3D 5.3.4f1, Oculus SDK(ovr unity utilities 1.3.2), 립 모션 개발도구 v.4.1.4를 사용하여 구현하였다. 또한 HMD 사용자의 이동 제어에 사용된 걷기 시뮬레이터는 Lee et al. [13]을 기반으로 아두이노 스케치 v.1.6.12를 사용하여 새롭게 설계하였다. 마지막으로 통합 개발 환경 구 축과 실험을위한 PC는 Intel Core I7-6700, 16GB RAM, Geforce 1080 GPU를 탑재하고 있다.
Hand Interface based on Leap Motion.
1: procedure User Action Process Using Hand
2: hand ← hand information captured through Leap Motion using GetLeapHand().
3: palm ← vector in direction of user’s left palm using hand.PalmNormal.ToVector3().
4: ① control menu using palm of left hand.
5: if palm faces camera then
6: activate menu on hand.
7: finger ← finger information based on hand.Finger[i].
8: 0: thumb, 1: index, 2: middle, 3: ring, 4: pinky.
9: if click menu using index finger then
10: ② select menu (ex. bomb-dropping, shield, time control).
11: end if
12: else
13: deactivate menu.
14: end if
15: if gesture recognition (ex. grab, point, etc.) then
16: ③ execute action corresponding to the selected menu.
17: end if
18: end procedure
Figure 3은 제안하는 몰입형 상호작용이 동일한 위치에서 HMD 사용자와 Non-HMD 사용자가 함께 경험을 공유하는 과정에서 현존감, 흥미 그리고 사회적 상호작용 등을 분석하기 위하여 제작한 어플리케이션의 예이다. 어플리케이션의 목적에 따라다양한 장르의 어플리케이션을 제작하였다. Figure 3 (a)는 아케이드 장르의 게임 콘텐츠로 HMD 사용자는 걷기를 통해 NPC를피해 목적지로 안전하게 이동하고, Non-HMD사용자는 콘텐츠 진행과정에서 수행하는 동작(NPC 제거, 아이템 획득 및 사용 등)을 손을 사용하여 제어하며 상황을 전체적으로 보면서 필요한 정보를 HMD 사용자에게 대화로 전달한다. Figure 3 (b)는 가상현실 인테리어로 HMD 사용자는 가상의 방을 돌아다니며 인테리어 된객체들을 살펴보고, Non-HMD사용자는 가구의 재배치, 인테리어 소품 수정 등 직접적인 행동을 수행하도록 한다. Figure 3 (c)는 가상현실 농장으로 게임적 요소가 포함된 체험 콘텐츠로 이역시도 HMD 사용자는 농장을 직접 돌아다니며 상황을 파악하고, Non-HMD 사용자는 현재 상황에 맞는 적절한 행동을 직접 수행하도록 한다.
다음은 HMD 사용자와 Non-HMD 사용자 사이의 의사소통과 각각의 상호작용을 고려한 체험 환경 구성이다. 가로 2.5m × 세로 2.5m 크기의 공간에 두 사용자가 함께 체험을 즐기게 되며, 특히 Non-HMD 사용자는 전체적인 상황을 확인할 수 있는 3인칭시점의 장면과 함께 HMD 사용자의 1인칭 시점 장면까지 함께 확인할 수 있도록 모니터를 배치한다. 이는 HMD 사용자가 경험 하는 것을 Non-HMD 사용자가 간접적으로 경험할 수 있도록 제공함으로써 현존감 향상에 도움을 주기 위한 것이다. 또한, Non-HMD 사용자의 상호작용을 위한 립 모션은 3인칭 시점 모니터앞에 배치하여 전체 상황을 통솔할 수 있도록 한다. Figure 4는 본연구에서의 비대칭 가상현실 체험 환경을 구성한 것이다.
5. 실험 및 분석
본 연구에서 제안하는 비대칭 가상현실에서의 몰입형 상호작용의 핵심은 어플리케이션을 체험하는 모든 사용자 (HMD, Non-HMD 사용자 모두)가 향상된 현존감을 느끼면서 어플리케이션에 대한 전체적인 만족 (흥미 유발, 사회적 상호작용)을 경험하도록 하는 것이다. 이러한 본 연구의 목적을 체계적으로 분석하기위하여 참가자들을 대상으로 한 설문 실험을 진행한다. 우선 설문 참가자는 20∼35세 사이의 총 16(남:12, 여:4)명을 대상으로 구성하였다. 그리고 2인 1조로 한 사람이 HMD를 착용하면 다른한 사람은 HMD를 착용하지 않는 Non-HMD 사용자의 역할을 수행하여 비대칭 가상현실 체험을 진행한다.
첫 번째 실험은 현존감 비교 설문에 대한 분석이다. 제안하는몰입형 상호작용은 가상현실에 존재하는 모든 사용자가 HMD 착용과 상관없이 향상된 현존감을 느끼는 것을 목표로 한다. 본연구는 Witmer et al. [39]가 제안한 현존감 설문지를 활용하여 설문 실험을 진행하였다. Figure 5 (a)는 본 연구에서 실험을 위해제작한 비대칭 가상현실 어플리케이션을 체험한 HMD 사용자와 Non-HMD 사용자가 설문 값을 기록한 결과로 현존감 차이가크지 않음을 확인할 수 있다(M: 5.91, 5.82, SD: 0.52, 0.55). 제안하는 몰입형 상호작용은 HMD 착용 유무에 따라 비대칭 가상현실에서 가상 환경과 상호작용할 수 있는 방법을 구분하였고, 각각에 대해 보다 높은 몰입을 유도할 수 있도록 설계하였다. 그결과 HMD 착용 유무와 상관없이 전체적으로 높은 현존감 결과를 얻을 수 있었다. 본 연구에서 의도한 대로 하나의 캐릭터에 대해 Non-HMD 사용자와 HMD 사용자 각각 주어진 상호작용으로 진행할 경우 HMD 사용자는 가상 공간에 대한 현장감을 그대로 느끼고 Non-HMD 사용자는 상황에 대한 긴박감 또는 긴장감을 함께 느낌으로 인하여 경험의 차이는 있지만 동일한 수준의 현존감을 제공받을 수 있었다. 하지만 세부적으로 상황을 분석했을 때, 본 연구의 의도와 다른 결과도 확인할 수 있었다. 전체적인 상황을 판단하고 대화를 이끌어가면서 행동을 주도하는 Non-HMD 사용자에게 손을 활용한 상호작용을 부여함에도 오히려 HMD 사용자가 대화를 주도하여 상황을 이끌어 갈 경우, Non-HMD 사용자의 존재가 비몰입 환경에서 더욱 수동적이게 되어 현존감의 차이가 벌어지는 결과를 나타내었다. 이는 주로 사용자의 성격(내성적 또는 외향적) 차이나 어플리케이션에서 제시하는 규칙에 대한 이해가 부족함으로 인하여 대화를 주도해야 하는 Non-HMD 사용자의 상호작용을 정확히 수행하지 못하는 데에 원인이 있었다. 하지만 대다수의 참가자들은 충분한 시간을 가지고 제안하는 상호작용을 숙지시키도록 하여 모두가 향상된 현존감을 제공받을 수 있도록 노력하였고 결과로 확인할 수 있었다. 또한, 종합적으로 분석하였을 때 제안한 상호작용이 비대칭 체험환경에서 유사한 현존감을 제공하는데 중요한 역할을 하였음을 확인할 수 있었다. 추가적으로 모든 참가자들이 기록한 값들을 토대로 Wilcoxon Test를 통해 계산한 유의확률은 5.8679×10−1 로 두 사용자 사이의 현존감이 유의미한 차이(> 0.05)를 나타내지 않음을 확인할 수 있었다.
다음 실험은 제안하는 몰입형 상호작용으로부터 사용자들에게 유도되는 경험을 분석하는 것이다. 이를 위해 본 연구는 게임경험 설문지(GEQ, Game Experience Questionnaire) [40] 가운데 사회적 현존감 모듈과 게임 모듈의 항목들을 활용하여 흥미, 사회적 상호작용에 대한 경험 만족도를 도출하였다. Figure 5 (b), (c) 는 이에 대한 결과를 HMD 사용자와 Non-HMD 사용자로 나누어 기록한 것이다. 흥미의 경우 상대적으로 HMD 사용자가 높은값(M: 3.49, 3.41, SD: 0.48, 0.28)을 기록하였지만 사회적 상호작용은 Non-HMD사용자가 높은 값(M: 3.66, 3.76, SD: 0.27, 0.24)을 기록하였다. 하지만 이들 사이의 평균 값 차이는 크지 않고 평균 값이 상위에 기록되어 모두가 만족하는 경험을 하고 있음을 확인할 수 있었다.
Non-HMD 사용자의 경우 전체적인 상황을 판단하고, 대화를 주도하는 등 어플리케이션이 진행되는 동안 상대적으로 많은 감정과 정보를 공유해야 할 필요가 있다. 또한 행동을 수행하기 위해서도 현재 위치, 상황을 HMD 사용자와 주고 받아야 하기때문에 사회적 상호작용에 있어 상대적으로 높은 값을 기록할 수 있었다. 반대로 HMD 사용자는 Non-HMD 사용자가 제공하는 정보에 기반하여 입체적인 영상이 전송되고 있는 실제 가상의 현장에서 순간적인 움직임을 직접적으로 수행하여 흥미에 대한 경험이 다소 높은 값을 기록하였다. 이때 HMD사용자가 Non-HMD 사용자보다 상황을 더 전체적으로 주도할 경우 흥미 값의 간격이 더 벌어지기도 하였다. 하지만 이 역시 Wilcoxon Test를 통해 유의확률을 계산하였을 때 만족도의 차이가 무의미함을 알 수 있다 (흥미: 1.5070×10−1, 사회적 상호작용: 7.5224×10−2).
6. 결론
본 연구는 HMD 사용자를 중심으로 하는 일반적인 몰입형 가상현실에서의 체험 환경이 아닌 HMD 사용자와 Non-HMD 사용자가 동일한 공간에서 함께 존재하는 비대칭 가상현실의 체험 환경에 모두가 만족할 수 있는 현존감과 함께 높은 만족의 경험을 제공받을 수 있는 몰입형 상호작용을 제안하였다. 이를 위해 제안하는 상호작용은 사용자의 시스템적, 경험적 환경의 차이를 구분하여 최적화된 상호작용을 설계하였다. 기본적인 조건은 가상환경을 체험하는 가상 캐릭터는 한 명이며, 한 명의 캐릭터를 두명의 사용자가 공유하면서 제어하는 것이다. 이러한 전제 조건하에서 HMD 사용자는 이동에 초점을 맞춘 상호작용을, Non-HMD 사용자는 전체적인 상황을 판단하고 결정하며 행동을 담당하는 상호작용을 제안하였다. 이는 사전 연구를 통해 몰입과 흥미 유발 등에서 긍정적인 효과를 나타냄이 검증된 시스템과 사용자 인터페이스를 토대로 사용자에 최적화된 상호작용으로 설계하였다. HMD 사용자는 공간에 대한 몰입을 높이기 위하여 직접 두 다리를 사용하면서 제한된 공간에서 자유로운 움직임을 표현할수 있는 제자리 걸음 기반의 걷기 시뮬레이터를 중심으로 상호작용을 설계하였다. 또한, Non-HMD 사용자는 감정이나 의사를 표현할 때 많이 사용되는 신체 기관 중 하나인 손을 활용하여 행동함으로써 가상 환경과 직접적으로 상호작용할 수 있는 손 기반 인터페이스를 구현하였다. 제안한 몰입형 상호작용이 본 연구에서 목표로 하고 있는 향상된 현존감과 만족하는 경험을 제공할수 있음을 확인할 수 있는 비대칭 가상현실 어플리케이션을 직접 제작하였다. 마지막으로 일반 참가자들(n=16)을 대상으로 HMD 와 Non-HMD 체험 환경 모두를 경험하게 한 후 현존감, 경험의 결과를 기록하였다. 그 결과 본 연구에서 목표로 한 모든 사용자들이 가상현실 환경에서 향상된 현존감을 느낄 수 있음을 확인할 수 있었다. 그리고 경험에 대한 설문 결과 역시 모든 사용자가 높은 그리고 유사한 흥미, 사회적 상호작용 경험을 느꼈다고 응답하였다. 이러한 과정들을 토대로 상대적으로 비몰입형 환경에 놓인 Non-HM 사용자가 몰입형 가상현실에서 HMD 사용자만큼의 몰입을 하는데 있어 시스템적, 경험적 차이를 명확히 구분하는 체험 환경을 설계하고 이에 적합한 상호작용을 제시하는 것이 중요하다는 것을 증명하였다.
본 연구는 HMD 사용자와 Non-HMD 사용자 사이의 몰입형 상호작용을 하나의 가상 캐릭터를 기준으로 구분하였다. 따라서향후 HMD 사용자가 제어하는 가상의 캐릭터와 Non-HMD 사 용자가 제어하는 가상의 캐릭터를 구분하여 독립된 비대칭 체험환경에서 모든 사용자가 향상된 현존감과 함께 만족하는 경험을 제공받을 수 있는 상호작용을 설계할 것이다. 또한 실험을 위해 제작하는 비대칭 가상현실 어플리케이션 역시 다양한 장르, 분야로 확장할 수 있도록 주제를 다변화 하여 제작하며 이를 통해 더욱 많은 참가자들을 대상으로 설문 실험을 진행할 계획이다.
