몰입형 가상현실에서손기반 인터페이스의 비교 실험에 관한 연구

1. 서론

청각, 촉각 등의 감각을 만족시킬 수 있는 상호작용 기반의 피드 백 시스템과 체험 환경이 중요시 된다. 이와 관련하여 가상현실 기술은 Oculus Rift CV1/GO, HTC Vive, 삼성 오디세이를 비롯 한 HMD (head mounted display)의 발전과 더불어 트레드밀, VR (virtual reality) 글러브 등과같은 하드웨어 시스템들과결합하여 사용자가 더욱 몰입할 수 있는 체험 환경을 제시하고 있다. 뿐만 아니라 가상 환경과 직접적으로 상호작용하고객체들을 현실감 있게 제어할 수 있는 몰입형 가상현실에서의 사용자인터페이스과 이를 기반으로 한햅틱 피드백 등의응용 연구들이 현재까지 다양한 관점에서 이루어지고 있다 [1, 2, 3].

또한, 시각과 청각, 시각과 촉각 등둘 이상의 감각을 함께 고 려하여 몰입을 높이는 멀티모달리티(multimodality)에 대한 연구 들도 진행되고 있다. 하지만 이러한 연구들과 기술들은 사용자와 가상 환경과의 직접적인 상호작용 과정에 초점을 맞추고 있어 정확한 힘(force)을 계산하고, 물리적 반응을 실제와 같이 전달하는 부분들까지 고려하지 않아 상호작용 과정에서 이질감이 발생하 기도 한다. 이러한 문제를 해결하여 몰입형 가상현실에서 사용자에게 향상된 현존감을 제공할 수 있도록 사용자로부터 측정된 정확한 힘을 실시간으로 가상 환경에 반영하는 연구들 또한 진행 되고 있다 [4, 5]. 그러나 대부분의 연구들은 특정 상황, 환경에만 최적화된 시스템, 보편성을 고려하지 않은 휴대하기에 무겁거나 불편한하드웨어 구조 등으로 활용이 제한적인 문제들이 발생한다. 이러한 이유로 현재의 가상현실 어플리케이션은 햅틱 피드백을 제외한 체험 환경에서 주로 손을 통해 가상 환경과 좀 더 현실적으로 상호작용할 수 있는 인터페이스를 제공하고 있다. 그리고 이를 지원하는 입력 방식으로 립 모션과같은 간단하지만 손의 동작, 움직임, 제스쳐를 비교적정확히 감지, 추적하여 가상 손에 매핑시키는 하드웨어나 가상현실 HMD와 함께 제공되는 VR 전용 컨트롤러를 손에 매핑시키는 방법을 활용하고 있다.

본 연구는 몰입형 가상현실에서 사용자가 다양한행동을 수 행하는데 있어 가장자주 사용되는 신체 부위인 손을 기반으로 쉽고, 직관적이면서 높은 몰입으로 현존감을 높일 수 있는 인터페이스 설계를 위한 비교 실험을 진행한다. 이를 위해 본 연구는 손 기반 인터페이스를 자유도를 고려한 편리함, 직관적인 대화 구조, 누구가 쉽게 응용 가능한 보편성 등을 고려하여 두 가지의 상호작용 방식으로 구분하여 설계한다. 다음은 본 연구의 비교 실험을위해 제안한 손 기반 인터페이스를 정리한 것이다.

두 단계로 나누어 설계한 손 기반 인터페이스를 통해 몰입형 가상현실에서 사용자가 손을 사용하여 가상 환경, 객체와 상호작 용하는 과정에서 느끼는 몰입의 정도와 이를 기반으로 현존감에 미치는 세부적 요인들을 비교 실험을 통해 통계적으로 분석, 검증한다.

2. 관련 연구

시각, 청각, 촉각 등 인체의 다양한 감각을 활용하여 사용자에게 몰입형 가상현실에서 제공하는 환경 또는 객체와 현실감 높은 상호작용을 제공함으로써 현존감을 향상시키는 연구들이 다양 하게 이루어지고 있다. 가상 환경에 대한 입체적인 시각정보를 제공하는 HMD를 비롯하여 데이터 글러브, 모션 캡쳐 등과같은 여러 가상현실 장비들은 상호작용에서의 시각, 촉각, 움직임에 대한 경험을 사실적으로 제공하는 역할을 하고 있다. 이를 기반 으로 다양한 가상현실 어플리케이션이 제작되며, 사용자에 관점에서 효율적이고, 직관적이며, 편리하게 활용할 수 있는 상호작 용과 관련된 연구들이 주목 받고 있는 상황이다.

광범위한 가상 환경에서 사용자가 쉽게 움직임을 제어하고, 행 동을 표현하며, 이 과정에서 발생하는 물리적 반응을 사실적으로 피드백 할 수 있도록 시선, 제스쳐 등을 활용한 인터페이스 및 상호작용 응용 기술에 대한 연구들이 진행되었다 [6, 7, 8]. 최근에 는 PC환경에서 Oculus Touch와 HTC Vive의 컨트롤러 장비들을 통해 적은 비용으로 정확한 상호작용 [9, 10]을 지원하고 있고, 모바일 가상현실 환경에서 스마트폰의 자이로 센서를 기반으로 시선이나 손을 활용하여 가상 객체를 제어하는 방법 [11, 12]을 제 안하기도 하였다. 이외에도 가상 환경에 보다 직접적으로 행동을 반영할 수 있도록 마커를 통해 손을 캡쳐하여 행동, 제스쳐 그리고 움직임을 분석하는 연구 [13], 가상현실에서의 사용자 걷기와 관련된 상호작용 [14, 15]을 연구하기도 하였다. 최근에는 제자리 걸음을 인지하여 자유로운움직임을 표현하는 모션 플랫폼에 대 한 연구 [16]들도 진행되고 있다. 뿐만 아니라 상호작용 과정에서 사용자의 정확한 힘을 계산하고 이로부터 발생하는 물리적 반응 을 사실적으로 전달하는 과정을 표현하기 위한 목적으로 햅틱 시 스템과 이를 지원하는 인터페이스에 대한 연구들도 이루어지고 있다.

햅틱 시스템과 관련된 연구들로 상호작용 과정에서 자주 사용되는 신체 부위인 손의 움직임에 대한 정확한 거리를 계산하고, 객체 제어 과정에서 발생하는 힘을 측정하여 무거움과같은 경험, 터치에 대한 감각을 피드백하는 연구들이 다양하게 진행되었다 [5, 17, 18]. 특히, 손에 대한 대표적인 촉각 인터페이스인 데 이터 글러브와 관련하여 힘의 측정과 함께 물리적 피드백을 함께 제공받기도 하였으며, 와이어 구동장치, 수동 스프링 등을 결합 한 시스템 [19, 20] 등 다양한 매커니즘을 사용하여 상호작용하는 연구들이 진행되었다. 그리고 햅틱 시스템이 가지는 시스템의 무거움, 복잡함, 대중성을 고려하지 못하는 점들을 고려하여 적은 비용으로 다양한 동작을 지원하는 컨트롤러를 설계하는 연구들도 이루어지고 있다 [21, 22]. 그럼에도 불구하고 햅틱을 통한 웨어러블 장비를 추가적으로 사용자에게 제공하는 것은 대중성에 측면에서는 극복해야 되는 문제들을 안고 있기 때문에 가능한 최소의장비와 체험 환경 속에서 사용자가 몰입할 수 있는 상호작용 방법을 제시하는 것 또한필요하다.

최근에는 상호작용의 관점에서 현존감을 향상시킬 수 있는 요인들을 분석하는 응용 연구들도 활발히 진행되고 있다 [23, 24]. 따라서 새로운 시스템을 제안하고 이에 대한 현존감을 분석하는 것만큼 기존의 대중화된 기술들을 활용하여 사용자의 관점에서 보다 접근하기 쉽고, 친숙하게 사용되는 입력 방식을 통해 인터 페이스를 최적화한 상호작용 방법을 제안하는 과정과 이를 통해 현존감이 변화되는 정도를 비교 분석하는 실험도 중요하다. 본 연구는 이러한 관점에서 최소한의 체험 환경에서 사용자의 몰입을 높일 수 있는 상호작용과 이를 지원하는 인터페이스를 통해 현존감에 미치는 세부적인 요인들을 분석하고자 한다. 이를 통해 다양한 가상현실 어플리케이션에 쉽게 적용 가능한 일반화된 손 기반 인터페이스를 제안하는 것이 목적이다.

3. 손 기반인터페이스

손은 몰입형 가상현실에서 사용자가가상의 환경 또는 환경 안에 존재하는 여러 객체들과 직접적으로 행동을 취할 수 있는 신체 부위로, Han [12], Jeong [25] 등 사전 연구들을 통해 몰입형 가 상현실에서손을 활용한 상호작용이 키보드, 게임 패드는 물론 시선 점(gaze pointer)를 활용한 인터페이스와 비교하여 높은 몰 입을 통해 현존감을 향상시킴을 확인하였다. 여기서 한가지중요 한 점은 손을 가상 환경에 보다 정확하고 직접적으로 표현하는 것과 함께 쉽고간편한 인터페이스가 필요하다는 것을 기존의 연구들이 강조하고 있다는 것이다. 이러한 이유로 최근에는단순 하고 저렴한 장비를 활용하여 손을 캡쳐하고, 움직임을 추적하여 동작과 제스쳐를 간단하면서 정확하게가상의 손에 대응시키는 인터페이스가가상현실 연구에서 많이 활용되고 있다 [26, 27]. 어플리케이션의 관점에서 접근해보면, 가상현실 HMD 외에 추 가의장비 역시 부담이 될 수 있기 때문에 HMD와 함께 제공되는 전용 컨트롤러를 활용하는 경우가 많다.

따라서, 본 연구는 가상현실을 체험하는 사용자의 관점에서 보다 직관적인 구조로 자유롭게 손을 활용할 수 있는 손 동작인식 센서 기반 상호작용과 쉽고, 빠르게 적응할 수 있는 대중성을 갖 춘 컨트롤러 기반 상호작용을 설계하여 손 기반 인터페이스의 현존감을 체계적으로 분석한다.

비교 실험을위해 본 연구에서 제안하는 손 기반 인터페이스 는 객체 선택을위한 가리키기(pointing), 잡기(grasping), 펼치기 (opening)의 세가지 동작으로 구분하여알고리즘을 설계한다. 그리고 각각의 상호작용마다 동작을 인식하는 방법을 정의한다. Algorithm 1은 제안하는 손 기반 인터페이스의 동작 처리 과정을 정의한 것이다. 우선, 각각의 상호작용에서 처리되는 입력 방식 으로부터 손 동작 상태 $\left(stat{e}_{l/r}^{grasp},stat{e}_{l/r}^{point}\right)$를 확인한다. 그리고 잡기, 가리키기, 펼치기의 순서대로 동작을 처리하는 과정을 정의한다. 세가지 동작 중 우선적으로 인식하는 동작은 잡기이며, 잡기 동작으로 전환되는 순간 관련 행동을 처리하기 위하여 이전 손 동작이 잡기였는지 여부 $\left(con{t}_{l/r}^{grasp}\right)$를 기록한다. 가리키 기 동작은 손 동작 상태가가리키기 $\left(stat{e}_{l/r}^{point}\right)$로 인식되면 즉시 처리된다. 마지막으로 펼치기 동작은 이전 동작이 잡기일 경우 쥐고 있는 물체를 던지거나 하는 등의 행동을 수행하도록 정의한다. 본 연구에서 비교 실험을위해 사용한 HMD는 Oculus CV1 이며, 모든 개발은 Unity 3D 엔진에서 진행한다.

3.1 손 동작인식 센서 기반 상호작용

손 동작인식 센서 기반 상호작용은 별도의 추가 장비 없이 자유롭게 손을 활용하여 입력을 처리할 수 있는 방법이다. 손을 직접 활용한 상호작용을위해서는 손의 움직임을 정확하게감지 및 추적하고, 이를 기반으로 동작, 제스쳐를 분류 및 인식하는 과정이 필요하다. 이를 위해 본 연구는 가상현실 상호작용 연구에서 자주 활용하고 있는 립 모션 장비를 활용한다. 기존에 광학 마커 (optical marker), 표면 마커(surface marker)를 손에 착용하여 이 를 추적함으로써 가상 손 모델의 동작에 매핑하는 연구들 [13, 28, 29]이이루어지고 있다 하지만, 본 연구는 실제 응용 가능성 에 측면에서 접근할 때 저렴하면서 사용 게임 엔진에서 개발할 수 있는 라이브러리를 제공하고 있는 립 모션 장비를 활용한다.

립 모션 센서는 적외선 인식 모듈과 적외선 광원(LED)의 2 개의 적외선 카메라로 구성된 입력 처리 장비이다. 1.27mm × 80mm의 작은 크기로 Oculus CV1, HTC VIVE 등 가상현실 HMD 의 전면에 부착하여 쉽게 활용할 수 있는 이점을 가진다. 적외선 센서 앞쪽으로 사용자가 손을 움직이면, 움직임을 손가락 관절 단위로 인식하여 가상 환경의 손에 정확히 대응시킨다. Figure 1 은 립 모션 개발도구를 Unity 3D 엔진에 통합시켜 개발 환경을 구성한 것으로, 기본적으로 립 모션 개발 도구에서 제공하는 손 가락 인식 공간(Leap Space)을 통해 인식된 손에 대응되는 3차원 손 관절 모델을 제어하고, 동기화하는 것이 가능하다.

Figure 1: Development process of hand motion recognition sensor based interaction using Leap Motion in Unity 3D engine.

Download Original Figure

또한, 립 모션 개발도구에서 제공하는 함수들을 통해 현재 손 및 손가락의 상태들을 확인할 수 있고, 이를 통해 제스쳐를 정의 할 수 있다. 다음은 Algorithm 1에서 정의한 세 동작을 립 모션 기반 상호작용에서 처리하기 위해 대응한 코드이다. 우선, 립 모션 개발도구에서 제공하는 함수를 활용하여 인식된 손 모델 정보 (hand)를 저장한다. 그리고 인식된 손의 좌/우 (IsRight)를 판단 한 다음 손가락 각각이 펼쳐져 있는지 여부 (IsExtended)를 기록 (n_e)하여 잡기 $\left(stat{e}_{l/r}^{grasp}\right)$ 또는 가리키기 $\left(stat{e}_{l/r}^{point}\right)$ 상태를 결정한다.

Algorithm 2

Algorithm 2 Development Code of Hand Motion Recognition Sensor based Interaction Using Leap Motion Device.

1: Hand hand = HandModel.GetLeapHand()

2: n_e ← the number of extended fingers.

3: if hand.IsRight == true (or false) then (: check left or right hand)

4: for i=0,4 do

5: if hand.Fingers[i].IsExtended == true then

6: n_e++

7: end if

8: end for

9: ifn_e == 0 then

10: $stat{e}_{l/r}^{grasp}$ = true

11: else if hand.Fingers[1].IsExtended == true andn_e == 1 then

12: $stat{e}_{l/r}^{point}$ = true

13: end if

14: end if

3.2 컨트롤러 기반 상호작용

컨트롤러 기반 상호작용은 손이라는 높은 몰입의 입력 방식을유 지한 상황에서 좀 더대중적이며, 쉽게 접근할 수 있는 상호작용 환경을 제공하는 것이 목적이다. 본 연구는 가상현실 HMD와 함 께 제공하는 전용 컨트롤러와 손의 제스쳐를매핑 시켜 손을 활용한 상호작용을자연스럽게 처리할 수 있도록 한다. Algorithm 1 에서 정의한 세 가지 동작에 맞게 컨트롤러의입력 처리를 설정한 다. 핵심은 컨트롤러를 쥔 상태에서 버튼 또는 트리거를 입력하 는 손의 동작과가상 손의 제스쳐가 유사하게 대응되어야만 높은 몰입을 유지할 수 있다는 것이다. Figure 2는 Unity 3D 개발 환경 에서 관절정보가 포함된 3차원 가상 손 모델에 전용 컨트롤러인 Oculus Touch를 대응시키는 과정이다. 정의된 기본 동작을 컨트 롤러와 자연스럽게 대응하기 위하여 키 입력을 설정하고, 좌/우 손을 구분하여 동작하도록 한다.

Figure 2: Implementation and process of hand gestures through controller based interaction in Unity 3D engine.

Download Original Figure

역시, 컨트롤러의 키 입력을 Algorithm1의 동작과 대응하도 록 코드를 정리한다. Oculus Touch 컨트롤러는 Oculus 개발도 구에서 제공하는 OVRInput 기능을 활용하여 구현한다. 그리고 PrimaryIndexTrigger 키를 잡기 동작에 PrimaryHandTrigger 키를 가리기키 동작에 대응시키고, 키 입력에 따라 손 동작 상태 $\left(stat{e}_{l/r}^{grasp},stat{e}_{l/r}^{point}\right)$를 결정한다.

Algorithm 3

Algorithm 3 Development Code of Controller based Interaction.

1: OVRInput.Controller controller

2: OVRInput.Button Btn_grasp = OVRInput.Button.PrimaryIndexTrigger

3: OVRInput.Button Btn_point = OVRInput.Button.PrimaryHandTrigger

4: $stat{e}_{l/r}^{grasp}$ = OVRInput.Get(Btn_grasp, controller)

5: $stat{e}_{l/r}^{point}$ = OVRInput.Get(Btn_point, controller)

4. 가상현실 어플리케이션

손 기반 인터페이스의 현존감에 대한 비교 실험을위해 제안한 두 상호작용을 통해 몰입형 가상현실에서 사용자가 손을 활용한 여러 행동들이 편리하면서 동시에 몰입을 높이는지는 분석함을 목적으로 실험 가상현실 어플리케이션을 제작한다. Figure 3은 본 연구에서 제작한 실험 어플리케이션의장면으로, 일상생활 에서 자주 행동하는 동작들을 활용하여 상호작용하는 과정으로 구성한다. 가상현실이라는 체험 환경 속에서 실제와 같은 실험 환경을 제시하여 손을 활용한 상호작용에서의 현존감을 보다 정 확하게 분석하기 위하여 게임과같은 어플리케이션 보다는 일상 생활 체험 환경으로 구성하였다.

Figure 3: Results of VR application with hand-based interface.

Download Original Figure

기본배경은일상생활 중에서도 부엌에서 발생하는 상황으로 구성한다. 가스레인지의 점화 손잡이를 사용하여 조작, 전자레인지 버튼을 클릭 또는 손잡이 조작, 전기 포트와 토스트 기기 등의 주방용 전기 기기를 조작하는 상황 등으로 구성된다. 이때, 상호 작용 하는 과정에서 사용자의 몰입을 높이기 위하여 끓는 물, 불 점화 등의 시각 효과를 함께 구현하도록 한다.

5. 실험 및 분석

손 기반 인터페이스의 현존감 비교 실험을위해 제안하는 두 가지 상호작용과 이를 실험하기 위해 제작하는 가상현실 어플리케이션은 Unity 3D 2017.3.1f1(64-bit), Oculus SDK(ovr unity utilities1.22.0)과 Leap Motion SDK v.4.1.4를 활용하였다. 인터페이스 구현과 실험에 사용된 PC 환경은 Intel Core i7-6700, 16GB RAM, Geforce GTX 1080GPU를 탑재하고 있다. 또한, 가상현실 체험 환경을 지원하는 장비로 Oculus CV1 HMD와 전용 컨트롤러인 Oculus Touch를 활용한다. Figure 4는 본 연구에서 비교 실험을 위해 제안하는 두가지 상호작용을 통해 가상현실을 체험하는 환 경을 각각 나타낸 것이다. 1m × 1m 크기의 공간 안에서 앉거나 서서 편하게 체험하도록 하였다. 이때, 손 동작인식 센서 기반 상호작용은 HMD 전면에 부착된 립 모션 센서를 통해 손을인식 하여 제어할 수 있도록 하였고, 컨트롤러 기반 상호작용은 전용 컨트롤러를 손으로 쥐고 동작할 수 있도록 설정하였다.

Figure 4: Construction of immersive VR experience environment with hand-based interface: (a) hand motion recognition sensor based interaction using Leap Motion device, (b) controller based interaction.

Download Original Figure

Figure 4의 체험 환경을 토대로 본 연구에서 제작한 가상현실 어플리케이션을 체험하는 과정에서 일반 사용자들이 느끼는 반응과경험을 설문을 통해 기록 및 분석하였다. 이는 두 가지로 각각 나누어 설계한 손 기반 인터페이스가 몰입형 가상현실에서 사용자에게 제공하는 현존감의 정도를 확인하고, 현존감의 측면에서 각각의 상호작용이 어떻게 작용하고 있는지를 세부적으로 분석하는 과정이다. 설문 참가자는 23~40세 사이의 총 10명 (남: 6, 여: 4)으로 구성하였다. 제안하는 어플리케이션에서 가상 객 체를 조작하는데 필요한 숙련도 역시, 현존감에 영향을 미칠 수 있기 때문에 5명은 손 동작인식 센서 기반 상호작용을 먼저 체험 한 후 컨트롤러 기반 상호작용을 체험하도록 하고, 나머지 5명은 반대의 순서로 실험을 진행하였다.

본 연구는 현존감에 대한 전문적 설문 실험을 진행하기 위하여 Withmer et al. [30]의 현존감 설문지(presence questionnaire)의 19가지 문항을 토대로 1~7 사이의 값을 기록하도록 하였다. 기록된 값을 토대로 세부적인 항목들을 비교 분석하였다. Figure 5는 현존감 설문에 대한 평균 값을 기록한 것이다.

Figure 5: Comparative analysis results for presence with the hand-based interface: (a) presence, (b) detailed items (S/I: hand motion recognition Sensor based Interaction, C/I: Controller based Interaction).

Download Original Figure

우선, 체험의 순서는 전체적인 현존감에 큰 영향을 미치지 않는 것을 확인할 수 있다. 이를 전제로 두 상호작용이 제공하는 현존감의 차이를 분석해보면, 손 동작인식 센서 기반 상호작용 이 상대적으로 높은 현존감을 제공하고 있음을 알 수 있다. 사 용자로 하여금 별도의장비 사용을 요구하지 않고, 손을 자유롭 게 사용하여 가상 환경과 직접적으로 상호작용할 수 있는 체험 환경이 현존감 향상에 중요한 역할을 하는 것으로 나타났다. 하지만 여기서 중요한 점은 컨트롤러 기반 상호작용 역시 손 동작 인식 센서 기반 상호작용과 유사한 평균 값을 기록함을 알 수 있었고, one-way ANOVA 분석을 통해 통계적 유의도를 계산한 결과 F (2, 18) = 0.271665 ,p(6.0857×10⁻¹) > 0.05로 두 상호작용 간 유의미한 차이가 없음을 확인할 수 있었다. 이는 사용자가 컨 트롤러를 손에 쥐고 있다 하더라도 가상 환경에서의 손과 실제 손의 움직임이 유사하게 반응한다면 이로 인한 불편함이나 몰입의 방해를 최소화할 수 있다는 것이다. 기존 연구들에서 립 모션과 같은 손 동작인식 센서를 활용한 손 인터페이스가 키보드와 같은입력 처리 방식과 시선 점(gaze pointer)를 활용한 상호작용과 비교하여 높은 현존감을 제공함을 확인되었다 [12, 25]. 따라서 컨트롤러 기반 상호작용 또한 기본적인입력 방식과 비교하여도 사용자에게 향상된 몰입을 제공함을 알 수 있다.

현존감 설문지의 세부 항목들에 대한 결과를 보면 상호작용이 현존감에 미치는 영향을 좀 더 자세히 알 수 있다. 손 동작인식 센서 기반 상호작용은 ”Realism”, ”Quality of interface” 항목에서 높은 값을 기록한 반면, 컨트롤러 기반 상호작용은 ”Possibility to act”, ”Possibility to examine” 항목에서 상대적으로 높은 값을 기록함을 확인할 수 있었다. 손 동작인식 센서 기반 상호작용은 립 모션 센서가 손을 캡쳐하고 추적하는 과정에서 인식 오류 (손이 립 모션 센서 범위를 벗어나는 경우, 손가락 관절 중 일부를 인식 하지 못하는 경우 등)가 발생할 경우 실제 손과가상 손의 움직임 사이의 차이가 발생하게 된다. 이는 몰입을 방해하는 중요한 요인이 될 수 있고, 실제 현존감 설문 결과에도 정확히 반영되고 있었다. 반면, ”Self-evaluation of Performance” 항목에서도 알 수 있듯이 컨트롤러 기반 상호작용은 키 입력을 통해 가상 손의 움직임을 제어하기 때문에 이러한 오류가 발생하는 경우는 없었다. 결과적으로 실제 손의 움직임과 이에 반응하는 가상 손의 동작이 실제와 같이 느낄 수 있는 인터페이스를 설계한다면 사용자로 하여금 향상된 현존감을 제공할 수 있을 것이다. 이때, 립 모션과같은 센서 기반 장비들을 활용하여 자유롭게 손을 사용하도록 체험 환경을 제공하는 것도 중요하지만, 컨트롤러를 단순히 키 입력의 도구로만 활용하는 것이 아니라 손의 동작과 제스쳐와 대응하여 사용할 수 있는 인터페이스를 설계한다면 충분히 사용자에게 높은 몰입을 유도할 수 있다는 것이다.

6. 결론

본 연구는 사용자의 손을 활용하여 몰입형 가상현실과 상호작용 과정에서의 현존감을 높일 수 있는 방법을 비교 분석함을 목적으 로 손 기반 인터페이스를 설계하였다. 제안하는 손 기반 인터페이스의 핵심은 가상현실 체험 환경의장비 부담을 최소화하면서 동시에 손을 직접적으로 사용하여 가상 환경과 객체를 제어할 수 있는 환경을 제공하는 것이다. 따라서 이를 위해 본 연구는 자유 도를 고려한 편리한 체험 환경 제공을위한 손 동작인식 센서 기반 상호작용과 누구나 쉽게 응용 가능한 보편성을 고려한 컨트롤러 기반 상호작용의 두 가지 실험 인터페이스를 제안하였다. 두 가지 상호작용 모두 직관적인 대화 구조를 가지도록 알고리즘을 정의하였다. 본 연구는 손 기반 인터페이스의 비교 실험을위하여 일상생활에서의 손 활용 상황을 제시하는 어플리케이션을 직접 제작하고, 일반 참가자를 대상으로 설문 실험을 진행하였다. 그 결과 실제 손의 움직임과가상 손의 동작이 유사하게 대응할 수 있도록 인터페이스를 설계하여 모두 향상된 몰입과경험을 제공함을 확인하였다. 손 동작인식 센서 기반 상호작용은 현실감의 측면에서 높은 몰입을 유도하였지만 센서 인식의 정확도로 인한 불편함이 문제점으로 나타났고, 컨트롤러 기반 상호작용은이를 보완할 수 있는 좋은 대안이 됨을 알 수 있었다.