몰입형 VR 환경에서 가상 반려동물과 상호작용에 관한 패시브 햅틱 요소의 영향 분석

최근, 몰입형 VR 환경에서 시각, 청각, 촉각 등 멀티모달 상호작용을 제공하여 정성적인 사용자 경험 및 정량적인 성능을 높이는 연구가 활발히 진행되고 있다[9]. 예를 들면, Simon et al. 연구에서는 VR 환경에서 도구 조작 기술을 가르치기 위해 시각, 청각, 촉각의 세 가지 상호작용 모드를 결합한 멀티모달 인터랙션이 학습 성과에 미치는 영향을 조사하였다[6]. 실험 결과 학습자가 보다 정확하고 빠르게 작업을 수행할 수 있도록 시각-청각-촉각 요소의 특정 조합이 상호작용에서 학습 능력 측면에서 효과적임을 발견하였다[6]. 추가적으로, Marucci et al. 연구에서는 멀티모달 자극이 사용자의 인지적 부담, 몰입감을 어떻게 향상시킬 수 있는지 측정하였고[7], Grubert et al. 연구에서는 가상 키보드를 사용하는 VR 환경에서 정확한 텍스트 입력 방법을 제안하였다[10]. 이에 본 논문에서는 기존의 연구사례를 바탕으로 가상 반려동물과 상호작용 콘텐츠에서 멀티모달 상호작용의 요소와 단계가 공존감 등 사용자 경험 측면에서 얼마나 효과적인지를 분석하고자 한다.

패시브 햅틱(Passive Haptic)은 물리적 유사 객체를 활용하여 사용자에게 촉각 피드백을 제공하는 방법으로, VR 환경에서 보다 사실감 있는 상호작용을 가능하게 한다[11]. 패시브 햅틱과 상반되는 구동 환경으로 모터에 의해 무게감 등 햅틱 표현이 가능한 능동적 햅틱(Active Haptic)은 몰입형 콘텐츠의 모양과 재질을 표현하기에는 아직 한계가 있다[12]. 한 가지 연구사례로 Zenner et al. 연구에서는 패시브 햅틱이 능동적 햅틱보다 더 높은 Embodiment 감각을 제공한다고 실험 결과를 제시하였고[13], 시간적 및 공간적으로 일치하는 촉각과 고유 수용성 피드백을 제공함으로써 VR 환경에서 객체가 알려진 위치에 있을 때 사용자 경험을 향상시키는 데 효과적임을 보여주었다[13]. 또 다른 결과로 Freeling et al. 연구에서는 패시브 햅틱의 자극에 대한 신체를 소유하는 감각인 SoE(Sense of Embodiment) 간의 상관관계를 조사하였다[14]. 패시브 햅틱을 통해 제공되는 촉각 피드백이 감정적인 자극을 증대시켜 사용자 경험을 더욱 몰입감 있게 만들 수 있음을 결과로 제시하였다[14, 15].

기존 연구 사례와 같이 패시브 햅틱의 제공은 몰입형 VR 환경에서 사용자 경험을 크게 향상시킬 수 있고, 본 논문에서 설정된 가상 반려동물 콘텐츠에서도 사실감 있는 촉각 피드백을 제공함으로써 몰입감을 증대시킬 수 있을 것으로 가정하였다. 따라서, 패시브 햅틱 촉각 피드백의 모양과 재질 단계 측면에서 정성적인 결과에 대한 구체적인 분석을 본 논문에서 수행하였다.

최근, 몰입형 VR 공간 혹은 증강현실(AR) 공간에서 가상 반려동물 콘텐츠를 제시하여 실 생활에서 동물을 키울 수 없는 사용자에게 정서적 안정과 심리적 효과를 제공하는 사례가 늘어나고 있다[2, 16]. 예를 들면, Nintendo의 "Nintendogs+Cats"와 같은 게임은 사용자가 가상의 반려동물을 돌보는 경험을 제공하여 정서적 유대감을 형성하도록 돕고, 스트레스 감소 등에 긍정적인 효과가 있다는 결과가 발표되었다[16, 17]. 그리고, 가상 반려동물과의 상호작용은 자아개방성(self-disclosure)을 촉진하여 심리 치료와 같은 분야에서 활용될 수 있다는 연구 사례도 있었다[17]. 최근의 증강현실 기술의 발전은 가상 반려동물의 상호작용을 더욱 실제 공간에 있는 듯한 느낌을 제공할 수 있다[18]. Liang et al. 연구에서는 HoloLens를 통해 증강 현실 환경에서 가상 고양이가 실제 환경을 인식하고 행동하도록 하는 방법을 제안하였다[18].

기존 연구사례를 분석한 결과 가상 반려동물 콘텐츠에서 구체적으로 어떤 요소가 가장 큰 영향을 미치는지에 대한 연구는 아직 부족한 상황이다. 따라서, 본 논문에서는 가상 반려동물에 관한 사용자와의 상호작용 요소들을 가지고 사용자 경험에 어떠한 영향이 있는지를 실험을 통해 알아보고자 하였다.

그림2는 본 연구에서 구성된 하드웨어 장치 구성을 보여주고 있다. 몰입형 가상 환경을 사용자에게 제공하기 위해 렌즈 1개당 1832 x 1920 픽셀, 90Hz 주사율, 120도 시야각을 제공하는 Meta Quest Pro HMD(Head-mounted Display)를 사용하였다[19]. 또한, 가상 반려동물과 상호작용을 하는 사용자 손의 위치를 찾고, 패시브 햅틱을 제공하는 실제 물체의 Position을 결정하기 위해 HMD에서 제공하는 컨트롤러를 이용하였다.

Figure 2: Overall System configuration for participant’s interaction with a virtual pet.

Download Original Figure

본 논문에서 사용자에게 제공하는 몰입형 가상 현실 환경은 Unity 3D(Ver. 2022.3.15f1) 게임 엔진과 Meta Interaction SDK를 사용하여 제작하였다[20]. Meta Interaction SDK는 메타 퀘스트 프로와 통합되어 사용되는 소프트웨어 개발 도구로, VR 환경 내에서 가상 반려동물 간의 상호작용을 위한 가상 핸드를 표현하고, 구현하는 데 사용되었다.

그림 3은 사용자와 가상 강아지와 상호작용을 수행하기 위해 본 논문에서 구현한 시나리오 예제이고, 가상 강아지와 공 놀이, 먹이주기, 제스처 및 음성 기반 상호작용을 수행할 수 있다. 구체적인 예를 들면, 공 놀이의 경우 사용자가 가상 환경 속 가구 위에 위치한 공을 밀어내면(그림 3.(a)), 가상의 강아지가 떨어진 공을 쫓아가서 가져오는 행동을 하도록 하였다(그림 3.(e)). 그리고, 먹이주기의 경우에는 원거리에 위치한 가상 객체를 손 쪽으로 끌어당겨 잡을 수 있는 Distance Grab을 이용하여 사용자는 사료가 담긴 사료 그릇을 잡고(그림 3.(b)), 해당 그릇을 가상 반려동물 근처에 위치시키면 가상 반려동물은 해당 위치로 가서 먹이를 먹는다(그림 3.(f)). 제스처(Gesture)를 이용한 상호작용은 사용자가 가상 강아지를 향하여 정해진 명령 제스처를 취하면 가상 강아지가 훈련된 개인기 애니메이션을 보여주도록 하였다(그림 3.(g)). 사용자의 제스쳐 입력에 따라 즉각적인 가상 강아지의 애니메이션 동작을 표현하기 위해 본 논문에서는 제스처 인식 방식이 아닌 Wizard-of-Oz 방법을 통해 구현되었다[21]. 마지막으로 음성 기반 상호작용은 사용자가 가상 강아지를 향해 “앉아” 라고 명령하면 가상 강아지가 제자리에 10초 정도 앉은 뒤 다시 일어나도록 하였다(그림 3.(h)). 음성 기반 상호작용 또한 Wizard-of-Oz 방법을 통해 구현되었다.

Figure 3: Examples of interaction with the virtual pet: (a)user’s interaction input for the virtual dog picking up a ball, (b)input eating food, (c)input gestures, (d)participant’s voice input, (e)the virtual dog picking up the ball by user’s input, (f)eating behavior, (g)respond to the given gesture, (h)result by the voice input.

Download Original Figure

실험 단계에서는 사용자가 가상 강아지와 상호작용을 순차적으로 수행한 뒤 패시브 햅틱의 영향을 분석하기 위해 가상 반려동물을 격려하는 쓰다듬는 상호작용을 수행하도록 하였다. 이 때, 사용자에게 패시브 햅틱을 통한 촉감 피드백이 전달되도록 구현하였다.

본 연구의 목적은 가상 현실(VR) 환경에서 패시브 햅틱 요소가 사용자 경험에 어떠한 영향을 제공하는 것인지 분석하기 위한 것이다. 따라서, 본 논문에서는 패시브 햅틱의 요소를 모양과 재질로 분류하였고[11], 2개의 측정하고자 하는 독립변수를 각 3단계로 구분하여 제시하였다. 모양의 경우 그림 4의 세로 축과 같이 Flat/Ball/Curve 3단계로 구분하였고, Curve는 몰입형 VR환경에서 가상 반려동물 쓰다듬기 동작을 수행할 경우 패시브 햅틱을 위한 실제 물체를 실제 강아지와 만지는 느낌으로 굴곡이 있게 제시하였다. 반대로 Flat 구성은 패시브 햅틱을 제공하였지만 평평한 평면으로 구성된 물체를 이용하였다. 재질의 경우도 역시 3단계로 그림 4의 가로 축과 같이 Hard/Skin/Fur 설정하였다. 여기에서 Fur texture는 실제 강아지의 재질 느낌을 그대로 제공하였고, 반대로, Hard 재질은 딱딱한 피드백만 제공하는 것으로 하였다.

Figure 4: Three levels of shape and texture: the horizontal axis shows three levels of texture types in experimental conditions, and the vertical axis shows the level of shape. In the experiment, 9 experimental environments were configured.

Download Original Figure

실험에서 모양과 재질을 각각 3단계 총 9가지 조건으로 구성하여 가상 반려동물 콘텐츠에서 패시브 햅틱이 사용자의 몰입감, 공존감, 사실감, 친근함에 어떤 영향을 미치는지를 분석하였다. 본 논문의 정성적 평가 요소는 D.Kim et al. 의 연구를 참조하여 설정하였다[22]. 그리고, 가설을 아래와 같이 설정하였다.

H1. 패시브 햅틱 피드백이 제공되는 가상 환경에서 사용자는 더 높은 몰입감, 공존감, 사실감, 친근함을 느낄 것이다.

H2. 사용자 상호작용 경험에 대한 모양과 재질의 각 단계에는 통계적으로 차이가 있을 것이다.

H3. 모양과 재질이 동시에 제공하였을 경우 정성적인 효과에 대한 영향이 상호 보완적으로 있을 것이다.

그림 5는 실험에 참여하는 피실험자들이 수행하는 프로세스를 보여주고 있다. 이미 언급한 바와 같이 실험에 참여한 사용자는 가상의 강아지와 충분히 상호작용을 수행하고, 쓰다듬기 동작을 동작 패시브 햅틱을 경험한 뒤 설문지를 통한 응답을 하도록 하였다. 그림 6은 실험에서 피실험자가 가상 반려동물 강아지와 쓰다듬기 상호작용한 예제 이미지를 보여주고 있다. 실험에는 컴퓨터공학을 전공하고 있는 대학(원)생 7명이 참석하였고, 실험 운영자(Administrator)의 가이드에 따라 몰입형 HMD 장비를 착용하고, 그림 3에서 제시한 상호작용과 표 1의 실험 순서 단계를 랜덤하게 한 번씩 수행하도록 하였다.

Figure 5: Participant’s experimental process

Download Original Figure

Figure 6: Interaction examples using the user’s hands

Download Original Figure

표1은 본 논문에서 실험을 위해 구성한 패시브 햅틱의 촉각 요소의 모양과 재질로 구성된 3x3 요인 설계(factorial design)의 결과이다. 또한, 패시브 햅틱이 없는 조건을 Ground Truth 로 설정하기 위해 추가하였다(Index 1). 실험은 within-subjects design을 통해 random 순서로 수행하도록 하였다. 모든 상호작용이 종료될 때 마다 피실험자는 정성적 평가에 관한 설문 응답을 요청하였고, 설문 문항은 기존 가상 환경에서의 실재감(Presence) 및 Virtual Human과의 공존감에 대한 연구 사례 분석을 통해 가상 반려동물에 적합하도록 재정의한 설문 문항을 사용하였다[22]. 또한, 설문 문항에서 유사한 의미의 문항들의 반복적인 요청으로 인해 피실험자에게 부담을 더해 결과 분석에 영향을 줄 수 있는 점을 고려해 기존의 연구사례를 바탕으로 각 항목 당 직접적이고, 핵심적인 질문을 가진 문항으로 설정하였다[23]. 설문 문항은 표2와 같이 몰입감, 공존감, 사실감, 친근함을 7-point Likert scale(1: 전혀 그렇지 않다, 7: 매우 그렇다)로 측정하였다[22].

본 연구에서는 가상 현실(VR) 환경에서 패시브 햅틱(Passive Haptic) 피드백이 사용자 몰입감, 공존감, 사실감, 친근함에 미치는 영향을 분석하기 위해 Shapiro-Wilk 정규성 검정과 Levene's test와 Bartlett's test 등분산성 검정을 실시하였다. 정규성 검정 결과, 사실감을 제외하곤 대부분의 그룹에서 데이터가 정규 분포를 따른다는 것을 확인할 수 있었다. 등분산성 검정 결과로는, 몰입감, 공존감, 사실감, 친근함 모두 그룹 간의 분산이 유사하다는 것을 통계적으로 확인할 수 있었다. 결과 데이터가 등분산성을 만족하여 ANOVA 분석을 통해 패시브 햅틱 피드백이 사용자 경험에 미치는 영향을 분석하였고, 정규성 검증 결과에 따라 추가적으로 비모수 검정(non-parametric test) 또한 진행하였다.

그림 7은 실험 데이터를 기반으로 통계적으로 분석한 결과이다. 본 연구에서는 Ground Truth를 제외한 3x3 요인에 대해 비모수 검정으로 Kruskal-Wallis H 검정 및 Dunn's 사후 검정을 진행하였고, 모수적 통계 기법으로 Two-Way ANOVA 및 Tukey HSD 검정을 실시하였다. 각 분석의 결과 재질은 몰입감(Immersion)에 유의미한 영향을 미치는 것으로 나타났다(p-value<0.05). 이를 통해 재질이 사용자 몰입감을 결정하기 위한 요소임을 알 수 있었다. 반면, 모양은 몰입감에 유의미한 영향을 미치지 않는 것으로 나타났고(p-value>0.05), 모양과 재질 간의 통계적인 상호작용 효과도 유의미하지 않았다. 재질 간 비교에서 'Fur'와 'Hard' (p = 0.0141), 'Fur'와 'Skin' (p = 0.0093) 조합에서 유의미한 차이가 나타났다. 이는 'Fur' 텍스처가 패시브 햅틱 상황에서 다른 텍스처에 비해 사용자 몰입감을 더 높일 수 있음을 의미한다.

Figure 7: Evaluation results according to three levels in texture (*=p<0.05): immersion(top left), co-presence(top right), realism(bottom left), and friendliness(bottom right).

Download Original Figure

몰입감과 동일하게 재질은 공존감(Co-presence)에 유의미한 영향을 미치는 것으로 나타났다(p-value<0.05). 반면, 모양은 역시 공존감에 유의미한 영향을 미치지 않는 것으로 나타났다(p-value>0.05). 또한, 모양과 재질 간의 통계적 상호작용 효과도 유의미하지 않았다. 'Fur'와 'Hard' (p = 0.0099) 비교에서는 유의미한 차이가 나타났고, 이는 'Fur' 텍스처가 'Hard' 텍스처에 비해 사용자 공존감을 더 높일 수 있음을 의미한다.

재질은 역시 사실감(Realism) 결과에서도 동일하게 유의미한 영향을 미치는 것으로 나타났고(p-value<0.05), 모양은 차이가 없는 것으로 보였다.

친근함에 대해서는 모양과 재질 측면에서 동일하게 재질의 중요성에 대한 결과가 나왔고, 2개의 변수 간 상호작용 효과 또한, 비모수적 통계 결과는 유의미한 것으로 나타났다(p-value<0.05). 하지만, 모수적 통계 결과로는 유의미하지 않은 것으로 나타났다(p-value>0.05). 이러한 통계 결과의 차이를 보이는 이유는 데이터의 분포 가정과 표본 크기에 기인하였고, 비모수적 통계 방법은 이러한 가정에 얽매이지 않고 데이터를 분석할 수 있어 모수적 통계 방법에서 발견되지 않은 유의미한 결과를 나타낼 수 있다. 그림 8은 친근함에서 모양과 재질의 비모수 통계적 상호작용 결과를 나타내고 있다.

Figure 8: Interaction graph of texture and shape in terms of friendliness.

Download Original Figure

Fur 텍스처와 Ball 모양의 조합이 가장 높은 친근감 점수를 보이는 반면, Hard 텍스처와 Flat 모양의 조합은 가장 낮은 친근감 점수를 보인다. 즉, Fur 텍스처와 Ball 모양의 조합은 사용자에게 더 높은 친근감을 제공할 수 있을 것이다. 반면, Skin 텍스처일 때는 평평한 모양(Flat)이 가장 높은 친근감 점수를 보였으며, 반려동물과 가장 유사한 형태인 Curve는 오히려 가장 낮은 점수를 받았다. 이를 통해 가상 반려동물과 상호작용을 수행할 때 친근함을 표현에서는 '불편한 골짜기(Uncanny Valley)' 현상이 나타남을 확인할 수 있었다. 따라서, 패시브 햅틱과 연동되는 친근함이 강조되는 콘텐츠를 제작할 때는 재질을 우선하여 제공하여야 하고, 그렇지 않을 경우는 다른 요소(예. 모양이 동일)의 완성도가 높다고 하더라도 오히려 낮은 친근함 결과가 나온다고 판단하였다.

최초 설정한 H1 가설에서 재질을 실제 환경환경과 동일하게 패시브 햅틱 피드백이 제공하는 경우 가상 환경에서 사용자는 더 높은 몰입감, 공존감, 사실감, 친근함을 느낄 것을 알 수 있었다. H2 가설에서는 재질의 경우는 4가지의 사용자 경험 측정에서는 모두 유의한 결과가 나타난 반면 모양에서는 모두 유의하지 않는 결과가 나타났다. 그리고, H3 가설에서는 친근함의 경우에만 유의한 결과가 나타났다. 우리의 실험 결과는 가상 반려동물 콘텐츠 제작을 할 경우 패시브 햅틱 요소에서 모양과 재질 중에서 무엇에 더 집중을 해야하는 것인지를 보여주었다. 예를 들면, Fur 텍스처와 Ball 모양의 조합은 사용자에게 더 높은 친근감을 제공하여 가상 반려동물과의 상호작용을 더욱 만족스럽게 만들 수 있고, 반면 Skin 텍스처와 Flat 모양의 조합은 오히려 친근감을 저하시킬 수 있을 것이다. 본 연구의 실험 상황에서 피실험자들은 가상 반려동물과의 상호작용에 대해 다양한 의견을 제공하였다. 한 실험자는 "털의 느낌이 들었을 때 실제 강아지를 쓰다듬는 느낌이 들었다"고 언급하였다. 이는 패시브 햅틱 피드백을 통해 구현된 털 텍스처가 실제 강아지와의 신체 접촉감을 효과적으로 재현하였음을 시사한다. 그러나 몰입도를 저해하는 요인도 지적되었다. 한 실험자는 "촉각 위치와 시각적 위치가 다를 때 몰입이 깨지기도 했다"고 피드백 하였다. 이는 시각적 요소와 촉각적 요소 간의 일치성이 사용자 몰입도에 중요한 영향을 미친다는 것을 보여준다. 따라서, 추후 연구에 모션 캡쳐 장치를 통해서 정확한 정합을 반영할 계획이다. 또한, 실험자들은 가상 반려동물과의 상호작용이 실제 경험과 유사하다는 점을 언급하였다. 한 실험자는 "강아지와의 공놀이가 실제와 비슷해서 놀랐다"고 하였다. 이는 가상 현실 환경에서의 상호작용이 실제 경험과 유사하게 구현되었음을 나타내며, 특히 공놀이와 같은 활동이 사용자에게 높은 현실감을 제공하였음을 의미한다.

이와 같은 실험자들의 피드백은 본 연구의 결과를 뒷받침하며, 가상 반려동물 콘텐츠 개발에 중요한 참고자료로 활용될 수 있을 것이다. 특히, Fur 텍스처의 효과적인 구현, 시각적-촉각적 일치성의 중요성, 그리고 실제와 유사한 상호작용 경험의 제공이 사용자 몰입감과 만족도를 향상시키는 데 중요한 요소이므로 사용자 경험을 최적화하기 위한 접근에 적용할 필요가 있을 것이다.