1. 서론
가상의 환경에서 현실 세계와 유사한 경험을 제공하는 가상현실 기술은 HMD (Head Mounted Display)와 같은 장비를 토대로 입체적인 시각정보를 제공함과 더불어 청각, 촉각 등 여러 감각을 기반으로 가상과 현실의 경계를 허물어 보다 몰입감 높은 경험을 제공하는 기술로 발전하고 있다[1]. 최근에는 초월의 ‘meta’와 세계, 우주를 의미하는 ‘universe’를 조합하여 물리적 세계와 연결된 확장된 가상세계를 의미하는 메타버스에 대한 관심이 높아지는 상황에서 경제, 사회, 문화 전반으로 폭넓게 활용 및 발전되고 있다[2]. 이와 관련하여, 몰입형 콘텐츠 또는 메타버스 콘텐츠를 제작하고 응용하는 연구들이 게임, 엔터테인먼트와 같은 분야는 물론 사회 기반시설, 생태계를 포함하는 거시적 관점에서 메타버스 구조를 제안하고 대학 캠퍼스 프로토타입을 고찰하는 연구[3]나 건축 전공 학생과 강의자 사이의 상호작용 관계를 제안하기도 하였다[4]. 또한, 메타버스 환경에서 쇼핑과 같은 일상적인 작업 수행에 있어 가상현실과 증강현실 등의 실감형 기술이 업무 수행에 미치는 영향을 분석하였다[5].
가상환경에서 사용자는 키보드, 마우스와 같은 전통적 인력 방법에서 ‘Window, Icon, Menu, Pointer’ (WIMP)으로 대표되는 인터페이스에서 음성이나 제스처 인식을 기반으로 하는 post-WIMP 인터페이스까지 발전되고 있다[6]. 가상현실, 증강현실 등 실감형 기술을 활용한 몰입형 가상환경에서 사용자의 몰입을 높이고 다양한 행동을 직관적이고 사실적으로 표현할 수 있는 연구들로, 시선, 손, 다리 등 신체를 직접 활용하거나 햅틱 시스템 등을 응용하는 연구들이 진행되고 있다[7-9]. 몰입형 가상환경에서 사용자의 사회적 현존감을 높이는 요소로 인간을 모방하거나 인간의 행동, 표정 등을 유사하게 표현하는 가상 에이전트를 응용하기도 한다[10]. 인간과 유사한 에이전트는 사용자와 자연스럽고 직관적인 상호작용을 제공함으로써 시스템 인터페이스의 역할을 담당하기도 한다.
본 연구는 몰입형 가상환경에서 사용자의 사회적 현존감을 높이는 요소로서 가상 아바타를 응용하는 방법을 제안한다. 이는 사전에 정의된 객체에 마커를 부착하고 모션 캡처 장비를 활용하여 강체 추적을 기반으로 객체의 움직임을 계산한다. 그리고 현실 세계 객체의 형상, 움직임과 대응되는 가상 객체를 설정하고 이를 기반으로 가상 아바타의 동작을 추정하는 과정을 정의한다. 궁극적으로, 전신 슈트를 착복한 액터 없이도 현실 세계에서와 유사한 가상 아바타를 표현하기 위하여 강체 추적을 기반으로 아바타의 동작을 추정하는 방법을 제안한다. 그리고 이를 기반으로 현실 세계에서 전달하기 어려운, 또는 위험할 수 있는 상황을 현실에 기반을 두어 모사할 수 있는 몰입형 가상환경에서의 체험환경으로 응용하는 것이 본 연구의 핵심 목표이다. 이를 위해, 강체 추적 기반의 가상 아바타 추정에 관한 방법을 설계하고, 현실 세계에서 저연령의 학생들이 직접 실험을 진행하여 수업하는 데에 위험성이 있는 과학실험 교육을 주제로 하는 몰입형 가상환경에서의 콘텐츠를 제작하고, 사용자를 대상으로 하는 설문 실험을 진행한다.
2. 관련연구
모션 캡처는 몸이나 객체에 센서를 부착시키거나 적외선을 이용하는 등의 방법으로 인체나 객체의 움직임을 디지털 형태로 기록하는 작업으로 최근에는 가상현실, 증강현실과 같은 실감형 기술과 더불어 다양한 응용 콘텐츠를 제작하는 데에 다양하게 사용되고 있다. 모션 캡처는 광학식과 관성식으로 구분되는데, 광학식은 두 대 이상의 카메라를 통해 센서(마커)를 촬영하여 3차원 정보를 계산하는 방식으로 실시간에 가까운 결과물을 사실적으로 표현하는 이점을 가진다. 관성식의 경우 가속도, 자이로, 지자기 센서 등이 조합된 관성 센서가 인체 관절 및 주요 부위에 부착된 전용 슈트를 착복하여 움직임을 계산하는 방식이다. 이는 광학식과 비교하여 상대적으로 저렴한 비용으로 움직임을 계산할 수 있다[11]. 이외에도 센서를 사용하지 않고 컴퓨터 비전이나 초음파 등을 통해 계산하는 방법 등도 있다. 사용하려는 환경, 요구사항, 예산 등을 고려하여 각 방식이 가지는 장단점을 토대로 구축하려는 시스템, 콘텐츠에 맞게 사용할 수 있다. 다만, 모션 캡처를 활용하기 위해서는 높은 비용의 장비가 필요할 수 있고, 장비의 특성에 따라 충분한 공간이 요구되기도 한다. 이러한 기술적, 환경적 문제점을 해결하기 위한 연구들로 RGB 카메라를 이용하여 실시간 모션 캡처를 수행하거나[12], 저비용 소비자 등급의 센서 세트로 구성된 모션 캡처 시스템을 활용하여 관절 위치 추정의 정확성을 높이기 위한 연구[13] 등이 진행되었다. 그리고 이러한 모션 캡처를 활용하여 무형 문화유산인 춤을 디지털화하여 보존하고자 하는 등[14]의 응용으로도 많은 연구가 이루어지고 있다. 최근에는, 저가형 모션 캡처 장비인 키넥트를 활용한 실시간 상호작용 애니메이션 시스템에 관한 연구로 사용자 캐릭터의 자세를 제어하고, 상대 캐릭터와의 상호작용을 자연스럽게 처리하는 방법을 제안하였다[15]. 또한, 사전에 제작된 소수의 애니메이션 데이터로부터 사용자의 자세와 유사한 캐릭터 자세를 검색하여 사용하는 기술을 제안하기도 하였다[16]. 본 연구 역시, 효율적으로 가상 아바타의 동작을 추정하여 몰입형 가상환경에 응용할 수 있는 방법으로 강체 추적을 기반으로 하는 방법을 연구하고자 한다.
가상현실, 증강현실을 포함한 몰입형 가상환경에서 사용자의 몰입을 높이기 위한 연구들로 가상 아바타 또는 에이전트에 관한 연구들이 진행되고 있다. 가상현실에서 가상 인간 (Virtual Human, VH)에 관한 연구로 현실 세계 인간의 행동을 반영하는 가상 인간인 아바타나 컴퓨터 알고리즘에 의해 행동이 결정되는 에이전트를 분류하기도 한다[17]. 이러한 가상 인간으로 표현되는 아바타나 에이전트는 현실과 가상의 경계를 허무는 하나의 요소로서 사용자와 직접적으로 상호작용함으로 인하여 사용자의 몰입을 높이거나 가상환경에서 제공하고자 하는 내용을 보다 정확하게 전달하고 이해시키는 데 도움을 줄 수 있다. 본 연구에서는 몰입형 가상환경에서 가상현실 사용자의 몰입을 높이는 하나의 요소로서 가상 아바타를 활용하는 방법을 제안하면서 동시에 인체 정보를 추적, 기록하는 방식이 아닌 강체 추적을 기반으로 객체의 움직임에 대응되는 가상 아바타의 동작을 추정하는 방법을 제안하고자 한다.
3. 강체 추적 기반의 가상 아바타 구현
제안하는 가상 아바타의 몰입형 가상환경 응용 방법을 위해 사용된 모션 캡처 장비는 OptiTrack Prime 17W 모델의 카메라 16대를 활용한다. 추적하고자 하는 객체에 마커를 부착하고 추적된 움직임 정보는 Motive 소프트웨어[18]를 통해 확인한다. Motive에서 제공하는 강체 추적은 단단하고, 외부의 힘으로 외형이 변하지 않는 성질을 지닌 객체를 추적하는데 사용되는 기능이다[19].
추적하고자 하는 객체에 마커를 부착하고 소프트웨어로 추적을 진행하면 배치 정보에 따라 다수의 객체가 존재할 경우 각각을 식별하고, 6DoF(Degree of Freedom) 데이터로 움직임을 인지할 수 있다. Figure 1은 본 연구의 실험환경에서 강체 추적을 통해 현실 세계 객체에 대응되는 가상 객체를 나타낸 것이다. 객체 부착되는 마커의 수는 정해지지 않았지만, 사용자가 실제 객체를 잡고 행동하는 데 방해가 되지 않으며 정확한 움직임 정보를 인지할 수 있는 범위 내에서 적절히 조절하였다.
모션 캡처를 통해 추적된 강제 움직임과 연결되는 가상 아바타의 자연스러운 동작 추정 과정을 설계한다. 본 연구는 가상현실 사용자의 참여를 고려한 몰입형 가상환경에서 모션 캡처를 통해 계산된 강체 움직임을 반영하고, 이를 토대로 가상 아바타의 동작 추정까지 연결되는 개발환경을 구축한다. 따라서, 실감형 콘텐츠 제작에 많이 사용되면서 가상현실 체험환경을 구축하기 위한 템플릿, 패키지 활용이 유연하면서 Motive 소프트웨어와의 연동이 효과적인 유니티 엔진[20]을 활용한다. 우선, 추적된 강체 움직임으로부터 가상 아바타의 동작을 추정하기 위해 강체를 목표 대상으로 아바타 관절의 움직임을 역으로 계산하는 역운동학(Inverse Kinematics, IK)을 적용한다. 이를 위해 유니티 엔진을 기반으로 절차적 애니메이션 생성을 위한 패키지로 애니메이션 리깅을 활용한다. 애니메이션 리깅 패키지에서 제공하는 다양한 컴포넌트를 활용하면 다양한 제약 설정과 함께 목표 대상에 대한 동작을 역운동학으로 자연스럽게 표현하거나 목표 대상을 조준하여 바라보는 등의 기능을 쉽게 구현할 수 있다. 이외에도 대상 아바타를 설정하고 현재 아바타를 대상 아바타의 회전과 일치하도록 제어하거나 서로 다른 두 객체의 애니메이션을 블렌딩하는 등의 응용도 가능하다. 본 연구 역시 가상 아바타 동작 추정을 위하여 이를 활용한다.
제안하는 가상 아바타 동작 추정에는 두 뼈대 역운동학 제약(Two Bone IK Constraint)과 다중 조준 제약(Multi-Aim Constraint)을 활용한다. 우선, 두 뼈대 역운동학 제약의 경우 제어하고자 하는 아바타의 관절에 루트(root), 중간(mid), 팁(tip) 부위를 지정하고, 목표 대상(target)을 지정하는 것으로 목표 대상 즉, 추적된 강체 객체를 향한 루트 부위의 자연스러운 관절 제어가 가능하다. 다음으로, 다중 조준 제약은 가상 아바타의 자연스러운 시선 처리를 위한 것으로, 행동을 수행하는 과정에서 객체 또는 가상환경에 참여하는 가상현실 사용자를 바라보는 자연스러운 시선 처리이다. 이는 조준 대상(source object)과 적용될 관절(constrained object)을 지정하는 방식으로 구현한다. Figure 2는 유니티 엔진으로 기반으로 애니메이션 리깅 패키지를 설치하기 위한 대화창과 함께 본 연구에 사용된 두 뼈대 역운동학 제약과 다중 조준 제약에 대한 설정을 나타낸 것이다.
Figure 3은 Figure 1에서 보여주고 있는 현실 세계의 객체와 강체 추적을 통해 표현된 가상환경에서의 객체를 사용자가 직접 손으로 제어하였을 때, 가상 아바타 동작 추정을 통해 표현된 결과를 보여주고 있다. 단, 본 연구에서는 전신을 추정하여 동작을 표현하지는 않고 객체의 움직임에 따라 팔의 동작을 계산하며 동시에 머리를 움직여 시선 처리를 하는 표현을 반영하게 된다.
본 연구에서 구현한 두 뼈대 역운동학 제약과 다중 조준 제약에 대한 가상 아바타 동작 추정과정은 다음과 같다(Figure 4). 우선, 마커를 부착한 객체가 지정된 바닥과 일정 거리 이상 떨어지는 등의 강체 변환 이벤트가 발생하면, 가상 아바타의 팁(손목)이 해당 객체(목표 대상)를 추적한다. 그리고 팁의 변화에 따라 중간(팔꿈치) 관절의 동작을 역운동학을 통해 계산하는 과정을 거치게 된다. 그리고 이러한 동작 추정과정은 객체가 바닥과 일정 거리 이하로 떨어지거나 제어할 수 없는 상황으로 판단되기까지 수행되게 된다. 다음으로, 가상 아바타가 동작을 수행하는 과정에서 관절(머리)의 조준 대상을 정면 또는 해당 객체로 적절히 변화시킴으로써 자연스러운 시선 처리를 구현한다. 그리고, 가상현실 사용자가 함께 참여하게 될 경우, 조준 대상에 가상현실 사용자의 위치를 추가시킴으로써 더욱 폭넓은 시선 범위를 설정할 수 있다.
Algorithm 1은 앞서 정의한 강체 추적으로부터 현실 세계 객체에서 가상 객체까지 위치와 방향 정보를 계산하고 이를 기반으로 가상 아바타의 동작(팔, 시선)을 추정하는 과정을 정리한 것이다.
The process of virtual avatar motion estimation based on rigid-body tracking
1. procedure Virtual Avatar Motion implementation
2. n ← number of markers in the real object.
3. pr,θr ← Calculate position and direction from markers.
4. obj ← Virtual object corresponding to real object.
5. pv,θv ← Set the position and direction of obj to pr,θr.
6. eobj ← Check whether an event occurs in obj.
7. ifeobj == true then
8. Designate obj as the target of virtual avatar.
9. evr ← Whether a VR user event occurs.
10. ifevr == true then
11. ← Location of the i-th VR user where the event occurred.
12. Set as the virtual avatar's aiming.
13. else
14. Aiming front, left and right, and obj at random time intervals.
15. end if
16. else
17. The virtual avatar is the default motion.
18. end if
19. end procedure
4. 몰입형 가상환경 구성 및 응용
제안하는 몰입형 가상환경으로의 응용은 다중 가상현실 사용자가 참여하는 체험환경에 가상 아바타를 교육자, 안내자 등의 역할로 참여시켜 콘텐츠에서 다루는 정보, 내용을 효율적이면서 몰입감 높게 전달하는 것이 중요한 목적이다. 본 연구에서 참여하는 가상현실 사용자는 오큘러스 퀘스트 2 (Oculus Quest 2) HMD와 터치 컨트롤러를 사용하였다. 따라서, 가상현실 사용자의 체험환경 구축을 위하여 유니티 엔진에 오큘러스 패키지(Oculus Integration SDK)를 설치하고, 제공되는 프리팹과 스크립트 등을 활용하여 기본적인 가상현실 사용자의 기능을 구현하였다. 본 연구는 가상 아바타 동작 추정과 응용에 초점을 맞추고 있어 가상현실 사용자의 행동, 상호작용에 추가적인 기능을 담고 있지는 않다. 즉, 가상현실 사용자는 제작된 가상환경에서 가상 아바타를 통해 전달되는 내용을 체험하는 방식으로만 참여하게 된다.
추적된 강체 움직임으로부터 추정된 가상 아바타의 행동, 움직임을 몰입형 가상환경에 구체적으로 표현하기 위하여 본 연구에서는 과학실험 체험 활동을 주제로 콘텐츠를 제작하였다. 제안하는 방법을 통해 생성된 가상 아바타 동작을 초등학생 이하 저연령의 학생들이 현실 세계에서 직접 실험 및 체험하기에는 위험 하거나 어려움이 있는 주제를 선정하고자 하였고, 이러한 이유로 본 연구는 과학실험 환경을 구성하였다. 실제로 과학실험을 진행하던 과정에서 학생들이 화상을 입거나 다치는 등의 사고가 잦았기 때문에 이를 배경으로 시청각 교육보다는 몰입감 높은 직접적인 체험이 가능할 수 있도록 콘텐츠를 구성하고자 한다[21, 22].
첫 번째 과학실험은 중크롬산나트륨에 대한 불꽃 반응으로 화산실험을 나타내고자 하였다. 모션 캡처 스튜디오에 있는 액터는 아무것도 담겨있지 않은 비커 객체를 조작하여 실험하듯 행동을 취하게 되고, 비커 객체를 강체 추적을 통해 위치와 방향을 계산하여 가상환경의 비커 객체에 반영함과 동시에 가상 아바타는 가상 비커 객체의 움직임에 따라 행동을 추정하게 된다. 실제 중크롬산나트륨에 불을 붙여 반응을 관찰하는 실험은 가상환경에서 시연하게 되고, 피교육자는 가상현실 HMD를 통해 교육환경에 참여하게 되는 것이다 (Figure 5(a)). 두 번째 과학실험은 중화반응 실험이다. 이는 염산에 BTB(bromothymol blue) 용액을 첨가하고 수산화나트륨 용액을 조금씩 떨어뜨려서 중화반응이 일어나 노랑, 초록, 파랑 순으로 색의 변화가 나타나는 것을 관찰하는 실험이다. 염산이나 수산화나트륨 용액은 인체에 닿으면 상당한 피해를 주는 물질이기 때문에 학교 현장에서 실험을 진행하는 데에 어려움이 있을 것으로 판단하여 콘텐츠로 제작하였다 (Figure 5(b)). 이때, 실험을 수행하는 교육자의 역할을 하는 가상 아바타의 행동이 중요하고, 가상 아바타 행동이 추정되기까지 실제 객체의 움직임을 정확히 설계해야 하는 사전 작업이 요구된다.
가상 아바타 응용을 통해 구축된 몰입형 가상환경에는 가상현실 사용자가 참여하여 함께 체험하게 된다. Figure 5에서 제작된 과학실험 콘텐츠에 다수의 가상현실 사용자가 함께 참여하고, 교육자로서 실험을 진행하는 내용을 보면서 교육을 수행하게 된다. Figure 6은 이를 나타낸 것으로, 오큘러스 퀘스트 2 HMD를 착용하여 가상환경에 참여하고, 가상 아바타를 실험을 진행하는 과정에서 가상현실 사용자의 질의 행동을 수행하면 자연스럽게 시선을 사용자 방향으로 전환하는 기능들을 구현한다.
5. 실험 및 분석
본 연구에서 제안하는 가상 아바타 동작 추정 및 몰입형 가상환경은 유니티 엔진(Unity 2021.3.7f1)을 기반으로 애니메이션 리깅(Animation Rigging 1.1.1), 오큘러스 통합 패키지(Oculus Integration SDK), 그리고 모션 캡처 스튜디오의 연동을 위한 플러그인(OptiTrack Unity Plugin 1.4.0)을 사용하여 구현하였다. 가상현실 사용자는 오큘러스 퀘스트 2 HMD를 착용하여 참가하고, 중요한 강체 추적은 OptiTrack Prime 17W 카메라 16대를 활용하고 추적된 움직임에 대한 처리 및 유니티 엔진과의 연동은 Motive 소프트웨어를 활용한다. 과학실험을 위해 제작한 교육 콘텐츠는 에셋 스토어의 그래픽 리소스[23, 24]를 활용하였다. 마지막으로 통합 개발 환경과 과학실험을 위한 PC는 Intel Core i7-11800H, 16GB RAM, Geforce RTX 3050 Ti Laptop GPU를 탑재하고 있다.
본 연구에서 제안하는 가상 아바타 응용을 통해 제공되는 몰입형 가상환경에서의 경험을 분석하기 위해 설문을 진행하였다. 설문 참가자는 24~27세 사이의 총 8명으로 구성하였다. 설문은 가장 기본적인 교육 방식으로 동영상을 활용한 시청각 교육과 비교하여 제안하는 몰입형 가상환경이 개선된 교육 효과와 함께 높은 몰입을 제공할 수 있다는 가설을 세웠다. 또한, 전신 슈트를 착복한 액터를 통해 가상 아바타를 구축하는 것과 비교해서는 강체 추적만으로도 의도한 동작한 자연스럽게 묘사할 수 있다면 두 방법에 차이가 크지 않을 것이라는 가설을 세웠다. 본 연구에서의 귀무가설은 시청각 교육과 비교하여 제안하는 방법이 몰입과 교육에 큰 영향을 미치지 못한다는 것이며, 전신 추적과 강체 추적의 차이가 유의미하다는 것이다. 참가자들은 각각 제안하는 두 가지의 과학실험을 화산실험, 중화반응 실험 순으로 동영상을 통한 시청각 교육[25, 26], 전신 추적, 강체 추적을 통한 가상 아바타를 활용한 실험을 순서대로 체험(Figure 7)하고, 모든 체험이 끝난 이후 제시하는 설문 문항에 답을 기록한다. 몰입에 관한 질문은 Witmer et al.[27]의 현존감(presence) 설문지에서 정리한 핵심 요소 중 하나인 현실감(realism)의 질문을 토대로 수정하였다. 그리고 교육에 관한 질문도 이를 기반으로 이해와 흥미의 관점으로 정리하였다. I1~2는 몰입에 관한 질문, E1~2는 교육에 관한 질문으로 참가자는 3가지 과학실험을 모두 체험한 후 7점 척도(전혀 아니다(1)~완벽하다(7))로 결과를 기록하였다.
I1. 가상환경에서 교육자의 행동이 당신을 얼마나 몰입하게 했습니까?
I2. 가상환경에서의 시각적 효과가 당신을 얼마나 몰입하게 했습니까?
E1. 제시된 콘텐츠가 실험 내용을 이해하는 데에 얼마나 도움이 되었습니까?
E2. 교육 콘텐츠에서 교육자의 행동이 교육의 흥미를 높이는 부분에서 얼마나 도움을 주었습니까?
Table 1은 설문 결과를 나타낸 것으로, 체험환경의 차이로 인하여 시청각과 비교하여 몰입형 가상환경이 사용자의 몰입을 높이는데 긍정적인 영향을 제공하는 것으로 확인되었다. 다만, 가상 아바타의 동작에서 부자연스러운 행동이 계산될 경우 사용자의 몰입에 방해가 될 것이라는 판단으로 전신 추적을 함께 비교하였다. 그 결과, 전신 추적으로 자연스러운 동작 추정과 함께 가상 아바타 행동의 폭이 넓어짐으로 인하여 몰입에 긍정적인 영향을 미치는 것으로 확인되었다. 교육에 관한 결과 역시, 몰입과 유사한 결과를 보였다. 참가자가 교육환경에 몰입할수록 교육에 대한 효과(이해, 흥미)도 함께 향상되는 만큼 피교육자의 참여를 높일 수 있는 다양한 교육환경이 제공될 수 있다면 교육에 대한 전반적인 만족도가 향상될 것으로 기대된다. 또한, 설문 결과를 토대로 통계적 유의성을 일원배치 분산분석(one-way ANOVA, Analysis of Variance)을 통해 확인하였다. 제안하는 강체 추적 방법과 시청각 교육에서의 몰입과 교육 모두 유의미한 차이가 없을 것이라는 귀무가설이 기각됨을 확인할 수 있었다. 즉, 제안하는 강체 추적기반의 가상 아바타를 교육 목적의 가상환경으로 응용함으로써 기존의 동영상을 활용한 시청각 교육과 비교하여 높은 몰입과 함께 향상된 교육 효과를 유도할 수 있음을 확인하였다. 흥미로운 점은 전신 추적과 강체 추적으로부터 표현되는 가상 아바타 동작 표현의 정도에 따라서 몰입에는 유의미한 차이가 발생하는 데 반하여 교육 효과에서는 유의미한 차이가 없었다는 것이다. 가상 아바타의 정확하고 자연스러운 동작 추정은 사용자의 몰입에 유의미한 차이를 발생시키지만, 더 높은 수준의 몰입이 아닌 제안하는 강체 추적기반의 가상 아바타 동작 추정으로 표현되는 가상환경의 몰입 정도만으로도 콘텐츠가 전달하고자 하는 교육 과정에서 유의미한 차이 없이 긍정적인 효과를 기대할 수 있다는 점을 도출할 수 있었다. 이는, 몰입에서의 유의미한 차이가 반드시 교육에서의 유의미한 차이를 유도하는 것은 아닐 수 있다. 따라서, 제안하는 가상 아바타의 동작 추정을 여러 신체 부위로 확장해 나간다면 몰입형 가상환경으로의 다양한 응용을 통해 콘텐츠의 목적과 목표를 효과적으로 전달할 수 있을 것이다.
6. 한계 및 토론
제안하는 가상 아바타의 동작 추정은 팔을 활용한 객체 조작과 목을 통한 시선 처리로만 제한되어 있다. 이로 인하여 전신 추적을 통한 가상 아바타와 비교해서 표현할 수 있는 행동에는 한계가 발생하였고, 이러한 차이가 몰입과 교육에도 영향을 미칠 수 있다는 점을 확인하였다. 향후, 가상 아바타의 행동을 강체 추적을 통해 계산된 정보를 토대로 걷기 등을 포함한 다양한 행동이 가능한 구조로 설계하고자 한다. 이를 통해 교육환경에서 수업이 진행되는 과정에서 교육자의 행동 패턴 등이 가상 아바타에 최대한 반영될 수 있도록 설계함으로써 다양한 체험환경으로 응용이 가능할 수 있도록 할 계획이다.
설문 실험을 위해 제작한 과학실험 콘텐츠는 초등학생과 같은 저연령 학생을 대상으로 하는 데 반하여 실험에 참여한 참가자들의 나이는 20대로 목표 대상과 실험 대상의 나이가 부합하지 않는 문제가 존재한다. 이 부분에 대한 문제들 또한, 과학실험에 관한 내용을 보다 구체적이고 체계적으로 설계하고 교육 현장에서 실질적으로 다루는 내용을 토대로 적정 연령대의 참가자를 대상으로 실험을 진행하고자 한다. 그리고 이 과정에서 설문 문항을 보다 세분화하여 구성함으로써 설문 결과에 대한 정확성을 높여나갈 수 있도록 진행할 계획이다. 또한, 본 연구에서는 참가자들의 설문 결과를 토대로 수행한 정성적 평가만을 평가 지표로 활용하였으나, 차후 연구에서는 강체 추적 이후 동작을 추정하기까지의 시간을 전신 추적과 비교하거나, 부정확한 동작 추정에 대한 객관적 평가를 위한 정량적 평가 분석 방법을 제시하고 비교 연구 등을 수행할 계획이다. 이외에도 비교 분석을 위해 선정한 시청각 영상과 전신 추적의 경우 각각의 체험환경이 대조군으로 정의하기에는 외적인 요소들이 경험에 영향을 미칠 수 있다. 따라서, 제안하는 가상 아바타를 응용한 몰입형 가상환경에 정확하게 초점을 맞추어 평가할 수 있는 방법을 모색할 계획이다.
마지막으로 현재의 체험환경은 16대의 카메라를 통해 강체를 추적하기 위한 공간(7.8m x 7.8m)이 필요하고, 이는 경제적으로나 물리적으로 응용하기에 부담이 될 수 있다. 이러한 부분들에 대해서도 저가의 모션 캡처 시스템 또는 키넥트(Kinect)와 같은 기기들을 응용하는 방법들에 대해서도 고려해 보고자 한다.
7. 결론
본 연구는 모션 캡처 기술을 활용하여 강체 추적을 기반으로 하는 가상 아바타 동작 추정에 관한 방법을 제안하고, 이를 통해 다양한 몰입형 가상환경으로의 응용을 위한 연구를 진행하였다. 우선, 대상으로 하는 현실 세계 객체에 마커를 부착하고 모션 캡처를 통해 움직임(위치, 방향)을 추적한다. 그리고 계산된 움직임 정보와 대응되는 가상 객체를 생성하고 이를 기반으로 객체 제어 행동을 수행하는 가상 아바타 동작 추정 과정을 설계하였다. 본 연구에서는 유니티 엔진을 기반으로 모션 캡처 스튜디오의 강체 추적 연동을 위한 플러그인, 가상 아바타 동작 추정을 위한 패키지 그리고 가상현실 사용자 참여를 위한 개발 도구를 통합한 개발환경을 구축하였다. 이러한 과정을 통해 가상 아바타를 응용한 몰입형 가상환경으로부터 사용자에게 유익하거나 흥미로운 경험을 제공할 수 있음을 확인하기 위하여 과학실험을 주제로 하는 가상현실 콘텐츠를 직접 제작하였다. 과학실험 교육환경에 참여하는 참가자를 대상으로 동영상을 활용한 시청각 교육과의 몰입, 교육 효과를 비교함과 동시에 강체 추적과 전신 추적에 대한 차이를 함께 분석하기 위한 설문 실험을 진행하였다. 결과적으로, 제안하는 방법을 통해 기존의 시청각 교육보다 높은 몰입과 함께 교육에서도 긍정적인 영향을 줄 수 있음을 확인할 수 있었고, 동시에 전신 추적에 비해 간단한 처리 과정으로도 유사한 경험을 제공할 수 있음을 기대할 수 있었다.
현재 연구에서는 효과적인 가상환경 구축을 위해 유니티 엔진을 기반으로 하고 있지만, 언리얼을 비롯한 다양한 상용 엔진 또는 폭넓은 개발 응용을 위하여 네이티브 언어를 통한 개발환경에서 직접 구현하는 것도 가능할 것이다. 그뿐만 아니라, 가상 아바타 동작 추정에서의 역운동학에 대한 처리도 기존의 패키지에 대한 의존도를 낮추고 정교한 동작 추정을 위한 방향으로 개선해 나갈 계획이다. 마지막으로, 본 연구에서 제시하는 과학실험 외에도 제안하는 방법을 응용할 수 있는 다양한 산업 분야의 사례를 분석하여 실험, 분석을 할 수 있는 콘텐츠를 제작해 나갈 계획이다.
