Article

메타 퀘스트 프로를 활용한 혼합현실 기반 가상 전기회로 실습교육 콘텐츠 제작

공수민1https://orcid.org/0009-0002-0021-9718, 김종선1https://orcid.org/0009-0006-2478-0314, 정구현1https://orcid.org/0009-0005-9246-739X, 노경빈1https://orcid.org/0009-0008-1137-5234, 박에스더1https://orcid.org/0009-0003-0688-3924, 조윤식2https://orcid.org/0000-0003-2118-0904, 김진모1,2,*https://orcid.org/0000-0002-1663-9306
Sumin Kong1https://orcid.org/0009-0002-0021-9718, Jongseon Kim1https://orcid.org/0009-0006-2478-0314, Goohyun Jeong1https://orcid.org/0009-0005-9246-739X, Gyeongbin Roh1https://orcid.org/0009-0008-1137-5234, Esther Park1https://orcid.org/0009-0003-0688-3924, Yunsik Cho2https://orcid.org/0000-0003-2118-0904, Jinmo Kim1,2,*https://orcid.org/0000-0002-1663-9306
Author Information & Copyright
1한성대학교 컴퓨터공학부
2한성대학교 일반대학원 정보컴퓨터공학과
1Division of Computer Engineering, Hansung University
2Department of Information and Computer Engineering, Graduate School, Hansung University
*corresponding author: Jinmo Kim/Hansung University (jinmo.kim@hansung.ac.kr)

© Copyright 2024 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 15, 2024; Revised: Jul 02, 2024; Accepted: Jul 05, 2024

Published Online: Jul 25, 2024

요약

혼합현실 기술은 가상현실과 증강현실 기술의 장점을 결합한 기술로 혼합현실 사용자는 현실 세계를 배경으로 가상의 객체와 상호작용할 수 있다. 또한, 가상의 객체는 현실 세계와 상호작용이 가능하여 사용자는 더욱 높은 몰입감을 경험할 수 있다. 본 연구는 현실을 기반으로 하는 혼합현실 기반의 몰입형 콘텐츠를 제작하기 위하여 메타 퀘스트 프로를 활용한 전기회로 실습교육 콘텐츠를 제안한다. 이를 위해, 우선, 유니티 3D 엔진에서 메타 퀘스트 프로 장비를 연동하여 혼합현실 콘텐츠를 제작하기 위한 개발 과정을 정리한다. 그리고 초등학교 과학 수업 등에서 활용되는 전통적인 전기회로 실습교육 방식에서 착안하여 혼합현실을 기반으로 같은 교육 방식과 조작 과정을 가지는 가상 전기회로 실습교육 콘텐츠를 제작한다. 마지막으로, 제작된 콘텐츠를 활용하여 제공하는 혼합현실 기반의 교육환경이 사용자에게 미치는 영향으로 현존감과 경험을 분석하기 위한 설문 실험을 진행한다. 이를 통해, 제안하는 실습교육 콘텐츠의 활용성을 평가하고 향후 연구 방향을 제시한다.

Abstract

Mixed reality(MR) technology combines the advantages of virtual reality(VR) and augmented reality(AR) technology, allowing MR users to interact with virtual objects against the background of the real world. In addition, since virtual objects interact with the real world, users can experience a higher immersion. This study proposes electric circuit practical training content using Meta Quest Pro to produce immersive MR content based on reality. To this end, first, the development process for producing MR content by linking Meta Quest Pro equipment with the Unity 3D engine is organized. Then, based on the traditional electric circuit practical training method used in elementary school science classes, virtual electric circuit practical training content with the same training method and operation process is produced based on MR. Finally, survey experiments are conducted to analyze the presence and experience of the MR-based educational environment provided using the produced content. Through this, the usability of the proposed practical training content is evaluated and future research directions are suggested.

Keywords: 혼합현실; 전기회로 실습교육; 메타 퀘스트 프로; 유니티 3D 엔진
Keywords: Mixed Reality; Electrical circuit practical training; Meta Quest Pro; Unity 3D Engine

1. 서론

가상현실(Virtual Reality, VR) 기술은 사용자가 컴퓨터로 생성된 3차원 환경을 HMD(Head Mounted Display)를 통한 시각적, 청각적 몰입을 높여 사용자가 가상환경에 대한 현존감과 만족도를 높이는 기술이다. 사용자는 현실 세계와 유사한 경험은 물론이고 현실 세계에서 경험할 수 없는 다양한 경험까지도 전달받을 수 있다. 이와 관련하여, 현실 세계에서 사용자가 느끼는 오감 요소를 가상환경에서 현실과 유사하게 적용할 수 있는 연구들이 수행되었다. Rana et al.[1]은 사용자의 수평적 위치뿐만 아니라 수직적 위치까지 고려하여 더욱 현실적인 서라운드 음향 기술을 활용한 청각 피드백을 통해 사용자가 향상된 몰입감을 가질 수 있는 환경을 제시하였고, Cai et al.[2]은 가상환경에서 손으로 객체를 제어할 때 객체의 질감과 온도에 대한 촉각 피드백 시스템을 제공하는 장갑을 제안하여 사실적인 가상환경을 경험할 수 있도록 하였다.

증강현실(Augmented Reality, AR) 기술은 사용자가 현실 세계를 기반으로 가상의 객체와 상호작용하는 기술로서 현실 세계의 배경과 가상의 객체를 합성하여 사용자에게 다양한 경험을 제공하는 기술이다. Kang et al.[3]은 카메라와 이미지 타깃 기반 증강현실을 통해 디지털 패션 콘텐츠 제작에 대한 공정을 설계하였고, Ryu et al.[4]는 증강현실에 이미지 분류 기반 딥러닝 모델을 활용한 콘텐츠를 제안하였다. 가상현실의 높은 몰입감과 증강현실의 현실 세계를 기반으로 하는 가상환경의 장점을 결합한 혼합현실(Mixed Reality, MR) 기술은 현실과 가상이 정교하게 연결되어 몰입감 높은 경험과 상호작용이 가능하도록 하는 기술이다. Hughes et al.[5]은 교육, 엔터테인먼트, 군사 등 다양한 분야에 대한 응용 가능성을 제시하였고, Chen et al.[6]은 의료분야에서 수술 시뮬레이션, 환자 치료, 의료 교육 등 의료시스템에 전반적인 혼합현실 적용 가능성에 대해 검토하였다. Hönig et al.[7]은 혼합현실 기반 로봇공학을 토대로 물리적 환경에서의 위험요소 해결, 협업시스템 구성과 같은 새로운 접근방식을 제시하였다. 본 연구는 이러한 연구를 배경으로 혼합현실의 이점을 활용한 가상의 전기회로 실습교육 콘텐츠를 제작하고자 한다.

전기회로 설계 교육은 이론교육과 실습교육이 긴밀히 연결된 학습이 필수적이다. 그러나 전통적인 교육 방법에서는 실험 장비의 제한, 높은 비용, 안전성 등의 문제로 인해 충분한 실습교육 기회를 제공하기 어려운 경우가 많다. 이러한 한계는 학습자들이 전기회로 설계에 대한 깊은 이해를 얻는 데 방해요소가 된다. 또한, 온라인 교육이나 시뮬레이션 도구를 활용한 교육은 문제를 일부 해결할 수 있으나, 물리적 실습의 현장감과 상호작용성을 충분히 제공하지 못해 몰입감이 떨어지고 이는 교육 품질 저하에 직접적인 영향을 미친다. 이러한 이유로 본 연구는 혼합현실 기반 교육 방법을 제시하여 기존의 전통적인 교육 방식보다 질 높은 교육을 제공할 수 있을 것으로 기대할 수 있다. 혼합현실은 현실을 기반으로 체험 환경을 제공할 수 있어 학습자들이 현실과 유사한 경험을 통해 교육 과정에서의 이해도와 집중을 높일 수 있어 효과적인 교육을 가능하게 한다. 또한, 혼합현실을 활용한 실습환경은 안전하고, 비용 측면에서도 효율적이며, 가상의 도구를 활용함으로써 많은 학생이 전기회로 설계를 실습할 수 있게 한다는 장점이 있다.

본 연구의 주요 목적은 혼합현실 환경에서 전기회로 설계 교육을 목적으로 하는 새로운 콘텐츠를 제작하는 것이다. 이를 위해 메타 퀘스트 프로(Meta Quest Pro) HMD를 활용한 혼합현실 환경을 유니티 3D(Unity 3D) 엔진 기반으로 구축하기 위한 공정을 정리한다. 이는 기존 연구 Cho et al.[8]의 유니티 3D 기반의 가상현실 개발환경을 토대로 최신 확장현실 개발 도구인 Meta XR Core SDK(Software Development Kit)와 Meta XR Interaction SDK의 Building Blocks 기능을 활용한 혼합현실 기반 통합개발 환경 과정을 정리하는 것이다. 최종적으로 혼합현실 기반 전기회로 설계 교육 콘텐츠 제작을 통해 기존의 전통적인 교육 방식이 가진 한계를 극복하고, 학습자들이 몰입감 높은 전기회로 설계 및 실습을 수행할 수 있는 교육환경을 제공함을 목표로 한다. 여기에, 기존의 전통적인 교육 방식과 비교하여 제안하는 혼합현실 기반 교육 콘텐츠가 가지는 현존감, 경험의 차이를 비교 분석하기 위하여 제작된 콘텐츠를 활용하여 설문 실험을 진행한다. 실험결과를 바탕으로 혼합현실을 활용한 교육환경이 전기회로 설계 교육을 비롯한 실습 교육환경에 미치는 영향을 평가하고, 향후 연구 방향을 제시하고자 한다. 다음은 본 연구의 주요 기여 내용을 정리한 것이다.

  1. 혼합현실 콘텐츠 개발환경: 메타 퀘스트 프로 장비를 활용하여 유니티 3D 게임엔진에서 혼합현실 콘텐츠 제작을 위한 개발환경을 정리

  2. 전기회로 실습교육 설계: 실제 전기회로 실습교육 내용을 기반으로 전기회로 조작 알고리즘을 설계하고, 전기회로 실습교육을 위한 처리 과정 설계 및 콘텐츠 제작

  3. 사용자 설문 평가: 제안하는 혼합현실 기반 전기회로 실습교육과 전통적인 전기회로 실습교육 방식에 대한 사용자 경험 비교분석을 위한 설문 실험 진행

2. 메타 퀘스트 프로를 활용한 혼합현실 개발환경구축

본 연구는 혼합현실 기반의 전기회로 실습교육 콘텐츠를 제작하여 학습자들이 더욱 몰입감 있고 효과적인 전기회로 설계 및 실습을 수행함을 목표로 한다. 이를 위하여, 유니티 3D 엔진에서 메타 퀘스트 프로 장비를 활용하여 혼합현실 콘텐츠를 제작하기 위한 개발환경을 정리한다. 우선, 메타 퀘스트 프로는 패스스루(passthrough) 기능을 통해 HMD에 실시간으로 현실 공간정보를 렌더링하고 사용자는 전송되는 시각적 정보를 바탕으로 현실 세계를 간접적으로 접할 수 있다. 여기에, 가상객체를 현실 세계 위에 렌더링할 수 있고, 이를 통해 사용자는 현실 세계 안에서 가상객체를 조작, 제어하는 등의 몰입감 높은 다양한 상호작용을 경험할 수 있다. 본 연구는 현실 세계에서의 상호작용과 혼합현실 환경에서의 상호작용이 가능한 유사하게 표현될 수 있도록 메타 퀘스트 프로의 손 추적(hand tracking) 기능을 활용한다. 또한, 그랩 상호작용(grab interaction) 기능을 함께 활용하여 가상객체를 잡고, 움직이며, 조작하는 등의 행동을 직접적으로 수행할 수 있도록 한다. 궁극적으로, 사용자는 실제 손을 사용하여 가상객체를 제어, 조작하는 방식의 상호작용을 통해 현실과 유사한 환경에서의 교육환경을 경험할 수 있다. Figure 1은 혼합현실을 기반으로 현실 세계 위에서 실제 손을 사용하여 가상객체를 제어하는 과정의 예를 보여주고 있다.

jkcgs-30-3-61-g1
Figure 1: Examples of hand interaction in a mixed reality(MR) environment using Meta Quest Pro.
Download Original Figure
2.1 혼합현실 콘텐츠 개발환경구축

제안하는 혼합현실 기반 가상 교육환경은 유니티 3D를 기반으로 제작되며, Meta XR Core SDK와 Meta XR Interaction SDK를 활용하여 사용자가 현실 세계 위에서 가상환경, 객체와 상호작용할 수 있도록 구성한다. 에셋 스토어를 통해 패키지로 제공되는 메타 개발 도구로서 본 연구는 Meta XR Core SDK를 활용하여 혼합현실 개발환경을 구축한다. 이는 혼합현실은 물론 가상현실, 증강현실 등 확장현실 개발에 필요한 기능을 포함한 스크립트, 컴포넌트를 다양하게 제공한다. Meta XR에서 제공하는 SDK는 Building Blocks 도구를 통해 카메라(camera rig) 손 추적(hand tracking), 상호작용(grab/poke interaction)과 관련된 주요 기능, 현실 공간 분석(room model) 등의 핵심 기능을 드래그 앤 드롭(drag and drop) 방식으로 손쉽게 추가 및 편집할 수 있다. Figure 2는 유니티 3D 엔진에서 Meta XR Core SDK와 Meta XR Interaction SDK의 Building Blocks 도구를 통해 제안하는 콘텐츠 제작 프로젝트에 필요한 기능을 추가하는 과정을 보여주고 있다.

jkcgs-30-3-61-g2
Figure 2: Example of implementing function using the Building Blocks tool.
Download Original Figure

혼합현실 환경에서 사용자는 현실 공간 위에 가상객체를 렌더링하고 마치 현실에 존재하는 객체와 같이 조작하는 상호작용 구현 기능이 필요하다. 이를 위해 메타 퀘스트 프로에서 제공하는 공간 설정 기능을 통해 교육을 수행할 현실 공간에 대한 정보(바닥, 벽, 지정된 객체 경계)를 설정한다. 제안하는 콘텐츠는 전기회로 조립 과정을 현실 세계의 실습 테이블 위에서 수행하기 때문에 현실 공간에서의 테이블 정보를 추가로 설정한다. 그런 다음 유니티 3D 개발환경에서 Room Model 기능을 통해 설정된 현실 공간에 대한 기하학적 정보와 함께 추가된 테이블 경계표면을 가상 테이블로 대체하거나 경계표면 정보만을 활용하여 현실 세계를 기준으로 가상객체의 위치를 설정하는 용도로 활용할 수 있다. Figure 3은 메타 퀘스트 프로를 통해 설정된 현실 공간과 추가로 정의한 테이블 경계표면, 그리고 테이블 위에 가상객체를 배치하여 나타낸 결과를 보여주고 있다.

jkcgs-30-3-61-g3
Figure 3: Example of a virtual object placed relative to real space.
Download Original Figure
2.2 전기회로 실습교육 콘텐츠

본 연구는 현실과 유사한 경험을 가지는 교육 목적의 콘텐츠를 제작함을 목표로 전기회로 실습교육을 주제로 하는 콘텐츠를 제작한다. 이러한 이유로, 기존의 전통적인 전기회로 실습교육과 같은 조립, 조작, 제어 과정 경험을 제공할 수 있도록 Meta XR Core SDK와 Meta XR Interaction SDK에서 제공하는 손 추적 기능을 활용하는 상호작용 방식을 구현한다. 손 추적을 활용한 혼합현실 사용자는 검지와 엄지손가락을 사용하여 객체를 집는 핀치 상호작용(pinch interaction) 기능을 적용하며, 이를 기반으로 가상객체의 변환(위치, 회전, 크기) 정보를 제어한다. 또한 GUI(Graphical User Interface)의 메뉴 선택 등을 통해 명령 전달, 상태 전환 등의 상호작용을 수행하기도 한다. 이러한 과정을 바탕으로 전기회로 실습교육에 필요한 가상의 건전지, 전선, LED 객체 등을 현실 공간 위에 생성하고, 생성된 객체를 손으로 조립, 조작, 제어함으로써 현실과 유사한 실습을 가능하게 하는 것이다. 본 연구는 실습을 진행하는 사용자가 실습을 진행하는 과정에서 전기회로를 구성하는 LED 저항, 건전지 전압, 전류 값 등을 실시간으로 확인할 수 있도록 추가적인 기능을 구현하였다. 이를 통해 실습교육 학습자는 혼합현실 환경에서 가상객체를 제어함과 동시에 현실 세계의 도면을 참고하여 실습을 진행할 수 있다. 즉, 현실 세계에서 제공하는 교육 정보와 가상으로 전달받는 교육 정보를 동시에 활용할 수 있는 이점을 가지게 되는 것이다.

Figure 4는 사용자가 실시간으로 제작된 전기회로 실습교육 콘텐츠를 체험하는 과정을 보여주고 있다. 이때, 전기회로를 구성하는 건전지, 저항의 연결 또는 건전지의 직렬/병렬연결 여부 등에 따라 전기회로의 총 저항, 전압, 전류의 값이 다르게 계산된다. 따라서, 사용자가 연결하는 전기회로 결과에 따라 정확한 저항, 전압, 전류를 계산하는 과정을 설계한다(Algorithm 1).

jkcgs-30-3-61-g4
Figure 4: Example of an electrical circuit practical training education environment, (a) virtual object assembly process using hand tracking, (b) interaction via GUI, (c) electrical circuit practical training drawing.
Download Original Figure

배터리(전압), LED(저항), 그리고 전선으로 연결된 전기회로는 직렬과 병렬연결 두 가지를 고려한다. 연결 방식에 따라 저항과 전압을 계산하는 방식이 다르며, 제안하는 콘텐츠에서도 이를 고려하여 정확한 계산이 필요하다. 식 (1)은 직렬과 병렬로 연결된 저항과 전압에 대한 계산과정을 나타낸 것이다. Rs는 직렬로 연결된 전체 저항값, Rp는 병렬로 연결된 전체 저항값, Vs는 직렬로 연결된 전체 전압값, 그리고 Vp는 병렬로 연결된 전체 전압값이다.

R s = R 1 + R 2 + R 3 + R n 1 R p = 1 R 1 + 1 R 2 + 1 R 3 + 1 R n V s = V 1 + V 2 + V 3 + V n V p = M A X ( V 1 , V 2 , V 3 , , V n )
(1)

그리고, 계산된 전체 저항과 전압을 토대로 전류를 계산한다. 식 (2)는 전압(V), 전류(I), 저항(R) 간의 관계를 설명하는 옴의 법칙을 나타낸다.

V = I × R
(2)
Algorithm 1. Electrical Circuit Analysis Process

1. O[] ← array of electrical circuit components (wires, batteries, LEDs, etc.)

2. procedure CIRCUIT_ANALYSIS (O)

3.  Os ← Select the last object in the components array (excluding wires)

4.  Define the circuit flow as + on the left and - on the right.

5.  Parts and parts are connected with + and -.

6.  while Cycle from + to - of Os.

7.   l ← number of connected wires.

8.   l++ ← Increase when + and – of the wire are connected.

9.   if l > 1 then

10.    Determined as the starting point (ps) of the parallel connection.

11.    ls = l

12.   end if

13.   pe ← Search for the section where the following l becomes equal to ls.

14.   while from ps to pe

15.    O[l][] ← Array of all components in a parallel circuit

16.    All components from ps to pe are stored in the O[l] array, separated by each wire.

17.   end while

18.   (Rp, Vp) = PARALLEL_CIRCUIT(Op, l)

19.   Rc[] ← array of all resistors in a series circuit

20.   Vc[] ← array of all voltages in a series circuit

21.   Store the series-connected resistance from array O in Rc.

22.   Store the serially connected voltage from array O in Vc.

23.   Accumulate Rp in Rc.

24.   Accumulate Vp in Vc.

25.   (R, V) = SERIES_CIRCUIT (Rc, Vc)

26.  end while

27.  if end of cycle then

28.   I=VR

29.  end if

30. end procedure

31. procedure PARALLEL_CIRCUIT (Op, l)

32.  fori=0 to l-1 do

33.   (Ri, Vi) = CIRCUIT_ANALYSIS (Op[i])

34.   1Rp+=1Ri

35.   Vp = MAX(Vp, Vi)

36.  end for

37.  Return Rp, Vp.

38. end procedure

39. procedure SERIES_CIRCUIT (R, V)

40.  forj in Rdo

41.   Rs += R[j]

42.  end for

43.  fork in Vdo

44.   Vs += V[k]

45.  end for

46.  Return Rs, Vs.

47. end procedure

본 연구는 직렬과 병렬연결이 결합 된 복합회로 구조로 조립이 가능한 전기회로를 설계한다. 이를 위해서 현재 전기회로에서 직렬연결과 병렬연결을 구분하여 판단하여 순환할 수 있는 구조로 정의하였다.

3. 실험 및 분석

3.1 실험 환경

본 연구는 메타 퀘스트 프로 HMD를 활용하여 전기회로 실습교육 콘텐츠를 체험한다. 이때, 제작된 콘텐츠는 Unity 2022.3.20f1(64bit)[9]에서 Meta XR Core SDK[10], Meta XR Interaction SDK[11] 패키지를 통합하여 개발환경을 구축하였고, C# 스크립트와 제공되는 컴포넌트를 활용하여 주요 기능을 구현하였다. 실험 및 콘텐츠 제작에 사용된 PC는 Intel(R) Core(TM) i7-7700HQ (2.8GHz), 16GB of RAM, 그리고 Geforce GTX1060 GPU를 탑재하고 있다.

3.2 사용자 평가

본 연구의 핵심 목적은 학습자가 전기회로 실습교육에 필요한 재료, 실습공간 등과 같은 비용, 환경에 관한 조건을 최소화하면서 실습교육에 대한 높은 만족도와 교육 경험을 제공하고자 하는 것이다. 따라서, 제안하는 혼합현실 기반 전기회로 실습교육에 대한 사용자 경험을 분석하기 위하여 전통적인 실습교육과 제안하는 콘텐츠를 기반으로 교육하는 방법을 비교하는 설문 실험을 진행하였다. 설문 실험은 총 10명(24~30세)의 참가자를 대상으로 진행되었고, 전기회로 실습교육은 기초적인 지식만 가지는 공대학생들로 구성하였다. 또한, 실험순서가 실험결과에 미치는 영향을 최소화하기 위하여 참가자를 두 그룹으로 나누어 절반은 전통적인 실습교육을 먼저 진행하고, 나머지는 제안하는 콘텐츠를 먼저 체험하도록 한다. 실험은 건전지 2개, LED 전구 1개, 전선 3개를 활용하여 간단한 직렬 회로를 구성하는 내용이다. 이때, 실제 전기회로에는 스위치를 이용하여 결과를 확인하는 데 반하여 제안하는 콘텐츠에서는 GUI를 통해 스위치의 기능을 대체하였다. Figure 5는 설문 실험을 진행한 두 체험 환경을 보여주는 것으로, 기존의 전통적인 전기회로 실습과 제안하는 콘텐츠의 실습 과정을 나타내고 있다.

jkcgs-30-3-61-g5
Figure 5: Process of electrical circuit training for survey experiments, (a) the existing traditional training environment, (b) the proposed MR-based training environment
Download Original Figure

첫 번째 설문 실험은 혼합현실 교육환경에서의 현존감을 분석하는 것이다. 이를 위해 본 연구는 Witmer et al.[12]의 현존감 설문지(presence questionnaire)의 문항을 활용하였다. 이는 몰입, 예측과 관찰, 행동에 대한 집중과 방해, 효과적 검사, 그리고 환경에 대한 적응 등을 종합적으로 분석할 수 있는 5개 항목, 19개의 문항으로 구성되어있다. 참가자는 1~7점 사이의 7점 척도 값을 설문으로 기록하였다. 우선, 현실에서 교육하는 전통적인 실습환경과 비교하여 제안하는 콘텐츠가 가지는 현실감과 인터페이스의 품질을 분석한다. 전통적인 교육환경은 현실을 기반으로 직접 재료를 조립, 조작하기 때문에 현실감과 인터페이스 품질을 만점으로 가정하고, 이와 비교하도록 하였다. Table 1은 설문 결과에 대한 값이다. 현실과 유사한 교육 경험을 사용자에게 제공하였는지 여부를 실험한 결과는 기대 이상의 높은 결과를 보이는 것을 확인할 수 있었다. 하지만, 손 추적 기능을 활용하여 가상객체를 조작하는 전기회로 실습 교육 과정은 적응에 다소 시간이 필요했고, 의도와 다른 결과가 시뮬레이션 되었을 때 만족도가 낮아지는 것을 확인할 수 있었다.

Table 1. Results of comparative analysis of the realism and interface quality of the proposed content based on traditional training
Our Content
Mean(SD)
realism 6.543(0.337)
quality of interface 5.700(0.994)

* mark indicates statistical significance.

Download Excel Table

다음은 전기회로 실습에 관한 교육 활동을 수행하는 과정에서 참가자가 느끼는 행동, 집중, 그리고 조립, 조작 과정의 적응을 비교 분석한다. Table 2는 나머지 3항목에 대한 비교 분석결과를 나타낸 것이다. 교육 과정에서 사용자가 현재 수행하는 행동을 예측하고 전기회로를 관찰하는 과정에 대한 경험은 전통적인 방식과 비교하여 크게 낮지 않은 만족을 보이는 것을 확인할 수 있었다. 전기회로 실습 과정에 집중하고 결과를 검사하는 과정 역시 전통적인 방식과 같은 결과를 보였다는 점에 주목할 수 있었다. 하지만, 교육 과정에 대한 적응은 혼합현실이라는 새로운 작업 환경에 대한 낯선 경험이 부정적으로 작용하였다는 것을 인터페이스의 품질과 동일하게 확인되었다. 또한, 일원 분산 분석(one-way ANOVA)을 통해 통계적 유의성을 확인하였다. 그 결과, 예상대로 행동을 예측하고 관찰하는 과정, 교육에 적응하는 환경에 관한 설문 결과에 대해서는 유의미한 차이를 나타냄을 확인할 수 있었다.

Table 2. Comparative analysis results on behavior, attention, and adaptation in electrical circuit practical training
Traditional Our Content
Mean(SD)
possibility to act 6.925(0.115) 6.400(0.339)
possibility to examine 6.933(0.133) 6.933(0.133)
self-evaluation of performance 7.000(0.000) 5.800(1.029)
Pairwise Comparison
possibility to act F(1, 18)= 19.360, p<0.001*
possibility to examine F(1, 18)= 0.000, p=1.000
self-evaluation of performance F(1, 18)= 12.226, p<0.05*

* mark indicates statistical significance.

Download Excel Table

마지막 설문 실험은 교육 활동을 수행하는 과정에서의 경험을 비교 분석한다. 교육 활동에서 사용자가 느끼는 흥미, 긴장, 도전적 생각 등을 분석하기 위하여 game experience questionnaire(GEQ)[13]를 활용하여 설문을 진행한다. 참가자는 5점 척도로 주어진 문항에 대한 값을 기록하였다. Table 3은 비교 분석결과를 보여주고 있다. 교육 과정에서 성취감, 만족 등의 경험 등은 전통방식이 상대적으로 높게 나타나는 것을 확인할 수 있었다. 하지만, 눈에 띄는 점은 시각적인 인상, 흥미, 집중 등에 있어서는 제안하는 콘텐츠에 높은 결과가 나타났다는 점이다. 이는 혼합현실 체험 환경이 주는 새로운 경험이 참가자에게 전기회로 교육에 몰입할 수 있는 환경을 제공한 것으로 분석된다. 긴장(tension)에 대한 항목은 교육 과정이 지루하거나 짜증을 유발하는지에 대한 평가인데, 전통적인 방식에서는 거부감이 없는 반면 혼합현실 환경에 대한 경험이 익숙하지 않거나 손 추적 기능을 활용하는 과정에서 조작에 불편함을 나타내는 경우 일부에 한해서 부정적인 반응을 보이기도 하였다. 일원 분산 분석을 통해 통계적 유의성을 확인할 결과, 성취감에서는 전통적인 방식의 유의미한 차이가 있음을 확인할 수 있었다. 그리고 반대로, 시각적 인상, 흥미, 교육에 대한 도전적 경험에서는 제안하는 콘텐츠가 유의미한 차이를 나타냈다. 이를 통해, 혼합현실 교육환경이 주는 낯선 조작 방식, 불편한 인터페이스 등에 대한 개선이 뒷받침된다면 교육적인 목적으로 활용되기에 충분한 이점을 가질 수 있다는 것을 확인하였다.

Table 3. Results of comparative analysis of user experience in educational activities
Traditional Our Content
Mean(SD)
Competence 3.850(0.229) 3.000(0.592)
Sensory and Imaginative Immersion 3.250(0.642) 3.850(0.229)
Flow 3.150(0.634) 3.600(0.539)
Tension 0.000(0.000) 0.150(0.229)
Challenge 2.000(0.866) 3.250(0.559)
Negative affect 0.050(0.150) 0.100(0.200)
Positive affect 3.950(0.150) 3.750(0.250)
Pairwise Comparison
Competence F(1, 18)= 16.155, p<0.001*
Sensory and Imaginative Immersion F(1, 18)= 6.967, p<0.05*
Flow F(1, 18)= 2.631, p=0.122
Tension F(1, 18)= 3.857, p=0.065
Challenge F(1, 18)= 13.235, p<0.05*
Negative affect F(1, 18)= 0.360, p=0.556
Positive affect F(1, 18)= 4.235, p=0.054

* mark indicates statistical significance

Download Excel Table

이밖에, 실습교육을 진행하는데 소요된 시간을 측정하여 현존감과 경험에 시간이 미치는 영향을 확인해보았다. 기존의 전통방식으로 실습을 진행하는 경우 평균 120초의 시간이 소요되었고, 제안하는 콘텐츠 체험 시간은 평균 150초로 기록되었다. 이는 혼합현실 환경에서 건전지, 전선, LED 등 객체를 조립, 조작하는 방법과 기존의 현실 객체를 제어하는 방법이 유사하여 큰 차이가 없었던 것으로 확인되었다. 하지만, 혼합현실에 대한 경험이 없는 사용자의 경우, 조작 방법을 익히는데 다수의 시간이 필요한 경우가 있었고, 이러한 부분들이 현존감과 경험에 영향을 미쳤을 것으로 판단하였다.

4. 한계 및 토의

혼합현실 환경을 경험할 수 있도록 돕는 장비는 마이크로소프트 홀로렌즈 2(Microsoft HoloLens 2), 매직 리프 원(Magic Leap One), 바리오 XR-3(Varjo XR-3), HTC 바이브 프로(HTC Vive Pro)등 다양한 장비가 존재한다. 또한, 몰입형 콘텐츠 제작을 지원하는 대표적인 게임엔진으로는 유니티 3D 외에도 언리얼엔진 5(Unreal Engine 5)를 활용할 수 있다. 본 연구는 상대적으로 적은 비용, 접근성을 고려하여 메타 퀘스트 프로 기기를 활용하였고, Meta XR Core SDK와 Meta XR Interaction SDK를 활용하는 것에 초점을 맞춰서 유니티 3D 엔진을 기반으로 하였다. 따라서, 제한된 장비와 개발환경에 대한 한계가 존재하며 향후 범용적으로 활용 가능한 개발환경을 정리할 수 있도록 연구할 계획이다.

본 연구는 사용자가 손 추적 기능을 기반으로 가상의 객체를 제어하지만, 실제 재료를 손으로 조립, 조작하는 과정에서 느끼는 촉각 피드백은 고려되고 있지 못하다. 따라서, 손을 직접 활용하지는 않지만, 전용 컨트롤러의 진동 기능이나 촉각적 피드백 시스템에 관한 응용 연구[2]를 활용하여 현실감 높은 교육환경을 제공할 수 있도록 연구할 계획이다.

메타 퀘스트 프로의 패스스루 기능은 장비에 부착된 카메라를 기반으로 현실 세계를 촬영하고, 이를 실시간으로 화면에 렌더링하여 사용자가 간접적으로 현실 세계를 경험할 수 있게 한다. 하지만 이 과정에서 촬영된 장면이 일그러지거나 하는 등 현실 세계의 정확한 시각적 정보를 받지 못하는 경우가 있어 사용자의 몰입을 방해하는 요소가 될 수 있다는 문제도 존재한다.

마지막으로 본 연구는 전기회로 교육 콘텐츠에 초점을 맞추고 있지만 이를 기반으로 전기회로 교육뿐만 아니라 몰입형 가상환경을 통해 실습교육에 필요한 비용, 안전성을 모두 고려하면서도 사용자의 실습체험이 필요한 교육인 전자기장, 화학실험 등에 대한 혼합현실 실습교육 환경으로 발전 가능할 것으로 판단하였다. 향후, 다양한 교육 콘텐츠로 발전시켜나갈 계획이다.

5. 결론

본 연구는 혼합현실 기반의 전기회로 실습교육 콘텐츠를 제작하여 전기회로 교육에 필요한 비용과 안전성 등의 문제를 최소화하면서 학습자에게 현실과 유사한 경험과 교육 효과를 유도할 수 있는 환경을 제공하고자 하였다. 이를 위해, 유니티 3D에서 메타 퀘스트 프로를 활용한 혼합현실 개발환경을 정리하였다. 이는 Meta XR Core SDK와 Meta XR Interaction SDK에서 제공하는 카메라(패스스루 포함), 손 추적, 상호작용 등의 기능을 통해 가상의 전기회로 실습 과정을 현실에서의 조작 과정과 유사하게 구현하는 과정이다. 그리고, 개발환경을 토대로 혼합현실 기반 가상 전기회로 실습교육 콘텐츠를 제작하고, 이를 활용하여 사용자의 현존감, 경험 등을 비교 분석하기 위한 설문 실험을 진행하였다. 이는 기존의 전통적인 방식의 실습 교육과 제안하는 콘텐츠를 통해 교육하는 과정을 비교하는 것이 핵심 목적이다. 설문 실험결과, 혼합현실이라는 기술에 대한 낯선 경험과 인터페이스 및 조작에서의 불편함 등으로 인하여 교육에 방해가 되는 부분들이 있다는 점을 확인할 수 있었다. 하지만, 새롭고 몰입할 수 있는 교육환경을 함께 제공하여 교육 활동에서의 흥미를 유발하고 도전의식을 높이는데 긍정적인 역할을 할 수 있다는 점도 실험결과 도출할 수 있었다. 이러한 연구 결과를 토대로 사용자를 중심으로 한 혼합현실 콘텐츠에 최적화된 인터페이스 및 상호작용에 관한 연구들이 보완된다면 교육 효과를 높이고, 새로운 경험을 제공할 수 있는 혼합현실 기반 교육 콘텐츠로 다양하게 활용 가능할 것으로 기대한다.

감사의 글

본 연구는 한성대학교 학술연구비 지원과제임 (김진모, Jinmo Kim).

References

[1].

A. Rana, C. Ozcinar and A. Smolic, "Towards Generating Ambisonics Using Audio-visual Cue for Virtual Reality," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Brighton, UK, 2019, pp. 2012-2016.

[2].

S. Cai, P. Ke, T. Narumi and K. Zhu, "ThermAirGlove: A Pneumatic Glove for Thermal Perception and Material Identification in Virtual Reality," 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Atlanta, GA, USA, 2020, pp. 248-257.

[3].

Kang Tae-Seok, Lee Dong-Yeon, Kim Jinmo. Production of Digital Fashion Contents based on Augmented Reality Using CLO 3D and Vuforia. J Korea Comput Graph Soc 2020;26(3):21-29.

[4].

Ryu Jeeseung, Jang Seungwoo, Mun Yujeong, Lee Jungjin. Design and Implementation of Sandcastle Play Guide Application using Artificial Intelligence and Augmented Reality. J Korea Comput Graph Soc2022;28(3):79-89.

[5].

C. E. Hughes, C. B. Stapleton, D. E. Hughes and E. M. Smith, "Mixed reality in education, entertainment, and training," in IEEE Computer Graphics and Applications, vol. 25, no. 6, pp. 24-30, Nov.-Dec. 2005.

[6].

L. Chen, T. Day, W. Tang and N. John, "Recent Developments and Future Challenges in Medical Mixed Reality," in 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Nantes, France, 2017 pp. 123-135.

[7].

W. Hönig, C. Milanes, L. Scaria, T. Phan, M. Bolas and N. Ayanian, "Mixed reality for robotics," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Germany, 2015, pp. 5382-5387.

[8].

Cho Yunsik, Kim Jinmo. A Study on the Comparison of the Virtual Reality Development Environment in Unity and Unreal Engine 4. J Korea Comput Graph Soc2022;28(5):1-11.

[9].

Unity engine, UnityTechnologies, [Internet] Available: https://unity.com/, 2022.

[10].

Meta XR Core SDK, Meta Quest, [Internet] Available: https://assetstore.unity.com/packages/tools/integration/meta-xr-core-sdk-269169, 2024.

[11].

Meta XR Interaction SDK, Meta Quest, [Internet] Available: https://assetstore.unity.com/packages/tools/integration/meta-xr-interaction-sdk-264559#releases, 2024.

[12].

B. Witmer., C. Jerome, and M. Singer, “The factor structure of the presence questionnaire,” Presence: Teleoperators and Virtual Environments, vol. 14, no. 3, pp. 298–312, 2005.

[13].

Poels, K., de Kort, Y. A. W., and IJsselsteijn, W. A., “Game Experience Questionnaire: development of a self-report measure to assess the psychological impact of digital games,” Technische Universiteit Eindhoven, pp. 1-9, 2013.

<저 자 소 개>

공 수 민

jkcgs-30-3-61-i1

  • 2021년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

김 종 선

jkcgs-30-3-61-i2

  • 2018년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

정 구 현

jkcgs-30-3-61-i3

  • 2019년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

노 경 빈

jkcgs-30-3-61-i4

  • 2021년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

박 에 스 더

jkcgs-30-3-61-i5

  • 2021년~현재 한성대학교 컴퓨터공학부 학사과정

  • 관심분야: 가상현실, 증강현실, 실감형 콘텐츠 등

조 윤 식

jkcgs-30-3-61-i6

  • 2021년 한성대학교 컴퓨터공학부 학사

  • 2022년 한성대학교 일반대학원 컴퓨터공학과 석사

  • 2022년~현재 한성대학교 일반대학원 정보컴퓨터공학과 박사과정

  • 관심분야: 가상현실, 증강현실, 컴퓨터그래픽스, HCI 등

김 진 모

jkcgs-30-3-61-i7

  • 2006년 동국대학교 멀티미디어학과 학사

  • 2008년 동국대학교 영상대학원 멀티미디어학과 석사

  • 2012년 동국대학교 영상대학원 멀티미디어학과 박사

  • 2012년~2014년 동국대학교 영상문화콘텐츠연구원 전임연구원

  • 2014년~2019년 부산가톨릭대학교 소프트웨어학과 조교수

  • 2019년~현재 한성대학교 컴퓨터공학부 부교수

  • 관심분야: 컴퓨터그래픽스, 가상현실, 증강현실, 메타버스, 게임 공학 등