유니티와 언리얼 엔진 4 에서의 가상현실 개발환경에 관한 비교연구

유니티 엔진[8]은 유니티 테크놀로지에서 개발한 게임엔진으로 2차원 및 3차원 그래픽, 드래그 앤 드롭 기능 및 C# 개발 언어를 통한 스크립팅을 지원한다. 이를 활용하여 게임, 확장현실, 건축 설계, 영화, 애니메이션, 자동차, 운송, 제조 등 다양한 분야에 대한 솔루션을 제공하고 있다. 또한, 유니티 엔진은 오큘러스, OpenXR 등 다양한 가상현실 플랫폼을 지원하여 가상현실 콘텐츠 개발을 하기에 적합한 환경을 제공한다. 이를 기반으로 유니티 엔진을 활용한 가상현실에서 사용자의 현존감 향상을 위한 HCI (Human Computer Interaction) 기술이나 새로운 체험환경을 제시하는 등 다양한 방법의 연구들이 진행되었다[9, 10, 11]. 언리얼 엔진 4[12]는 에픽게임즈에서 개발한 게임엔진으로 3차원 컴퓨터 그래픽, 드래그 앤 드롭 기능 및 C++ 개발 언어와 노드 기반 가능한 비주얼 스크립팅을 지원한다. 이를 활용하여 게임, 영화, 애니메이션, 시뮬레이션 등 다양한 분야에 대한 솔루션을 제공하고 있다. 언리얼 엔진 4또한 오큘러스, 마이크로소프트 홀로렌즈 (Microsoft HoloLens), HTC 바이브 (Vive) 등 다양한 확장현실 플랫폼을 지원하여 가상현실 콘텐츠 개발에 적합한 환경을 제공한다. Ren et al. [13]은 언리얼 엔진 4기반의 몰입형 상호작용 시스템 설계에 관한 연구를 수행하였고, Liang et al. [14]은 언리얼 엔진 4를 활용한 가상현실 기반으로 교육형 시뮬레이션 시스템 설계에 관한 연구도 진행하였다. 이처럼 게임엔진은 게임 개발뿐만 아니라 건축, 인공 지능, 제조, 공공 계획, 영화 및 TV 제작과 같은 게임 이외의 영역에서도 그 기능을 돋보이고 있어 학계와 대중의 관심을 요구하는 중요한 새로운 유형의 플랫폼으로 떠오르고 있다[15].

게임엔진을 활용하여 좋은 품질의 콘텐츠를 제작하기 위해서는 게임엔진에 관한 연구가 바탕이 되어야 한다. Lee et al. [16]은 유니티 엔진과 언리얼 엔진 4의 구조와 구현 방식을 FPS (first-person shooter) 게임 기반으로 비교하여 각 게임엔진 프로세스의 구성과 이벤트 처리가 어떤 차이점을 갖는지 비교하였고, Cho and Shin [17]은 효율적인 대학교육과정을 위해 유니티 엔진과 언리얼 엔진 4의 특성과 장단점을 비교 분석하기도 하였다.

사용자가 가상환경에 대한 만족도를 높이기 위해선 가상환경에 몰입할 수 있어야 하고, 이를 위해 사용자가 현실 세계와 가장 유사한 감각을 받을 수 있는 환경이 마련되어야 한다. 현재 가상현실 체험환경은 가상현실 HMD를 기반으로 사용자의 시각적 몰입을 높이고 전용 컨트롤러 또는 손을 활용하여 가상 환경과 다양한 상호작용을 수행할 수 있다. 최근에는 수평면뿐만 아니라 사용자의 위아래 영역까지 고려한 현실과 더 유사한 서라운드 사운드 기술인 앰비소닉을 활용한 가상환경에 관한 연구[18], 가상환경에서 객체를 제어할 때 다양한 온도와 재질을 고려하여 사용자에게 열 피드백을 제공하는 장갑[19] 등 햅틱 시스템에 관한 연구를 통하여 사용자에게 더 큰 현존감 제공을 기대하고 있다. 이처럼 현실에서 느끼는 감각에 버금가는 사용자의 오감에 대한 가상현실 기술이 계속 연구되고 있다.

이러한 가상현실 연구, 기술 등을 토대로 직관적인 가상현실 기술뿐만 아니라 몰입형 가상현실을 활용한 메타버스 공학교육 콘텐츠를 제안하고 사용자 대상으로 긍정적인 답변을 얻기도 하였다[20]. 또한, 가상현실 사용자가 가상환경이나 또 다른 사용자와의 협업을 바탕으로 느끼는 현존감과 사회적 현존감 향상에 대한 연구도 진행되고 있다. Cho et al. [9]은 모바일 장비와 이미지 타깃을 활용한 증강현실 사용자와 HMD 기반의 몰입형 가상현실 사용자가 함께 협업하는 비대칭 가상환경에서 각 사용자의 플랫폼을 고려한 역할을 부여하여 새로운 실감형 체험환경과 함께 현존감, 경험 등을 비교 분석하였고, Cho et al. [10]은 비대칭 가상환경에서 각 사용자의 상호작용 및 인터페이스 구조에 CNN (Convolutional Neural Networks) 기반 딥러닝을 적용하여 직관적인 상호작용이 가능한 가상환경을 제안하였다.

이처럼 게임엔진을 활용하여 게임 방식의 대화형 콘텐츠를 제작하는 과정을 비교하거나 게임엔진을 기반으로 사용자 중심의 몰입형 체험환경을 구축하는 연구들은 활발히 진행되는 반면 실감형 콘텐츠 제작에 많이 사용되는 유니티나 언리얼과 같은 대표적인 게임엔진의 개발환경 구축에 관한 내용을 비교 분석하는 연구들은 부족한 상황이다. 따라서 본 연구는 디지털 콘텐츠는 물론 가상현실, 증강현실 기술들을 활용한 실감형 콘텐츠 제작에도 많이 활용되고 있는 게임엔진인 유니티 엔진과 언리얼 엔진 4를 토대로 엔진별 가상현실 개발환경 구축과정과 핵심 기능 및 차이점 등을 비교 분석하고자 한다.

유니티 엔진은 사용자가 가상현실 체험환경을 구축하기 위한 최소한의 기능이 포함된 가상현실 템플릿(Template)을 제공한다. 유니티 엔진의 가상현실 템플릿은 OpenXR과 오큘러스 플랫폼을 지원하고 기본 장면(Scene)에 조명과 함께 가상현실 사용자 제어 객체(XRRig)가 기본으로 배치되어있다. 가상현실 사용자 제어객체의 하위 객체로 가상현실 HMD와 연동하는 카메라(CameraOffset)와 전용 컨트롤러의 위치를 추적하는 객체(Left/Right ControllerRight) 및 설정 객체(XRPlatformControllerSetup)가 포함되어 HMD를 기준으로 전용 컨트롤러의 위치 값과 회전 값을 계산하여 가상세계의 장면을 현실 세계에 정확하게 렌더링하고 가상환경과 상호작용할 수 있는 수단을 제공한다.

가상현실 템플릿 프로젝트는 가상현실 개발에 필요한 패키지 (헤드셋, 컨트롤러 추적 등)를 사전 설치하며, 오큘러스 HMD (리프트, 퀘스트 등) 및 윈도우 혼합현실 헤드셋과 같은 장비를 지원한다. 오큘러스 HMD를 활용한 독립된 개발환경 구축을 위해 오큘러스 개발 지원 패키지(Oculus Integration)를 활용하면 효율적으로 오큘러스 기반 가상현실 체험환경을 구축할 수 있다. 이는 유니티 엔진의 에셋스토어를 통해 쉽게 추가할 수 있고 전용 컨트롤러모델뿐만 아니라 가상현실 장치에 대한 고급 렌더링, 소셜, 플랫폼, 오디오 및 아바타 개발 지원에 대한 기능도 활용할 수 있다. 오큘러스 개발 지원 패키지는 가상환경에서 HMD 기반의 사용자 시점과 전용 컨트롤러의 위치를 추적하는 가상현실 카메라 객체(OVRCameraRig)를 유니티 엔진의 프리팹(prefab) 기능을 활용하여 제공한다. 가상현실 카메라 객체는 HMD 위치 정보를 추적하고 이를 사용자의 각 눈에 대응되는 카메라로 전달하는 카메라 객체(Left/Center/RightEyeAnchor)와 전용 컨트롤러의 위치, 방향 정보를 추적하기 위한 앵커 (Left/RightHandAnchor)가 있다. 그리고 앵커의 하위 객체인 컨트롤러 앵커(Left/RigntControllerAnchor)에 컨트롤러 모델 또는 사용자가 정의한 객체를 하위 객체로 등록하면 추적된 컨트롤러의 위치, 방향에 대응되어 표현된다. 오큘러스 퀘스트 2의 경우 손 추적기능이 탑재되어 컨트롤러가 아닌 손 추적으로 모드를 변경하게 되면 앵커에 추적된 손의 위치, 방향 정보가 대응되게 된다. 추가로, 가상현실 카메라 객체를 포함하면서 사용자가 플레이어 (또는 캐릭터) 역할을 수행하는 사용자 제어 객체(OVRPlayerController)도 프리팹으로 제공한다. 사용자 제어객체는 기본적으로 컨트롤러의 조이스틱 입력을 활용하여 사용자의 기준 축(ForwardDirection)을 기반으로 유니티 엔진의 캐릭터 제어 속성(Character Controller)를 활용하여 이동하는 기능이 포함되어 있다.

Figure 1은 유니티 엔진을 활용하여 가상현실 템플릿 프로젝트를 생성하고 오큘러스 개발 지원 패키지를 추가하여 오큘러스 기반 가상현실 개발환경 구축에 대한 과정을 보인다. 특히, Figure 1(c)에 보이듯이 유니티 엔진의 기본 가상현실 템플릿에서 제공하는 사용자 제어객체와 오큘러스 개발 지원 패키지의 가상현실 카메라 객체의 구성 차이를 Table 1을 통해 확인할 수 있다. 각 구성 환경에서 가상현실 사용자를 위한 제어객체로 XRRig, OVRCameraRig (또는 OVRPlayerController)를 최상위 객체로 활용하고 있다. 가상현실 템플릿 사용자 객체의 카메라 역할은 Main Camera를 활용하고 오큘러스 개발 지원 패키지의 사용자 객체는 CenterEyeAnchor 에 카메라 컴포넌트가 추가되어있다. 또한, 사용자의 키를 고려한 카메라의 초기 높이 설정을 위해서 기본 가상현실 템플릿에서는 Camera Offset 속성의 Y 값(Camera Y Offset)을 변경하고 오큘러스 개발 지원 패키지에서는 OVRCameraRig의 OVRManager 속성의 추적 기준 (Tracking Origin Type) 변경하여 설정한다. 마지막으로 컨트롤러에 대한 설정은 각 템플릿에서 제공하는 컨트롤러 객체(XRControllerRight/Left와 OVRControllerPrefab)를 활용한다.

Figure 1. The process of establishing an Oculus-based virtual environment using Unity Engine: (a) Creating a VR template (b) Import Oculus Integration package (c) Configuring XRRig and OVRPlayerController objects (d) Base for VR development environment in Unity.

Download Original Figure

언리얼 엔진 4에서 제공하는 가상현실 템플릿을 활용하면 유니티 엔진과 마찬가지로 사용자가 가상현실 체험이 가능한 기능이 포함된 프로젝트를 생성할 수 있다. 기본적으로 OpenXR 과 오큘러스 OpenXR 플러그인을 지원하여 추가 작업 없이 HMD와 전용 컨트롤러를 활용한 가상현실 환경을 체험할 수 있다. 오큘러스 OpenXR 플러그인은 OpenXR 에서 오큘러스 헤드셋과의 호환성을 지원하는 OpenXR 기반 플러그인이다. 만약 사용자가 전용 컨트롤러 대신 실제 손을 활용하여 가상 환경과 상호작용하는 체계를 구축한다면 오큘러스에서 제공하는 손 모델을 사용하기 위해 오큘러스 가상현실(OculusVR) 플러그인을 추가하면 된다. 이때 기존에 추가되어있던 오큘러스 OpenXR 플러그인은 해제하여 두 플러그인 간의 충돌을 방지한다.

언리얼 엔진 4의 가상현실 템플릿의 기본 장면(VRTemplateMap)은 사용자 제어 객체(VRPawn)을 제공한다. 사용자 제어객체는 카메라와 좌우 컨트롤러 객체를 포함하고 있고 사용자의 카메라 초기 높낮이 위치를 설정하는 기능(SetTrackingOrigin)과 컨트롤러의 입력 버튼을 활용한 객체 제어 기능이 있다. 또한, 가상현실 사용자가 가상환경 또는 객체 등과 상호작용 할 수 있는 블루프린트 객체(GrabComponent), 가상환경에서 3차원 UI(User Interface)를 활용할 수 있는 블루프린트 객체(WidgetMenu), 가상환경에서 사용자 제어객체를 위한 순간이동 기능을 제공하는 블루프린트 객체(VRTeleportVisualizer) 등 다양한 기능을 제공한다. 언리얼 엔진 4의 실행 구조는 가상현실 템플릿의 게임모드(VRGameMode)에서 디폴트 폰 클래스가 사용자 제어객체로 설정되어 있어 게임이 실행되었을 때 최초로 사용자 제어객체를 생성한다. Figure 2는 언리얼 엔진 4를 활용하여 가상현실 템플릿 프로젝트를 생성하고 오큘러스 가상현실 플러그인을 추가하여 오큘러스 기반 가상현실 개발환경 구축에 대한 과정을 보인다.

Figure 2. The process of establishing an Oculus-based virtual environment using Unreal Engine 4: (a) Creating a VR Template (b) Add Oculus VR plug-in (c) Base for VR development environment in Unreal Engine 4.

Download Original Figure

가상현실 사용자가 가상 환경과 상호작용하는 기본적인 방법은 가상현실 HMD와 함께 제공되는 전용 컨트롤러를 활용하는 것이다. 전용 컨트롤러는 사용자의 각 손에 하나씩(왼손, 오른손) 쌍으로 구성되어 있으며 이를 쥐어 사용자의 손을 대체하는 수단으로 활용할 수 있다. 가상환경에서 HMD는 전용 컨트롤러의 위치를 추적하고 이를 기반으로 사용자는 가상 환경과 상호작용이 가능하다. 또한, 컨트롤러의 버튼 입력과 조이스틱을 활용하여 가상환경에서의 다양한 상호작용을 수행할 수 있다. 본 연구는 가상현실 개발환경 구축에 있어 오큘러스 퀘스트 2 장비를 활용함을 전제로 하고 있어 전용 컨트롤러로 터치 컨트롤러를 활용한다.

유니티 엔진의 경우, 오큘러스 통합 개발환경 패키지의 전용 컨트롤러객체(OVRControllerPrefab)를 사용자 제어객체의 컨트롤러 앵커(Left/RightControllerAnchor)의 하위 객체로 등록하여 가상환경에서 상호작용이 가능하다. 전용 컨트롤러에 대한 입력과 버튼, 트리거 및 조이스틱 입력에 따른 상호작용 처리는 유니티 엔진의 C# 스크립트에서 오큘러스 입력 클래스(OVRInput)를 활용하여 구현한다. 또한, 오큘러스 통합 개발환경 패키지는 객체 잡기를 통한 상호작용기능(OVRGrabber, OVRGrabbable)을 제공한다. Figure 3은 유니티 엔진의 개발환경에서 컨트롤러 입력으로 가상환경에서 객체와 상호작용하는 과정과 처리 구조를 보인다.

Figure 3. Process of interaction development environment using controller in the Unity Engine: (a) Grabber controller and grabbable Objects (b) Components for user interaction with objects (c) Interaction with objects using controller inputs in a virtual environment based on Unity Engine.

Download Original Figure

언리얼 엔진 4에서는 기본 사용자 제어객체에 오큘러스 전용 컨트롤러객체가 포함되어 있다. 전용 컨트롤러의 버튼 입력에 따른 상호작용 처리는 프로젝트 설정의 입력 바인딩에서 정의하고, 블루프린트 클래스에서 입력 액션을 호출하여 구현한다. 사용자 제어객체의 기본 제공 블루프린트 함수로 사용자 제어객체의 이동과 방향 전환 기능으로 좌우컨트롤러의 각 조이패드를 활용하여 축 입력에 따른 카메라 방향 전환기능(Snap Turn, AddActorWorldRotation)과 순간이동 기능(Teleport, SetActorLocation)을 제공하고 사용자 제어객체의 컨트롤러(손)를 활용하여 가상환경에서 객체를 잡고 놓는 블루프린트 기반 함수(TryGrab/Release)를 제공한다. Figure 4는 언리얼 엔진 4 개발환경에서 컨트롤러 버튼 입력으로 가상환경의 객체와 상호작용하는 과정을 보인다.

Figure 4. Process of interaction development environment using controller in the Unreal Engine 4: (a) Setting up a scene for the grab process (b) Blueprint of the process of grabbing or releasing objects (c) Interaction with objects using controller inputs with Objects in a virtual environment based on Unreal Engine 4.

Download Original Figure

실제 환경에서 손으로 직접 물건을 만지거나 도구를 잡아 행동을 수행하는 등 손은 상호작용에 있어 가장 대표적인 신체 부위이다. 따라서, 가상세계에서도 가상환경 또는 객체와의 상호작용에 손을 직접 활용하는 것이 가장 몰입감 높은 체험환경을 제시하는 방법이 된다. 오큘러스 퀘스트 2 HMD는 사용자의 실제 손의 위치, 방향 정보를 추적하여 가상환경의 손으로 대응하여 렌더링할 수 있는 기능을 제공한다. 이를 활용하여 사용자는 전용 컨트롤러 없이 HMD만으로도 가상 환경과 직접적인 상호작용을 수행할 수 있는 기반이 마련된다.

유니티 엔진은 오큘러스 개발 지원 패키지를 통해 사용자의 실제 손 위치, 방향 정보를 기반으로 가상환경에 대응시켜주는 가상 손 객체(OVRHandPrefab)를 프리팹으로 제공하고 있어 컨트롤러 대신 활용할 수 있다. 가상 손 객체에는 손의 관절정보가 포함되어 현재 손의 움직임(애니메이선 상태정보)을 알 수 있고 이를 기반으로 현실적인 상호작용을 수행할 수 있다.

언리얼 엔진 4에서 제공하는 오큘러스 퀘스트 2의 손 추적기능을 기반으로 생성된 기본 가상의 손 모델은 에디터 상에서 접근 가능한 손 관절구조의 정보가 포함되어 있지 않다. 따라서 오큘러스의 공식 사이트에서 제공하는 손 객체(Handsample)를 프로젝트에 포함시키고 가상 손의 골격 메시(Skeletal Mesh)를 오큘러스 핸드(OculusHand_L/R)로 변경하여 관절정보가 포함된 가상 손을 활용한다. 이후 C++ 나 블루프린트 스크립팅을 통해 가상 손의 관절 위치 정보를 바탕으로 사용자가 가상환경에서 가상의 손을 활용한 상호작용을 수행할 수 있다. Algorithm 1은 사용자의 실제 손의 움직임에 대응하여 동작하는 가상 손의 관절정보에 따른 가상 객체 잡기 행동 구현 과정을 나타낸다. 또한, Figure 5는 유니티 엔진과 언리얼 엔진 4에서 오큘러스 퀘스트 2의 손 추적기능을 기반으로 사용자가 실제 손을 활용하여 가상환경에서 가상 손의 관절정보에 따른 가상환경 속 객체와 상호작용하는 과정을 보인다.

Figure 5. Examples of hand-based grab processing on Unity Engine and Unreal Engine 4: (a) Wrist and fingertip points in a virtual environment, the distance between each fingertip and wrist is shown on the right. (b) Interaction process with virtual environment according to joint position information of hand in Unity engine (Top: applying a physical inertial script using OculusInteractionSampleRig). (c) Interaction process with virtual environment according to joint position information of hand in Unreal engine 4. (Top: Blueprint Scripting Based on Algorithm 1)

Download Original Figure

유니티 엔진의 경우, 객체 잡기를 위한 상호작용기능(OVRGrabber, OVRGrabbable)을 상속받아 가상 객체 잡기 행동을 구현하는 기본적인 방법 외에도 가상현실 카메라와 상호작용 기능이 포함된 객체(OculusInteractionSampleRig)를 추가로 제공한다. 이는 손과 컨트롤러를 통합 입력 구조를 보다 체계적으로 나눠 기능을 제공하고 있으며 특히, 손을 직접 활용하는 상호작용과 관련하여 상호작용을 위한 인터랙터(HandInteractor)와 함께 손을 활용한 행동 기능(HandPoke(or Grab)Interactor 등), 물리 관성을 위한 스크립트 (StandardVelocityCalculator 등)를 세부적으로 제공하고 있다. 이외에도 상호작용 객체를 위한 속성과 기능 또한 다양하게 제공하여 객체를 놓을 때 물리 관성을 적용하거나 객체를 잡을 때 정교한 손 관절의 위치를 지정할 수 있어 훨씬 더 자연스러운 상호작용 제작이 가능하다.