Article

가상환경에서 수직 운동에 대한 데이터 기반 카메라 조작1

서승원1https://orcid.org/0000-0002-5805-3397, 노성래1https://orcid.org/0000-0003-1976-6762, 이로운1https://orcid.org/0000-0003-1596-5115, 박승준1https://orcid.org/0000-0002-4979-8549, 강형엽1,*https://orcid.org/0000-0001-5292-4342
Seung-Won Seo1https://orcid.org/0000-0002-5805-3397, Seong-Rae Noh1https://orcid.org/0000-0003-1976-6762, Ro-Un Lee1https://orcid.org/0000-0003-1596-5115, Seung-Jun Park1https://orcid.org/0000-0002-4979-8549, Hyeong-Yeop Kang1,*https://orcid.org/0000-0001-5292-4342
Author Information & Copyright
1경희대학교 소프트웨어융합학과
1Dept. of Software Convergence, KyungHee University
*corresponding author: Hyeong-Yeop Kang/KyungHee University(siamiz@khu.ac.kr)

© Copyright 2022 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 18, 2022; Revised: Jun 29, 2022; Accepted: Jul 05, 2022

Published Online: Jul 25, 2022

요약

본 논문에서는 수직이동이 필요한 가상환경을 사용자가 이동할 때, 어떻게 카메라를 조작하는 것이 멀미를 최소화하면서도 몰입감을 극대화할 수 있는지를 조사하는 것이 목표이다. 일반적으로 사용자는 평평한 공간에서 가상현실을 이용하므로, 사용자의 실제 이동과 가상에서의 이동이 달라져 감각 충돌이 일어나게 되고, 이는 가상현실 멀미를 유발할 가능성을 가진다. 그러므로 3가지의 유력한 카메라 조작기법을 제안하고, 이들을 구현한 후, 사용자 실험을 통해 가장 적절한 모델이 어떤 것인지를 제안하고자 한다.

Abstract

In this paper, the goal is to investigate how manipulating the camera can minimize motion sickness and maximize immersion when a user moves in a virtual environment that requires vertical movement. In general, since a user uses virtual reality in a flat space, the actual movement of the user and the virtual movement are different, resulting in sensory conflict, which has the possibility of causing virtual reality motion sickness. Therefore, we propose three powerful camera manipulation techniques, implement them, and then propose which model is most appropriate through user experiments.

Keywords: 가상현실; 이동; 카메라 조작; 가상현실 멀미
Keywords: Virtual Reality; Locomotion; Camera Manipulation; VR Sickness

1. 서론

가상현실은 현실이 아닌 가상의 공간에서 다양한 체험을 할 수 있는 환경을 제공해준다. 초기 가상현실의 경우, 간단한 영상 등을 입체적으로 보는 것이 전부였지만 지금에 와서는 게임 등의 오락을 위한 용도로 널리 쓰일 뿐만 아니라 의료, 교육을 위한 목적으로도 사용되고 있다. 이처럼 현실과 다른 공간 속에서 다양한 활동을 할 수 있다는 것이 가상현실의 장점이다. 그러나 가상현실 멀미로 인해 이러한 기능을 온전히 사용하지 못하는 사용자들이 많다. Virtual Reality (VR) 사용자들이 이러한 멀미를 토로하는 이유는 sensory conflict theory [1] 와 관련이 있다. 멀미는 내이의 전정기관에 과도한 자극이 주어졌을 때 일어나는 질병으로 현실의 몸은 가만히 있으나 가상현실의 사용자는 움직이고 있기 때문에 이러한 현상이 벌어진다. 이는 특히 멀미에 취약한 사람들에게 더욱 크게 나타나는 현상이며 이로 인해 가상현실에 대한 진입장벽이 높은 것이 현 실정이다.

이러한 이유 이외에도 가상현실 사용자들은 시각 정보를 전달해주는 HMD (Head Mounted Display)와 사용자마다 다른 신체적 특성으로 인해 가상현실 멀미를 겪는다. [2] 사람의 FOV (Field Of View)는 보통 200에서 220 정도를 가진다. 그에 반해 HMD의 경우 HTC Vive 기준 110의 FOV를 가지고 있다. 이러한 점 때문에 VR 사용자들은 HMD를 착용했을 때, 갑갑함을 느끼게 된다. 그러나 FOV를 통한 가상현실 멀미에 관한 연구는 실험의 방식에 따라 서로 다른 연구 결과를 보여주고 있다. 이외에도 나이와 성별에 따라 복합적인 결과를 보여준다. 나이가 많을수록 그리고 여성일수록 가상현실 멀미에 취약하다고 한다. [2]

본 논문에서는 VR 사용자가 가상 공간에서 계단을 오르거나 언덕을 오를 때, 현실의 몸은 평지를 걷지만 가상의 몸은 수직으로 높이 변화를 겪는 상황을 주목하였다. 현실의 몸은 높이가 변하지 않지만 가상의 사용자 시점은 높이가 변하므로 앞서 말한 sensory conflict 상황과 일치한다. 때문에 VR 사용자는 단순히 가상의 계단이나 언덕을 오르고 내릴 뿐이지만 심각한 가상현실 멀미를 겪을 확률이 있다.

우리는 가상현실에서 사용될 수 있는 카메라 조작기법 세 가지를 제시하고, 이들 각각이 사용자 가상현실 멀미와 몰입감에 어떤 영향을 주는지를 조사하고자 한다. 첫 번째 방법은 모션 캡처 데이터를 활용한 머리 높이 조작 기법이다. 사용자로 하여금 실제로 수직높이가 변하는 지형을 걷게 하고, 이 때의 사용자의 각 신체 부위의 위치 변화를 기록한다. 이를 기반으로 사용자의 다른 신체 부위의 위치 변화 대비 머리 높이의 변화를 수치화하고 이를 이용하여 사용자의 머리 높이를 변화하는 식을 도출한다. 두 번째 방법은 실측 데이터 대신 가상의 캐릭터가 가상의 지형 위를 오르내리도록 시뮬레이션하고 이때 캐릭터의 각 신체 부위 위치를 기록한 데이터를 활용한다. 마지막 방법은 현실 사용자의 발의 위치와 지형까지의 거리를 이용하여 가상 세계에서의 발의 위치를 결정하고 이를 기반으로 사용자의 머리높이를 계산하는 방법이다. 이렇게 제시된 세 가지의 방법은 가상 멀미를 측정하기 위한 설문인 Simulator Sickness Questionnaire (SSQ) [3] 와 몰입감을 측정하기 위한 Igroup Presence Questionnaires (IPQ) [4] 설문 그리고 직접 정의한 세 가지 요소에 대한 질문은 담은 Subjective Evaluation Questionnaire (SEQ) 설문을 이용한 사용자 실험을 통해 평가된다.

2. 관련 연구

2.1 가상현실 멀미

멀미를 해결하기 위해 많은 연구가 진행되었다. FOV를 동적으로 조절하거나[5] HMD와 사람의 신체 반응의 연관성을 조사하여 상관관계를 파악하기도 하였다. [6] 그러나 이러한 상관관계를 이용해 FOV를 조절하는 방법이 완벽한 해결책이 되지는 않았다. FOV와 몰입감은 Tradeoff 관계로 FOV를 줄이게 되는 순간, 멀미는 줄겠지만 몰입감도 같이 줄어들기 때문이다. 추가로 어떠한 장비를 이용해 걷는지에 따라 사용자가 멀미를 느끼는 정도도 달라진다는 연구도 진행되었다. [7] 해당 연구에서는 일반적인 가상현실 장비뿐만 아니라, Gamepad 및 Leap Motion을 이용해 다양한 방식으로 가상현실 속에서 움직이는 실험을 진행했다.

2.2 가상현실 이동

가상현실 멀미에 관련된 연구 이외에도, 가상현실에서 이동에 관한 연구가 많이 이루어졌다. 좁은 공간 안에서 이루어지는 가상현실의 체험을 가능한 넓은 공간에서 이루어지는 듯하도록 착각을 야기시키는 Redirected Walking이 대표적이다. [8] 이를 통해 VR 사용자는 좁은 실내에서 움직임에도 불구하고 평소보다 더 넓은 공간을 사용하여 가상현실을 즐길 수 있다.

그러나 단순히 착각을 야기해서는 사용자의 인지 능력에 부담을 줄 수 있다. 따라서 사람이 느끼는 Redirected Walking의 한계점을 찾는 연구와 [b] 동시에 두 사람에 대한 Redirected Walking을 적용했을 때 생기는 상호작용의 문제에 대한 연구도[c] 진행되어 왔다.

수평적인 공간에 대한 연구 이외에도 계단이나 오르막 등의 수직적인 공간에서 가상 캐릭터의 움직임에 관한 연구도 진행되고 있다. [11] 이러한 연구는 게임이나 안전 교육 등 현실에서는 접하기 어렵거나 안전상의 이유로 불가능한 환경을 구현할 수 있으며 신체적 어려움을 겪는 사용자도 즐길 수 있다는 점을 이용해 사용자가 많은 경험을 할 수 있도록 만들어준다. [12, 13]

2.3 가상현실 카메라 조작

가상현실에서 카메라는 사람의 시야를 의미한다. 가상현실에서 직접적으로 영향을 미치는 것이 시각인 만큼, 카메라의 조작은 무엇보다 중요하다.

가상현실의 카메라에 대한 연구는 가상현실 시네마틱 카메라에 관해서 진행되었다. [14] 카메라의 높이가 실제 눈 높이와 일치하지 않는 경우와 이를 시청하는 자세에 따라 가상현실 멀미와 사용자 경험에 어떠한 영향을 미치는지에 관한 연구가 진행되었다. [15] 이외에도 VR 사용자가 걸을 때, 카메라에 다양한 방향의 진동 자극을 제공해 어떠한 방식이 VR 사용자들에게 가장 선호되는지에 대한 연구도 진행되었다.

2.4 심층학습

최근 많은 연구는 심층학습을 통해 여러 계층으로 구성된 모델을 만들어 데이터를 학습하여 그동안 풀지 못했던 많은 문제들을 해결하고 있다. [16] 음성 인식, 객체 감지 등의 분류 모델과 이미지, 모션 생성 등의 생성 모델 등으로 유용하게 쓰이고 있다. 이러한 심층학습은 다양한 최적화 알고리즘과 내부 매개변수를 어떻게 연결 지을지에 따라 다양한 모델 이름을 가진 채 불리고 있다.

본 논문에서 사용한 모델은 발과 허리에 달린 Tracker와 HMD의 위치 정보를 이용하며 높이 예측 모델은 세 개의 층으로 이루어진 MLP 구조로 만들어져 있다. 이를 이용해 가상환경에서 수직 운동을 할 때, 데이터 기반 방법을 이용해 자연스러운 카메라 조작을 만들어내는 것이 목적이다.

3. 데이터 수집

본 논문에서는 가상현실에서 높이 변화가 필요한 환경을 걸을 때, 어떻게 카메라 조작을 해야 적은 멀미와 높은 몰입감을 가상현실 사용자에게 제공할 수 있는가에 대한 답을 찾는 것을 목표로 한다. 서론에서 언급한 세 가지의 방법론 중 현실 사용자 신체 위치 데이터와 가상 아바타의 신체 위치 데이터를 이용하는 방법론은 주어진 신체 데이터를 기반으로 머리의 높이를 추론하는 방법론이다. 우리는 이러한 추론에 심층학습 기반 추정 기법을 사용하고자 한다.

현실의 데이터는 VR 장비를 착용하고 계단을 오르면서 모션 캡쳐를 진행하여 얻었다. 이러한 방법은 수집할 수 있는 데이터가 한정적이고, 모집할 수 있는 사용자의 수가 많지 않아 데이터의 수집이 제한적이라는 단점이 있지만 고품질의 실측 데이터를 얻을 수 있다는 장점을 가진다. 한편, 가상 캐릭터의 데이터는 캐릭터가 다양한 지형을 걸어 다니도록 시뮬레이션하고 이때 해당 캐릭터의 각 신체 부위 데이터를 추적하여 기록하는 방법을 사용하였다. 실제 사람을 이용해 데이터를 획득하는 것이 아니기 때문에 캐릭터의 크기를 동적으로 조절하는 것이 가능하며, 다양한 종류의 환경을 구현하는 것이 가능하다. 그러나 현실의 사람이 모션 캡쳐를 진행하는 것이 아니기 때문에 올바른 형태의 데이터를 모았다고 할 수 없는 단점이 있다. 이러한 장단점이 서로 다르기 때문에 두 가지 방법을 모두 사용하여 데이터를 획득했고 이를 실험에 사용했다.

3.1 현실 데이터 수집

현실에서 데이터 수집은 발과 허리에 Tracker를 장착하고 머리에 HMD를 씀으로써 이루어졌다. 수집하는 데이터는 각 Tracker와 HMD의 위치 정보다. 이전 10프레임 동안 양쪽 발의 Tracker가 가진 높이 데이터는 모델의 입력으로 사용되었고, 현재 허리 Tracker와 HMD의 높이 데이터는 모델의 출력으로 사용되었다. 허리 Tracker의 높이 데이터를 입력이 아닌 출력으로 사용한 이유는 실제 계단을 오를 때, 허리와 머리의 높이 변화가 유사하기 때문이다. [17]

사용한 HMD는 VIVE Cosmos Elite이며 두 개의 VIVE Controller와 세 개의 VIVE Tracker를 이용했다. 두 개의 Controller는 각각 손에 들었고 하나의 Tracker는 허리에 착용했다. 나머지 두 개의 Tracker는 각각 발에 달았다. Figure 1-a는 장비를 착용한 모습이다.

jkcgs-28-3-13-g1
Figure 1. (a) Track the position of the head, waist, hands and feet using VIVE equipment. (b) Stairs were installed to create sa vertical topography.
Download Original Figure

데이터 수집을 위한 환경은 가로, 세로 4m로 이루어진 정사각형의 공간에서 진행되었고 가운데 3칸으로 이루어진 계단을 두었다. 계단은 높이 12cm, 너비 30cm로 이루어져 있으며 Figure 1-b는 촬영 장소의 모습이다. 데이터 수집을 하게 되면, 이전 10프레임 동안 양쪽 발 Tracker의 높이 데이터와 현재 허리 Tracker와 HMD의 높이 데이터가 기록되었다. 데이터 수집은 10분 동안 이루어졌다. Figure 2는 모델의 구조다.

jkcgs-28-3-13-g2
Figure 2. Neural network architecture for real data which corrected by real human. The positions of both feet are used as inputs and the positions of the waist and head are used as outputs
Download Original Figure
3.2 가상 데이터 수집

가상 데이터 수집은 유니티 엔진을 이용해 진행했다. 유니티 엔진의 지형 에디터 기능을 이용해 서로 다른 높이를 가진 언덕을 만들어 다양한 환경을 구성했다. 캐릭터는 유니티 에셋 스토어에서 구할 수 있는 Homebrew Foot IK에서 제공하는 것을 사용했다. Figure 3는 해당 환경과 캐릭터의 모습이다. 또한 이곳에서 제공하는 Foot IK를 적용하여 지형에 맞는 발동작을 만들어내도록 했다. 이를 통해 캐릭터는 다양한 지형에서 그에 맞게 발과 다리의 각도를 조절하며 가능한 다양한 데이터를 수집할 수 있다. 추가적으로 다양한 신체를 가진 캐릭터를 만들기 위해 해당 캐릭터의 몸을 5초 간격으로 스케일링 하도록 하였다. 무작위 스케일링을 위해 Gaussian random variable을 이용했고 높이 스케일링은 평균 170cm, 표준편차 5를 이용해 랜덤으로 바뀌게 했다. 너비 스케일링은 유니티의 오브젝트 스케일링 기준으로 평균 1.25, 표준편차 0.125를 이용해 랜덤으로 바뀌게 했다.

jkcgs-28-3-13-g3
Figure 3. Virtual characters collect data while walking on Unity-produced terrain.
Download Original Figure

현실에서 데이터 수집과 마찬가지로 이전 10프레임 동안 양쪽 발의 높이 데이터를 수집해 모델의 입력으로 사용했고 현재 허리와 머리의 높이 데이터를 수집해 모델의 출력으로 사용했다. 그러나 동적으로 변하는 스케일 때문에 단순히 양쪽 발의 높이 데이터만 입력으로 사용하면 오차 값이 커졌다. 따라서 양쪽 발 사이의 거리 데이터와 신장 데이터를 추가해 이를 보완했다. 모델의 구조는 Figure 3과 동일하며 입력으로 주어지는 매개변수의 종류에 양쪽 발 사이의 거리와 신장이 추가로 주어진다.

4. 학습

앞서 현실과 가상, 두 가지 상황에서 데이터를 수집했다. 학습 또한 각각의 데이터에 맞게 두 개로 나눠서 진행했다. 첫 번째 학습은 3.1절에서 구한 현실의 데이터를 이용했고 두 번째 학습은 3.2절에서 구한 가상의 데이터를 이용했다. 학습이 끝난 이후에는 각 모델의 테스트 데이터와 예측 값을 비교해 오차율을 구해 성능을 확인했다.

4.1 현실 데이터를 이용한 학습

현실 데이터를 이용한 학습에서 사용하는 신체 부위의 종류는 왼발, 오른발, 허리와 머리의 위치 정보다. X1 = (l, r, w, h). 매 프레임 i번째 마다 이전 10프레임까지의 왼발과 오른발의 높이 Hl[i], Hr[i] 그리고 i번째 프레임의 허리와 머리의 높이 Hw[i], Hh[i]가 각각 입력과 출력으로 주어진다.

모델은 세 개의 계층으로 W = {w0 = 20 * 128, w1 = 128 * 128, w2 = 128 * 2} 이루어진 MLP 구조를 가지고 있다. 또한 활성함수로는 Exponential Rectified Linear Function (ELU Function)을 [15] 사용했고 손실 함수로는 Mean Squared Error Loss (MSE Loss)를 사용했다. 최적화 알고리즘으로는 Stochastic Gradient Descent (SGD)의 변형인 Adam[18]을 이용했다. 학습은 주어진 데이터의 90%를 이용했고 무작위로 섞어 과적합을 방지했다. 테스트는 주어진 데이터의 10%를 이용했다. 학습 데이터를 이용해 예측을 한 결과, 테스트 데이터와의 오차는 머리가 0.86cm, 허리가 0.25cm였다.

4.2 가상 데이터를 이용한 학습

현실 데이터를 이용한 학습에서 사용하는 신체 부위의 종류는 왼발, 오른발, 허리와 머리인 X1 = (l, r, w, h)이다. 추가적으로 동적으로 변하는 신장에 대처하기 위해, 양쪽 발 사이의 거리와 신장 X2 = (fd, mh)가 주어진다. 매 프레임 i번째 마다 이전 10프레임까지의 왼발과 오른발의 높이 Hl[i], Hr[i] 그리고 양쪽 발 사이의 거리 fd[i], 신장 mh가 입력으로 주어진다. i번째 프레임의 허리와 머리의 높이 Hw[i], Hh[i]는 출력으로 주어진다.

모델은 세 개의 계층으로 W = {w0 = 31 * 128, w1 = 128 * 128, w2 = 128 * 2} 이루어진 MLP 구조를 가지고 있다. 또한 활성함수로는 ELU function을 [17] 사용했고 손실 함수로는 MSE Loss를 사용했다. 최적화 알고리즘으로는 SGD의 변형인 Adam[18]을 이용했다. 학습은 주어진 데이터의 90%를 이용했다. 테스트는 주어진 데이터의 10%를 이용했고 무작위로 섞을 필요가 없기에 그대로 진행했다. 학습 데이터를 이용해 예측을 한 결과, 테스트 데이터와의 오차는 머리가 0.88cm, 허리가 0.91cm였다.

4.3 두 가지 학습 비교

현실과 가상이라는 두 가지 공간으로부터 획득한 데이터를 이용해 각각 학습을 진행했고 테스트 결과를 확인했다. 테스트는 각 학습에서 사용되지 않은 10%의 데이터를 Ground Truth로 이용했다. 또한 각 학습의 비교를 위해 테스트 결과의 오차율을 이용했다.

현실에서 획득한 데이터를 이용한 예측은 가상에서 획득한 데이터를 이용한 예측에 비해 허리의 위치는 63.6% 더 나은 예측 결과를 보여줬고 머리의 위치는 근소하지만 더 나은 예측 결과를 보여줬다. 이를 통해 현실에서 직접 측정한 모션 데이터가 가상의 캐릭터를 이용해 측정한 데이터에 비해 조금 더 정확히 예측하는 모습을 보여줌을 알 수 있다. 또한 사용자 실험을 할 때, 현실에서 직접 측정한 모션 데이터가 조금 더 나은 사용자 경험을 제공하리라는 점을 예측할 수 있었다.

5. 사용자 실험

가상현실 멀미는 모델의 예측을 이용한 비교 이외에도 사용자의 경험을 토대로 분석을 할 필요가 있었다. 따라서 사용자 실험을 통해 어떠한 방식으로 데이터를 획득해 학습을 진행하는 것이 멀미가 적고 자연스러운 카메라 조작이 가능한지 확인하고자 했다.

실험 환경은 Figure 4와 같다. 실험 참가자는 Figure 4-(a)에 나와 있는 가상의 공간을 걸어 다니게 된다. 가상의 공간은 평지로 이루어진 현실과 달리 계단으로 이루어져 있다. 현실은 Figure 4-(b)와 같이 평지로 이루어져 있다.

jkcgs-28-3-13-g4
Figure 4. (a) It is a virtual environment in which participants will walk. (b) In reality, participation in the experiment proceeds with VR equipment.
Download Original Figure
5.1 참가자

7명의 서로 다른 신장을 가진 실험 참가자를 대상으로 실험을 진행했다. 실험 참가자들의 평균 신장과 표준편차는 각각 170cm와 9.67이다. 그리고 이들의 나이는 평균 21.8, 표준편차 1.12이다. 또한 7명의 참가자 중 1명을 제외한 모든 참가자들에게는 VR 경험이 있었으며 5명은 남성 참가자였고 2명은 여성 참가자였다. 실험을 진행하기 전에 참가자들에게 실험 방법에 대해 설명을 하고 진행했다.

5.2 실험 진행

실험은 총 세 번에 걸쳐서 진행됐다. Test 1은 현실 데이터를 이용해 만든 방법론을 이용했고 Test 2은 가상 데이터를 이용해 만든 방법론을 이용했다. Test 3는 상대적으로 아래에 위치한 발의 높이 데이터를 기준으로 움직이도록 만든 방법론을 이용했다. 이는 Table 1에 추가적으로 설명되어 있다. 참가자는 주어진 경로를 따라 높이가 다른 지형을 걷게 된다. 지형은 여러 개의 계단으로 이루어져 있고 실험 참자가에게 지형 위를 걷게 하여 어떤 방법이 가상현실 멀미를 덜 유발하는지에 관해 설문을 진행했다. 이를 위해 SSQ설문을 이용해 신뢰할 수 있는 결과를 도출하고자 했다. SSQ는 16개의 항목으로 구성된 설문지이며 가상현실 멀미에 대해 분석하는 데 도움을 준다. 실험 참가자는 각각의 질문에 대해 7가지 척도로 평가함으로써 설문을 진행했다. 또한 실험 참가자의 기존 상태로부터 얼마나 변화했는지를 확인하기 위해 실험 전과 후, 두 차례에 걸쳐 설문을 진행했다. 그리고 실험 전과 후의 변화량을 이용하여 4가지 항목 (Nauseam, Oculomotor, Disorientation, Total)에 대해 각각을 나눠서 계산했다. 이때, 각 항목에 대한 가중치 (Nauseam: 9.54, Oculomotor: 7.58, Disorientation: 13.92, Total: 3.74)를 곱하여 통계를 냈다.

Table 1: Three types of test conditions in the application test
Test
Test 1 Models learned based on data collected from motion capture in real life
Test 2 Models learned based on data collected through virtual characters rather than real people
Test 3 Algorithm for adjusting the height of the camera based on the height of the foot below the left or right foot
Download Excel Table

추가로 각 방법에 따른 몰입감을 확인하기 위해 IPQ 설문과 SEQ 설문을 진행했다. IPQ 설문은 14개의 항목으로 구분되어 있으며 각각의 항목은 7가지 척도로 평가된다. 1에 가까울수록 동의하지 않음을 의미하고 7에 가까울수록 동의함을 의미한다. 그리고 4가지 항목 (G, SP, INV, REAL)에 대해 각각을 나눠서 계산했다. 설문의 척도와 평가 방식은 SEQ 설문도 동일하다. SEQ 설문의 각 항목은 Table 2에 나와있는 내용으로 진행했으며 실제 어플리케이션 등에 적용했을 경우에 관한 질문을 주로 했다. 실험 참가자는 각 실험을 시작하기 전에 실험 전 SSQ 설문을 진행했고 실험을 마칠 때마다 실험 후 SSQ 설문과 IPQ, SEQ 설문을 진행했다.

Table 2: Subjective evaluation questionnaire
Category Question
Immersion Do you think you can create a more immersive game if you combine it with the game?
Interest Do you think you can make a more fun game if you combine it with the game??
Natural Do you think the camera operation is natural?
Download Excel Table
5.3 실험 결과

Figure 5는 SSQ 설문에 대한 응답을 표로 나타낸 것이다. SSQ 설문에 대한 분석을 위해 Shapiro-Wilk test와 Kolmogorov-Smirnov test를 진행했다. 그러나 모든 항목에 대한 점수가 정규 분포를 띄지는 않았다. 따라서 Freidman test를 진행하였고 그럼에도 유의미한 차이를 찾을 수 없었다. Nausea (X2 = 1.5, p-value = 0.4724), Oculomotor (X2 = 1.5, p-value = 0.4724), Disorientation (X2 = 2.7857, p-value = 0.2484), TOTAL (X2 = 2, p-value = 0.36788). 추가적으로 Wilcoxon Signed-Rank test를 진행하였으나 마찬가지로 유의미한 차이를 찾을 수는 없었다.

jkcgs-28-3-13-g5
Figure 5. SSQ results in the application test. Every question was answered on a 7-point Likert scale (1: strongly disagree, 7: strongly agree). The amount of change in the previous questionnaire and the subsequent questionnaire was used as the value of each element. Also multiplied the weights of the SSQ questionnaire by each element. The graph plots the median (-), interquartile ranges, and maximum / minimum values (whiskers).
Download Original Figure

Figure 6은 IPQ 설문에 대한 응답을 표로 나타낸 것이다. IPQ 설문에 대한 분석을 위해 Shapiro-Wilk test와 Kolmogorov-Smirnov test를 진행했다. 그러나 모든 항목에 대한 점수가 정규 분포를 띄지는 않았다. 따라서 Freidman test를 진행하였고 INV 항목에 대해서만 유의미한 차이를 찾을 수 있었다. G (X2 = 1.3571, p-value = 0.5073), SP (X2 = 1.3571, p-value = 0.5073), INV (X2 = 6.9286, p-value < 0.05), REAL (X2 = 0.8571, p-value = 0.6514). 추가적으로 Bonferroni correction을 적용한 Wilcoxon Signed-Rank test를 진행하였고 Test 1과 Test 3에 대한 INV 항목에 대해서만 유의미한 차이를 찾을 수 있었다. INV 항목에 대한 Test 1과 Test3 (Z = 2.3412, p-value < 0.0167).

jkcgs-28-3-13-g6
Figure 6. IPQ results in the application test. Every question was answered on a 7-point Likert scale (1: strongly disagree, 7: strongly agree). The graph plots the median (-), interquartile ranges, and maximum / minimum values (whiskers). The square brackets indicate significant differences(* p < 0.0167)
Download Original Figure

Figure 7은 SEQ 설문에 대한 응답을 표로 나타낸 것이다. SEQ 설문에 대한 분석을 진행하기 위해 Shapiro-Wilk test와 Kolmogorov-Smirnov test를 진행했다. 그러나 모든 항목에 대한 점수가 정규 분포를 띄지는 않았다. 따라서 Freidman test를 진행하였고 그럼에도 유의미한 차이를 찾을 수 없었다. Immersion (X2 = 0.8571, p-value = 0.6514), Interest (X2 = 0.9286, p-value = 0.6286), Natural (X2 = 0.6429, p-value = 0.7251). 추가적으로 Wilcoxon Signed-Rank test를 진행하였으나 마찬가지로 유의미한 차이를 찾을 수는 없었다.

jkcgs-28-3-13-g7
Figure 7. SEQ results in the application test. Every question was answered on a 7-point Likert scale (1: strongly disagree, 7: strongly agree). The graph plots the median (-), interquartile ranges, and maximum / minimum values (whiskers).
Download Original Figure
5.4 실험 결과 분석

앞서 본 논문에서는 데이터 기반 방법을 통해 적은 멀미와 높은 몰입감을 유도할 수 있을 것이라 이야기했다. 그러나 실험의 결과는 이와 상이했다. SSQ와 IPQ 설문을 통해 Test 3의 멀미 유도가 가장 적었으며 높은 몰입감을 실험 참가자들이 느꼈음을 알 수 있었다. 이는 Test 3의 카메라 조작의 방향이 양쪽 발 중 낮은 발의 위치에 따라 일괄적인 방향으로 조작되기 때문이라 생각된다. 그에 반해 Test 1과 Test 2는 수직적인 움직임을 취할 때마다 카메라가 위아래로 진동하는 조작이 들어갔기 때문에 실험 참가자들이 비교적 높은 멀미와 낮은 몰입감을 느낀 것이라 추측된다.

또한 사용자 실험 전 오차율을 계산했을 때는 Test 1이 Test 2보다 가상현실 멀미를 적게 유발할 것이라 예측했지만 실제 사용자 실험에서는 Test 1에 비해 Test 2의 SSQ 설문의 결과가 비교적 더 낮게 측정되었다는 점이다. 앞서 Test 1의 데이터 획득 방식으로 인해 Test 1이 더 적은 가상현실 멀미를 유발할 것이라 예상했으나 결과는 Test 2가 더 적은 가상현실 멀미를 유발했다. 이러한 결과를 통해 실험 참가자들은 더 다양한 신장과 지형을 통해 데이터를 획득한 Test 2의 방법에 조금 덜 민감하게 반응했다는 사실을 예측할 수 있다.

6. 결론

본 논문에서는 MLP 구조로 이루어진 네트워크를 이용해 카메라의 높이를 조작하는 모델을 제작했다. 이러한 데이터 기반 방법이 적은 멀미와 높은 몰입감을 유도하리라 생각했으나 여전히 사용자들이 느끼기에는 완전하지 않은 듯하다고 생각한다. 앞으로 더 많은 데이터를 모으고 가능한 적은 조작을 카메라에 가한다면 더 나은 사용자 경험을 불러일으킬 수 있는 모델을 만들 수 있을 것이라 생각한다. 향후, 다양한 신장을 가진 사람과 다양한 지형을 통해 더 나은 카메라 조작 모델로 개선해 나갈 계획이다.

Notes

1 "학부생 주저자 논문임"

감사의 글

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 SW중심대학 사업(2017-0-00093)과 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구 (NRF-2020R1F1A1076528) 사업으로 수행됨.

References

[1].

Oman, Charles M. "Motion sickness: a synthesis and evaluation of the sensory conflict theory." Canadian journal of physiology and pharmacology, vol. 68, no.2, pp. 294-303, 1990.

[2].

Chang, Eunhee, Hyun Taek Kim, and Byounghyun Yoo. "Virtual reality sickness: a review of causes and measurements." International Journal of Human–Computer Interaction, vol. 36, no. 17, pp. 1658-1682, 2020.

[3].

Kennedy, Robert S., et al. "Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness." The international journal of aviation psychology, vol. 3, no. 3, pp 203-220, 1993.

[4].

Schubert, Thomas, Frank Friedmann, and Holger Regenbrecht. "The experience of presence: Factor analytic insights." Presence: Teleoperators & Virtual Environments, vol. 10, no. 3, pp. 266-281, 2001.

[5].

Fernandes, Ajoy S., and Steven K. Feiner. "Combating VR sickness through subtle dynamic field-of-view modification." 2016 IEEE symposium on 3D user interfaces (3DUI). IEEE, 2016.

[6].

Geršak, Gregor, Huimin Lu, and Jože Guna. "Effect of VR technology matureness on VR sickness." Multimedia Tools and Applications, vol. 79, no. 21, pp. 14491-14507, 2020.

[7].

Lee, Jiwon, Mingyu Kim, and Jinmo Kim. "A study on immersion and VR sickness in walking interaction for immersive virtual reality applications." Symmetry, vol. 9, no. 5, pp. 78, 2017.

[8].

Razzaque, Sharif, et al. "Redirected walking in place." EGVE, vol. 2, 2002.

[9].

Cho, Yong-Hun, et al. "Walking outside the box: Estimation of detection thresholds for non-forward steps." 2021 IEEE Virtual Reality and 3D User Interfaces (VR), pp. 448-454, 2021.

[10].

Min, Dae-Hong, et al. "Shaking hands in virtual space: Recovery in redirected walking for direct interaction between two users." 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp. 164-173, 2020.

[11].

Seo, MinYeong, and HyeongYeop Kang. "Toward virtual stair walking." The Visual Computer, vol. 37, no. 9, pp. 2783-2795, 2021.

[12].

Sacks, Rafael, Amotz Perlman, and Ronen Barak. "Construction safety training using immersive virtual reality." Construction Management and Economics, vol. 31, no. 9, pp. 1005-1017, 2013.

[13].

Weiss, Patrice L., Pnina Bialik, and Rachel Kizony. "Virtual reality provides leisure time opportunities for young adults with physical and intellectual disabilities." CyberPsychology & Behavior, vol. 6, no. 3, pp. 335-342, 2003.

[14].

Rothe, Sylvia, Boris Kegeles, and Heinrich Hussmann. "Camera heights in cinematic virtual reality: How viewers perceive mismatches between camera and eye height." Proceedings of the 2019 acm international conference on interactive experiences for tv and online video. 2019.

[15].

Lécuyer, Anatole, et al. "Camera motions improve the sensation of walking in virtual environments." IEEE virtual reality conference (VR 2006). IEEE, 2006.

[16].

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature, vol. 521, no. 7553, pp. 436-444, 2015.

[17].

Clevert, Djork-Arné, Thomas Unterthiner, and Sepp Hochreiter. "Fast and accurate deep network learning by exponential linear units (elus)." arXiv preprint arXiv:1511.07289, 2015.

[18].

Kingma, Diederik P., and Jimmy Ba. "Adam: A method for stochastic optimization." arXiv preprint arXiv:1412.6980, 2014.

<저자소개>

서 승 원

jkcgs-28-3-13-g8

  • 2020년 경희대학교 소프트웨어융합학과 입학

  • 2022년 현재 경희대학교 재학

  • 관심 분야: 캐릭터 애니메이션, 머신 러닝, 가상/증강 현실

노 성 래

jkcgs-28-3-13-g9

  • 2020년 경희대학교 소프트웨어융합학과 입학

  • 2022년 현재 경희대학교 재학

  • 관심 분야: 머신 러닝, 가상/증강현실, 게임 공학, 그래픽스

이 로 운

jkcgs-28-3-13-g10

  • 2019년 경희대학교 소프트웨어융합학과 입학

  • 2022년 현재 경희대학교 재학

  • 관심분야: 캐릭터 애니메이션, 머신 러닝, 가상/증강 현실

박 승 준

jkcgs-28-3-13-g11

  • 2020년 경희대학교 소프트웨어융합학과 입학

  • 2022년 현재 경희대학교 재학

  • 관심분야: 캐릭터 애니메이션, 가상/증강 현실, 시뮬레이션

강 형 엽

jkcgs-28-3-13-g12

  • 2012 고려대학교 컴퓨터·통신공학부 학사

  • 2014 고려대학교 컴퓨터학과 석사

  • 2017 고려대학교 컴퓨터학과 박사

  • 2017 ~ 2018 고려대학교 컴퓨터학과 연구 교수

  • 2018 ~ 2019 고려대학교 차세대가상증강현실연구소 연구 교수

  • 2019 ~ 2020 강원대학교 소프트웨어미디어·산업공학부 조교수

  • 2020 ~ 현재 경희대학교 소프트웨어융합학과 조교수

  • 관심 분야: Extended Reality, Mixed Reality, Augmented Reality, Virtual Reality, Human-computer Interaction, Computer Graphics, Holography