Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

FOV Restrictor 를 활용한 가상 멀미 저감 요소 기술 연구

김창섭1https://orcid.org/0000-0002-0358-1547, 김소연2https://orcid.org/0000-0002-3219-9654, 김광욱1,*https://orcid.org/0000-0002-4184-2058
Chang-seop Kim1https://orcid.org/0000-0002-0358-1547, So-Yeon Kim2https://orcid.org/0000-0002-3219-9654, Kwanguk Kim1,*https://orcid.org/0000-0002-4184-2058
1한양대학교 컴퓨터•소프트웨어학과
2덕성여자대학교 심리학과
1Dept. of Computer Science, Hanyang University
2Dept. of Psychology, Duksung University
*corresponding author:Kwanguk Kim/Hanyang University(kenny@hanyang.ac.kr)

© Copyright 2018 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 23, 2018 ; Revised: Jun 29, 2018 ; Accepted: Jul 04, 2018

Published Online: Jul 10, 2018

요 약

가상 멀미는 가상 현실의 대표적 부작용 중 하나로 다양한 요소에 의해 영향을 받는다. Field of view (FOV)는 그 중 대표적인 요소 중 하나로, FOV가 줄어들면 가상 멀미는 줄일 수 있으나 임장감 또한 낮아지는 것으로 알려져 왔다. 최근 연구에 따르면 임장감을 유지하면서 가상 멀미를 줄이기 위해 Dynamic FOV Restrictor (Center-fixed FOV Restrictor)가 제안되었으며, 아바타의 속도와 각속도를 반영하여 동적으로 FOV를 제한하였다. 본 연구 그룹에서는 여기에 머리의 회전과 눈의 움직임을 더하여 Eye-tracking Based Dynamic FOV Restrictor (Eye-tracking FOV Restrictor)를 제안하였다. 본 연구는 FOV Restrictor가 없는 조건과, Center-fixed FOV Restrictor조건, Eye-tracking FOV Restrictor조건의 가상 멀미와 임장감을 연구하였다. 본 연 구 결과에 따르면 Center-fixed FOV Restrictor조건의 가상 멀미가 다른 두 조건의 가상 멀미 보다 낮은 것을 확인하였고, 세 조건에서 임장감에 차이가 없는 것을 확인하였다. 이러한 가상 멀미 저감 요소 기술에 대한 해석과 한계에 대하여 본 논문에서 논의하였다.

Abstract

Simulator sickness is one of the important side effect of virtual reality. Simulator sickness is influenced by various factors, andfield of view (FOV) is one of them. The FOV is a viewing angle limited by the screen, and when the FOV is reduced, the simulatorsickness is reduced, and the presence is lowered. Previous study developed a Dynamic FOV Restrictor (Center-fixed FOV Restrictor)to reduce simulator sickness while maintaining presence. It is a method that limits the FOV dynamically by reflecting the speed andangular velocity of the avatar. We also developed Eye-tracking Based Dynamic FOV Restrictor (Eye-tracking FOV Restrictor) byadding head rotations and eye movements. This study attempts to compare the simulator sickness and the presence of the No FOVRestrictor condition, the Center-fixed FOV Restrictor condition, and the Eye-tracking FOV Restrictor condition. The results showedthat the simulator sickness of the Center-fixed FOV Restrictor condition is significantly lower than other two conditions. The resultsalso showed that there were no significant differences in presence in three conditions. The interpretations and limitations of this studyare discussed in this paper.

Keywords: 가상 현실; 가상 멀미; 시야각; 사용자 요소; 눈 추적; 머리 추적
Keywords: Virtual Reality; Simulator Sickness; Field of View; Human Factor; Eye-tracking; Head-tracking

1. 서론

가상 현실(Virtual Reality; VR)과 머리 부착형 디스플레이(Head-mounted Display; HMD)는 지난 몇 년 동안 거대한 시장을 형성하고, 가격을 낮추어 대중에 다가가고 있다. 하지만 여전히 가상 현실은 몇 가지 부작용을 가지고 있어, 시장의 확장과 대중화에 어려움을 겪고 있다. 가상 멀미는 이러한 가상 현실의 부작용 중 하나로, 가상 현실을 체험할 때 일어나는 실생활의 멀미와 비슷한 증상이다[1]. 가상 멀미는 두통, 구토감, 메스꺼움, 땀흘림, 어지러움, 방향 감각 상실 등의 증상을 포함한다[2].

실생활의 멀미는 시각기관과 전정기관이 받아들이는 정보의 상충으로 인해 발생하는데[3], 가상 멀미는 해당 요소와 함께 여러가지 요소의 영향을 받는다. Kennedy et al.은 가상공간에서의 고도가 가상 멀미에 영향을 미침을 보였고[4], Fowlkes et al.은 가상 공간에서의 노출 시간이 길어질수록 가상 멀미가 증가함을 보였다[5]. Regan은 머리의 움직임이 많을수록 가상 멀미가 높아짐을 보였고[6], Pausch et al.은 디스플레이의 프레임율, 깜빡임과 같은 하드웨어 요소가 가상 멀미에 영향을 줌을 보였다[7]. HMD의 무게와 알맞은 조임 정도와 같은 주변 환경 요소도 가상 멀미에 영향을 미친다[8]. 이러한 요소들과 함께 가상 현실의 시야각(Field of View; FOV) 은 가상 멀미에 영향을 주는 핵심적 요소 중 하나로 알려져 왔다[9, 10].

FOV는 관측 가능한 디스플레이의 수평, 수직 각도로 정의된다[7]. 가상 현실에서 FOV는 HMD에 제한된 시야각 혹은 프로그램의 화면에 의해 제한된 시야각을 의미한다. 기존 연구에 따르면 FOV를 줄이는 것이 가상 멀미를 줄일 수 있으므로[9, 10], FOV를 조절하는 것은 가상 멀미를 다루는 방법 중 하나로 여겨진다. DiZio와 Lackner는 FOV를 줄이는 것이 하드웨어 지연 시간의 가상 멀미 효과를 줄일 수 있음을 밝혔고[9], Maxwell은 넓은 FOV가 디스플레이의 깜빡임을 더 많이 느끼게 하여, 가상 멀미를 더 많이 느끼게 함을 밝혔다[10]. 하지만, FOV는 가상 멀미 외에도 피험자가 느끼는 임장감(Presence)에 영향을 미친다[11]. 임장감은 가상 현실에 있는 느낌(Being in there)으로 가상 환경에서 피험자가 얻는 주관적 경험이다. 기존 연구에 따르면 FOV가 줄어들면 가상 멀미를 줄일 수 있지만, 임장감도 낮아지는 것으로 알려졌다[11, 12].

Fernandes와 Feiner는 가상 멀미를 줄이면서 임장감을 유지하기 위해 Dynamic FOV Restrictor를 개발하였는데[13], 이것은 가상공간에 있는 아바타의 속도와 각속도를 측정하고, 측정한 정보를 바탕으로 사용자의 FOV를 제한하는 방법이다. 만약 가상공간에서 움직이는 속도가 빠르고 각속도가 크다면 FOV가 좁아지고, 가상공간에서 움직이는 속도가 느리고 각속도가 작다면 FOV가 넓어진다. Fernandes와 Feiner는 30명을 대상으로 길 찾기 과제(Navigation Task)를 실험하였으며, Dynamic FOV Restrictor가 임장감을 해치지 않으면서, 불편함의 정도를 나타내는 Discomfort score를 유의미하게 낮춤을 확인하였다[13]. 하지만 가상 멀미를 측정하기 위해 일반적으로 사용되는 Fast Motion Sickness Scale (FMS)[14] 등의 방법을 사용하지 않은 한계가 있다.

Kim et al.은 Dynamic FOV Restrictor를 발전시켜 Eye-tracking Based Dynamic FOV Restrictor를 개발하였다[15]. Dynamic FOV Restrictor는 사용자의 실제 움직임과는 무관하게, 가상 공간에서의 아바타의 움직임만 반영하였고, 화면의 중앙을 기준으로 FOV를 제한하였다. 반면 Eye-tracking Based Dynamic FOV Restrictor는 가상 멀미를 겪는 사용자의 개인차가 심함에 착안하여 사용자 요소(눈과 머리 움직임)를 반영하였다. 또, HMD 안에서 사용자가 시선을 이동하더라도, FOV Restrictor가 시야를 필요 이상으로 많이 가리지 않도록 하였다. Eye-tracking Based Dynamic FOV Restrictor는 피험자의 머리 움직임을 반영하고, Figure 1과 같이 시선의 중심(Eye-tracking Point)을 기준으로 FOV를 제한하였다. 하지만 예비연구만을 진행하였기 때문에 가상 멀미를 줄이는 효과를 명확히 알아보지 못하였다[15].

jkcgs-24-3-49-g1
Figure 1. Three FOV Restrictor Conditions: No FOV Restrictor, Center-fixed FOV Restrictor, Eye-tracking FOV Restrictor. Note: FOV, Field of View; HMD, Head mounted display.
Download Original Figure

가상 멀미를 측정하기 위해서 기존연구에서는 일반적으로 Fast Motion Sickness Scale (FMS)[14]과 Simulator Sickness Questionnaire (SSQ)[16]가 사용된다. Shahal et al.은 가상환경의 밝기와 대조와 같은 시각적 요소들이 가상 멀미에 미치는 영향을 알아보기 위하여 FMS와 SSQ를 사용하였고[17], D’Amour et al.은 가상 현실을 체험할 때 바람을 불어주거나 앉은 자리에 진동을 주는 것이 가상 멀미에 미치는 영향을 알아보기 위하여 FMS와 SSQ를 사용하였다[18]. 반면 임장감을 측정하기 위해서 기존 연구에서는 일반적으로 Presence Questionnaire (PQ)[11]가 사용된다. Llorach et al.은 가상 현실에서 컨트롤 방법에 따른 임장감을 측정하기 위해 PQ를 사용하였고[19], Jerome 과 Witmer는 사용자의 몰입 경향에 따른 임장감을 측정하기 위해 PQ를 사용하였다[20].

본 논문에서는 Dynamic FOV Restrictor와 Eye-tracking Based Dynamic FOV Restrictor를 의미적으로 명확히 구분하기 위해서 FOV Restrictor의 중심이 화면 중앙에 고정된 Dynamic FOV Restrictor를 Center-fixed FOV Restrictor로 부르고, FOV Restrictor의 중심이 시선의 중심을 따르는 Eye-tracking Based Dynamic FOV Restrictor를 Eye-tracking FOV Restrictor로 부르려고 한다. 그리고 FOV Restrictor를 사용하지 않는 조건(No FOV Restrictor)과 Center-fixed FOV Restrictor 조건, Eye-tracking FOV Restrictor 조건의 가상 멀미를 비교하고, 이로 인한 임장감 변화를 비교하려고 한다.

본 연구의 가설은 다음과 같다.(1) Center-fixed FOV Restrictor 조건과 Eye-tracking FOV Restrictor 조건의 가상 멀미는 No FOV Restrictor 조건의 가상 멀미 보다 적을 것이다. (2) Center-fixed FOV Restrictor 조건과 Eye-tracking FOV Restrictor 조건에서의 임장감은 No FOV Restrictor 조건의 임장감과 차이가 존재하지 않을 것이다.

2. 실험 방법

2.1 참가자

본 연구의 참가자는 대학교 기관 연구 윤리 위원회 (Institutional Review Board; IRB)의 승인을 받아 모집되었으며, 총 18명의 피험자가 참가하였다(44.4% 여성; N = 8). 참가자의 평균 나이는 25.05세(SD = 2.65)이며, 모든 피험자는 SCL-90-R (Symptom Checklist-90-Revised) [21]를 통해 특이 정신 질환이 없음을 확인하였다. 피험자들은 서로 다른 날 세번 참가하였으며, 날짜 간격은 평균 3.5일(SD=3.67)이었다. 피험자들 중 안경을 착용한 피험자는 1명(5.5%)이었고, 렌즈를 착용한 피험자는 3명(16.7%)이었으며, 14명(77.8%)의 피험자들은 안경이나 렌즈를 착용하지 않았다.

2.2 하드웨어 및 소프트웨어

본 연구에서는 사용자가 가상환경을 체험할 수 있도록 110° 시야각을 가진 Oculus rift CV1 HMD (Oculus)를 사용하였으며, 사용자의 눈의 움직임을 측정하기 위하여 Tobii Pro Glasses 2 Eye-tracker (Tobii Technology)를 사용하였다. Eye-tracker는 HMD에 부착하여 사용하였으며, 가상환경에서 아바타를 조작하기 위해 Xbox one 컨트롤러 (Microsoft)를 사용하였다. 실험은 윈도우 10 운영체제를 포함한 High-end Graphic Card (Nvidia Geforce 1060)를 장착한 데스크톱 PC에서 수행되었다. 가상환경과 FOV Restrictor는 Unity3D (Unity Technologies)로 구현되었다.

2.3 가상 현실 실험 조건

본 연구를 위해 No FOV Restrictor 조건과, Center-fixed FOV Restrictor 조건, Eye-tracking FOV Restrictor 조건이 구현되었다.

2.3.1 No FOV Restrictor 조건

No FOV Restrictor 조건은 FOV Restrictor가 없는 조건으로, 피험자는 화면을 제한 없이 볼 수 있는 일반적인 HMD 환경이다. No FOV Restrictor 조건에서 피험자의 시야각은 Oculus rift CV1 HMD의 대각 시야각인 110° 와 같다. No FOV Restrictor 조건에서 피험자의 머리 움직임은 HMD에 장착된 head-tracking 장비를 통해 6 자유도로 추적되어 가상 공간에 반영되었다. 피험자는 머리의 회전을 통해 화면을 회전시킬 수 있었지만, 아바타는 회전시킬 수 없었다. 피험자는 컨트롤러의 왼쪽 엄지 스틱을 이용해 아바타를 앞뒤, 좌우로 이동시킬 수 있었고, 오른쪽 엄지 스틱을 좌우로 움직여 아바타를 회전시킬 수 있었다. 피험자의 최대 이동 속도는 1.5m/s였다.

2.3.2 Center-fixed FOV Restrictor 조건

Center-fixed FOV Restrictor 조건은 No FOV Restrictor 조건에 Center-fixed FOV Restrictor를 더한 조건이다. 피험자의 화면은 head-tracking을 반영하고, Center-fixed FOV Restrictor는 아바타의 움직이는 속도와 회전하는 각속도를 반영하지만, 중심이 화면의 중앙에 고정되어 있고, head-tracking을 반영하지 않았다.

Center-fixed FOV Restrictor는 사용자의 FOV를 제한하기 위하여 Inner field of view (IFOV)와 Outer field of view (OFOV)를 조정한다. Figure 2와 같이 IFOV (녹색)는 완전히 투명하여 배경을 방해 없이 볼 수 있는 부분의 한계선이고, OFOV (붉은색)는 불투명하여 흐릿하게 볼 수 있는 부분의 한계선이다. OFOV 바깥은 완전히 검은색으로 시선이 제한된다. IFOV부터 OFOV까지 FOV Restrictor는 선형으로 짙어 졌다 (파란색). IFOV와 OFOV의 차이는 40°였다.

jkcgs-24-3-49-g2
Figure 2. IFOV and OFOV. Note: IFOV, Inner Field of View; OFOV, Outer Field of View.
Download Original Figure

Center-fixed FOV Restirctor는 Crate (Contract at rate)라는 수치를 통해 FOV를 제한한다. Crate는 가상 현실에서의 아바타의 움직이는 속도(overallSpeed; m/s)와 회전하는 각속도 (angularVelocity; °/s) 를 측정하여, 피험자가 움직이는 동안 다음과 같이 변한다.

Crate =Abs ( angularVelocity 20 ) + Abs ( overallSpeed 4 )
(1)

FOV Restrictor는 FOV가 클 때 눈에 덜 띄고 FOV가 작을 때 눈에 더 많이 띈다[13]. 따라서 우리는 FOV가 클 때 FOV Restrictor가 더 빠르게 움직이고, FOV가 작을 때 더 느리게 움직이도록 하였다. 우리는 OFOV가 130° 이상일 때 Crate = Crate*3으로 설정하였고, OFOV가 120° 이상 130° 이하일 때는 Crate = Crate*1로 설정하였다. OFOV가 90° 이상 120° 이하일 때는 Crate = Crate*0.5로 설정하였고, OFOV가 90° 이하일 때는 Crate = Crate*0으로 설정하여, 더 이상 FOV가 줄어들지 않게 하였다. 또한 가상 공간에서의 아바타의 속도와 각속도가 0이어서 피험자가 움직이지 않는다고 판단되면, FOV를 다시 넓게 만들기 위하여 Crate를 조정하였다. OFOV가 130° 이상일 때 Crate = -9°/s로 설정하였고, 130° 이하일 때 Crate = -3°/s로 설정하였다. OFOV의 최대치는 155° 였다.

2.3.3 Eye-tracking FOV Restrictor 조건

Eye-tracking FOV Restrictor 조건은 Center-fixed FOV Restrictor 조건에 Eye-tracking 데이터와 Head-tracking 데이터를 추가로 반영한 한 조건이다. 피험자의 화면은 head-tracking을 반영하고, Eye-tracking FOV Restrictor는 아바타의 움직이는 속도와 회전하는 각속도, 머리의 회전을 반영한다. 또한 FOV Restrictor의 중심은 피험자의 시선의 중심을 따른다.

Eye-tracking FOV Restrictor는 가상 공간의 아바타의 움직이는 속도 (overallSpeed; m/s)와 회전하는 각속도 (angularVelocity; °/s), 머리의 회전하는 각속도 (headAngularVelocity; °/s)를 측정하여 Crate를 다음과 같이 변화시킨다.

Crate =Abs ( angularVelocity 20 ) + Abs ( headAngularVelocity 20 ) + Abs ( overallSpeed * 4 )
(2)

또한 가상 공간에서의 아바타의 속도와 각속도가 0이고 피험자의 머리의 회전하는 각속도가 50°/s 이하이면 피험자가 움직이지 않는다고 판단하여 FOV를 넓게 만들었다.

Eye-tracking FOV Restrictor는 HMD에 설치할 수 있는 eye-tracking 장비(Tobii Technology)를 통해 실시간으로 사용자의 시선의 중심을 측정한다. Eye-tracking FOV Restrictor의 중심은 Figure 1과 같이 시선의 중심(Eye-tracking Point)에 따라서 결정되어 사용자의 시선이 이동하더라도 FOV를 필요 이상으로 제한하지 않았다. 시선의 중심이 화면의 중앙에서 많이 벗어날수록 eye-tracking point의 오차가 커진다는 점에 착안하여 Eye-tracking FOV Restrictor의 중심이 화면의 중앙에서 40°를 벗어나지 못하도록 하였다. 만약 시선의 중심이 화면의 중앙에서 40° 이상 벗어날 경우에는, 시선의 중심과 화면의 중앙을 일직선으로 연결 한 직선상에서, 화면의 중앙과 40° 떨어진 두 점 중에, 시선의 중심과 가까운 점에 Eye-tracking FOV Restrictor의 중심이 위치하도록 하였다.

2.4 가상 환경

실험에 사용된 가상 환경은 Figure 3과 같은 초원 환경과 저택 환경으로 구성되었다. 저택 환경은 Oculus SDK 0.4.4의 Tuscany demo의 저택이 사용되었다. 피험자들의 흥미와 집중을 이끌어내기 위해 초원 환경에는 건물들과 바위무덤이, 저택 환경에는 집기류와 벽난로가 추가되었다.

jkcgs-24-3-49-g3
Figure 3. Virtual Environment Scenes: Whole Scene and Indoor Scene.
Download Original Figure

총 168개의 이정표가 초원 환경과 저택 환경에 배치되었다. 이정표는 한번에 하나만 볼 수 있었으며, 하나의 이정표에 피험자가 1.3m 이내에 다가가면 지금의 이정표가 사라지고 다음 이정표가 나타났다. 피험자는 초원에서 이동한 뒤, 저택 내부에서 이동하도록 이정표를 통해 유도되었다. 모든 이정표는 반짝이는 파티클 효과와 환한 조명을 포함하였다.

2.5 측정 요소

본 연구의 주 측정 요소는 FMS와 SSQ, PQ이다. FMS는 단순히, 피험자들에게 현재 느끼고 있는 가상 멀미의 정도를 묻는 방법으로, 피험자들은 1분에 한 번씩 0부터 20사이의 숫자로 자신이 느끼고 있는 가상 멀미를 보고한다[14]. 본 실험에서는 두통, 메스꺼움, 구토감 등을 종합하여 보고할 것을 요구하였고, 이정표를 5개 지날 때 마다 FMS를 보고하였다.

SSQ는 일반적으로 가상 멀미의 정도를 묻는 방법으로, 메스꺼움, 안구의 운동, 방향 감각 상실에 대한 증상들에 대해 보고하도록 리커트 척도(Likert scale)로 구성되었다. SSQ는 “속이 메스껍다.”, “하늘이 빙빙 도는 것 같다.”와 같은 증상을 포함한다[16]. 본 실험에서는 매 조건의 실험이 진행된 후 SSQ를 작성하도록 하여, 피험자 마다 3회 작성하였다.

PQ는 피험자가 가상 현실에서 느끼고 있는 임장감을 측정할 수 있는 설문으로, 시각과 청각, 몰입 등에 관해 보고하도록 리커트 척도로 구성되었다. 설문 문항은 임장감(Presence) 기본 문항 19가지와 청각 문항 2가지로 구성되었으며, 구체적인 설문 문구의 예는 다음과 같다. “가상환경에서 움직임을 조작하는데 얼마나 자연스러웠는가?”, “당신은 얼마나 가상환경에 몰두(몰입)를 하였는가?” 와 같은 질문을 포함한다[11]. 본 실험에서는 매 조건의 실험이 진행된 후 PQ를 작성하도록 하였고, 따라서 피험자 마다 3회 작성하였다.

Motion Sickness Susceptibility Questionnaire (MSSQ)[22]는 평소에 피험자가 일상생활에서 멀미를 많이 하는지 알아보기 위한 설문으로, 10세 이전의 경험(A)과 최근 10년 간의 경험(B)에 대해 묻는다. MSSQ 점수는 A와 B의 합으로 이루어지며, 피험자의 MSSQ가 높을수록 멀미에 민감한 경향이 있다.

Immersive Tendencies Questionnaire (ITQ)[11]는 평소에 피험자가 몰입에 빠지는 경향에 대한 설문으로, “당신은 쉽게 TV 드라마나 영화에 빠져드는 편입니까?”, “당신은 시간을 잊을 정도로 어떤 일에 집중을 한 적이 있습니까?”와 같은 질문을 포함한다. MSSQ와 마찬가지로, ITQ점수가 높을수록 피험자는 어떤 것에 쉽게 몰입하는 경향이 있다.

2.6 실험 절차

실험은 FOV Restrictor가 없는 조건(No FOV Restrictor)과 Center-fixed FOV Restrictor 조건, Eye-tracking FOV Restrictor를 비교하기 위해 서로 다른 날에 3회에 걸쳐 진행되었다. 아래 실험 절차는 사전 설문을 제외하고 조건을 바꾸어 3회 반복되었다. 각 조건의 실험 순서는 상쇄균형화(Counter Balanced) 되었다.

피험자는 실험에 대한 충분한 설명을 들은 후 동의서를 작성하였으며 동의서 작성 후 나이, 성별 등의 간단한 신상정보를 포함한 설문지를 작성하였다. 이후 SCL-90-R 테스트와 ITQ, MSSQ 를 작성하였다. 위의 과정은 두 번째, 세 번째 실험에서는 생략되었다.

피험자는 가상 현실에서 이동하는 방법과 FMS를 응답하는 방법에 대한 설명을 들었고, FMS를 응답할 때 두통, 메스꺼움, 구토감 등을 종합하여 0부터 20 사이로 응답할 것을 요구 받았다. 또한 피험자가 FMS를 20으로 응답하고 피험자가 원할 경우, 실험을 중단할 수 있음을 공지하였다. 피험자에게 FOV Restrictor에 대해서는 공지하지 않았다.

본 실험에서 피험자는 자리에 편안하게 앉은 뒤, HMD를 쓰고 Figure 3과 같은 가상 환경에서 1인칭으로 이정표를 따라 이동하도록 요구 받았다. 피험자는 실험을 시작한 직후와, 이정표를 5개 지날 때를 한 세션으로 하고, 매 세션 마다 FMS를 보고하여 총 34회의 FMS를 보고하였다. 처음 29번의 FMS는 초원 환경에서, 마지막 5번의 FMS는 저택 환경에서 보고되었다. 168개의 이정표를 모두 지나거나, FMS를 20으로 보고 하고 실험 중단 의사를 밝힌 피험자는 HMD를 벗은 뒤 SSQ 와 PQ를 차례로 작성하였다.

다른 3일동안 수행된 세번의 실험이 모두 종료된 후에는 피험자는 실험자로부터 실험의 목적과 예상되는 결과에 대해 설명을 듣고 귀가하였다.

3. 실험 결과

총 54회의 실험 중, 피험자가 FMS를 20으로 보고하고 실험을 중단한 경우는 4회 있었고, 모두 Eye-tracking FOV Restrictor 조건에서 발생하였다. 피험자들의 평균 ITQ점수는 106.06 (SD=16.77) 이었으며 MSSQ점수는 47.38 (SD=22.82)이었다. 실험 중 하드웨어 이상으로 인하여 피험자 한 명(여성)의 Eye-tracking FOV Restrictor 데이터를 사용할 수 없었다.

3.1 Fast Motion Sickness 결과

FMS의 시간에 따른 개인별 변화는 Figure 4와 같고 평균의 그래프는 Figure 5와 같다. No FOV Restrictor 조건의 FMS 평균은 3.75 (SD = 3.44)였고, Center-fixed FOV Restrictor 조건의 FMS 평균은 2.71 (SD = 2.87)이며, Eye-tracking FOV Restrictor조건의 FMS 평균은 4.37 (SD = 4.15)이었다. 각 세션의 효과와 개인별 차이를 고려하지 않은 단순 FMS 평균 비교의 경우 조건 간에 통계적으로 유의미한 차이를 보이지 않았다 (F (2, 32) = 2.567, p > .092, η2 = 0.138). 각각의 세션에 대한 분석을 위해 34개 세션의 FMS 점수를 각각 repeated measures ANOVA를 통해 분석하였고, 18, 21, 22, 23, 24 세션에서 각 조건 간에 통계적으로 유의미한 차이를 보였다 (Session 18: F (2, 32) = 3.503, p <. 05, η2 = 0.180; Session 21: F (2, 32) = 3.303, p < .05, η2 = 0.171; Session 22: F (2, 32) = 3.309, p < .05, η2 = 0.171; Session 23: F (2, 32) = 3.577, p < .05, η2 = 0.171; Session 24: F (2, 32) = 4.190, p < .05, η2 = 0.208). 통계적으로 유의미한 차이가 난 조건에 대해 사후검정을 수행하기 위해 18, 21, 22, 23, 24 세션에 대하여 t-test를 수행하였다. 그 결과 18, 23, 24 세션에서는 No FOV Restrictor조건에서의 FMS 평균이 Center-fixed Restrictor 조건보다 통계적으로 유의미하게 높았고 (Session 18: t(17) = 2.529, p < .05; Session 23: t(17) = 2.249, p < .05; Session 24: t(17) = 2.614, p < .05), Center-fixed FOV Restrictor 조건에서의 FMS 평균이 Eye-tracking FOV Restrictor 조건보다 통계적으로 유의미하게 낮았다 (Session 18: t(16) = -2.264, p < .05; Session 23: t(16) = -2.258, p < .05; Session 24: t(16) = -2.453, p < .05). 21, 22 세션에서는 Center-fixed FOV Restrictor 조건에서의 FMS 평균이 Eye-tracking FOV Restrictor 조건보다 통계적으로 유의미하게 높았다(Session 21: t(16) = -2.149, p < .05; Session 22: t(16) = -2.247, p < .05). 모든 세션에서 No FOV Restrictor 조건과 Eye-tracking FOV Restrictor 조건은 통계적으로 유의미한 차이를 보이지 않았다(all ps > .231). 자세한 통계 값은 Table 1에 포함되었다.

jkcgs-24-3-49-g4
Figure 4. Results of Individual’s FMS in Each Conditions. Note: FOV, Field of View; FMS,Fast Motion Sickness Scale.
Download Original Figure
jkcgs-24-3-49-g5
Figure 5. Results of FMS in Each Conditions. Note: FMS, Fast Motion Sickness Scale; N, No FOV Restrictor; C, Center-fixed FOV Restrictor; E, Eye-tracking FOV Restrictor.
Download Original Figure
Table 1. Paired sample t-test results of Fast Motion Sickness Scale (FMS) averages at Session 18, 21, 22, 23, and 24 Note: N, No FOV Restrictor, C: Center-Fixed FOV Restrictor, E: Eye-tracking FOV Restrictor
Session 18 Session 21 Session 22 Session 23 Session 24
t sig. t sig. t sig. t sig. t sig.
N vs. C 2.529 <.05 1.993 >.06 1.832 >.09 2.249 <.05 2.614 <.05
N vs. E -1.175 >.26 -1.119 >.28 -1.244 >.23 -1.175 >.26 -1.202 >.25
C vs. E -2.264 <.05 -2.149 <.05 -2.247 <.05 -2.258 <.05 -2.453 <.05
Download Excel Table
3.2 Simulator Sickness Questionnaire

세 조건 간의 SSQ 점수를 비교하기 위하여 repeated measures ANOVA를 통해 분석한 결과, SSQ 점수는 세 조건 간에 통계적으로 유의미한 차이를 보이지 않았다 (F (2, 32) = 1.921, p > .163, η2 = 0.107). 추가로 가상 멀미 측정의 다른 두 방법인 SSQ와 FMS의 상관 관계를 분석한 결과, SSQ와 FMS는 양적 상관관계를 보였다(r = .592, p < .05). 더 자세히 분석하기 위하여 조건 별로 상관관계를 분석한 결과, No FOV Restrictor 조건과 Eye-tracking FOV Restrictor 조건에서 SSQ와 FMS가 양적 상관관계를 보였다(No FOV Restrictor: r = .544, p < .05; Eye-tracking FOV Restrictor: r = .719, p < .005). Center-fixed FOV Restrictor 조건에서는 SSQ와 FMS가 통계적으로 유의미한 상관관계를 보이지 않았다 (p > .170).

3.3 Presence Questionnaire

세 조건 간의 PQ 점수를 비교하기 위하여 repeated measures ANOVA를 통해 분석한 결과, PQ 점수는 세 조건 간에 통계적으로 유의미한 차이를 보이지 않았다 (F (2, 32) = 0.335, p > .718, η2 = 0.021). 임장감 측정 요소인 PQ 와 가상 멀미 측정 요소인 FMS, SSQ의 상관관계를 분석한 결과, 본 연구에서는 모든 조건에서 PQ와 FMS, PQ와 SSQ는 통계적으로 유의미한 상관관계를 보이지 않았다 (FMS: all ps > .668; SSQ: all ps > .225).

3.4 Individual Differences

본 연구 결과가 피험자의 성별, 나이, 몰입감, 평소 멀미도에 따라 개인별 차이가 있는지 확인하기 위해 각각의 평소 Individual difference가 본 연구에서 통계적 차이가 있는 FMS에 미치는 영향을 확인하였다. FMS 평균이 성별, 나이, ITQ, MSSQ에 따른 차이가 있는지 알아보기 위해, 성별은 남녀로, 나이, ITQ, MSSQ는 높고 낮음으로 그룹을 나누어 t-test로 FMS 평균을 조건별로 분석하였다. 그 결과 FMS 평균은 세가지 FOV Restrictor 조건에서 Individual difference에 따라, 모두 통계적으로 유의미한 차이가 나타나지 않았다(Gender: all ps > .403; Age: all ps > .266; ITQ: all ps > .070; MSSQ: all ps > .405).

3.5 Experiment Day Effect

실험이 진행되는 날짜가(1st, 2nd, 3rd day) 본 연구 결과에 미치는 영향을 확인하기 위해, 세 번 실험의 FMS를 repeated measure ANOVA를 통해 분석하였다. 그 결과 FMS 평균은 실험이 진행되는 날짜에 따라 통계적으로 유의미한 차이가 나타나지 않았다(F (2, 32) = 1.782, p > .185, η2 = 0.100).

4. 논의

본 연구는 아바타의 속도와 각속도, 머리의 회전과 눈의 움직임과 같은 사용자 요소의 반영 수준에 따른 FOV Restrictor의 영향을 길 찾기 과제를 통해 확인하였다. No FOV Restrictor 조건은 화면에만 head-tracking 요소를 사용하였고, Center-fixed FOV Restrictor 조건은 아바타의 속도와 각속도를 반영한 FOV Restrictor를 사용하였다. Eye-tracking FOV Restrictor 조건은 피험자의 머리의 회전을 반영한 FOV Restrictor를 사용하고, 눈의 움직임을 반영하여 FOV Restrictor의 중심이 시선의 중심을 따르도록 하였다. 실험 결과, Center-fixed FOV Restrictor조건의 가상 멀미가 No FOV Restrictor와 Eye-tracking FOV Restrictor의 가상 멀미에 비해 낮게 나타났고, 세 조건 사이에 임장감의 차이는 나타나지 않았다.

본 연구의 첫번째 가설은 Center-fixed FOV Restrictor 조건과 Eye-tracking FOV Restrictor 조건의 가상 멀미가 No FOV Restrictor 조건에 비해 적을 것이라는 것이다. 실험 결과 Center-fixed FOV Restrictor 조건의 가상 멀미는 No FOV Restrictor의 가상 멀미보다 적게 나타나, 이전 연구[13]의 결과와 연장선상에 있다. 반면 Eye-tracking FOV Restrictor 조건의 가상 멀미는 No FOV Restrictor 조건의 가상 멀미와 차이가 나타나지 않았고, Center-fixed FOV Restrictor의 가상 멀미에 비해 높게 나타났다. 이것은 Eye-tracking FOV Restrictor가 가지고 있는 몇 가지 속성이 가상 멀미를 줄이는데 적합하지 않다는 것을 시사한다. 만약 Eye-tracking FOV Restrictor가 이상적으로 눈을 추적하여 중심을 이동시킨다면, 피험자는 FOV Restrictor의 움직임을 느낄 수 없을 것이다. 하지만 eye-tracker의 데이터는 실질적으로 유의미한 잡음(Noise)과 지연 시간(Latency)을 포함하고, Eye-tracking FOV Restrictor의 중심도 그것을 반영하여 잡음과 지연 시간을 포함한다. 이러한 Eye-tracking FOV Restrictor의 시야를 가리는 검은색 부분이 지속적으로 움직여서, 하드웨어의 깜빡임과 같은 역할을 했을 가능성이 있다. Eye-tracking FOV Restrictor의 움직임은 눈의 중심시 보다는 주변시에서 일어나지만, Boff와 Lincoln에 따르면 주변시는 중심시 보다 깜빡임에 민감하다[23]. 그리고 Potter et al.에 따르면 젊은 사람의 눈은 13ms 이하의 시각 자극에도 충분히 반응할 수 있다[24]. 본 연구의 피험자의 평균 연령은 25.05세로 상대적으로 젊기 때문에, 피험자들은 Eye-tracking FOV Restrictor의 움직임을 충분히 느꼈을 가능성이 있다. 이러한 지속적인 자극에 사용자가 눈의 피로를 느껴서, Eye-tracking FOV Restrictor가 가상 멀미를 줄이지 못한 가능성이 있다. 이 결과는 길 찾기 환경에서 FOV Restrictor를 구현할 때 아바타의 속도와 각속도는 반영하고, 머리의 움직임과 눈의 움직임은 반영하지 않는 등, 사용자 요소를 적절한 수준에서만 반영해야 함을 시사한다.

이번 연구에서 가상 멀미를 측정하는 요소는 FMS와 SSQ가 있었는데, FMS의 분석 결과 Center-fixed FOV Restrictor와 다른 조건 사이에 가상 멀미 차이를 확인할 수 있었으나, SSQ에서는 차이를 확인할 수 없었다. 이것은 FMS와 SSQ의 본질적 차이에 의한 것으로, FMS는 가상 현실을 체험하는 도중 느끼고 있는 가상 멀미를 여러 번 측정하고, SSQ는 가상 현실을 체험한 후 느끼고 있는 가상 멀미를 측정한다. 본 실험에서는 FOV Restrictor 조건들 사이에서 가상 멀미의 차이는 18 부터 24 세션까지 가상 현실 체험 중반에 나타나고, 18세션 이전의 초반이나 24세션 이후의 후반에서는 나타나지 않았다. 따라서 FMS에서는 가상 멀미의 차이를 확인할 수 있었지만, SSQ에서는 차이를 확인할 수 없는 결과는 서로 상충되는 것이 아니라 두 측정의 특징에 기인하는 것으로 보인다.

본 연구의 두번째 가설은 Center-fixed FOV Restrictor조건과 Eye-tracking FOV Restrictor 조건의 임장감이 No FOV Restrictor 조건과 차이가 나지 않을 것이라는 것이다. 실험 결과, Center-fixed FOV Restrictor조건의 임장감이 No FOV Restrictor 조건의 임장감과 차이가 나지 않아, 이전 연구[13]의 결과를 검증하였다. 또한 Eye-tracking FOV Restrictor 조건의 임장감이 다른 두 조건의 임장감과 차이가 나지 않는 것을 새롭게 확인할 수 있었다. 따라서 Eye-tracking FOV Restrictor가 다른 두 조건과 비교했을 때, 임장감을 해치지 않고 유지했음을 알 수 있다.

가상 환경에 지속적으로 오래 노출될 경우 가상 멀미가 점점 증가하지만[2, 25], 가상 환경에 시간 간격을 두고 반복적으로 노출될 경우 가상 멀미가 줄어들 수 있는 것으로 알려져 있다[25]. 본 연구의 Figure 4에서 볼 수 있듯이 피험자의 가상 멀미는 시간이 증가할수록 점점 증가하였다. 이러한 증가는 세 조건에서 모두 나타났으며, 이는 기존 연구와 연장선상에 있다[2, 25]. 그러나 실험이 진행되는 날짜는 본 연구결과에 영향을 미치지 않는 것으로 확인되었다. 이는 본 실험이 평균 3.5일의 시간 간격을 두고 수행되었고, 3회의 반복 실험을 진행한 것과 관련이 있을 것으로 보인다. 평균 3.5일의 시간 간격이 가상 멀미를 줄이는 데 적합하지 않거나, 3회의 반복 실험이 가상 멀미를 줄이는 데 충분하지 않을 수 있다. 이러한 요인은 향후 다양한 시간 간격과 반복 횟수의 실험을 통해, 3D 페인트 툴을 이용한 창작 작업과 같이 가상 환경에 오래 머물러야 하는 작업 수행 시 멀미 저감을 위해 고려되어야 할 것이다.

본 연구는 몇 가지 한계점을 가지고 있다. 첫 번째, Eye-tracking FOV Restrictor의 한계가 있다. Eye-tracking FOV Restrictor는 눈을 감지하는 센서를 사용하므로, 잡음과 지연 시간을 가지고 있다. 추후 연구에서는 더 정교하고 지연 시간이 낮은 입력 장치를 사용할 필요가 있다. 혹은 칼만 필터와 같은 잡음 필터를 적용하여[26], 잡음을 줄이는 노력을 할 필요가 있다. 두 번째, 본 연구는 Eye-tracking FOV Restrictor를 구현할 때 eye-tracking 데이터와 head-tracking 데이터를 모두 반영하는 방법을 채택하였다. 이는 사용자 요소를 최대한 반영한 상호작용 방법론을 제작하려는 목적에 따랐으나, 동시에 둘 중 어떠한 요소가 멀미를 증가시켰는지 명확히 알 수 없는 한계가 있다. 따라서 eye-tracking 데이터만 적용하거나, head-tracking 데이터만 적용하는 등, 사용자 요소 반영 수준을 더 세분화하여 FOV Restrictor를 적용해볼 필요가 있다. 세 번째, 본 연구는 제한된 환경에서 제한된 조작 방법으로 진행되었다. 본 연구는 빠르지 않은 속도의 길 찾기 과제로 진행되었다. 가상 현실 시장은 사용자들에게 다양한 경험을 제공하기 위해 여러가지 환경을 제공하고 있다. 추후 연구에서는 환경을 빠른 속도의 환경으로 바꾸거나, 조작 방식을 바꾼다면 이 실험과 다른 결과를 낼 가능성이 있다.

5. 결론

본 연구는 FOV Restrictor를 피험자 요소 반영 수준에 따라, 가상 멀미와 임장감을 비교 분석하였다. 본 연구의 결과에 따르면 Center-fixed FOV Restrictor의 가상 멀미가 다른 두 조건에 비해 작았고, 세 조건 사이에 임장감 차이가 없음을 확인하였다. 몇 가지 한계점에도 불구하고, 본 연구는 앞으로 FOV Restrictor를 구현하는데 있어서 사용자 요소 포함에 대하여 적정 수준을 유지하여야 함을 확인하였고, FOV Restrictor의 중심점 이동에 대해 최초로 연구를 한 것에 의의가 있다.

Acknowledge

이 논문은 2016년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임. (NRF-2017R1A2B4011151). Correspondence to K. Kim (kenny@hanyang.ac.kr)

References

[1].

LaViola Jr, Joseph J. "A discussion of cybersickness in virtual environments." ACM SIGCHI Bulletin Vol. 32, No. 1, pp. 47-56, 2000.

[2].

Kolasinski, Eugenia M. "Simulator Sickness in Virtual Environments." No. ARI-TR-1027. Army Research Institute for the Behavioral and Social Sciences Alexandria VA, 1995.

[3].

Treisman, Michel. "Motion sickness: an evolutionary hypothesis." Science Vol. 197, No. 4302, pp. 493-495, 1977.

[4].

Kennedy, Robert S., Kevin S. Berbaum, and Martin G. Smith. "Methods for correlating visual scene elements with simulator sickness incidence." Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Vol. 37, No. 18, pp. 1252-1256, 1993.

[5].

Fowlkes, J. E., R. S. Kennedy, and M. G. Lilienthal. "Postural disequilibrium following training flights." Proceedings of the Human Factors Society Annual Meeting, Vol. 31, No. 5, pp. 488-491, 1987.

[6].

Regan, E. C. "Side-effects of immersion virtual reality." Paper presented at the International Applied Military Psychology Symposium, 1993.

[7].

Pausch, Randy, Thomas Crea, and Matthew Conway. "A literature survey for virtual environments: Military flight simulator visual systems and simulator sickness." Presence: Teleoperators & Virtual Environments, Vol. 1, No. 3, pp. 344-363, 1992.

[8].

Jerald, Jason. "The VR book: Human-centered design for virtual reality." Morgan & Claypool, 2015.

[9].

DiZio, Paul, and James R. Lackner. "Circumventing side effects of immersive virtual environments." HCI International, 1997.

[10].

Maxwell, C. A. "Flicker science and the consumer." Information Display Vol. 8, pp. 7-7, 1992.

[11].

Witmer, Bob G., and Michael J. Singer. "Measuring presence in virtual environments: A presence questionnaire." Presence: Teleoperators & Virtual Environments, Vol. 7, No. 3, pp. 225-240, 1998.

[12].

Seay, A. Fleming, David M. Krum, Larry Hodges, and William Ribarsky. "Simulator sickness and presence in a high field-of-view virtual environment." CHI'02 Extended Abstracts on Human Factors in Computing Systems, pp.784-785, 2002.

[13].

Fernandes, Ajoy S., and Steven K. Feiner. "Combating VR sickness through subtle dynamic field-of-view modification." 2016 IEEE Symposium on 3D User Interfaces. pp. 201-210, 2016.

[14].

K Keshavarz, Behrang, and Heiko Hecht. "Validating an efficient method to quantify motion sickness." Human Factors Vol. 53, No. 4, pp. 415-426, 2011.

[15].

김창섭, 이후철, 김민규, 전주희, & 김광욱. "가상 멀미 저감을 위한 사용자 눈 및 머리 움직임 추적 기반 FoV Restrictor의 구현 및 예비연구." 한국정보과학회 학술발표논문집, pp. 2116-2118, 2017.

[16].

Kennedy, Robert S., Norman E. Lane, Kevin S. Berbaum, and Michael G. Lilienthal. "Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness." The International Journal of Aviation Psychology, Vol. 3, No. 3, pp. 203-220, 1993.

[17].

Shahal, Avner, Wanja Hemmerich, and Heiko Hecht. "Brightness and contrast do not affect visually induced motion sickness in a passively-flown fixed-base flight simulator." Displays, Vol. 44, pp. 5-14, 2016.

[18].

D’Amour, Sarah, Jelte E. Bos, and Behrang Keshavarz. "The efficacy of airflow and seat vibration on reducing visually induced motion sickness." Experimental brain research, Vol. 235, No. 9, pp. 2811-2820, 2017.

[19].

Llorach, Gerard, Alun Evans, and Josep Blat. "Simulator sickness and presence using HMDs: comparing use of a game controller and a position estimation system." Proceedings of the 20th ACM Symposium on Virtual Reality Software and Technology, pp. 137-140 2014.

[20].

Jerome, Christian J., and Bob Witmer. "Immersive tendency, feeling of presence, and simulator sickness: formulation of a causal model." Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Vol. 46, No. 26, pp. 2197-2201, 2002.

[21].

Derogatis, Leonard R. "SCL-90-R: Administration, scoring & procedures manual-II for the (revised) version and other instruments of the psychopathology rating scale series." Clinical Psychometric Research, pp. 1-16, 1992.

[22].

Golding, John F. "Motion sickness susceptibility questionnaire revised and its relationship to other forms of sickness." Brain Research Bulletin, Vol. 47, No. 5, pp. 507-516, 1998.

[23].

Boff, Kenneth R., and Janet E. Lincoln. "Engineering Data Compendium. Human Perception and Performance. Volume 3." Harry G Armstrong Aerospace Medical Research Lab Wright-Patterson Afb OH, 1988.

[24].

Potter, Mary C., Brad Wyble, Carl Erick Hagmann, and Emily S.McCourt. "Detecting meaning in RSVP at 13 ms per picture." Attention, Perception, & Psychophysics, Vol. 76, No. 2, pp. 270-279, 2014.

[25].

Kennedy, Robert S., Kay M. Stanney, and William P. Dunlap. "Duration and exposure to virtual environments: sickness curves during and across sessions." Presence: Teleoperators & Virtual Environments, Vol. 9, No. 5, pp. 463-472, 2000.

[26].

Kalman, Rudolph Emil. "A new approach to linear filtering and prediction problems." Journal of Basic Engineering Vol. 82, No. 1, pp. 35-45, 1960.