Article

Interactive Wind System을 이용한 VR 사이버 멀미 개선 연구

임도전1https://orcid.org/0000-0003-1455-5114, 이예원1https://orcid.org/0000-0002-2050-9205, 조예솔1https://orcid.org/0000-0002-1264-196X, 류태동1https://orcid.org/0000-0002-5121-2797, 한다성1,*https://orcid.org/0000-0001-6015-6080
Dojeon Lim1https://orcid.org/0000-0003-1455-5114, Yewon Lee1https://orcid.org/0000-0002-2050-9205, Yesol Cho1https://orcid.org/0000-0002-1264-196X, Taedong Ryoo1https://orcid.org/0000-0002-5121-2797, Daseong Han1,*https://orcid.org/0000-0001-6015-6080
Author Information & Copyright
1Handong Global University
*corresponding author: Daseong Han/Handong Global University(dshan@handong.edu)

© Copyright 2021 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 11, 2021; Revised: Jun 18, 2021; Accepted: Jun 25, 2021

Published Online: Jul 01, 2021

요약

본 논문은 자동차 핸들과 가속 페달로부터의 온라인 사용자 입력에 따라 Virtual Reality (VR) 환경에서 인공적인 바람을 생성하는 상호작용형 윈드 시스템을 제안한다. 제안된 시스템은 사용자가 레이싱 자동차 VR 응용 콘텐츠에서 세 방향으로부터 불어오는 바람으로부터 촉감을 느끼도록 하기 위해 머리장착형 디스플레이(Head-Mounted Display: HMD)와 세개의 선풍기로 구성된다. VR 멀미를 개선하는 것에 대한 바람의 효과성을 평가하기 위해, 본 논문은 멀미에 대한 가장 기본적인 척도 중의 하나인 SSQ (simulator sickness questionnaire)를 도입한다. 13명의 피험자들을 대상으로 바람이 있는 경우와 그 다음 그렇지 않은 경우 또는 그 역으로 레이싱 자동차 콘텐츠에 대한 실험을 수행하였다. 실험 결과는 인공적인 바람을 사용하는 경우 긍정적인 사용자 경험을 제공하면서 명확하게 멀미를 개선하는 것을 보여주었다.

Abstract

This paper presents an interactive wind system that generates artificial winds in a virtual reality (VR) environment according to online user inputs from a steering wheel and an acceleration pedal. Our system is composed of a head-mounted display (HMD) and three electric fans to make the user sense touch from the winds blowing from three different directions in a racing car VR application. To evaluate the effectiveness of the winds for reducing VR cybersickness, we employ the simulator sickness questionnaire (SSQ), which is one of the most common measures for cybersickness. We conducted experiments on 13 subjects for the racing car contents first with the winds and then without them or vice versa. Our results showed that the VR contents with the artificial winds clearly reduce cybersickness while providing a positive user experience.

Keywords: 사이버 멀미; 가상현실; 컴퓨터 그래픽스; 헤드 마운티드 디스플레이; 인간과 컴퓨터 상호작용; 인간공학
Keywords: Cyber Sickness; VR; Computer Graphics; HMD; Human-Computer Interaction; Human Factors

1. 서론

4차산업혁명이 시작된 오늘날, 우리의 생활에서 온라인 환경과 오프라인 환경의 경계를 구분하기가 어려워지고 있다. VR(Virtual Reality: 가상현실)은 이미 우리가 맞닥뜨린 현실 세계의 일부가 되어가고 있다. 2020년 초부터 전 세계적으로 확산된 COVID-19가 불러온 새로운 생활양식은 new normal로 불리며 VR의 필요성을 급속하게 증가시켰고 앞으로의 일상에 점차 필수적인 요소로 자리매김하고 있다.

통계적으로 전 세계 VR 시장은 2018년 79억 달러에서 연평균 성장률 33.47%로 증가하여, 2024년에는 446억 8,000만 달러에 이를 것으로 전망된다[1]. 기존 VR의 활용처로 많이 사용되고 있었던 게임 분야는 물론이고 교육, 의료, 공연예술과 같이 생활에 밀접한 분야에서도 VR 사용은 보편적이고 친숙하게 변모하고 있다[2]. 특히 교육 분야에서는 VR을 사용한 교육 방식들의 탁월성이 여러 논문에서 입증되기도 했다[3].

이처럼 VR은 큰 가능성을 가지고 있는 기술이지만, 3차원 환경을 재현한 HMD (Head Mounted Display)등을 사용하는 상황에서 사용자들이 겪게 되는 사이버 멀미는 매우 심각하다[4]. 가상현실을 처음 접하는 사용자의 60% 이상이 사이버 멀미를 경험하는 등[5], 사용자경험에 치명적으로 작용한다. 이처럼 사이버 멀미는 사용자의 VR 경험 시간을 단축해 VR 환경 보급을 어렵게 하는 장애물로 꾸준히 거론되어 왔으나[6] 이 문제를 해결할 명확한 해결책은 아직까지 없는 실정이다.

따라서 본 연구는 상호작용형 윈드 시스템(interactive wind system: 이하 wind system)을 개발하여 사용자의 온라인입력에 따라 사용자가 느낄 수 있는 바람을 생성하도록 했다. 이로써 사용자에게 VR을 통한 시각 정보뿐 아니라 바람을 통한 촉각 감각을 동시에 제공하여 현존감을 높인다. 또한 멀미 감소에 미치는 영향을 평가하기 위해 멀미 관련 연구에서 광범위하게 사용되는 SSQ (simulator Sickness Questionnaire)설문지를 통해 13명의 멀미 경험 개선 정도를 심층 분석하였다.

2. 관련 연구

사이버 멀미로 인해 VR을 활용한 많은 콘텐츠는 늘 오랜 시간 플레이하지 못한다는 한계에 직면해 왔다. VR 사용 시간이 10분 이상이 되었을 때 극심한 멀미를 겪는 사용자가 80% 이상이라는 연구 결과가 있다[6]. 많은 연구에서 이러한 한계점을 해결하기 위해 VR 환경에서 일어나는 사이버 멀미를 분석하고 개선해 왔다. 하지만 본 연구와 같이 바람이라는 요소를 이용하여 VR 사이버 멀미의 개선을 시도한 연구 사례는 많지 않다. 해당 장에서는 기존의 관련 연구들과 본 연구를 비교하며 이전 연구에서 제안된 항목들을 본 연구의 접근 방식과 비교하고자 한다.

2.1 사이버 멀미

사이버 멀미란, 사용자의 개인적인 특성, 영상의 프레임 레이트(frame rate), 디스플레이의 깜박임(flicker), 화면 배경의 유형, 신경 불일치(neural mismatch) 등으로 인해 나타나는 현상이다[7]. 지금까지 멀미 관련 연구는 신경과학이나 인지심리학, 생체심리학과 같은 분야에서 꾸준히 연구되었다. 멀미의 원인으로는 Reason & Brand(1975)에 의해 감각 갈등 이론(sensory conflict theory)이 제시되었고[20], 1988년 Oman이 감각의 갈등 불일치 이론(sensory conflict theory)을 사이버 멀미의 중요하고 대중적인 이론으로 발전시켜 현재까지도 대중적인 멀미의 원인으로 자리 잡았다[9]. 사람이 멀미를 겪는 것에는 다양한 이유가 있지만, 본 연구는 이 중에 ‘시각과 다른 감각의 불일치’[8]에 집중했다. 기존 VR에서는 주로 HMD를 통한 시각적 정보를 느끼게 되는데 이는 사용자가 현실에서 느끼게 되는 감각 정보에 비하면 불충분하다. 따라서 HMD를 통한 시각적인 피드백뿐 아니라 시각 정보와 일치하는 촉각을 동시에 제공하여 사용자가 느끼는 현실과의 감각 불일치를 감소시킴으로써 멀미를 개선하는 방식의 접근법을 택하였다.

그 외 기존 사이버 멀미를 줄이기 위한 연구에서는 촉각 등의 외부 감각을 추가하는 것이 아닌 시각 정보의 해상도를 높이는 방법이나, 시야각 조정[10] 혹은 1인칭 시점을 3인칭 시점으로 변경[7]하는 등 시각적인 정보 제공 방식의 변경으로 멀미를 해소하고자 하였다. 기존 연구에서도 바람과 VR을 결합한 연구가 있었으나, 사용자의 입력에 따라 바람을 제어하는 것이 아닌 바람의 유무에 따른 현존감을 측정하는 경우가 대부분이었으며, 멀미를 개선하는 것에 초점을 맞추지는 않았다[11,12].

2.2 VR 환경에서 감각 불일치 줄이기

사이버 멀미가 일어나는 주요한 이유는 2.1절에서 논의한대로 ‘감각 갈등 불일치’(sensory conflict) 때문이다. 우리가 눈을 통해 받아들이는 시각 정보와 그 외의 정보들(촉각, 후각, 청각 등) 사이에 불일치가 일어나 어지러움 및 두통, 메스꺼움 등 ‘멀미’를 느끼게 되는 것이다[8]. 본 연구의 가설인 ‘사용자가 시각적으로 받아들이는 정보와 다른 감각 사이의 차이가 줄어들면 멀미도 덜 느낄 것이다’와 같이 감각의 추가를 통해 멀미 개선에 기여한 기존 연구가 존재한다. 한 연구에서는 트레드밀을 이용하여 멀미 개선을 시도하였는데 사용자가 트레드밀 위를 걸을 때 VR에서도 걷는 듯한 시각 효과를 제공하였다. 이는 시각과 균형감각의 불일치를 줄이기 위한 시도로 볼 수 있으며, 실제로 멀미가 줄어든 결과가 나타나는 것을 확인할 수 있었다[8].

선행된 트레드밀 연구와 본 연구는 새로운 감각의 추가가 VR 멀미 개선에 기여할 수 있을 것이라는 가능성을 제시했다는 점에서 유사하지만 해당 연구 사례는 전정기관과 관련된 균형 감각을 이용하여 멀미를 해결하고자 했으나, 본 연구에서는 촉각 감각을 이용해 멀미를 해결하고자 한다는 점에서 차이가 있다.

또한 다른 선행 연구로는 HMD 사용시 엔진소리를 인위적으로 추가하여 사이버 멀미를 해결하고자 한 연구가 있다. 오감 중 하나인 청각 감각을 주행 중 더함으로써 사용자들의 사이버 멀미를 줄이는데 성공하였다[19]. 본 연구는 이와는 다르게 바람에 기반한 주행 상황 중에 추가하여 사이버 멀미를 줄이는 시도를 하였다.

2.3 사이버 멀미 측정 방법

VR 사용자의 멀미를 측정하는 주요 방법으로는 자기 보고형 설문 조사를 통한 평가 (SSQ)와 사용자의 신체 반응을 기기 등을 통해 측정한 척도 평가 (eye tracking, 뇌파 EEG 등) 크게 두 가지가 있다[13, 14].

SSQ 설문지를 통해 사이버 멀미를 평가하는 방법은 직관적이고 해석 및 교차 검증이 용이해 오랫동안 많은 연구에서 채택되어왔다. 특히 사이버 멀미를 측정할 수 있도록 기존의 MSQ(Motion Sickness Questionnaire)를 개선하고 VR 환경에서 특성화된 SSQ는 발표된 1993년 이래로 많은 사이버 멀미 연구에서 VR 사이버 멀미를 측정하는 대표적인 설문으로 널리 쓰이고 있고 그 권위와 공신력을 인정받고 있다[15]. 게다가 설문을 활용한 사이버 멀미 측정 방법은 뇌파를 측정하는 것과 같이 각종 장비를 이용한 평가 방법에 비해 간단하며, 자료의 분류 및 해석이 용이하다는 장점이 있기에, 본 연구에서 SSQ를 사용자 사이버 멀미 측정 방법으로 채택하였다.

3. 상호작용형 윈드 시스템

3.1 시스템 개요

본 시스템은 기존의 머리 장착형 디스플레이(HMD)를 사용한 VR 콘텐츠와 함께 바람을 생성하는 하드웨어 장치를 배치하여, 사용자에게 촉각적 요소인 바람을 느낄 수 있도록 설계된다(Figure 1). 이를 통해 바람이라는 요소가 VR 시스템에서 사이버 멀미를 개선하는데 얼마나 영향을 주는지 측정하고자 한다.

jkcgs-27-3-43-g1
Figure 1. Interactive wind system overview.
Download Original Figure
3.2 소프트웨어 설계

가상현실 환경은 2020.3.8f1(LTS) 버전의 유니티(Unity) 게임 엔진을 사용하여 구현했다. 유니티의 ‘Karting Microgame’ 에셋을 이용해 자동차의 움직임을 구현했으며, 가상 현실 환경에 맞게 에셋을 수정하여 1인칭 시점으로 변경하였다. 또한, 유니티에서 레이싱 트랙 에셋을 구매하여 사용자가 주행할 맵을 구현했다.

윈드 시스템이 적용된 프로젝트와 적용되지 않은 프로젝트를 각각 유니티에서 standalone application으로 빌드했다.

3.3 하드웨어 설계

가상현실 환경을 구현하기 위해서 ‘HTC VIVE’ 장비를 사용했다. 이를 위해 유니티에 SteamVR 플랫폼을 설치해 소프트웨어와 연동했다. 레이싱 사용자 경험을 현실과 비슷한 감각으로 재현하기 위해, 기존의 키보드 조작 방식이나 기본으로 제공되는 VIVE 컨트롤러가 아닌 ‘thrustmaster TMX pro’ 휠 컨트롤러 조작 방식을 택했다. 휠을 통해서 주행 방향을 조절하고, 페달을 통해 ‘액셀러레이터’ 기능을 구현했다.

바람을 생성하기 위해서 가정용 선풍기 3개의 모터 부분을 분해한 뒤 재구성하여 아두이노와 연결했다. 이를 유니티 콘텐츠와 연동하기 위해 유니티 엔진에서 Ardity(Arduino + Unity) 오픈 소스를 이용하였고, 유니티와 아두이노 보드 간의 시리얼 통신을 통해 유니티 콘텐츠 상에서 선풍기의 전원을 제어할 수 있도록 하였다. 이를 위해서 입력값이 특정 값에 도달했을 때 다른 회로를 개폐하는 장치인 릴레이 모듈을 사용했다(Figure 2). 릴레이 모듈은 선풍기의 개수와 동일하게 3개를 이용하였고 각 릴레이 모듈을 통해 해당 선풍기의 전류를 제어하게 했다.

jkcgs-27-3-43-g2
Figure 2. An Arduino board connected with relay modules.
Download Original Figure

코드에서도 각 릴레이 모듈이 가지고 있는 pin 번호를 이용하여 모듈을 제어할 수 있다. 이 같은 방식을 통해 컨트롤러의 엑셀과 휠의 입력값에 따라 조건문을 이용하여 선풍기가 사용자의 움직임에 맞게 동작하도록 하였다.

3.4 시스템 세팅

실험에 들어가기에 앞서 설계한 시스템을 설치하는 작업을 진행했다(Figure 3). 책상의 상부에 휠 컨트롤러를 고정하고, 책상 아래에 페달을 두었다. 피험자의 대각선에 VIVE 베이스 스테이션을 두어 HMD 트래킹을 가능하게 했다.

jkcgs-27-3-43-g3
Figure 3. Interactive wind system.
Download Original Figure

또한 전면에 위치하는 선풍기를 통해 차량 주행 시 앞에서 바람이 불어오도록, 좌우에 위치하는 선풍기는 차량이 좌 혹은 우로 주행할 시 각각 바람이 불도록 설계하였다.

4. 실험

4.1 실험 설계

피험자는 총 2차례 VR 게임을 플레이한다. 이때, VR 멀미에 영향을 줄 것으로 가정한 윈드 시스템을 피험자의 두 번의 주행 중 한 차례에만 사용하여 주행하도록 실시하고, 두 차례의 결과를 비교 분석하고자 했다. 다만 첫 번째 실험에서 느낀 멀미가 두 번째 실험에서 영향을 주는 ‘이월 효과(carry-over effect)’를 고려하여[12] 13명의 피험자 중 절반은 첫 번째 주행에서, 절반은 두 번째 실험에서 사용하여 진행했다.

연구 대상자의 멀미 정도를 평가하기 위해서 1993년 케네디(Kennedy)가 처음으로 제시한 사이버 멀미 측정 도구인 SSQ를 사용했다[15]. 피험자는 SSQ를 통해 멀미의 증상을 나타내는 16개의 질문에 각각 ‘전혀 없음, 약간, 중간, 심함’으로 증상을 보고했다. SSQ 평가는 한 피험자당 3회 실시했으며 각각 주행 전, 첫 주행 이후, 두 번째 주행 이후 즉시 작성하도록 했다. 이후 각 증상에 대한 보고에 따라 전혀 없음-0, 약간-1, 중간-2, 심함-3점을 부여한 뒤 SSQ 계산 공식에 따라 각 실험자의 전체 멀미 점수를 계산하였다.

4.1.1 연구 대상

이 실험에서는 VR을 한 번 이상 경험해 본 적이 있는 만 19세 이상의 성인을 실험 참여자로 선정하였다. 실험 대상자를 모집할 때에는 실험 결과 해석에 지장이 없도록 다음과 같은 조건을 부여하였다.

  1. VR 멀미/차멀미에 특히 민감하지 않으며 전정기관에 이상이 없어야 함

  2. 교정시력이 0.7 이상이며 안과 질환이 없고 현재 건강 상태에 이상이 없어야 함

또한 멀미와 관련하여 영향을 미칠 수 있는 요인들을 최대한 통제하기 위해 위해서 연구 전날에 피험자들에게 충분한 수면을 취하도록 안내하였으며, 실험 12시간 내 카페인 섭취와 2시간 이내에 음식물 섭취를 주의하도록 안내했다. 또한, 당일 날 실험의 VR 환경과 유사한 현실의 경험인 운전을 하지 않도록 요청했다. 피험자들의 평균 연령은 24.38세였으며, 피험자들은 약 40분간의 실험을 진행했다.

4.1.2 실험 가설

본 논문에서는 실험의 대전제로 촉각 정보의 추가제공을 통해 감각 정보의 불일치를 해소하는 방법, 즉, “VR 환경에서 바람이 있을 때 멀미를 덜 느낄 것이다.”라는 가설을 세웠다.그리고 실험을 설계하며 연관되는 몇 개의 가설을 추가로 설정하였다.

  1. 비디오 게임을 많이 하는 사람이 멀미를 덜 느낄 것이다.

  2. 운전 경험이 있는 사람이 익숙하므로 멀미를 덜 느낄 것이다.

  3. 기존의 멀미 관련 연구에 의한 해석을 따라 여자가 멀미를 더 느낄 것이다[18].

이러한 가정을 고려하기 위해서 실험을 시작하기 전 피험자들에게 demographic data를 받는 설문을 진행하였다. 해당 설문에서는 피험자의 기존의 VR 사용 경험, 비디오 게임 경험, 하루 평균 비디오 게임 플레이 시간, 실험 당일 피험자의 수면 시간, 음식 섭취 여부, 카페인 섭취 여부, 운전면허 획득 여부, 최근 한 달간 운전 시간을 확인할 수 있다.

4.1.3 실험 절차

실험에 들어가기에 앞서 피험자에게 실험에 관해 설명했다. 설명을 마친 후에는 멀미에 영향을 줄 수 있는 요소들을 고려하기 위해 demographic data를 수집하기 위한 설문을 진행했다.

각 주행은 5분 동안 실시되며, 추후 실험 분석에 참고하기 위해 피험자의 모습과 플레이 영상을 촬영했다. 또한, 실험 중 피험자가 멀미를 심하게 호소하는 경우 언제든지 그만둘 수 있도록 안내하고, 사전 동의서를 통해 중도 이탈로 인한 불이익이 없다는 것과 실험 데이터 공유에 대한 동의를 받았다. 이때, 피험자에게 실험 이후 24시간 이내에 실험 데이터 사용에 대한 철회를 요청할 수 있음을 안내했다. 실험 중 피험자는 주행 전(실험 대상자의 초기 상태), 첫 주행 이후, 두 번째 주행 이후로 총 3번 SSQ를 작성했다.

첫 번째 SSQ를 작성한 이후 첫 번째 주행 전 피험자의 앉은키에 맞춰 VIVE HMD 캘리브레이션을 진행했다. 또한 사용자에게 직접 VR 초점 거리 세팅을 하게 해 자신에 맞는 초점을 맞출 수 있도록 했다. 그 후 엑셀 및 휠을 사용하여 주행하는 방법에 관해 설명했다.

피험자에게 설명을 마친 후에는 타이머를 5분에 맞춰 주행하도록 했다. 이때, 피험자를 두 집단으로 나누어 절반은 첫 번째 주행에서 바람이 있도록, 나머지 절반은 두 번째 주행에서 바람이 있도록 진행했다. 5분이 되면 피험자들에게 주행을 멈추게 하고, 모든 피험자는 주행을 멈춘 상태에서 유니티 화면이 꺼지면 HMD를 벗도록 했다.

첫 번째 주행이 끝난 후에는 SSQ를 작성한 후 5분간 휴식을 취하도록 했다. 다만 5분 휴식 이후 피험자가 필요로 하는 경우 추가적인 휴식을 할 수 있음을 안내했다. 이후 두 번째 주행을 하고, SSQ를 작성하고, 실험이나 멀미에 대해 추가로 심층 인터뷰를 요청했다.

4.1.4 분석 방법

각 피험자가 SSQ 설문지에 답한 결과를 계산하여 바람이 있는 경우와 없는 경우 사이버 멀미가 얼마나 차이가 나는지 확인했다. 이때, 두 가지 방법을 이용하였는데, 첫 번째 방법은 두 SSQ 설문지의 값의 차와 실험 조건에 따라 멀미가 증가 혹은 감소한 피험자의 숫자를 표로 나타냈다. 먼저, 사람마다 멀미를 느끼는 정도가 다르며[18], 첫 주행이 두 번째 주행에서의 멀미에 영향을 줄 수 있어서 각 시행에서 멀미 값의 평균을 비교하지 않고 시행 간 점수 차이의 평균을 비교하는 방법을 택하였다.

추가로, 각 실험 조건에 따라 해당하는 사람 수가 얼마가 되는지를 확인하여 수집한 데이터를 기반으로 결과를 해석하고자 하였다.

5. 실험 결과

5.1 구현 상세
5.1.1 소프트웨어

5분의 주행 시간 동안 충분한 멀미를 느끼게 하기 위해 비교적 길고 복잡한 맵을 갖고 있는 ‘Cartoon Track Laguna Seca(RCC Design 제작)’으로 사용했다. 한 바퀴를 주행하는 데 걸리는 시간은 약 1분 30초로, 5분간 피험자는 약 3~4바퀴를 돌게 된다.

일반적인 운전 환경에서는 운전석 앞이 유리로 막혀 있고 좌우에 개폐식 유리가 있어서 바람을 느끼기 어렵다. 따라서 본 연구에서는 사용자에게 바람을 더 잘 느낄 수 있는 운전 환경을 제공하기 위해 운전석 주변이 열려 있는 ‘오픈카’를 실험에 사용했다.

jkcgs-27-3-43-g4
Figure 4. Initial setting of an experiment.
Download Original Figure
jkcgs-27-3-43-g5
Figure 5. Racing track.
Download Original Figure
5.1.2 하드웨어

윈드 시스템의 선풍기는 실험에서 ‘오픈카’를 사용하였기에 바람을 전 방향에서 느낄 수 있도록 앞, 양옆으로 3개를 사용하였다. 전면 선풍기는 피험자로부터 직선으로 1.9m의 거리에 두고, 좌우의 선풍기는 사용자로부터 각각 45°, 0.66m에 두었다. 세 선풍기 모두 바람 세기는 ‘강풍’으로 같았다.

만약 세 선풍기를 모두 같은 거리(1.9m)에 두고 실험을 진행하는 경우 좌우의 선풍기의 바람이 전면의 선풍기에 비해 잘 느껴지지 않기 때문에 좌우의 선풍기를 바람이 잘 느껴지는 가까운 위치로 이동시켰다(Figure 6).

jkcgs-27-3-43-g6
Figure 6. Wind system setting.
Download Original Figure

주행하는 동안 계속 돌아가게 되는 전면의 선풍기와 달리 좌우의 선풍기는 휠 컨트롤러의 각도에 따라 반복적으로 껐다 켜지므로 바람 생성에 있어 시간의 지연(약 2초)을 고려하고자 했다. 따라서 좌우 선풍기의 세기를 강풍으로 하여 세 선풍기를 모두 동일한 세기로 설정했다.

정면 선풍기 세팅 시 거리를 1.9m로 설정한 이유는, 사용자가 실험 중 듣게 되는 선풍기 모터의 구동 소리를 최소화하면서도 바람이 피험자의 위치까지 잘 도달하는 거리라고 판단했기 때문이다. 또한, 좌우 바람의 차이를 느낄 수 있도록 각도를 45°로 설정하였다.

5.2 실험 결과

13명의 피험자를 각각 7명, 6명의 두 집단으로 나누어 7명은 첫 번째 주행에서 바람이 있고, 두 번째 주행에서 바람이 없도록, 나머지 6명은 첫 번째 주행에서 바람이 없고, 두 번째 주행에서 바람이 있는 환경을 제공하여 실험을 진행하였다. 본 논문에서는 이와 관련한 표기를 편의를 위해 ‘O→X’, ‘X→O’로 나타낸다(Tables 1 and 2).

Table 1. Experiment setting.
O→X 첫 번째 주행에서 바람이 있고, 두 번째 주행에는 바람이 없는 집단
X→O 첫 번째 주행에서 바람이 없고, 두 번째 주행에서는 바람이 있는 집단
Download Excel Table
Table 2. Number of subjects according to experimental settings.
실험 세팅 O→X X→O
피험자 수 7 6
Download Excel Table
5.2.1 SSQ 결과

13회 시행한 실험을 통해 아래와 같은 결과가 나왔다(Table 3).

Table 3. Experimental results.
실험 세팅 O→X(7명) X→O(6명) 총합
바람이 있을 때 멀미를 강하게 느낀 피험자 수 0 2 2
바람이 없을 때 멀미를 강하게 느낀 피험자 수 7 4 11
Download Excel Table

Table 3은 각 실험에서 피험자 수가 어떻게 분포되어 있는가를 보여준다. 두 집단의 결과를 종합해 보았을 때 바람이 있을 때 멀미를 강하게 느낀 피험자는 2명, 바람이 없을 때 멀미를 강하게 느낀 피험자의 수는 11명이다. 이처럼 단순히 피험자의 비율로만 비교했을 때, 논문에서 세운 가설을 실험이 뒷받침해 줌을 확인할 수 있다.

jkcgs-27-3-43-g7
Figure 7. Average total scores on each trial.
Download Original Figure

하지만 실험 결과를 해석할 때 ‘이월 효과’를 고려해야 한다. 이월 효과로 인해 피험자의 첫 번째 시행에서의 멀미가 두 번째 시행의 멀미에 영향을 주게 된다[12]. 실험 결과를 통해서도 이를 확인할 수 있는데, ‘X→O’의 두 번째 시행에서 바람이 멀미 감소에 영향을 주었다고 가정할 때 두 집단 모두에서 시행 횟수가 증가할수록 SSQ 값이 증가함을 볼 수 있다. 따라서, ‘X→O’ 시행에서 바람이 있을 때 멀미를 강하게 느낀 2명의 피험자에 대한 결과를 논의할 때 두 번째 시행에서 바람을 추가했다는 것을 고려해야 한다. 동일하게, ‘O→X’의 두 번째 시행에서 바람이 없을 때 멀미를 강하게 느낀 피험자 7명 역시도 우리가 세운 가설에 맞는 결과이지만, 이월 효과가 개입된 결과임을 동시에 고려해야 한다.

그러나 이월 효과를 고려하더라도 초기 주행에 바람이 있었을 때 두 번째 주행에서보다 멀미를 강하게 느낀 피험자가 없었으며, 반대로 두 번째 주행에서 바람이 있었을 때보다 첫 번째 주행에서 멀미를 강하게 느낀 피험자가 6명 중 4명이라는 것을 통해 본 논문에서 세운 가설이 뒷받침되었음을 확인할 수 있다(Table 4).

Table 4. Cybersickness on the first trial.
바람의 유무에 따른 피험자 수
첫 주행에서 바람이 있을 때 멀미를 강하게 느낌 7명 중 0명
첫 주행에서 바람이 없을 때 멀미를 강하게 느낌 6명 중 4명
Download Excel Table

위의 표는 피험자가 제공한 SSQ의 종합 수치를 보여준 표이다(Table 5). 첫 번째 행의 수치는 피험자들의 첫 번째 주행 후 평균 SSQ 값에서 초기 SSQ 평균값을 뺀 값이며, 두 번째 행의 수치는 피험자들의 두 번째 주행 후 SSQ 평균값에서 첫 번째 주행 후 SSQ 평균값을 뺀 값이다. 즉, 두 시행에서의 SSQ 결과의 차이로 보면 되는 것이다. 위의 표에서 알 수 있는 결과는 아래와 같다.

Table 5. Average total score difference over 2 trials.
실험 세팅 O→X X→O
초기 → 첫 번째 주행 16.563 14.960
첫 번째 주행→ 두 번째 주행 11.754 1.247
Download Excel Table

(1) ‘O→X’ 세팅일 때가 ‘X→O’일 때보다 첫 주행에서 멀미가 더 많이 일어났다. 첫 시행과 시행 전을 비교했을 때 ‘바람’이 있는 경우에 바람이 없는 경우보다 멀미를 더 많이 느꼈다는 것을 의미한다. 그 이유가 무엇인지를 확인해본 결과, ‘O→X’ 세팅에서는 비교적 멀미를 많이 느끼는 피험자들이 2명이 있음을 확인했다. 한 피험자는 예외적으로 도로를 의도적으로 이탈하거나 벽에 부딪히면서 주행을 해 높은 멀미도를 보였고, 두 번째 시행에서 5분을 채우지 못하고 약 4분에서 주행을 멈췄다. 다른 한 피험자는 개인적인 특성으로 사이버 멀미를 많이 느끼는 것으로 예상된다. 첫 번째 주행 이후 어지러움을 호소하며 누워서 휴식을 취했고, 바람이 없는 두 번째 주행에서는 약 1분만 진행하고 주행을 중단했다. 멀미를 많이 느끼는 2명이 있었음에도 불구하고 16.563과 14.960은 큰 차이 값을 보이지는 않는다.

(2) 두 번째 주행이 수행 될 때 ‘O→X’ 시험에서 피험자는 평균적으로 바람이 없는 경우 멀미를 더 많이 느꼈으며, ‘X→O’ 시행에서는 평균적으로 바람이 있는 경우 멀미를 더 많이 느꼈다. 두 수치를 놓고 보면 두 경우 모두 SSQ 값이 늘어남을 확인할 수 있다. 두 번째 시행에서는 비교적 멀미를 더 많이 느꼈다는 의미이다. 이 경우에는 이월 효과로 인해 늘어난 것으로 추론되고, 비교적 ‘X→O’ 시행이 ‘O→X’ 시행보다 늘어난 값이 작음을 확인했다. 큰 차이가 없었던 첫 번째 행과 달리 두 번째 행의 결과값은 11.754와 1.247이라는 큰 차이를 보인다. 이월 효과로 증가하는 멀미를 바람을 통해서 감소시킨 것으로 해석할 수 있다.

SSQ의 3가지 세부 항목인 구토 증상(nausea: N), 안구운동 불편(oculomotor: O), 방향감각 상실(disorientation: D)의 평균을 보았을 때, 전체적으로 두 번째 시행에서 바람이 있는 경우가 첫 번째 시행에서 바람이 있는 경우보다 N, O, D가 작게 증가하였음을 확인할 수 있다(Table 6). 표준편차의 경우 상당히 값을 가지는데 이것은 신체적 또는 경험적 차이로 인해 피험자 개인별로 인식하는 멀미가 상대적으로 많이 다른 것에 기인하는 것으로 보인다.

Table 6. Mean and standard deviation (std) on nausea (N), oculomotor (O) and disorientation (D) from the SSQ results.
O→X 실행
초기→첫 번째 주행(1) 첫 번째 주행 → 두 번째 주행(2) (2)-(1)
N mean 14.991 10.903 -4.088
std 22.614 10.199 -
O mean 8.663 8.663 0
std 11.096 11.928 -
D mean 23.863 11.931 -11.932
std 23.724 18.725 -
Total mean 16.563 11.754 -4.809
std 16.566 13.210 -
X→O 실행
초기→첫 번째 주행(3) 첫 번째 주행 → 두 번째 주행(4) (4)-(3)
N mean 12.720 -1.590 -14.310
std 13.034 11.153 -
O mean 10.107 2.527 -7.580
std 10.356 11.412 -
D mean 18.560 2.320 -16.240
std 20.957 13.686 -
Total mean 14.960 1.247 -13.713
std 13.994 13.099 -
Download Excel Table
5.2.2 특정 조건에서 멀미의 정도

본 논문에서는 추가로 피험자가 어느 경우에 높은 멀미도를 보이는지 조건을 확인해보며 경향을 파악하고자 했다.

(1) 비디오 게임 경험에 따른 멀미도 차이

실험 초반에 진행하는 demographic data를 통해 피험자의 평소에 비디오 게임 플레이 여부와 이용 시간을 받았다. 평소 비디오 게임을 한다고 답했으나, 일주일에 평균 1시간 미만 게임을 하는 피험자는 비디오 게임을 하지 않는다고 판단하여 그룹을 나눴다. 즉, 일주일에 비디오 게임을 1시간 미만 하는 그룹과 1시간 초과하는 그룹으로 나누어 두 그룹의 SSQ 값이 어떤 경향을 보이는지를 확인했다.

Table 7. Subject groups based on whether or not playing video games.
비디오 게임 여부 피험자
Y 일주일에 비디오 게임을 1시간 이상 하는 피험자
N 일주일에 비디오 게임을 1시간 미만 하는 피험자
Download Excel Table
Table 8. Difference value of SSQ based on whether or not playing video games.
실험 세팅 O → X X → O
비디오 게임 여부 Y N Y N
초기 → 첫 번째 주행 13.090 21.193 7.480 18.70
첫 번째 주행 → 두 번째 주행 10.285 13.713 -3.740 3.740
Download Excel Table

위의 표를 확인했을 때, 평소에 비디오 게임을 하지 않은 사람들이 비디오 게임을 많이 하는 사람들에 비해 거의 2배 가까운 멀미를 느꼈음을 확인했다.

(2) 운전 경험에 따른 멀미도 차이

실험의 설계 단계에서, 운전 경험이 있는 사람들이 운전에 익숙하므로 VR 레이싱 게임에서도 익숙함을 느끼고, 멀미를 비교적 덜 느낄 것이라는 가설을 세웠다. 이를 확인하기 위해 demographic data를 통해 피험자들이 운전면허를 취득하고 실제 운전 경험이 있는지, 만일 경험이 있다면 최근 한 달 내에 몇 시간의 운전 경험을 가졌는지 확인하였다. 하지만 이 조건에서는 피험자들이 특정한 경향을 보이지 않는다. 따라서 운전 경험이 VR 게임의 멀미에서는 크게 영향을 주지 않았다고 판단된다. 실험 중 추가로 심층 인터뷰를 진행했을 때, 실제 운전 경험이 있는 몇몇 피험자는 오히려 ‘실제 운전을 할 때는 몸의 기울기나 무게 중심이 바뀌는데, VR 안에서는 그렇지 않으니 오히려 괴리감을 느꼈다 ’라는 피드백을 주었다.

(3) 성별에 따른 멀미도 차이

실험을 설계할 때, 여성이 남성보다 비교적 큰 멀미 정도를 보여준다고 생각했다. 실제로 기존의 많은 VR 연구에서는 ‘여성이 남성보다 VR에서 낮은 몰입감, 높은 멀미도를 보였다’라는 결과를 보여주고 있다[18]. 본 연구에서도 같은 경향을 나타내는지 확인하고자 했고, 실제 여성이 더 높은 멀미 경향을 보임을 확인할 수 있다.

Table 9. Difference value of SSQ based on male and female.
실험 세팅 O→X X→O
성별 여성 남성 여성 남성
초기→첫 번째 주행 31.790 10.472 14.960 14.960
첫 번째 주행→두 번째 주행 18.700 8.976 6.233 -3.740
Download Excel Table
5.2.3 심층 인터뷰

실험에서 SSQ 설문조사를 진행한 이후, 설문 이후에 추가로 심층 인터뷰를 진행했다. 개선되었으면 하는 요소들, 바람이 있는 경우와 없는 경우 어떤 차이를 느꼈는지, 언제 멀미를 강하게 느꼈는지 등을 확인했다.

피험자들이 대부분 동일하게 ‘내리막길과 급커브가 동시에 있는 구간’에서 멀미를 많이 느꼈다고 답했다.

jkcgs-27-3-43-g8
Figure 8. The section where subjects felt cyber sickness a lot.
Download Original Figure

또한 이런 피드백과 함께 ‘바람이 좌우뿐만 아니라 상하로도 추가되어 내리막길 같은 경우에 아래에서도 바람이 불면 더 현실감이 있을 것 같다’라고 말했다.

몇몇 운전 경험이 있는 피험자들은 ‘VR에 바람을 적용할 때 오히려 현실감이 들어서 괴리감을 느꼈다’라는 피드백을 주기도 했다. 바람을 통해서 VR 환경에서 더 높은 현실감을 느꼈지만, 피험자에게 실제 운전 시의 관성이나 쏠림이 느껴지지 않아서 오히려 괴리감이 들었다고 답했다. 그러면서 레이싱 시트에 움직임을 맞춰서 준다면 이러한 괴리감을 줄일 수 있지 않을까 하는 피드백을 주었다.

한 피험자는 ‘바람의 세기가 VR의 차량 속도와 불일치해서 괴리감을 준다’라는 피드백을 주기도 했다. HMD 때문에 바람이 막혀서 바람이 거의 느껴지지 않았다는 피험자들도 있었다.

심층 인터뷰를 통해서 향후 연구를 진행할 때 개선할 수 있는 다양한 시사점을 얻었다.

5.3 실험 한계

멀미를 유발하는 요인 중 많은 것을 고려하지 못한 점이 있다. 통계 방법론을 활용한 검증을 거치기에는 피험자 수가 충분히 확보되지 않았다.

또한, 피험자들의 멀미와 관련된 개별적인 특성을 고려하지 않았다. 실험을 진행할 때 피험자들에게 실험 전에 음식 및 카페인 섭취를 자제하도록 요청했으나, 이를 지키지 못한 채 실험에 진행한 참여자가 있었다. 또한 멀미와 관련된 개인적인 특성이나, 멀미를 유발하는 기술적인 모든 요인까지는 고려할 수 없어 척도 설문지와 인터뷰만을 고려하여 결과를 냈기 때문에 통제 변인을 추가하면 다른 결과가 나올 가능성이 있다.

실험 참여자들의 윈드 시스템이 없는 주행을 마친 후 땀이 많이 난다는 공통된 의견을 내놓았는데, 이것이 날씨나 실험 장소 온도의 영향인지 ‘멀미 증상’ 중 하나인 식은땀의 영향인지 확실하게 판단할 수 없었다. 단, 실험 일자별로 날씨는 최고기온 26도로 같았고 실험장의 실내온도는 일정했다.

실험 결과에서도 계속 언급했듯이 ‘이월 효과’를 확실하게 판단할 수 없다는 점도 한계점이다. 비록 실험 결과는 가설을 지지하긴 하나, 이월 효과를 고려하여 두 시행 사이에 충분한 시간을 두고 두 실험을 진행할 시 다른 결과가 나올 수 있는 점을 고려해야 한다.

6. 결론

실험을 통해 촉각 경험을 추가하는 것만으로도 VR 콘텐츠에서의 사용자경험이 긍정적으로 향상되는 것을 확인할 수 있었다. 실험에서는 완전 몰입형 VR인 HMD에서만 확인하였지만 향후 비몰입형인 탁 트인 공간에서의 VR 환경 등에서도 적용하여 4D 콘텐츠, 테마파크나 체험형 전시와 같은 다양한 체험형 콘텐츠 분야에 활용할 수 있을 것이다.

또한 교육 과정에서 VR을 사용하고자 하는 시도가 다양하게 이루어지고 있는데 바람을 이용한 생태 미술교육, 과학 프로그램 등에서 활용 등 다양한 교육과정 개발에도 접목할 수 있을 것이다[5].

6.1 차후 실험 개선 방향

본 연구는 Interactive Wind System을 앞으로 풍향과 풍속을 제어하는 방법을 개발함으로써 지속적으로 발전시킬 것이다.

현재 제공된 하드웨어의 제작은 시간과 공간, 인력의 조건이 열악한 경우에도 설치와 세팅을 할 수 있도록 용이한 비용으로 초기 실험을 설계하였으며 차후 발전된 실험에서는 더 많은 것을 고려하여 환경에 최적화된 값으로 설계하고 설치할 수 있을 것이다.

가정용 선풍기를 개조하여 제작한 인공바람 제작 설비의 개수를 추가하여 바람의 풍향과 풍속을 더욱 세밀하게 조정할 수 있을 것으로 예상된다. 이를 통해 조금 더 다양한 상황에 맞는 바람을 구현할 수 있을 것이다. 또한 이처럼 발전된 하드웨어 시스템으로 풍향을 다양화할 때, 혹은 풍속을 다양화할 때 어떤 효과를 나타내는지도 확인해볼 수 있을 것이다.

또한 자기 보고형인 SSQ척도 뿐만 아니라 앞서 언급한 멀미 측정 방법 중 뇌파나 안구의 움직임과 같은 생체신호를 바로 기계로 분석하는 것으로 멀미 경험의 여부와 강도를 더욱 객관적인 수치로 확인해볼 수 있을 것이다[13, 14].

References

[1].

Innopolis, Marketsandmarkets, Virtual Reality Market, 2020, pp. 6.

[2].

Lee, J., Yang, S., “A Study on VR contents in the field of performing Arts - focusing on the Jultagi”, The Korean Journal of Arts Studies (14), 2016.12, pp. 259-286.

[3].

Kim, J., Lee, S., “An effect analysis of Web basis Reality education Contents - Around,” Journal of Digital Design 9(4), 2009.10, pp. 65-74.

[4].

Lee, J., Kim, S., “Analysis on the Research Trend about the Use, Research Methods, and Domains of Virtual worlds,” 교육공학연구, 26(3) : pp. 159-179.

[5].

Sim, K., et al, “Exploring Application Ways of Virtual Reality Technology in Science Education,” Journal of the Korean association for science education v.21 no.4 , 2001, pp. 725-737.

[6].

Qiao, R., Han, D., “A study on the Virtual Reality Sickness Measurement of HMD-based Contents Using SSQ,” 2018;18(4): pp. 15-32.

[7].

Jung, J., et al, “Causes of Cyber Sickness of VR Contents-An Experimental Study on the Viewpoint and Movement,” JOURNAL OF THE KOREA CONTENTS ASSOCIATION 17(4), 2017.4, pp. 200-208.

[8].

Choi, I., et al., "Effect of Inconsistency Between Visually Perceived Walking Speed and Physically Perceived Walking Speed on VR Sickness in VR-Treadmill Walking," Korean Society for Emotion and Sensibility, 2020, vol.23, no.3, pp. 79-90.

[9].

Oman CM. “Motion sickness: a synthesis and evaluation of the sensory conflict theory,” Can J Physiol Pharmacol, 1990.Feb;68(2): pp. 294-303.

[10].

So, Y., “The Impact of Presence Experience on Resolution of Virtual Reality Device,” The Journal of the Korea Contents Association v.19 no.7, 2019, pp. 393-401.

[11].

Lehmann, Anke & Geiger, Christian & Woldecke, Bjorn & Stocklein, Jorg. (2009). Poster: Design and evaluation of 3D content with wind output. 151 - 152.
.

[12].

Mun, S., et al., “Overview of VR Media Technology and Methods to Reduce Cyber sickness,” Journal of Broadcast Engineering 23(6), 2018.11, pp. 800-812.

[13].

Jung, D., Jung, S., Jang, Y., (2017), “Cyber Sickness Solution using Eye Tracking on VR Environment,” Proceedings of HCI Korea, pp. 808-811.

[14].

Jung, D., You, S., Jang, Y., (2019), “EEG-based VR Sickness measurement using deep learning algorithm” Proceedings of HCI Korea, pp. 615-618.

[15].

Robert S. Kennedy, Norman E. Lane, Kevin S. Berbaum & Michael G. Lilienthal, "Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness.", The international journal of aviation psychology, (1993), Vol. 3, NO. 3, pp. 203-220.

[16].

Oh, G., Oh, S., (2018), A study on User-Experience evaluation of VR Contents using Questionnaire. Journal of Digital Art Engineering & Multimedia, 5(2), pp. 135-146.

[17].

Hoffman, H.G.; Chambers. G.T.; Meyer. W.G.; Arceneaux, L.L.; Russell, W.J.; Seibel, E.J.; Richards, T.L.; Sharar, S.R.; and Patterson, D.R. “Virtual reality as an adjunctive non-pharmacologic analgesic for acute burn pain during medical procedures.,” Annals of behavioral medicine : a publication of the society of behavioral medicine, vol. 41, iss. 2, pp. 183-91, 2011.

[18].

S. V. G. Cobb, “Measurement of postural stability before and after immersion in a virtual environment,” Applied Ergonomics, vol. 30, no.1, pp. 47-57, Feb. 1999.

[19].

Y. Sawada., et al, “Effects of synchronized engine sound and vibration presentation on visually induced motion sickness” Scientific Reports, 2020.5, pp 2-8.

[20].

J. Reason, "Motion sickness: Some theoretical and practical considerations," Applied Ergonomics, Volume 9, Issue 3, 1978, pp. 163-167.

<저자소개>

한 다 성

jkcgs-27-3-43-g9

  • 2006년 광운대학교 컴퓨터공학부 컴퓨터소프트웨어전공 학사

  • 2008년 한국과학기술원 전자전산학과 전산학전공 석사

  • 2014년 한국과학기술원 전산학과 박사

  • 2014년 - 2016년 카이스트 문화기술 연구소 박사후 연구원

  • 2016년 – 현재 한동대학교 ICT창업학부 조교수

  • 관심분야: 캐릭터 애니메이션, 물리 기반 시뮬레이션, 동작 제어, VR/AR

임 도 전

jkcgs-27-3-43-g10

  • 2013년 한동대학교 전산전자공학부 입학

  • 2019년 한동대학교 ICT창업학부 재입학

  • 2021년 현재 한동대학교 재학

  • 관심분야: 캐릭터 애니메이션, 뉴미디어아트, 인간공학

이 예 원

jkcgs-27-3-43-g11

  • 2018년 한동대학교 입학

  • 2021년 현재 한동대학교 ICT창업학부 재학

  • 관심분야: VR/AR, 컴퓨터 그래픽스, 테크니컬 아트

조 예 솔

jkcgs-27-3-43-g12

  • 2017년 한동대학교 입학

  • 2021년 현재 한동대학교 ICT창업학부 재학

  • 관심분야: VR, 기능성 게임

류 태 동

jkcgs-27-3-43-g13

  • 2018년 한동대학교 입학

  • 2021년 현재 한동대학교 재학

  • 관심분야: VR/AR, 컴퓨터 그래픽스, 컴퓨터 비전