Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

심층신경망 알고리즘을 이용한 가상환경에서의 멀미 측정 및 분석

정대교1https://orcid.org/0000-0001-5282-6726, 유상봉1https://orcid.org/0000-0002-0973-9288, 장윤1,*https://orcid.org/0000-0001-7745-1158
Daekyo Jeong1https://orcid.org/0000-0001-5282-6726, Sangbong Yoo1https://orcid.org/0000-0002-0973-9288, Yun Jang1,*https://orcid.org/0000-0001-7745-1158
1세종대학교
1Sejong University
*corresponding author: Yun Jang/Sejong University(jangy@sejong.edu)

© Copyright 2019 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Feb 19, 2019 ; Revised: Feb 25, 2019 ; Accepted: Feb 28, 2019

Published Online: Mar 01, 2019

요약

사이버 멀미는 VR 체험 중 발생하는 증상으로, 주로 감각과 인지 시스템 사이의 불일치로 인해 발생하는 것으로 추정된다. 하지만 감각 및 인지 시스템을 객관적으로 측정할 수 있는 방법이 없기 때문에, 사이버 멀미를 측정하는 것은 어렵다. 이를 해결하기 위해 사이버 멀미를 측정하기 위해 다양한 방법론들이 연구되고 있다. 기존의 멀미를 측정하기 위한 방법은 설문 방식을 이용하거나, 머신 러닝을 이용하여 뇌파 데이터를 분석하는 방식으로 진행되어 왔다. 하지만 설문을 이용한 방식은 다소 객관성이 떨어지며, 머신 러닝을 사용하는 방식은 아직까지 높은 정확도를 얻은 연구가 부족하다. 본 논문에서는 뇌파 데이터를 Deep Neural Network (DNN) 딥러닝 알고리즘에 적용하여 객관적인 사이버 멀미 측정 방식을 제안한다. 또한 우리는 더 정확한 사이버 멀미 측정 결과를 위하여 딥러닝 네트워크 구조와 뇌파 데이터 전처리 기법을 제안한다. 우리의 접근 방법은 최대 98.88%의 정확도로 사이버 멀미를 측정한다. 또한 우리는 실험에서 사이버 멀미를 유발하는 영상의 특성을 분석한다. 일반적으로 사이버 멀미는 상하 움직임이 심한 화면, 화면의 지속적이고 빠른 전환, 공중에 떠있는 상황에서 발생한다.

Abstract

Cybersickness is a symptom of dizziness that occurs while experiencing Virtual Reality (VR) technology and it is presumed to occur mainly by crosstalk between the sensory and cognitive systems. However, since the sensory and cognitive systems cannot be measured objectively, it is difficult to measure cybersickness. Therefore, methodologies for measuring cybersickness have been studied in various ways. Traditional studies have collected answers to questionnaires or analyzed EEG data using machine learning algorithms. However, the system relying on the questionnaires lacks objectivity, and it is difficult to obtain highly accurate measurements with the machine learning algorithms. In this work, we apply Deep Neural Network (DNN) deep learning algorithm for objective cybersickness measurement from EEG data. We also propose a data preprocessing for learning and network structures allowing us to achieve high performance when learning EEG data with the deep learning algorithms. Our approach provides cybersickness measurement with an accuracy up to 98.88%. Besides, we analyze video characteristics where cybersickness occurs by examining the video segments causing cybersickness in the experiments. We discover that cybersickness happens even in unusually persistent changes in the darkness such as the light in a room keeps switching on and off.

Keywords: 가상현실; 사이버 멀미; 뇌파; 딥러닝
Keywords: Virtual Reality (VR); Cybersickness; EEG; Deep Learning

1. 서론

최근 Virtual Reality (VR) 과 관련된 기술은 빠르게 발전하고 있다. 수년 동안 다양한 상호작용 기술, 몰입 환경, 하드웨어의 발전 등 다양한 VR 기술은 발전되어 왔다. 하지만 VR 체험에서 아직 해결되지 않고 있는 문제는 사이버 멀미이다. 많은 사람들이 사이버 멀미로 인해 VR 체험을 꺼리고 있기 때문에 사이버 멀미는 VR 시장의 대중화에 큰 문제로 여겨지고 있다. 사이버 멀미는 기존의 멀미와 증상이 비슷하고, 발생 원인이 다양하기 때문에 어려운 문제로 인식되고 있다.

사이버 멀미가 발생하는 원인은 다양한 요소가 존재하며, 가장 직접적인 원인은 감각 및 인지체계의 혼선으로 인한 것으로 추정하고 있다[1]. 즉, 신체의 평형감각과 눈을 통해 들어오는 시각적 정보 사이의 괴리, 인지부조화 때문에 사이버 멀미가 발생하게 되는 것이다. 그 외에도 화면 해상도, 시야각 (Field of View), latency 등 다양한 원인이 존재한다. 해상도의 경우, VR 기기는 대부분 화면이 눈에 근접해 있기 때문에 저해상도라면 픽셀이 보일 수도 있다. 이러한 문제는 눈의 피로를 가중시키고, 부정확한 그래픽 정보는 현실성을 떨어트려 사이버 멀미 발생의 요인이 되기도 한다. 좁은 시야각은 현실과 달리 충분한 시야 정보를 얻을 수 없기 때문에 사이버 멀미를 유발할 수 있다. 응답 시간은 화면 전환의 속도가 뇌에서 인지하는 속도보다 느린 경우, 뇌에서 이상함을 느끼게 되고 사이버 멀미가 발생한다.

사이버 멀미는 뇌의 행동과 관련이 있기 때문에 뇌파 데이터를 사용할 때 가장 객관적인 분석이 가능하다. 뇌파 데이터는 굉장히 복잡하여 사람이 직접 분석하는데 시간이 오래 걸릴 뿐만 아니라 잘못된 해석의 가능성 또한 많다. 최근 복잡한 뇌파 데이터를 분석하기 위해 감정 인식 및 패턴 분석 등 다양한 분야에서 딥러닝을 적용하고 있다. 따라서 가장 일반적으로 사용되는 딥러닝 알고리즘인 Deep Neural Network (DNN) 딥러닝 알고리즘에 뇌파 데이터를 적용하여 사이버 멀미 측정의 정확도가 향상되는지 여부를 조사하는 것은 충분히 가치가 있다.

본 논문에서는 뇌파 데이터를 DNN 딥러닝 알고리즘에 적용한 사이버 멀미 측정 기법을 연구한다. 이를 위해 참가자가 VR 영상을 체험할 때 뇌파 데이터를 수집하여 사이버 멀미가 발생하는 패턴을 찾기 위해 DNN 딥러닝 알고리즘을 이용해 학습한다. 이 단계에서 뇌파 데이터를 딥러닝 알고리즘에 적용하기 위한 데이터 전처리 기법을 제안한다. 이 연구에서는 Emotiv Epoc+ 장치를 사용하여 뇌파 데이터를 수집한다. Emotiv Epoc+는 각 뇌파 채널별 신호 품질 정보를 제공한다. 우리는 신호 품질 데이터에 따른 가중치 모델을 제안하고 각 신호 품질 가중치를 비교함으로써 가장 높은 성능을 보이는 모델을 제시한다. 마지막으로, 사이버 멀미가 발생할 때 VR 영상을 분석하여 참가자들이 사이버 멀미를 경험하는 화면의 특성을 분류한다. 본 논문에서 우리의 Contribution은 다음과 같이 요약된다.

  • 딥러닝 알고리즘을 통해 뇌파 데이터를 분석하여 사이버 멀미를 측정한다.

  • 사이버 멀미 측정에 적합한 뇌파 데이터의 정규화 기법을 제안한다.

  • 뇌파 데이터의 신호 품질에 대한 가중치를 비교하고 가장 높은 정확도를 위한 신호 품질 가중치 세트를 제안한다.

  • 실험에 참가한 11명의 참가자의 사이버 멀미 데이터를 분석하여 사이버 멀미가 발생하는 VR 영상 구간의 공통된 특징을 발견한다.

우리가 제안하는 뇌파 데이터 기반의 딥러닝 기술을 사용하여 사이버 멀미를 측정 하는 접근 방법은 설문지를 사용하는 기존의 연구보다 더 신뢰할 수 있고 객관적이다.

2. 관련연구

사이버 멀미와 기존 멀미를 측정하고 분석하기 위해 다양한 방법론이 사용되었다. 사이버 멀미를 측정하기 위해 사용한 대표적인 방법은 설문지 방식, 뇌파 데이터 분석, 머신 러닝 알고리즘이다. 이전의 연구에서 많은 설문지 유형 접근법이 멀미를 측정하기 위해 제안되었다. 또한, 분석을 위해 뇌파 데이터가 수집되었으며 보다 정확한 분석을 위해 머신 러닝 알고리즘을 활용하였다. 이 장에서는 이전 연구에서 제안된 기법을 검토하고 이를 우리의 접근 방식과 비교한다.

2.1 멀미 측정

일반적으로 인간의 멀미는 MSQ (Motion Sickness Questionnaire)를 사용하여 측정되었다[2, 3]. MSQ를 사용한 연구는 실험에서 참가자가 느낀 점에 대한 설문 조사를 기반으로 연구가 진행되었다. Nesbitt et al[2].은 반응 시간과 사이버 멀미 사이의 관계를 연구했으며, MSSQ (Motion Sickness Susceptibility Questionnaire, MSAQ (Motion Sickness Assessment Questionnaire) 와 같은 설문 조사를 통해 사이버 멀미를 측정했다. Keshavarz at el[3].은 VR 경험 중 MSQ를 통해 멀미에 대한 음악의 영향을 측정하고 조사했다. 그러나 MSQ, MSSQ, MSAQ의 설문 항목은 이미 고정되어 있으므로 필요에 따라 사용자 정의 설문지를 작성해야 한다. 설문지를 작성하는 기존의 접근 방식에서 가장 중요한 요소는 설문지 항목과 설문지를 분석하는 사람이다. 설문 조사를 통한 멀미 분석에서 객관적인 설문 항목이 잘 작성되지 않으면 잘못된 데이터를 수집 할 수 있다. 멀미의 발생 여부를 정확하게 판단하여 설문 조사를 하는 것은 어렵기 때문에 실험자의 주관적인 의견이 개입하여 정확한 측정이 힘들 가능성이 있다.

최근에 많은 연구자들이 뇌파 데이터를 분석하기 위해 머신 러닝 기법을 사용하여 연구를 수행했다[4, 5, 6, 7, 8]. Yu et al[4].은 멀미가 발생하는 상황에서 뇌파 데이터의 공통적인 특징을 추출하고자 하였고, 이를 위해 Gaussian Maximum Likelihood Classifier (ML), k-Nearest-Neighbor Classifier (KNN), Support Vector Machine (SVM) 방식을 비교하였다. Wei et al[5].은 뇌파 데이터를 사용하여 멀미 수준을 측정하였고, Linear regression (LR), Radial basis function neural network (RBFNN), Support vertor regression (SVR) 3가지 방식을 사용하여 정확도를 비교하였다. Lin et al[6].은 뇌파 데이터를 사용하여 멀미 수준을 측정하기 위해 self-organizing neural fuzzy inference network (SONFIN) 모델을 제안하였다. CNN 기법을 적용하여 뇌파 데이터를 해독하고자 하는 연구도 있었다[7, 8].

설문 조사, 머신 러닝, 뇌파와 같은 다양한 접근법을 통해 사이버 멀미를 측정하기 위한 연구들이 수행되어 왔다. 하지만 단순한 멀미 측정 이외에 사이버 멀미를 분석하고자 하는 연구는 아직까지 진행되고 있지 않다. 따라서 본 연구에서는 사이버 멀미를 측정하는 것뿐만 아니라 사이버 멀미가 발생하는 상황을 분석하고자 한다. 또한, 사이버 멀미가 자주 발생하는 VR 영상의 공통적인 특성을 조사한다.

2.2 뇌파 데이터 분석

뇌파는 매우 복잡한 형태로 진동하는 파형이다. 따라서 뇌파 파형 그대로를 시각적으로 분석하는 것은 매우 비효율적이다. 일반적으로 뇌파 데이터는 파워 스펙트럼 분석 기법으로 분석되며, 이는 데이터가 주파수 도메인 내에서 분류된다는 것을 의미한다[9, 10, 11, 12]. 파워 스펙트럼 분석은 뇌파가 특정 주파수로 진동하는 단순 진동들의 선형 조합이라고 가정 할 때, 각 주파수 구성 요소를 분해하여 각 주파수 구성 요소의 강도를 표시하는 기술이다. 또한 Independent Component Analysis (ICA)는 뇌파 데이터 분석에 널리 사용된다[13, 14, 15, 16, 17, 18]. ICA는 Principal Component Analysis (PCA)를 보완하는 시계열 신호의 성분 분석 기술이다. 일반적으로 PCA는 가우시안 분포를 보이지 않는 데이터를 처리하기에 적합하지 않다. 하지만 ICA는 zoning을 통해 통계적 독립성을 획득하므로 독집적인 신호 분리가 가능하다.

본 논문에서는 뇌파 raw 데이터와 뇌파 데이터의 파워 스펙트럼을 모두 사용한다. Emotiv Epoc+ 장치는 데이터를 수집 할 때 파워 스펙트럼 분석이 자동으로 수행된다. Emotiv 시스템에서는 파워 스펙트럼 데이터를 band power data라고 칭한다. 뇌파 데이터의 특성상 측정 과정에서 많은 인공산물이 뇌파 데이터에 추가된다. 인공 산물이란 뇌파 기록 중에 나타나는 뇌파 이외의 전기적 파형이다. 일반적으로 뇌파 측정은 두피에 센서를 부착하여 수행하는데, 이 때 뇌파는 두개골과 두피를 통과하게 된다. 이 과정에서 다양한 인공산물이 뇌파에 혼합된다. 이러한 인공산물은 뇌파 분석에 어려움을 주므로 이를 제거하여 사용할 수 있어야 한다. 인공산물은 일반적으로 안구 운동, 근육 운동, 심박동, 땀, 혀의 움직임 등을 포함한다[19]. 그러나 뇌파 데이터를 분석 할 때 이러한 모든 인공산물을 제거하는 것은 불가능하다. 따라서 본 논문에서는 실험 과정에서 주의를 기울여 인공산물의 발생을 최소화하고 데이터 전처리 과정에서 특정 인공산물을 제거한다. 본 논문에서 전처리 과정은 초기 데이터 처리 과정으로 딥러닝 알고리즘의 데이터 처리 과정과 다르다.

2.3 뇌파 데이터를 이용한 딥러닝

뇌파 데이터를 이용한 연구는 인지적 관점에서 다양하게 진행되고 있다. 특히, 인간의 감정을 분류하기 위해 많은 연구에서 널리 사용된다. Othman et al[20].은 뇌파 데이터를 이용하여 네 가지 감정에 대한 분류 모델을 제안했다. Durall et al[21].은 학생들이 공부하는 동안 뇌파 변화를 모니터링하고 시각화하기 위한 기술을 연구했다. Bos[22]는 뇌파 데이터 기반의 감정 인식에 대한 연구를 진행했다. Petrantonakis et al[23].은 세 개의 뇌파 채널을 사용하여 뇌파 기반의 감정 인식을 연구했다. 이 연구에서는 행복, 놀라움, 분노, 공포, 혐오, 슬픔과 같은 인간의 여섯 가지 기본 감정의 특징을 추출하여 다양한 분류 방법과 비교한다. Lin et al[24].은 음악을 듣는 동안 뇌파 데이터로부터 감정 인식을 최적화 하고 분류 알고리즘의 정확도를 측정하기 위한 프레임 워크를 제안했다. 기쁨, 분노, 슬픔, 쾌락과 같은 네 가지 감정의 특징을 추출한다. Liu et al[25].은 뇌파를 이용하여 실시간으로 인식되는 인간의 감정을 바탕으로 VR 환경에서 아바타 표정을 변화시켜주는 연구를 진행했다. Nie et al[26].은 실험자가 다양한 장르의 영화를 볼 때 뇌파 데이터를 수집하여 감정을 분류했다. 또한, Zheng et al[27].은 뇌파와 시선 추적 데이터를 결합하여 감정 인식 성능을 향상시키는 방법을 연구 했다.

3. 데이터 수집

이번 장에서는 사이버 멀미를 측정하기 위해 뇌파 데이터를 수집하는 방법에 대해 설명한다. 뇌파란 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름으로, 뇌의 활동 상황을 측정하는 중요한 지표이다.

3.1 뇌파 데이터 수집

뇌파 데이터는 Emotiv Epoc+를 이용하여 14채널 뇌파 데이터를 수집하였다. 데이터 수집에 사용된 뇌파 채널은 International 10-20 System을 바탕으로 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4로 이루어져 있다. Epoc+는 수집되는 뇌파 데이터를 내부적으로 2048 Hz의 주파수르 샘플링한 후, 채널당 128 Hz의 주파수로 다운 샘플링을 진행한다. 우리는 Epoc+를 이용하여 크게 위의 14채널에 대한 raw 데이터, band power 데이터, 신호 품질 데이터를 수집한다. Raw data는 뇌파 센서에서 측정된 신호 값 자체를 나타내며, 채널당 한 개로 총 14개의 데이터를 수집한다. Band power data는 뇌파 센서에서 측정된 신호를 각각의 주파수 성분으로 분해하여 그 파워를 표시한 것이다. 뇌파의 주파수는 delta, theta, alpha, beta, gamma로 분류된다. 연구자마다 뇌파의 주파수를 분류하는 기준이 약간씩 차이는 있지만, 일반적으로 delta (0.2 ~ 4 Hz), theta (4 ~ 8 Hz), alpha (8 ~ 12 Hz), beta (12 ~ 30 Hz), gamma (30 Hz 이상)으로 분류하며 필요한 부분은 low, middle, high 등으로 더 세분화하기도 한다. 이렇게 분류된 주파수들은 주파수 별로 다른 특징을 가지고 있다. Delta 파는 수면파라고도 불리며, 수면 시 발생하는 파형이다. Theta 파는 졸음파라고도 불리며, 졸리거나 잠들기 전에 발생하는 파형이다. Alpha 파는 안정파라고도 불리며, 심신이 안정을 취하고 있을 때의 뇌파이다. Beta 파는 스트레스파라고도 불리며, 불안, 긴장 등의 상황에서 발생하는 파형이다. 마지막으로 gamma 파는 극도의 각성과 흥분 시 발생하는 파형이다.

본 논문에서는 delta 파를 제외한 모든 파형을 수집한다. Beta 파의 경우, low-beta와 high-beta로 세분화하여 수집한다. Band power data는 theta (4 ~ 8 Hz), alpha (8 ~ 12 Hz), low-beta (12 ~ 16 Hz), high-beta (16 ~ 25 Hz), gamma (25 ~ 45 Hz)로 구성된다. 또한 Emotiv가 제공하는 API[28]를 사용하여 각 채널의 정확도를 감지하는 신호 품질 데이터를 측정한다. 신호 품질 데이터는 각 채널에 대해 0에서 4까지의 정수이다. 각 값은 데이터 수신 정확도를 나타낸다 (0은 신호 없음, 1은 매우 나쁨, 2는 나쁨, 3은 보통, 4는 좋음).

뇌파 데이터는 초당 약 110 회 수집 되었으며, 한 번에 100가지 데이터 속성을 수집한다. 수집된 데이터 속성은 timestamp, 각 채널의 raw data, 각 채널의 band power data 다섯 종류 (theta, alpha, low-beta, high-beta, gamma), 각 채널의 신호 품질 데이터, 사이버 멀미 flag를 포함하여 총 100개의 속성 (1 + 14 + 5 x 14 + 14 + 1)을 수집한다. 사이버 멀미 flag는 사이버 멀미 여부를 판단하기 위해 실험에서 VR 영상을 시청하며 키보드 이벤트를 통해 사용자로부터 입력받는다. 사용자는 사이버 멀미를 경험할 때 1, 아닌 경우 0을 입력하고, 이 데이터는 사이버 멀미 labeling 데이터로 활용한다. 뇌파 수집 장치의 네트워크 상황에 따라 데이터 샘플링 속도가 초당 100 회에서 120 회까지 변동하기 때문에 각 참가자의 총 데이터 양은 약간의 차이가 있다.

3.2 실험

우리는 실험을 위해 대학에서 11명의 참가자를 모집했다. 참가자는 5명의 남성과 6명의 여성으로 구성되어 있다. 우리는 다양한 상황에서 사이버 멀미를 측정하고 분석하기 위해 여섯 가지 VR 영상을 사용하여 사이버 멀미를 측정했다. Figure 1는 실험에 사용된 VR 영상의 샘플 화면을 보여준다. 각 VR 영상의 길이는 약 1 ~ 5 분으로 이루어져 있다. Figure 1의 (a)는 모바일 게임 Clash of Clan의 광고 영상으로 격렬한 움직임을 가지는 영상이다[29]. (b)는 Walking Dead 드라마 영상으로 다소 공포스러운 분위기의 영상이다[30]. (c)는 Google Spotlight Stories: Pearl으로 대체적으로 평화로운 분위기의 영상이다[31]. (d)는 Jeff the killer 360 영상으로 다소 공포스러운 영상이다[32]. 실험은 참가자들이 4 개의 VR 영상을 보고 있을 때, 뇌파 데이터를 수집하는 방식으로 진행했다. 또한, 참가자들은 편안한 상태로 다음 VR 영상을 체험하기 위해 영상 사이에 1분의 휴식 시간을 가졌다. 우리는 사이버 멀미를 측정하기 위해 참가자들이 VR 영상을 체험하는 중 사이버 멀미를 느낄 때마다 키보드 이벤트를 통해 멀미 여부를 입력 받았다.

jkcgs-25-1-23-g1
Figure 1: Sample screen shots of VR videos used in our experiment. (a) is the Clash of Clan 360 video, (b) is the Walking Dead 360 video, (c) is the Google Spotlight Stories: Pearl 360 video, and (d) is the Jeff The killer 360 video.
Download Original Figure
3.3 뇌파 데이터 전처리

Epoc+ 장치에서 수집한 뇌파 데이터를 올바르게 활용하려면 노이즈를 제거해야 한다. 대표적인 노이즈는 근전도 (EMG), 안구 운동 (electrooculography, EOG), 심전도 (ECG), 말하기와 같은 신체 행동 및 땀으로 인한 센서 부착 불량 등이 있다. 이 연구에서는 근전도와 같은 고주파를 필터링하여 상당한 양의 노이즈를 제거했다. 눈 움직임은 Emotiv API를 통해 자동으로 필터링 되었으며, 실험실 온도를 편안하게 유지했다. 또한 실험 중에 대화를 금지하여 실험 환경을 유지함을 통해 노이즈를 최대한 배제했다. 추가적으로 딥러닝에서 불필요한 데이터를 제거하기 위해 0 값 데이터와 중복 데이터도 제거한다. 최종적으로 학습에 사용되는 데이터의 총 양은 552,627개이다. Table 1은 수집한 데이터의 양을 나타내며, Table 2는 전처리 과정을 거친 후 데이터의 양을 나타낸다. 데이터의 양은 뇌파 데이터가 수집된 횟수를 나타낸다. 데이터 샘플은 4장의 딥러닝 과정에서 training과 test를 위해 두 세트로 나눈다.

Table 1: The number of collected EEG data samples from 11 participants. (times)
Participant P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 Sum
No cybersickness 91,248 104,994 48,840 81,603 31,858 136,975 50,056 75,507 89,823 60,674 58,219 829,797
Cybersickness 2,616 0 22,237 168 24,832 0 5,075 144 2,730 0 0 57,802
Sum 93,864 104,994 97,077 81,771 56,690 136,975 55,131 75,651 92,553 60,674 58,219 887,599
Download Excel Table
Table 2: The number of EEG data samples after the preprocessing. (times)
Participant P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 Sum
No cybersickness 53,350 50,961 39,533 54,535 27,295 58,472 45,221 47,675 10,215 56,242 53,899 497,398
Cybersickness 2,614 0 22,237 168 22,785 0 5,075 144 2,206 0 0 55,229
Sum 55,964 50,961 61,770 54,703 50,080 58,472 50,296 47,819 12,421 56,242 53,899 552,627
Download Excel Table

4. 딥러닝을 이용한 사이버멀미 측정

이 장에서는 사이버 멀미의 발생 여부를 측정하기 위해 뇌파 데이터를 이용한다. 우리는 새로운 데이터 처리 방식을 제안하고 사이버 멀미 측정에 적합한 딥러닝 구조를 찾는다. 본 논문에서는 기본적인 딥러닝 알고리즘 중 하나인 DNN 딥러닝 알고리즘을 사용한다. DNN[33] 구조는 기존의 perceptron[34]의 XOR 분류가 불가능한 문제를 해결한 구조이다. 이 장에서는 DNN 알고리즘에 대한 데이터 처리 및 구조를 설계하고 학습을 진행한다.

4.1 DNN을 위한 데이터 처리

우리는 뇌파 데이터의 정확성을 검증하기 위해 신호 품질 (Signal Quality, SQ) 데이터를 수집한다. 우리는 SQ 데이터가 학습에 중요한지 여부를 결정하기 위해 SQ 데이터를 이용하여 여러 가지 가중치 뇌파 데이터 세트를 만든다. 우리는 SQ 데이터가 사이버 멀미 측정에 긍정적인 영향을 미칠 것이라고 가설을 세웠다. 따라서 SQ의 영향을 확인하기 위해 4 가지 가중치 모델을 만들었다. 모델 w1과 w2는 비례 관계, w3 과 w4는 반비례 관계로 설계했으며, SQ의 수치에 따른 딥러닝 학습 결과를 확인하기 위해 w1과 w2, w3과 w4의 가중치 수치를 다르게 하였다. 또한 신호 품질 가중치를 적용하지 않았을 때의 결과와 비교하기 위해 w0는 뇌파 데이터에 가중치를 적용하지 않는다. 각 가중치를 생성하는 방식은 다음과 같다. w1 = (SQ / 5) + 0.2, w2 = (SQ/2) + 0.5, w3 = 1 - (SQ/5), w4 = 2.5 - (SQ/2), SQ ∈{0, 1, 2, 3, 4}. 가중치 세트는 Table 3에 요약한다. 뇌파 가중치 데이터 세트는 가중치를 곱하여 만들어지므로 각 뇌파 데이터 세트에 대해 5개의 뇌파 가중치 데이터 세트가 생성된다. 우리는 뇌파 데이터에 가중치를 부여한 후 데이터 세트를 정규화한다. 정규화 기법으로 우리는 min-max 정규화와 표준화, 두 가지 다른 정규화 기술을 적용하고 학습 결과를 비교한다. min-max 정규화 기술은 데이터를 0에서 1의 범위로 정규화 하며 다음과 같이 계산된다.

x i = d a t a i min max   m i n

데이터 표준화는 다음과 같이 계산된다.

x i = d a t a i a v g s t a n d a r d   d e v i a t i o n
Table 3: weight sets based on signal quality (SQ) data.
SQ 0 1 2 3 4
w0 1.0 1.0 1.0 1.0 1.0
w1 0.2 0.4 0.6 0.8 1.0
w2 0.5 1.0 1.5 2.0 2.5
w3 1.0 0.8 0.6 0.4 0.2
w4 2.5 2.0 1.5 1.0 0.5
Download Excel Table

실험에서 각 참가자의 뇌파 데이터의 최소, 최대 범위와 뇌파 데이터 분포가 다르므로 비교를 위해 정규화 및 표준화 기술을 각 참가자의 개별 데이터 세트와 모든 참가자의 전체 데이터 세트에 적용한다. Table 4는 학습 데이터 세트를 보여준다. Individual data는 각 개인별로 정규화한 것을 나타내고 Integrated data는 전체 인원의 데이터 합쳐서 정규화한 결과를 의미한다. Table 4와 같이 우리는 학습을 위해 20 개의 서로 다른 데이터 세트를 생성하고 비교하여 DNN 학습에 가장 적합한 데이터 세트를 찾는다.

Table 4: DNN datasets generated by the data processing for comparison.
Weight sets W0 W1 W2 W3 W4
Individual normalization Dataset 1 Dataset 2 Dataset 3 Dataset 4 Dataset 5
Individual standardization Dataset 6 Dataset 7 Dataset 8 Dataset 9 Dataset 10
Integrated normalization Dataset 11 Dataset 12 Dataset 13 Dataset 14 Dataset 15
Integrated standardization Dataset 16 Dataset 17 Dataset 18 Dataset 19 Dataset 20
Download Excel Table
4.2 DNN 구조

Figure 2는 이 연구에서 사용한 DNN 구조를 보여준다. Input layer는 84개의 노드를 가진다. 84개의 노드는 raw data 및 band power 데이터의 수와 동일하다. 3개의 hidden layer은 각각 128, 256 및 128개의 노드를 가진다. Output layer를 제외한 모든 layer에는 ReLU 활성화 함수가 사용된다. 마지막으로 output layer에는 32개의 노드를 가진다. 참가자가 사이버 멀미를 경험했는지 여부를 결정하기 위해 output layer에서 Sigmoid 활성화 함수를 사용하여 0 또는 1을 출력한다. 과도한 학습에 의한 overfitting을 방지하기 위해, output layer를 제외한 모든 layer에 대해 0.5 비율로 drop out을 적용하고 학습 중에 overfitting이 발생할 경우 조기 종료를 가능하게 하는 early stopping 기법을 적용한다. 우리는 11명의 참가자를 각각 9명과 2명으로 나누어 training 및 test 데이터를 생성했다. 학습은 3-fold cross validation을 이용해 진행했으며, 각 학습은 1000 epochs으로 수행된다.

jkcgs-25-1-23-g2
Figure 2: Our DNN structure.
Download Original Figure
4.3 DNN 학습 결과

20개의 데이터 세트에 대한 학습 결과는 Table 5에 요약되어 있다. 전반적으로 Integrated 정규화가 사용되는 경우보다 Individual 정규화가 적용될 때 정확도가 더 높다. 뇌파 데이터 패턴은 사람마다 다르므로 전체 데이터를 그룹화하여 처리하는 방식은 결과에 나쁜 영향을 미친다. 따라서 뇌파 데이터는 개인별로 처리해야 한다. 또한 DNN 구조의 표준화는 min-max 정규화보다 더 높은 정확도를 제공한다. 마지막으로, 신호 품질 데이터를 사용하는 가중치 모델은 실험 결과를 향상시킨다. 다양한 가중치 세트를 비교 한 실험 결과, w2 가중치 세트를 사용하는 것이 최상의 결과를 유도하며 신호 품질 데이터가 없는 경우보다 우수함을 보여준다.

Table 5: DNN learning accuracy of each DNN dataset.
Weight sets W0 W1 W2 W3 W4
Individual normalization 94.15 94.18 95.00 93.92 91.53
Individual standardization 96.68 97.72 98.88 94.35 94.11
Integrated normalization 89.91 92.05 90.22 89.21 85.78
Integrated standardization 97.19 92.35 94.58 91.37 84.26
Download Excel Table

5. 사이버 멀미 상황 분석

사이버 멀미는 다양한 상황에서 발생할 수 있으며 모든 사람에게 동일하지는 않다. 본 논문에서는 일반적으로 사이버 멀미를 유발하는 VR 영상 구간을 조사하고 VR 체험 중에 사이버 멀미가 발생하는 공통적인 구간들의 특성을 분석한다. 우리의 실험에서 11명의 참가자 중 7명이 사이버 멀미를 경험했다. Figure 3은 각 영상에서 참가자들이 사이버 멀미를 경험한 구간을 표시한 것이다. 막대의 색상은 혼란을 방지하기 위해 사용자 별로 다른 색상을 사용했다. 영상 1에서 참가자들은 두 가지 구간에서 주로 사이버 멀미를 경험했다. 첫 번째 구간은 약 20초 때에 참가자들이 돼지를 타고 달리는 중이며, 두 번째는 약 60초에 참가자들이 공중에 떠있을 때이다. 영상 2는 사이버 멀미를 경험한 참가자가 없었다. 영상 3에서는 대부분 두 구간에서 사이버 멀미를 경험했다. 첫 번째 구간은 약 50초 구간에서 아이가 자동차의 앞좌석에서 뒷좌석으로 움직일 때, 참가자는 자동차가 흔들리는 상황에서 아이를 따라 움직이다 사이버 멀미를 경험했다. 두 번째 구간은 약 60초 구간에서 자동차가 터널에 들어가며, 빛의 세기가 지속적으로 변할 때 사이버 멀미를 경험했다. 영상 4에서는 약 110초 때에 주로 사이버 멀미를 경험했으며, 참가자들은 객체의 빠른 움직임 때문에 지속적으로 머리를 돌리는 경향이 있었다.

jkcgs-25-1-23-g3
Figure 3: The video segments are visualized when the participants experience cybersickness. The bar color represents the user.
Download Original Figure

Figure 3에서 사이버 멀미를 경험한 시간은 사람마다 다르다. 특히, 사이버 멀미를 경험한 후 P3, P5는 회복하는데 오랜 시간이 필요했다. 반면, P7, P9의 경우 사이버 멀미를 경험한 후 상대적으로 빠른 시간에 회복했다. 이러한 개인적인 특징들도 존재하지만, 대부분의 참가자들은 특정 구간에서 사이버 멀미를 경험하는 것을 확인할 수 있다. 사이버 멀미는 화면의 심한 흔들림, 공중에 떠 있는 장면, 머리 회전이 많이 필요한 장면 등에서 일반적으로 나타난다. 추가적으로 VR 화면상에서 빛이 빠르게 변화할 때도 일부 참가자들에게 사이버 멀미를 유발시켰다.

6. 결론

우리는 딥러닝 알고리즘을 사용하여 뇌파 데이터로 사이버 멀미의 발생을 측정하고 분석했다. 또한 11 명의 참가자로부터 뇌파 데이터를 수집하고 딥러닝 구조에 적합한 데이터 처리 방식을 찾았다. 뇌파 데이터는 개인마다 분포가 다르다는 특성을 고려한 개별 데이터에 대한 전처리 기법이 전체 데이터에 대한 전처리 기법보다 학습에 더 적합하다. 또한, 가중치 모델은 뇌파 데이터의 신뢰성을 높이기 위해 신호 품질 데이터를 사용하여 비교했으며 우리는 실험에서 개별 표준화 데이터 처리 방식과 W2 신호 품질 가중치 세트를 사용할 때 최상의 성능을 산출한다는 것을 발견했다. 또한 우리는 사이버 멀미를 유발하는 VR 화면 조사하여 사이버 멀미가 발생하는 공통적인 화면 특성을 분석했다. 사람마다 사이버 멀미 회복시간이 다른 경향을 보이지만, 대부분 공통된 구간에서 사이버 멀미를 경험하는 것을 확인했다. VR 콘텐츠를 제작할 때 이러한 화면을 줄일 수 있다면 사이버 멀미 해결에 도움을 줄 수 있을 것이다. 추가로 우리는 실험 과정에서 사용자로부터 키보드 입력을 받아 사이버 멀미 측정에 활용했다. 이 과정은 다소 객관성이 떨어질 수 있으며 우리는 향후 더 객관성을 높이기 위한 방안을 찾기 위한 연구를 진행할 예정이다. 우리는 향후 사이버 멀미를 유발하는 특성들을 연구하기 위해, 다양한 VR 영상에서 더 다수의 참가자를 통해 추가 실험을 수행할 계획이다. 또한 사이버 멀미를 유발하는 공통적인 특성뿐만 아니라, 개별적인 특성을 찾기 위한 연구도 진행할 계획이다. 마지막으로 우리는 사이버 멀미가 발생할 수 있는 화면을 예측하고, 사이버 멀미의 발생을 억제할 수 있는 기술을 연구할 계획이다.

감사의 글

본 논문은 2015년도 정부(과학기술정보통신부)의 재원으로 정보통신기술진흥센터의 지원(No. R0190-15-2016, 정보통신·방송 연구개발사업)과 과학기술정보통신부 및 정보통신기술진흥센터의 대학ICT연구센터육성지원사업의 연구결과로 수행되었음(IITP-2019-2016-0-00312).

References

[1].

J. J. LaViola Jr. A discussion of cybersickness in virtual environments. ACM SIGCHI Bulletin, 32(1):47–56, 2000.

[2].

K. Nesbitt, S. Davis, K. Blackmore, and E. Nalivaiko. Correlating reaction time and nausea measures with traditional measures of cybersickness. Displays, 48:1-8, 2017.

[3].

B. Keshavarz and H. Hecht. Pleasant music as a countermeasure against visually induced motion sickness. Applied ergonomics, 45(3):521–527, 2014.

[4].

Y.-H. Yu, P.-C. Lai, L.-W. Ko, C.-H. Chuang, B.-C. Kuo, and C.-T. Lin. An eeg-based classification system of passenger’s motion sickness level by using feature extraction/selection technologies. In Neural Networks (IJCNN), The 2010 International Joint Conference on, pp. 1–6. IEEE, 2010.

[5].

C.-S. Wei, L.-W. Ko, S.-W. Chuang, T.-P. Jung, and C.-T. Lin. Eegbased evaluation system for motion sickness estimation. In Neural Engineering (NER), 2011 5th International IEEE/EMBS Conference on, pp. 100–103. IEEE, 2011.

[6].

C.-T. Lin, S.-F. Tsai, L.-W. Ko, et al. Eeg-based learning system for online motion sickness level estimation in a dynamic vehicle environment. IEEE transactions on neural networks and learning systems, 24(10):1689–1700, 2013.

[7].

K. G. Hartmann, R. T. Schirrmeister, and T. Ball. Hierarchical internal representation of spectral features in deep convolutional networks trained for eeg decoding. In Brain-Computer Interface (BCI), 2018 6th International Conference on, pp. 1–6. IEEE, 2018.

[8].

R. Schirrmeister, L. Gemein, K. Eggensperger, F. Hutter, and T. Ball. Deep learning with convolutional neural networks for decoding and visualization of eeg pathology. In Signal Processing in Medicine and Biology Symposium (SPMB), 2017 IEEE, pp. 1–7. IEEE, 2017.

[9].

O. Dressler, G. Schneider, G. Stockmanns, and E. Kochs. Awareness and the eeg power spectrum: analysis of frequencies. British journal of anaesthesia, 93(6):806–809, 2004.

[10].

B. Hjorth. Eeg analysis based on time domain properties. Electroencephalography and clinical neurophysiology, 29(3):306–310, 1970.

[11].

T.-P. Jung, S. Makeig, M. Stensmo, and T. J. Sejnowski. Estimating alertness from the eeg power spectrum. IEEE transactions on biomedical engineering, 44(1):60–69, 1997.

[12].

S. Liang, C. Lin, R. Wu, Y. Chen, T. Huang, and T. Jung. Monitoring driver’s alertness based on the driving performance estimation and the eeg power spectrum analysis. In Conf Proc IEEE Eng Med Biol Soc, vol. 6, pp. 5738–5741, 2005.

[13].

A. J. Bell and T. J. Sejnowski. An information-maximization approach to blind separation and blind deconvolution. Neural computation, 7(6):1129–1159, 1995.

[14].

P. Comon. Independent component analysis, a new concept? Signal processing, 36(3):287–314, 1994.

[15].

C. Jutten and J. Herault. Blind separation of sources, part i: An adaptive algorithm based on neuromimetic architecture. Signal processing, 24(1):1–10, 1991.

[16].

B.-C. Kuo and K.-Y. Chang. Feature extractions for small sample size classification problem. IEEE Transactions on Geoscience and Remote Sensing, 45(3):756–764, 2007.

[17].

T.-W. Lee, M. Girolami, and T. J. Sejnowski. Independent component analysis using an extended infomax algorithm for mixed subgaussian and supergaussian sources. Neural computation, 11(2):417–441, 1999.

[18].

S. Makeig, T.-P. Jung, A. J. Bell, D. Ghahremani, and T. J. Sejnowski. Blind separation of auditory event-related brain responses into independent components. Proceedings of the National Academy of Sciences, 94(20):10979–10984, 1997.

[19].

J. A. Urigüen and B. Garcia-Zapirain. Eeg artifact removal-state-ofthe- art and guidelines. Journal of neural engineering, 12(3):031001, 2015.

[20].

M. Othman, A. Wahab, I. Karim, M. A. Dzulkifli, and I. F. T. Alshaikli. Eeg emotion recognition based on the dimensional models of emotions. Procedia-Social and Behavioral Sciences, 97:30–37, 2013.

[21].

E. Durall, T. Leinonen, B. Gros, and T. Rodriguez-Kaarto. Reflection in learning through a self-monitoring device: Design research on eeg self-monitoring during a study session. Designs for Learning, 9(1), 2017.

[22].

D. O. Bos et al. Eeg-based emotion recognition. The Influence of Visual and Auditory Stimuli, 56(3):1–17, 2006.

[23].

P. C. Petrantonakis and L. J. Hadjileontiadis. Emotion recognition from eeg using higher order crossings. IEEE Transactions on Information Technology in Biomedicine, 14(2):186–197, 2010.

[24].

Y.-P. Lin, C.-H. Wang, T.-P. Jung, T.-L. Wu, S.-K. Jeng, J.-R. Duann, and J.-H. Chen. Eeg-based emotion recognition in music listening. IEEE Transactions on Biomedical Engineering, 57(7):1798–1806, 2010.

[25].

Y. Liu, O. Sourina, and M. K. Nguyen. Real-time eeg-based human emotion recognition and visualization. In 2010 international conference on cyberworlds, pp. 262–269. IEEE, 2010.

[26].

D. Nie, X. Wang, L. Shi, and B. Lu. Eeg-based emotion recognition during watching movies. In 2011 5th International IEEE/EMBS Conference on Neural Engineering, pp. 667–670, April 2011.

[27].

W. Zheng, B. Dong, and B. Lu. Multimodal emotion recognition using eeg and eye tracking data. In 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 5040–5043, Aug 2014.

[28].

EMOTIV. Developers - emotiv. Updated May 28, 2018, https://www.emotiv.com/developer/, 2018.

[29].

Supercell. Clash of clans: Hog rider 360. Updated November 19, 2016, https://www.youtube.com/watch?v=yVLfEHXQk08, 2016.

[30].

FOX International. The walking dead - vr 360 video. Updated October 20, 2016, https://www.youtube.com/watch?v=nRQsnqd2Vs, 2016.

[31].

Google Spotlight Stories. 360 google spotlight stories: Pearl. Updated May 20, 2016, https://www.youtube.com/watch?v=WqCH4DNQBUA, 2016.

[32].

ApexTV. 2017. 360 Jeff The Killer VR Horror Experience. Updated October 28, 2017, https://www.youtube.com/watch?v=icV-OzwKS-k.

[33].

D. E. Rumelhart, J. L. McClelland, P. R. Group, et al. Parallel distributed processing, vol. 1. MIT press Cambridge, MA, 1987.

[34].

M. Minsky and S. A. Papert. Perceptrons: An introduction to computational geometry. MIT press, 2017.