심층신경망 알고리즘을 이용한 가상환경에서의 멀미 측정 및 분석

일반적으로 인간의 멀미는 MSQ (Motion Sickness Questionnaire)를 사용하여 측정되었다[2, 3]. MSQ를 사용한 연구는 실험에서 참가자가 느낀 점에 대한 설문 조사를 기반으로 연구가 진행되었다. Nesbitt et al[2].은 반응 시간과 사이버 멀미 사이의 관계를 연구했으며, MSSQ (Motion Sickness Susceptibility Questionnaire, MSAQ (Motion Sickness Assessment Questionnaire) 와 같은 설문 조사를 통해 사이버 멀미를 측정했다. Keshavarz at el[3].은 VR 경험 중 MSQ를 통해 멀미에 대한 음악의 영향을 측정하고 조사했다. 그러나 MSQ, MSSQ, MSAQ의 설문 항목은 이미 고정되어 있으므로 필요에 따라 사용자 정의 설문지를 작성해야 한다. 설문지를 작성하는 기존의 접근 방식에서 가장 중요한 요소는 설문지 항목과 설문지를 분석하는 사람이다. 설문 조사를 통한 멀미 분석에서 객관적인 설문 항목이 잘 작성되지 않으면 잘못된 데이터를 수집 할 수 있다. 멀미의 발생 여부를 정확하게 판단하여 설문 조사를 하는 것은 어렵기 때문에 실험자의 주관적인 의견이 개입하여 정확한 측정이 힘들 가능성이 있다.

최근에 많은 연구자들이 뇌파 데이터를 분석하기 위해 머신 러닝 기법을 사용하여 연구를 수행했다[4, 5, 6, 7, 8]. Yu et al[4].은 멀미가 발생하는 상황에서 뇌파 데이터의 공통적인 특징을 추출하고자 하였고, 이를 위해 Gaussian Maximum Likelihood Classifier (ML), k-Nearest-Neighbor Classifier (KNN), Support Vector Machine (SVM) 방식을 비교하였다. Wei et al[5].은 뇌파 데이터를 사용하여 멀미 수준을 측정하였고, Linear regression (LR), Radial basis function neural network (RBFNN), Support vertor regression (SVR) 3가지 방식을 사용하여 정확도를 비교하였다. Lin et al[6].은 뇌파 데이터를 사용하여 멀미 수준을 측정하기 위해 self-organizing neural fuzzy inference network (SONFIN) 모델을 제안하였다. CNN 기법을 적용하여 뇌파 데이터를 해독하고자 하는 연구도 있었다[7, 8].

설문 조사, 머신 러닝, 뇌파와 같은 다양한 접근법을 통해 사이버 멀미를 측정하기 위한 연구들이 수행되어 왔다. 하지만 단순한 멀미 측정 이외에 사이버 멀미를 분석하고자 하는 연구는 아직까지 진행되고 있지 않다. 따라서 본 연구에서는 사이버 멀미를 측정하는 것뿐만 아니라 사이버 멀미가 발생하는 상황을 분석하고자 한다. 또한, 사이버 멀미가 자주 발생하는 VR 영상의 공통적인 특성을 조사한다.

뇌파는 매우 복잡한 형태로 진동하는 파형이다. 따라서 뇌파 파형 그대로를 시각적으로 분석하는 것은 매우 비효율적이다. 일반적으로 뇌파 데이터는 파워 스펙트럼 분석 기법으로 분석되며, 이는 데이터가 주파수 도메인 내에서 분류된다는 것을 의미한다[9, 10, 11, 12]. 파워 스펙트럼 분석은 뇌파가 특정 주파수로 진동하는 단순 진동들의 선형 조합이라고 가정 할 때, 각 주파수 구성 요소를 분해하여 각 주파수 구성 요소의 강도를 표시하는 기술이다. 또한 Independent Component Analysis (ICA)는 뇌파 데이터 분석에 널리 사용된다[13, 14, 15, 16, 17, 18]. ICA는 Principal Component Analysis (PCA)를 보완하는 시계열 신호의 성분 분석 기술이다. 일반적으로 PCA는 가우시안 분포를 보이지 않는 데이터를 처리하기에 적합하지 않다. 하지만 ICA는 zoning을 통해 통계적 독립성을 획득하므로 독집적인 신호 분리가 가능하다.

본 논문에서는 뇌파 raw 데이터와 뇌파 데이터의 파워 스펙트럼을 모두 사용한다. Emotiv Epoc+ 장치는 데이터를 수집 할 때 파워 스펙트럼 분석이 자동으로 수행된다. Emotiv 시스템에서는 파워 스펙트럼 데이터를 band power data라고 칭한다. 뇌파 데이터의 특성상 측정 과정에서 많은 인공산물이 뇌파 데이터에 추가된다. 인공 산물이란 뇌파 기록 중에 나타나는 뇌파 이외의 전기적 파형이다. 일반적으로 뇌파 측정은 두피에 센서를 부착하여 수행하는데, 이 때 뇌파는 두개골과 두피를 통과하게 된다. 이 과정에서 다양한 인공산물이 뇌파에 혼합된다. 이러한 인공산물은 뇌파 분석에 어려움을 주므로 이를 제거하여 사용할 수 있어야 한다. 인공산물은 일반적으로 안구 운동, 근육 운동, 심박동, 땀, 혀의 움직임 등을 포함한다[19]. 그러나 뇌파 데이터를 분석 할 때 이러한 모든 인공산물을 제거하는 것은 불가능하다. 따라서 본 논문에서는 실험 과정에서 주의를 기울여 인공산물의 발생을 최소화하고 데이터 전처리 과정에서 특정 인공산물을 제거한다. 본 논문에서 전처리 과정은 초기 데이터 처리 과정으로 딥러닝 알고리즘의 데이터 처리 과정과 다르다.

뇌파 데이터를 이용한 연구는 인지적 관점에서 다양하게 진행되고 있다. 특히, 인간의 감정을 분류하기 위해 많은 연구에서 널리 사용된다. Othman et al[20].은 뇌파 데이터를 이용하여 네 가지 감정에 대한 분류 모델을 제안했다. Durall et al[21].은 학생들이 공부하는 동안 뇌파 변화를 모니터링하고 시각화하기 위한 기술을 연구했다. Bos[22]는 뇌파 데이터 기반의 감정 인식에 대한 연구를 진행했다. Petrantonakis et al[23].은 세 개의 뇌파 채널을 사용하여 뇌파 기반의 감정 인식을 연구했다. 이 연구에서는 행복, 놀라움, 분노, 공포, 혐오, 슬픔과 같은 인간의 여섯 가지 기본 감정의 특징을 추출하여 다양한 분류 방법과 비교한다. Lin et al[24].은 음악을 듣는 동안 뇌파 데이터로부터 감정 인식을 최적화 하고 분류 알고리즘의 정확도를 측정하기 위한 프레임 워크를 제안했다. 기쁨, 분노, 슬픔, 쾌락과 같은 네 가지 감정의 특징을 추출한다. Liu et al[25].은 뇌파를 이용하여 실시간으로 인식되는 인간의 감정을 바탕으로 VR 환경에서 아바타 표정을 변화시켜주는 연구를 진행했다. Nie et al[26].은 실험자가 다양한 장르의 영화를 볼 때 뇌파 데이터를 수집하여 감정을 분류했다. 또한, Zheng et al[27].은 뇌파와 시선 추적 데이터를 결합하여 감정 인식 성능을 향상시키는 방법을 연구 했다.

뇌파 데이터는 Emotiv Epoc+를 이용하여 14채널 뇌파 데이터를 수집하였다. 데이터 수집에 사용된 뇌파 채널은 International 10-20 System을 바탕으로 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4로 이루어져 있다. Epoc+는 수집되는 뇌파 데이터를 내부적으로 2048 Hz의 주파수르 샘플링한 후, 채널당 128 Hz의 주파수로 다운 샘플링을 진행한다. 우리는 Epoc+를 이용하여 크게 위의 14채널에 대한 raw 데이터, band power 데이터, 신호 품질 데이터를 수집한다. Raw data는 뇌파 센서에서 측정된 신호 값 자체를 나타내며, 채널당 한 개로 총 14개의 데이터를 수집한다. Band power data는 뇌파 센서에서 측정된 신호를 각각의 주파수 성분으로 분해하여 그 파워를 표시한 것이다. 뇌파의 주파수는 delta, theta, alpha, beta, gamma로 분류된다. 연구자마다 뇌파의 주파수를 분류하는 기준이 약간씩 차이는 있지만, 일반적으로 delta (0.2 ~ 4 Hz), theta (4 ~ 8 Hz), alpha (8 ~ 12 Hz), beta (12 ~ 30 Hz), gamma (30 Hz 이상)으로 분류하며 필요한 부분은 low, middle, high 등으로 더 세분화하기도 한다. 이렇게 분류된 주파수들은 주파수 별로 다른 특징을 가지고 있다. Delta 파는 수면파라고도 불리며, 수면 시 발생하는 파형이다. Theta 파는 졸음파라고도 불리며, 졸리거나 잠들기 전에 발생하는 파형이다. Alpha 파는 안정파라고도 불리며, 심신이 안정을 취하고 있을 때의 뇌파이다. Beta 파는 스트레스파라고도 불리며, 불안, 긴장 등의 상황에서 발생하는 파형이다. 마지막으로 gamma 파는 극도의 각성과 흥분 시 발생하는 파형이다.

본 논문에서는 delta 파를 제외한 모든 파형을 수집한다. Beta 파의 경우, low-beta와 high-beta로 세분화하여 수집한다. Band power data는 theta (4 ~ 8 Hz), alpha (8 ~ 12 Hz), low-beta (12 ~ 16 Hz), high-beta (16 ~ 25 Hz), gamma (25 ~ 45 Hz)로 구성된다. 또한 Emotiv가 제공하는 API[28]를 사용하여 각 채널의 정확도를 감지하는 신호 품질 데이터를 측정한다. 신호 품질 데이터는 각 채널에 대해 0에서 4까지의 정수이다. 각 값은 데이터 수신 정확도를 나타낸다 (0은 신호 없음, 1은 매우 나쁨, 2는 나쁨, 3은 보통, 4는 좋음).

뇌파 데이터는 초당 약 110 회 수집 되었으며, 한 번에 100가지 데이터 속성을 수집한다. 수집된 데이터 속성은 timestamp, 각 채널의 raw data, 각 채널의 band power data 다섯 종류 (theta, alpha, low-beta, high-beta, gamma), 각 채널의 신호 품질 데이터, 사이버 멀미 flag를 포함하여 총 100개의 속성 (1 + 14 + 5 x 14 + 14 + 1)을 수집한다. 사이버 멀미 flag는 사이버 멀미 여부를 판단하기 위해 실험에서 VR 영상을 시청하며 키보드 이벤트를 통해 사용자로부터 입력받는다. 사용자는 사이버 멀미를 경험할 때 1, 아닌 경우 0을 입력하고, 이 데이터는 사이버 멀미 labeling 데이터로 활용한다. 뇌파 수집 장치의 네트워크 상황에 따라 데이터 샘플링 속도가 초당 100 회에서 120 회까지 변동하기 때문에 각 참가자의 총 데이터 양은 약간의 차이가 있다.

우리는 실험을 위해 대학에서 11명의 참가자를 모집했다. 참가자는 5명의 남성과 6명의 여성으로 구성되어 있다. 우리는 다양한 상황에서 사이버 멀미를 측정하고 분석하기 위해 여섯 가지 VR 영상을 사용하여 사이버 멀미를 측정했다. Figure 1는 실험에 사용된 VR 영상의 샘플 화면을 보여준다. 각 VR 영상의 길이는 약 1 ~ 5 분으로 이루어져 있다. Figure 1의 (a)는 모바일 게임 Clash of Clan의 광고 영상으로 격렬한 움직임을 가지는 영상이다[29]. (b)는 Walking Dead 드라마 영상으로 다소 공포스러운 분위기의 영상이다[30]. (c)는 Google Spotlight Stories: Pearl으로 대체적으로 평화로운 분위기의 영상이다[31]. (d)는 Jeff the killer 360 영상으로 다소 공포스러운 영상이다[32]. 실험은 참가자들이 4 개의 VR 영상을 보고 있을 때, 뇌파 데이터를 수집하는 방식으로 진행했다. 또한, 참가자들은 편안한 상태로 다음 VR 영상을 체험하기 위해 영상 사이에 1분의 휴식 시간을 가졌다. 우리는 사이버 멀미를 측정하기 위해 참가자들이 VR 영상을 체험하는 중 사이버 멀미를 느낄 때마다 키보드 이벤트를 통해 멀미 여부를 입력 받았다.

Figure 1: Sample screen shots of VR videos used in our experiment. (a) is the Clash of Clan 360 video, (b) is the Walking Dead 360 video, (c) is the Google Spotlight Stories: Pearl 360 video, and (d) is the Jeff The killer 360 video.

Download Original Figure

Epoc+ 장치에서 수집한 뇌파 데이터를 올바르게 활용하려면 노이즈를 제거해야 한다. 대표적인 노이즈는 근전도 (EMG), 안구 운동 (electrooculography, EOG), 심전도 (ECG), 말하기와 같은 신체 행동 및 땀으로 인한 센서 부착 불량 등이 있다. 이 연구에서는 근전도와 같은 고주파를 필터링하여 상당한 양의 노이즈를 제거했다. 눈 움직임은 Emotiv API를 통해 자동으로 필터링 되었으며, 실험실 온도를 편안하게 유지했다. 또한 실험 중에 대화를 금지하여 실험 환경을 유지함을 통해 노이즈를 최대한 배제했다. 추가적으로 딥러닝에서 불필요한 데이터를 제거하기 위해 0 값 데이터와 중복 데이터도 제거한다. 최종적으로 학습에 사용되는 데이터의 총 양은 552,627개이다. Table 1은 수집한 데이터의 양을 나타내며, Table 2는 전처리 과정을 거친 후 데이터의 양을 나타낸다. 데이터의 양은 뇌파 데이터가 수집된 횟수를 나타낸다. 데이터 샘플은 4장의 딥러닝 과정에서 training과 test를 위해 두 세트로 나눈다.

우리는 뇌파 데이터의 정확성을 검증하기 위해 신호 품질 (Signal Quality, SQ) 데이터를 수집한다. 우리는 SQ 데이터가 학습에 중요한지 여부를 결정하기 위해 SQ 데이터를 이용하여 여러 가지 가중치 뇌파 데이터 세트를 만든다. 우리는 SQ 데이터가 사이버 멀미 측정에 긍정적인 영향을 미칠 것이라고 가설을 세웠다. 따라서 SQ의 영향을 확인하기 위해 4 가지 가중치 모델을 만들었다. 모델 w₁과 w₂는 비례 관계, w₃ 과 w₄는 반비례 관계로 설계했으며, SQ의 수치에 따른 딥러닝 학습 결과를 확인하기 위해 w₁과 w₂, w₃과 w₄의 가중치 수치를 다르게 하였다. 또한 신호 품질 가중치를 적용하지 않았을 때의 결과와 비교하기 위해 w₀는 뇌파 데이터에 가중치를 적용하지 않는다. 각 가중치를 생성하는 방식은 다음과 같다. w₁ = (SQ / 5) + 0.2, w₂ = (SQ/2) + 0.5, w₃ = 1 - (SQ/5), w₄ = 2.5 - (SQ/2), SQ ∈{0, 1, 2, 3, 4}. 가중치 세트는 Table 3에 요약한다. 뇌파 가중치 데이터 세트는 가중치를 곱하여 만들어지므로 각 뇌파 데이터 세트에 대해 5개의 뇌파 가중치 데이터 세트가 생성된다. 우리는 뇌파 데이터에 가중치를 부여한 후 데이터 세트를 정규화한다. 정규화 기법으로 우리는 min-max 정규화와 표준화, 두 가지 다른 정규화 기술을 적용하고 학습 결과를 비교한다. min-max 정규화 기술은 데이터를 0에서 1의 범위로 정규화 하며 다음과 같이 계산된다.

데이터 표준화는 다음과 같이 계산된다.

실험에서 각 참가자의 뇌파 데이터의 최소, 최대 범위와 뇌파 데이터 분포가 다르므로 비교를 위해 정규화 및 표준화 기술을 각 참가자의 개별 데이터 세트와 모든 참가자의 전체 데이터 세트에 적용한다. Table 4는 학습 데이터 세트를 보여준다. Individual data는 각 개인별로 정규화한 것을 나타내고 Integrated data는 전체 인원의 데이터 합쳐서 정규화한 결과를 의미한다. Table 4와 같이 우리는 학습을 위해 20 개의 서로 다른 데이터 세트를 생성하고 비교하여 DNN 학습에 가장 적합한 데이터 세트를 찾는다.

Figure 2는 이 연구에서 사용한 DNN 구조를 보여준다. Input layer는 84개의 노드를 가진다. 84개의 노드는 raw data 및 band power 데이터의 수와 동일하다. 3개의 hidden layer은 각각 128, 256 및 128개의 노드를 가진다. Output layer를 제외한 모든 layer에는 ReLU 활성화 함수가 사용된다. 마지막으로 output layer에는 32개의 노드를 가진다. 참가자가 사이버 멀미를 경험했는지 여부를 결정하기 위해 output layer에서 Sigmoid 활성화 함수를 사용하여 0 또는 1을 출력한다. 과도한 학습에 의한 overfitting을 방지하기 위해, output layer를 제외한 모든 layer에 대해 0.5 비율로 drop out을 적용하고 학습 중에 overfitting이 발생할 경우 조기 종료를 가능하게 하는 early stopping 기법을 적용한다. 우리는 11명의 참가자를 각각 9명과 2명으로 나누어 training 및 test 데이터를 생성했다. 학습은 3-fold cross validation을 이용해 진행했으며, 각 학습은 1000 epochs으로 수행된다.

Figure 2: Our DNN structure.

Download Original Figure

20개의 데이터 세트에 대한 학습 결과는 Table 5에 요약되어 있다. 전반적으로 Integrated 정규화가 사용되는 경우보다 Individual 정규화가 적용될 때 정확도가 더 높다. 뇌파 데이터 패턴은 사람마다 다르므로 전체 데이터를 그룹화하여 처리하는 방식은 결과에 나쁜 영향을 미친다. 따라서 뇌파 데이터는 개인별로 처리해야 한다. 또한 DNN 구조의 표준화는 min-max 정규화보다 더 높은 정확도를 제공한다. 마지막으로, 신호 품질 데이터를 사용하는 가중치 모델은 실험 결과를 향상시킨다. 다양한 가중치 세트를 비교 한 실험 결과, w₂ 가중치 세트를 사용하는 것이 최상의 결과를 유도하며 신호 품질 데이터가 없는 경우보다 우수함을 보여준다.