요트 VR 체험에서 데이터 기반의 인공풍이 정적 정서에 미치는 영향¹

VR 환경에서 풍력 장치를 이용하여 현존감(presence)[10-12] 및 몰입감(immersiveness)[13]을 높이거나, 사이버 멀미를 경감[14, 15]하는 등의 다양한 연구가 이루어지고 있다. 이 중에서도 본 논문은 사용자의 정서 상태에 초점을 두어 VR 환경에서 풍력 장치를 통해 사용자 경험이 향상하는지를 살펴본다.

기존 다른 연구들과 달리 본 논문에서는 사실적인 자연풍을 재생성하기 위해 360도 영상 촬영과 함께 자연의 바람 데이터를 수집하고, 수집된 데이터를 기반으로 인공풍을 생성하였다. 이를 통해 VR 환경에서 바람을 추가하는 것이 사용자의 정서 상태에 어떠한 영향을 주는지를 분석한다.

정서의 구조를 설명하는 대표적인 모델로서 개별 정서 모델, 평가 모델, 차원 모델이 있다. 이 중 가장 전통적인 모델은 개별 정서 모델로서 정서를 ‘슬픔’, ‘분노’, 기쁨’과 같은 개별 정서로 나누는 이론이다[16]. 이 모델에서는 개인이 특정한 상황을 마주할 때 그에 따른 정서가 유발된다고 가정한다. 이 이론을 기반으로 하는 VR 환경에서의 정서 관련 연구는 많은 경우 주관적인 평가 방식을 사용하며, 종종 Geneva Emotion Wheel (GEW), Positive and Negative Affect Schedule (PANAS), Differential Emotions Scale (DES), Emotion Annotation and Representation Language (EARL), Visual Analogue Scale (VAS) 같은 문항을 사용한다[17].

Dey 외(2018)는 위의 문항 중 일부를 사용하여 지각된 심박수 피드백이 사용자의 정서에 미치는 영향을 분석하였다[18]. 실험에서 참가자들은 다섯 차례 각각 다른 VR 환경을 체험하였는데, 첫 시행을 제외한 다른 시행에서는 참가자들에게 심박수 피드백이 조작되었다는 것을 알리지 않고 ±30% 범위에서 이를 조작하였다. 각 시행 이후 참가자의 주관적인 정서 반응을 측정하기 위해 각각 개별 정서 모델과 차원 모델을 기반으로 하는 문항인 PANAS와 Self-Assessment Manikin (SAM)[19]이 사용되었다. 실험 결과, 심박수 피드백에 따라 사용자의 정적 정서와 부적 정서에는 유의한 차이가 나타나지 않았다. 그러나 심박수가 +15% 혹은 -15%만큼 조작된 경우에는 PANAS 문항의 하위 항목인 'Interested’, ‘Excited’, ‘Scared’, ‘Nervous’, ‘Afraid' 정서에서 유의한 차이가 나타나는 것을 확인하였다. 이 연구와 유사하게, 본 연구에서는 바람의 존재를 독립변수로 설정하고 사용자의 정서를 종속변수로 두었다. 또한 PANAS 문항을 사용하여 사용자의 콘텐츠 체험에 따른 정서 변화를 통계적 과정을 통해 분석한다.

정적 정서는 정보 기억과 같은 인지적인 구조화나 사회적 자원을 구축하는 등의 사회적 행동에 영향을 미치며, 더 나은 창의적 사고 수행에 도움을 주기도 한다[20]. 더욱이, 스트레스가 많은 상황에서 정적 정서의 경험은 심리적 휴식을 제공하며 대처 전략을 지속할 수 있도록 돕는다[21]. 그 외에도 정적 정서는 신체 건강의 회복과 면역 체계가 정상적으로 작동하는 데에도 긍정적인 영향을 미치는 것으로 알려져 있다[22, 23].

이와 같은 정적 정서를 유발하는 활동으로서 레저 활동을 포함하는 레크리에이션이 영향을 미칠 수 있는데[24], 정적 정서가 유발되는 레크리에이션 활동을 통해 치매 환자의 삶의 질이 향상되었다는 연구 결과가 있다[25].

이와 같은 연구 결과는 정적 정서가 증가하는 활동이 신체적, 정서적인 개선 효과와 같은 잠재적인 이점을 제공할 수 있다는 것을 시사한다. 따라서, 본 연구는 인공풍이 결합된 요트 VR 콘텐츠가 사용자의 정적 정서에 미치는 영향을 파악함으로써 이와 같은 경험이 공간의 제약을 넘는 레저 활동으로서 기능할 수 있는지에 대한 가능성에 대해 논한다.

본 시스템은 기능적으로 데이터 수집 컴포넌트와 VR 경험 컴포넌트로 구성된다. 데이터 수집 컴포넌트에서는 360도 카메라와 윈드 캡처 장비를 통해 영상과 바람 데이터를 수집한다. 윈드 캡처 장비는 바람의 세기를 측정하기 위한 풍속계와 바람의 방향을 0도에서 360도까지의 16단계로 나눠 측정하는 풍향계로 이루어져 있다.

VR 경험 컴포넌트에서는 머리 장착형 디스플레이(HMD: Head-Mounted Display) 장치를 착용한 사용자에게 수집한 360도 영상을 제공하는 동시에, 여러 대의 선풍기를 통해 인공풍이 생성된다. 이때, 기록된 풍속 데이터에 따라 PD (proportional-derivative) 컨트롤러에 의해 선풍기로부터 발생하는 바람 속도가 제어된다. 선풍기는 Figure 3과 같이 반원 모양으로 배치되어 있으며, 각 시간마다 기록된 풍향에 따라 선풍기가 선택적으로 작동된다.

Figure 1. System overview of the Wind Reproduction VR System.

Download Original Figure

하드웨어 측면에서 본 시스템은 Multisensory Capture System과 Multisensory Reproduction System으로 구성된다.

3.2.1 Multisensory Capture System

Multisensory Capture System은 풍향계와 풍속계(Figure 2 참조), 메모리 카드 모듈, 타이머 모듈, 아두이노를 포함하는 윈드 캡처 장비와 360도 카메라로 구성되어 영상과 2차원 평면상에서의 풍속, 풍향 및 계측 시점을 수집하여 기록한다.

Figure 2. An anemometer (left) and a wind vane (right).

Download Original Figure

바람의 세기는 풍속계를 사용하여 측정한다. 풍속계의 많은 종류 중, 3개의 컵이 120도 간격으로 배치되어 수평으로 원을 그리는 풍속계를 선택했다(Figure 2에서 왼쪽 장치 참고). 장치의 기계적 특성으로 인해 측정 가능한 최소 바람의 세기는 0.67m/s이다. 바람의 방향은 풍향계를 사용하여 측정한다(Figure 2에서 오른쪽 장치 참고). 본 시스템의 풍향계는 22.5°의 간격으로 16개의 방향을 측정할 수 있게 제작되었다(N, NNE, NE, ENE, E, ESE, SE, SSE, S, SSW, SW, WSW, W, WNW, NW, NNW).

아두이노에는 타이머 모듈과 메모리 카드 모듈이 연결된다. 타이머 모듈은 데이터가 실시간으로 캡처되는 시점을 추적하는데 사용되며, 이렇게 캡처된 시점들은 바람을 재생성하는 과정에서 바람 데이터와 영상 데이터를 동기화하는데 사용된다. 메모리 카드 모듈은 아두이노가 처리하는 모든 데이터를 저장하는데 사용된다. 메모리 카드에 저장되는 데이터는 날짜, 시간, 분, 초 형식의 시간과 풍속 및 풍향이 포함된다. 이러한 데이터는 0.25초 간격마다 메모리에 저장된다. 360도 카메라로는 ‘PIXPRO 360 4K’를 사용했으며, 영상의 해상도는 3840x2160(4K)이다.

3.2.2 Multisensory Reproduction System

Multisensory Reproduction System은 바람을 재생성하는 아두이노, 릴레이 모듈, 선풍기와 VR 환경을 제공하는 HMD(Oculus Quest 2) 장비로 구성된다(Figure 3 참조). 여기서, 아두이노, 릴레이 모듈, 선풍기는 Multisensory Capture System으로 기록된 바람 데이터를 인공풍으로 재생성하는 역할을 한다. 이 시스템은 사용자가 여러 각도에서 바람을 느낄 수 있도록 6개의 선풍기(EF-2080)들로 구성되어 있다. 선풍기는 AC 전압(교류)으로 작동하지만, 아두이노는 DC 전압(직류)을 사용하는 전기적 특성 차이로 인해 아두이노에 연결된 릴레이 모듈(Figure 4 참조)이 PD 컨트롤러를 통해 선풍기의 전원(ON/OFF) 상태를 제어하기 위해 사용된다.

Figure 3. Multisensory Reproduction System.

Download Original Figure

Figure 4. Arduino and relay modules marked by red circles and blue circles, respectively.

Download Original Figure

수집한 360도 영상 데이터를 VR 콘텐츠로 만들기 위해 Unity 2019.4.23f1을 사용했다. 이후 유니티 엔진 기반의 콘텐츠를 Oculus Quest 2 HMD에 연동하기 위해 Oculus Integration 에셋을 사용했고, 아두이노 보드와 유니티 엔진 간의 통신을 위해 Ardity(Arduino+Unity) 오픈 소스 라이브러리를 설치했다. 유니티는 HMD를 통해 영상을 제공하면서 풍속과 풍향 데이터에 따라 6대의 선풍기를 아두이노로 제어한다. 이때, 영상 데이터와 바람 데이터의 시간을 동기화하여 VR 콘텐츠와 인공풍으로 실제 장면을 모방한다.

수집한 바람 데이터에 따라 생성되는 인공풍의 속도를 제어하기 위해 아두이노 보드에 PD 컨트롤러를 적용한다 (자세한 내용은 5.1.3절 참조).

바람이 있는 환경에서 요트 VR 콘텐츠를 체험하는 사용자의 정적 정서가 증가하는지 검증하기 위하여 참가자의 정서 반응을 콘텐츠 체험 전-후로 측정하는 실험을 진행하였다. 이를 위해 실험 참가자를 두 집단으로 나누어 독립 변수로서 바람의 유무를 역으로 배열하였다(Table 1 참조).

실험 참가자는 두 집단에 무선 배치(random assignment) 되었으며, 각 집단에 대해 첫 시행에서는 바람이 있는 환경(Wind O), 두 번째 시행에서는 바람이 없는 환경(Wind X) 또는 그 역 순서로 각 5분간 두 차례 동일한 VR 콘텐츠를 체험하였다. 요트 콘텐츠 체험 이전과 각 시행 이후에는 참가자의 정서 반응을 K-PANAS를 이용해 측정하였다.

K-PANAS란 한국판 정적 정서 및 부적 정서 척도(K-PANAS: Korea Positive Affect and Negative Affect Schedule)로, PANAS를 한국인의 정서 언어에 맞게 번안하여 발표한 것이다[26]. 본 연구에서는 박홍석과 이정미[9]가 특정 문항의 번역상의 문제를 수정하고 타당화 작업을 거친 PANAS를 사용하였다.

실험 참가자는 20대 대학생으로 한정하였다. 남성 6명과 여성 13명으로 총 19명이고, 평균 연령은 22.7세이다.

K-PANAS는 정적 정서(Positive Affect)와 부적 정서(Negative Affect)의 2요인 구조로 이루어져 있으며 각 요인에 대한 10개의 문항을 포함하고 있다. 참가자는 자기 보고의 형태로 주어진 문항에 대해 당시 느끼는 상태를 기준으로 응답한다. 각 문항은 5점 Likert 척도이며, 참가자의 정적 정서와 부적 정서의 점수는 하위 문항들의 총합으로 계산하여 최솟값 10점, 최댓값 50점을 갖는다.

이 척도는 정서 측정을 위해 가장 보편적으로 사용되며 신뢰도와 타당성이 검증되었다[9]. 정적 정서의 문항을 통해서 측정하는 특성은 기쁨, 즐거움, 만족이나 행복과 같은 정서이며, 부적 정서의 문항을 통해서는 분노, 두려움, 슬픔, 죄책감, 혐오 등을 측정한다. 낮은 정적 정서와 높은 부적 정서 상태는 우울과 불안과도 높은 관련이 있는 것으로 보고되었다[27, 28].

실험은 참가자당 약 20분 동안 진행된다. 실험에 들어가기에 앞서 참가자에게 진행할 실험을 간략히 설명한 후 실험 데이터 수집에 관한 사전 동의를 받는다. 이어서, 참가자는 바람이 있는 환경과 바람이 없는 환경에서 각각 5분간 요트 VR 콘텐츠를 체험한다. K-PANAS 문항은 참가자의 첫 번째 시행 전후, 두 번째 시행 후로 총 3번 응답받는다. 이후 참가자별로 심층 인터뷰를 진행한다.

본 연구는 수집한 자료를 SPSS Version 26.0 통계프로그램을 활용하여 분석한다. 연구가설은 유의수준 alpha=0.05 수준에서 검증하고, 다음 방법으로 데이터를 분석한다.

실험을 통해 얻은 데이터 분석과 관련한 논의를 명확하게 하기 위해 세 가지 실험 조건과 두 가지 참가자 집단에 대한 표기 방법을 다음과 같이 나타낸다. ‘첫 시행 전’, ‘첫 시행 후’, ‘두 번째 시행 후’ 실험 조건을 각각 C0, C1, C2로 표기한다. ‘참가자 집단 1’과 ‘참가자 집단 2’를 G1과 G2로 표기한다. 또한, 실험 조건의 변화를 화살표를 통해 다음과 같이 나타낸다:

통계적 분석을 통해 본 논문에서 제안한 Wind Reproduction VR System이 정적 정서에 미치는 영향에 대한 주요 결과는 다음과 같다:

결과 1은 요트 VR 콘텐츠를 처음 체험하는 경우, 바람이 제공되거나 그렇지 않은 경우 모두 정적 정서가 유의하게 증가한다는 것을 의미한다. 결과 2는 바람의 유무가 서로 다른 각 집단에서 콘텐츠 체험 이후 정적 정서의 하위 항목 중 유의하게 증가한 정서를 의미한다. 결과 3은 정적 정서 하위 항목 중 두 집단 간 평균의 차가 가장 크게 나타난 정서를 의미한다. 결과 4의 경우, 각 집단에서 바람의 조건을 이전 시행의 역으로 하였을 때 두 집단 간 평균의 차가 유의한 것을 의미한다. 결과 5는 첫 시행에서 바람이 제공되었지만 두 번째 시행에서 바람이 제거된 집단에서 정적 정서의 하위 항목 중 유의하게 감소한 정서를 의미한다. 결과 6은 첫 시행에서 바람이 제공되지 않았지만 두 번째 시행에서 바람이 제공된 집단에서 정적 정서의 하위 항목 중 유의하게 증가한 정서를 의미한다.

위 결과에 대한 통계적 분석에 대한 세부 내용은 5.2.1 – 5.2.4에서 설명한다.

참가자들에게 K-PANAS 설문을 3회 실시한 후, 자유 형식의 심층 인터뷰를 진행하였다. K-PANAS 설문의 결과와 비교하여 인터뷰와 설문에서 동일한 정서를 느끼고 있는지 교차검증하였다.

실험 참여자 19명 중 과반수가 바람이 있는 경우에서의 VR 콘텐츠에 더욱 흥미를 느낀다고 보고하였다. 많은 참가자가 바람이 콘텐츠의 생동감과 재미를 더하는 요소였음을 언급하였고, 바다에 있는 듯 시원함을 느꼈다고 보고하였다. 한 참여자는 바람이 있을 때 실제로 요트를 타고 있는 것 같아 바다에 빠질 것 같은 겁이 났다는 응답을 하기도 했다.

K-PANAS와 같은 자기 보고형 검사 도구를 사용하는 경우, 일반적으로 주관적 해석의 여지를 보충하기 위해 여러 검사 도구를 병행하고 있다. 하지만 본 연구에서는 참가자의 피로를 고려하여 단일 설문지만을 실험에 사용하였다. 차후 실험에서는 [29]에서 사용된 한국판 기분 상태 검사 ‘K-POMS’ 등의 추가적인 검사 도구를 사용함으로써 결과의 타당성을 보완할 수 있을 것이다.

기존 연구에서는 참가자의 결혼 여부, 성별, 종교, 연령, 학력 수준, 수익 등을 고려하여 결론을 분석한다. 하지만 본 연구에서는 이러한 집단 특성들은 고려하지 않고 진행했다. 실험에 참여한 참가자들은 모두 같은 대학교에 다니는 20대 학생이었으며, 참가자 중 여성의 비율이 높다는 점, 표본 수가 많지 않은 점을 고려해 본 연구의 결과를 일반화하는데 어려움이 있을 수 있다.

본 연구에서는 콘텐츠 체험의 비교 대상이 되는 집단에서 바람의 유무를 역으로 배치하였으나, 대기 집단을 두거나 두 시행에서 모두 바람의 조건을 동일하게 한 집단을 추가한다면 두 번째 시행 이후 실험 결과의 해석을 명확히 할 수 있을 것이다.

몇 가지 측면에서 본 연구에 대한 개선의 여지가 여전히 남아있다. 먼저, 기술적 측면에서, Wind Reproduction VR System이 생성하는 인공풍이 더욱 실제와 유사할 수 있도록 추후에는 가변 주파수 드라이브(VFD)를 이용하여[30] 선풍기의 속도를 주어진 범위 내에서 연속적으로 변경할 수 있을 것이다. 이 때, 수집한 정량적 데이터에 기계 학습(Machine Learning)[31, 32]을 활용한다면 더욱 정교한 바람을 생성함과 동시에 바람의 방향과 풍속에 따른 정서의 변화를 분석할 수 있을 것이다.

본 연구에서는 요트 VR 콘텐츠를 체험한 직후 참가자의 정적 정서의 변화만을 분석하였다. 그러나, 정적 정서의 증가가 갖는 잠재적 이점을 고려하여 주기적으로 정적 정서를 높이는 VR 콘텐츠의 반복적인 경험이 여가 활동에서 나타날 수 있는 신체적, 정서적인 개선 효과에 미치는 영향에 대해 분석할 수 있을 것이다.

또한, 부적 정서는 본 연구의 분석에서 제외하였는데, 이는 레크리에이션 활동이 정적 정서와 상관관계가 있다는 기존의 연구에 따른 것이었다. 추후 연구에서는 요트 체험뿐 아니라 다양한 콘텐츠의 유형에 따라 본 시스템이 정적 정서와 부적 정서에 미치는 영향을 모두 확인할 수 있을 것이다.