혼합현실환경에서 반응형 미디어 타입에 따른 사용자 감정의 영향 분석

VR/AR/MR 환경에서 사용되는 가상의 객체는 사용자의 시각적인 정보를 제공하고, 상호작용 함으로써 몰입도(Immersion)와 실재감(Presence)을 제공한다[12]. 가상의 객체 중에 미디어 타입의 한 형태인 가상 휴먼은 사용자와 상호작용하여 신뢰도에 영향이 있다는 연구 결과가 있었다[2,12]. 또 다른 연구에서는 사용자와 가상 객체가 협업하는 몰입 환경에서 가상휴먼의 제스처와 이모티콘 등 비언어적 시각 정보가 사용자의 정보 식별에 영향을 제공하고, 가상휴먼의 비언어적 커뮤니케이션을 포함한 정보의 제공이 사용자의 정보 인지 능력을 향상한다고 하였다[13]. 또한, 몰입 콘텐츠 환경에서 가상휴먼으로 구성된 사용자들이 상호작용 할 때, 사용자간의 근접성, 제스쳐 유무가 실제로 사람과 함께 있는 것 같다는 공존감(Co-presence)에 영향을 있다는 연구 결과도 있었다[14]. 기존 관련 연구를 통해 반응형 미디어 타입에 관한 감정 변화 분석 연구의 필요성을 확인하였고, 우리의 연구에서는 추상적 시각화 정보보다는 가상 휴먼과 같은 human-like 형태의 미디어 타입으로 사용자에게 제공해 더 강한 감정 유발을 효과적으로 불러올 것이라 가정하였다[2]. 또한, 움직임의 변화가 있는 동적인 시각 정보 제공이 사용자의 감정 유발에 더욱 효과적일 것이라 가정하였다.

혼합현실 환경에서 가상객체를 활용해 사용자의 감정을 유발함으로써 사용자의 인지능력 향상에 도움을 제공하는 연구 사례가 있었다[2,15]. 예를 들면, Norouzi et al. 연구에서는 혼합 환경에서 가상 휴먼 및 강아지 객체를 활용한 시각정보의 제공을 통해 스트레스 완화 효과가 있음을 연속 뺄셈 테스트를 통한 실험으로 제안하였다[16]. 이를 통해 원격지에서의 가상 객체 기반의 정보 제공으로 사용자 스트레스 완화 효과를 제공한다고 하였다. 또 다른 결과로 Baldoni et al. 연구에서는 사용자 주의력이 2D 디스플레이 환경보다 혼합현실 환경이 높은 수준의 주의력을 가짐을 Stroop test를 통해 연구 결과로써 제안하였다[17]. 즉, 혼합현실 환경이 사용자가 작업을 수행할 때 집중력을 더욱 더 향상할 수 있다는 연구 결과를 제시하였다[2]. 본 논문에서는 기존 연구 결과를 바탕으로 task의 후보군을 선정하였고 혼합현실 환경에서 사용자의 감정 유발이 가능할 것이라고 실험을 통해 알아보고자 하였다.

사람의 감정은 행동과 의사결정, 사회적 상호작용에 중요한 역할을 하며, 인간의 감정은 여러 연구 결과를 통해 정의되고 분류되었다[18,19]. 감정과 관련된 연구에서는 주로 러셀(Russel), 플루칙(Plutchik), 폴 에크만(Paul Ekman)의 감정모델을 활용해 인간의 감정을 정량적으로 분석을 수행한다[2,20]. 대표적 사례인 러셀(Russel) 연구에서는 주관적인 감정에 기초한 원형 모형을 제안하였고[18], 플루칙(Plutchik)연구에서는 기본 감정과 복합 감정이 결합된 3 차원 모델을 제안하였다[2,19]. 플루칙 모델은 감정적인 단어의 유사성을 기반으로 기쁨, 신뢰, 두려움, 놀람, 슬픔, 혐오, 분노, 기대의 8 가지 기본 감정을 기준으로 중간 감정과 고급 감정을 포함한 인간 감정 제시하였으며, 감정간의 상관관계가 있음을 제안하였다[19]. 폴 에크만(Paul Ekman) 연구에서는 인간의 공통된 감정을 가지고 있으며, 분노, 두려움, 놀라움, 슬픔, 혐오, 경멸, 행복의 6 가지 감정이 보편성이 있다고 제안하였다[20]. 본 논문에서는 대표적인 연구사례를 바탕으로 한 감정 모델을 기반으로 실험에서 주요 감정으로 구성하였다[2].

그림 1은 본 연구에서 구성된 전체 시스템 흐름도이다. 혼합현실 환경에서 사용자는 행복, 놀람, 분노, 슬픔, 평온 등 5가지 나타낸 다양한 형태의 반응형 미디어 타입을 체험한 뒤 감정 변화의 발생 여부를 분석하였다[2]. 이 때 사용된 반응형 미디어 타입 형태와 실험 구성은 그림 2와 같다.

Figure 1. The proposed overall process in our system. In our experiments, we randomly selected one of 21 responsive media types and measured whether this triggered user’s emotions.

Download Original Figure

Figure 2. Our system configuration with responsive media types[2]. We investigated the impact of responsive media types on user emotional changes. We defined the responsive media type as virtual objects to additionally visualize for user’s interaction in MR environments.

Download Original Figure

본 연구의 목적은 혼합 현실 환경에서 반응형 미디어 타입에 따라 사용자의 감정과 작업 능률에 어떠한 영향을 제공하는 지에 대해 분석하기 위한 것이다. 따라서 본 논문에서는 반응형 미디어 타입의 형태는 이모티콘과 가상휴먼으로 분류하였고, 동작은 정적(static), 동적(dynamic) 요소로 분류하였다[2]. 그림 3은 본 연구에서 사용된 사용자 실험의 시스템 구성 결과이다. 혼합현실(Mixed Reality, MR) 환경을 사용자에게 표현하기 위해 Microsoft사의 HoloLens2를 활용하였다. 사용자는 반응형 미디어 타입을 가상 객체로 표현한 시각 정보를 경험하게 하였다. 이때 오퍼레이터는 Wizard-of-Oz 방법으로 실시간으로 참가자의 반응을 관찰하고 시스템을 조작할 수 있고, 실험 환경을 제어한다[20].

Figure 3. A overall system configuration with responsive media types for user’s experiments[2].

Download Original Figure

본 논문에서는 사용성 평가를 위해 효과적인 감정 분석 task를 선정하기 위해 몰입 콘텐츠, 혼합현실 환경에서 주로 사용되는 실험 방법인 Anagram[15], 연속 뺄셈 테스트[16], Stroop Test[17]를 후보군으로 파일럿 테스트를 먼저 진행하였다. 파일럿 테스트는 각각의 Task 를 피실험자에게 경험하게 하고, 경험 후에는 몰입감, 난이도, 흥미도, 스트레스 유발 등의 항목을 포함한 설문을 진행하였다[2]. 3가지의 task를 기반으로 감정 분석 변화를 측정한 결과 Stroop Test가 높은 변화가 있다는 것을 확인하였고, Anagram, 연속 뺄셈은 감정 변화가 크지 않은 낮은 점수를 기록하였다. 이를 바탕으로, 본 연구에서의 실험을 위한 혼합현실 감정 분석 시스템에 적용될 task는 Stroop test 로 선정하였다. 우리의 실험에서 Stroop test 는 일반적으로 영어로 된 단어를 활용해 작업을 평가하지만, 실험 대상자가 한국인이므로 한글 색상명으로 변경하여 시스템을 구성하였다[2]. 여기에서 Stroop task는 색상을 표현하는 단어와 색상이 일치하지 않는 단어를 찾는 실험 방법이다(그림 4 참조). 우리의 실험에서는 주어진 시간에서 Stroop test를 수행하고, 혼합현실 환경에서 가상 객체 형태로 가시화되는 반응형 미디어 타입을 경험하면서 감정의 변화에 대한 측정을 수행하였다.

Figure 4. A example of Stroop test scene[2].

Download Original Figure

본 연구의 목적은 혼합 현실 환경에서 반응형 미디어 타입에 따라 사용자의 감정에 어떠한 영향을 제공하는지에 대해 분석하기 위한 것이다. 따라서 본 논문에서는 반응형 미디어 타입을 분류하고, 각각의 반응형 미디어 타입을 통하여 어떤 형태의 반응형 미디어 타입이 가장 크게 감정을 변화시키는지에 대해서 분석하였다[2]. 실험의 가설은 관련 연구들에 근거하여 아래와 같다.

H1. 반응형 미디어 타입이 존재하는 경우가 존재하지 않는 경우보다 감정의 변화에 영향을 미칠 것이다.

H2. 반응형 미디어 타입의 형태가 동적 가상휴먼일 경우 가장 큰 폭의 감정의 변화가 있을 것이다.

그림 5는 그림 1의 전체 시스템의 흐름도 중 실험에 참여하는 피실험자가 수행하는 실험 프로세스를 세부적으로 보여주는 순서도이다. 피실험자는 본격적인 실험에 들어가기 앞서 혼합현실 경험 등을 물어보는 사전 설문지를 작성한 뒤 Stroop task를 수행하고, 변화를 측정하였다[2]. 실험은 within-subjects design[22]을 통해 무작위의 순서로 진행되고, 사용자는 5초의 시간동안 Stroop task를 수행한다. 이 때 task 문항은 초록, 빨강, 노랑, 파랑의 색들 중 한개의 색과 단어를 가진 랜덤한 8개의 단어로 구성되고, 한 문항 당 답은 0~4개의 랜덤한 수로 생성하였다. 또한, 피실험자에게 반응형 미디어 타입의 각각의 컨디션이 전 단계의 task 결과와는 무관하게 무작위로 가시화하였다. 실험에서 반응형 미디어 타입이 노출될 때마다 감정의 변화를 1 부터 7까지의 점수를 정성적으로 측정하였고, 정량적 분석을 위해 심장박동 수를 함께 측정하였다[2]. 실험을 수행한 이후 반응형 미디어 타입에 의해 피실험자가 행복, 분노, 놀람, 슬픔, 평온 등 5가지 감정이 유발되는지를 평가하였다.

Figure 5. The detail process to examine the impact of responsive media types on user emotional changes and task performance.

Download Original Figure

또한, 추가적으로 혼합현실 환경의 몰입도를 평가하기 위하여 실험이 종료된 뒤 설문지를 통해 사용자의 실재감 등 정성적 항목을 측정하였다(표 1 설문지 참조). 설문지는 본 연구의 실험목적에 맞게 수정하여 설문 문항을 구성하였다[23,24,25]. 설문 문항은 총 10개로 구성되었으며, 7개 문항은 몰입감, 긴장감, 흥미도 등을 7점 리커트 척도를 사용해 평가하였다. 나머지 3개 문항은 반응형 미디어 타입에 대한 선호도와 감정 변화에 미친 영향을 주관식으로 측정하였다.

실험을 위해 24 세에서 45 세 사이로 평균 32.2세의 연령으로 분포되어 있는 16 명이 연구에 참여하였다. 실험 참가가 중 1명은 색각이상(색맹)으로 Stroop task를 진행하기 어려움이 있어 본 실험에서 제외하였다. 사전 설문조사 결과, VR/AR/MR 장비를 사용해보고 콘텐츠를 경험해본 참가자는 10 명, 경험이 없는 참가자는 5 명이었고, 가상휴먼이 출현하는 콘텐츠를 경험한 참가자는 6 명이었다. 모든 분석 결과는 ANOVA(분산분석)를 통해서 검증하였다.

몰입감, 긴장감, 흥미도 등 혼합현실 참여에 대한 경험을 평가 결과, 몰입감은 대체로 높은 평가를 받았으나, 표준편차를 통해 참가자 간 경험에 차이가 영향이 있음을 확인할 수 있었다. 흥미도, 감정 유발 효과, 감정 강도의 항목에서는 응답이 대체로 긍정적이고 일관되게 나타난 반면, 긴장감과 스트레스 항목은 상대적으로 점수가 높지 않았다. 하지만, 스트레스 항목의 경우는 피실험자의 상황에 따라 큰 차이가 있는 것으로 나타났으며, 콘텐츠를 경험하는 사용자별로 상이한 수준의 스트레스를 유발했음을 알 수 있었다. 참가자들의 감정 변화 영향 순위는 동적 가상휴먼, 동적 이모티콘, 정적 가상휴먼의 순서로 나타났다. 이 결과는 대부분의 참가자가 동적 가상휴먼을 가장 높은 공존감과 감정 변화효과를 제공하는 미디어 타입으로 평가했음을 보여준다(H2 검증). 반면, 반응형 미디어 타입이 없거나 정적 형태의 타입은 공존감과 감정 유발 효과가 상대적으로 낮게 평가되었다(H1 검증). 이를 통해 실재감이 높은 동적 형태와 인간의 형태를 가진 미디어 타입이 감정 유발에 더 효과적임을 알 수 있었다.

또한, 본 연구에서는 반응형 미디어 타입에 따른 실험 조건과 감정 폭 점수 분포를 측정하였다. 그림 6의 가로축은 반응형 미디어 타입의 실험 조건을, 세로축은 감정 폭 점수를 나타낸다. 분석 결과, 반응형 미디어 타입이 존재하는 경우, 미디어 타입의 형태나 감정에 상관없이 감정 폭 점수의 평균이 더 높게 나타났다(H1 검증 추가). 또한, 점수 분포는 높은 점수대에 집중되는 경향을 보였다. 특히, 정적 타입에 비해 동적 타입의 컨디션에서 평균점수가 통계적으로 유의미하게 높음(ANOVA, p<0.05)을 검증하였다. 추가적으로 혼합현실 환경에서 반응형 미디어 타입의 유형별로 감정의 크기 변화에 대한 분석을 수행하였고, 감정의 크기 점수는 통계적으로 유의미한 차이가 나타나지 않았다.

Figure 6. Experiment results of the proposed responsive media types with respect to emotional score[2].

Download Original Figure

각 반응형 미디어 타입에 적용된 감정별로 분석한 결과, ‘분노’ 감정의 경우 심장박동 수가 통계적으로 유의미하게(ANOVA, p<0.05) 높아졌음을 확인하였다. 이는, 심장박동 수 증가와 밀접한 관련이 있다고 제안한 Peter et al. 연구와 일치한 결과를 확인하였다[26]. 그리고, 반응 속도의 기준으로 분석한 경우 평온(4.2s), 분노(3.9s), 놀람(4.47s), 슬픔(4.3s), 행복(4.19s) 결과를 얻었고, 분노 감정일 때 가장 반응속도가 빠른 것을 볼 수 있다. 이는 반응형 미디어 타입에 따라 분노 감정을 유발할 수 있고, "Yerkeys-Dodson's law"에 따르면 작업 능력은 정신적 각성 상태에 따라 작업 능률이 오른다는 것을 일부 확인하였다. 실험을 통해 반응형 미디어의 제공이 감정에 영향을 제공한다는 것을 알 수 있었고, 반응 속도에 따라 task performance에도 일부 상관관계가 있음을 검증하였다. 즉, 특정 감정을 유발하면 혼합현실 환경에서 작업(예. 교육/훈련) 능률에 영향이 있다고 확인하였고, 더 자세한 분석은 작업 task를 더 다양하게 구성하여 추후 연구를 통해 진행할 계획이다.

Figure 7. Experiment results of heart rate with emotional conditions in the experimental tasks[2].

Download Original Figure