Journal of the Korea Computer Graphics Society

The Korea Computer Graphics Society

J Korea Comput Graph Soc 2023; 29(3):33-43

pISSN: 1975-7883, eISSN: 2383-529X

DOI: https://doi.org/10.15701/kcgs.2023.29.3.33

Article

동작 기반 Autonomous Emotion Recognition 시스템: 감정 유도 자극에 따른 신체 맵 형성을 중심으로

배정은¹

, 정면걸¹

, 조영욱¹

, 김형숙²

, 김광욱¹^,^*

Motion based Autonomous Emotion Recognition System: A Preliminary Study on Bodily Map according to Type of Emotional Stimuli

Jungeun Bae¹

, Myeongul Jung¹

, Youngwug Cho¹

, Hyungsook Kim²

, Kwanguk (Kenny) Kim¹^,^*

¹한양대학교 컴퓨터·소프트웨어학과

²한양대학교 공공정책대학원

¹Department of Computer and Software, Hanyang University, Seoul, Republic of Korea

²Graduate School of Public Policy, Hanyang University, Seoul, Republic of Korea

^*corresponding author: Kwanguk (Kenny) Kim / Department of Computer and Software, Hanyang University (kenny@hanyang.ac.kr)

© Copyright 2023 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 12, 2023; Revised: Jun 30, 2023; Accepted: Jul 05, 2023

Published Online: Jul 25, 2023

요약

기존 연구에 따르면 감정은 신체 감각 및 신체 움직임과 같은 신체적 변화에 영향을 주고, 감정 자극에 따라 다르게 나타난다고 알려져 있다. 그러나, 감정의 자극에 따른 신체 감각 및 신체 움직임의 활성화 정도 및 Autonomous emotion recognition (AER) 시스템의 성능에 미치는 영향에 대한 연구는 아직 알려져 있지 않다. 본 연구에서는 20명의 피험자를 대상으로 3가지 종류의 감정 자극(단어, 사진, 영상)을 활용하여 AER 시스템에 미치는 영향을 연구하였다. 측정 변인으로는 정서적 반응, 컴퓨터 기반 자가 보고, Motion Capture 장비를 통해 측정한 신체 움직임을 활용하였다. 본 연구의 결과를 통하여 영상 자극이 다른 자극에 비해 더 많은 신체 움직임을 유도하는 것을 확인하고, 영상 자극을 통해 수집한 신체적 특이점이 AER을 위한 분류 정확도 역시 가장 높음을 확인하였다. 신체 움직임을 기반으로 한 감정적 특이점은 행복, 놀람, 분노, 중립 등에서 감정 유도 자극의 종류에 따라 비슷한 패턴이 나타남을 확인하였다. 본 연구의 결과는 향후 신체적 변화를 기반으로 한 AER 시스템 연구에 기여할 수 있을 것으로 기대된다.

Abstract

Not only emotions affect physical sensations, but they also have an impact on physical movements. The responses to emotions vary depending on the type of emotional stimuli. However, research on the effects of emotional stimuli on the activation of bodily movements has not been rigorously examined, and these effects have not been investigated in Autonomous Emotion Recognition (AER) systems. In this study, we aimed to compare the emotional responses of 20 participants to three types of emotional stimuli (words, pictures, and videos) and investigate their activation or deactivation for the AER system. Our dependent measures included emotional responses, computer-based self-reporting methods, and bodily movements recorded using motion capture devices. The results suggested that video stimuli elicited higher levels of emotional movement, and emotional movement patterns were similar across different types of emotional stimuli for happiness, sadness, anger, and neutrality. Additionally, the findings indicated that bodily changes observed during video stimuli had the highest classification accuracy. These findings have implications for future research on the bodily changes elicited by emotional stimuli.

Keywords: 감정 자극; 감정 인식

Keywords: Emotional Stimuli; Emotion Recognition

1. 서론

감정은 특정 상황을 인식하는 인지 및 행동에 다양한 영향을 미치고, 상대방의 감정을 파악하는 능력은 다른 사람들과의 성공적인 의사소통을 가져다주며 관계 형성에 중요하다 [1]. 감정을 측정하는 것은 사람과의 상호작용에서 중요하므로 기존 연구들에서는 사람의 감정을 자동으로 인식하고 해석하는 Autonomous Emotion Recognition (AER) 시스템을 통해 사람과의 소통을 돕고자 하였다. 기존 연구들에서는 얼굴 표정 [2, 3], 신체 움직임 [4, 5, 6], 신체 감각의 활성화 정도 [7]가 감정에 따라 차이가 보이는 것을 확인하였다. 그 중 신체에서 나타나는 감정적 특이점들은 얼굴 표정을 인식할 수 없는 상황인 마스크 착용, 가상현실 장비 착용, CCTV 상황 등에서 감정을 인식하는데 중요한 역할을 할 수 있다 [8].

기존 연구들에서는 단어, 사진, 영상과 같은 다양한 감정 자극을 통해 사람들에게 감정반응을 유도한다. 이 중 단어 자극은 ‘행복’, ‘슬픔’, ‘놀람’과 같이 감정과 연관 있는 단어를 직접적으로 제시하는 방법으로써, 다양한 연구들에서 사용된다 [9, 10]. 사진 자극은 화난 표정을 짓고 있는 인물 이미지, 혐오스러운 구더기 이미지, 아이들의 행복한 파티 이미지와 같은 정적인 이미지를 제시하는 방법으로써 [11, 12, 13], 단어 자극에 비해 더 감정적으로 높은 각성도를 일으키는 것으로 알려졌다 [14, 15]. 이 중, 사람의 얼굴 표정을 사용하는 사진 자극이 가장 개인에 따른 정서의 편차가 적게 나타난다 [13]. 영상 자극은 축구를 이겨 기쁜 표정을 짓는 행복한 영상, 구역질 나는 화장실을 보여주는 혐오스러운 영상, 아버지가 아픈 자식을 바라보는 슬픈 영상과 같은 소리 없는 영화 클립을 제시하는 방법으로써 [16, 17], 단어나 사진 자극에 비해 더 감정적으로 높은 각성도를 일으키는 것으로 알려졌다 [14, 15].

감정을 유발하기 위한 자극의 형태에 따라서 같은 감정이라도 다른 강도의 감정을 유발할 수 있다. 기존 연구들은 [12, 14, 15, 16, 17] 자가 보고 설문지 방법인 Self-Assessment Manikin [18]을 통해 감정의 각성도 및 정서가를 측정하여 감정 자극을 통해 유발된 감정을 측정하였다. 이에 대한 결과로 감정에 따라 각성도, 정서가의 변화가 다르게 나타나는 것을 확인하였다. 예를 들어, 행복의 감정은 높은 정서가와 높은 각성도의 특징이 나타나며 슬픔의 감정은 낮은 정서가와 다른 감정에 비해 낮은 각성도의 특징이 있다. 또한, 분노의 감정은 낮은 정서가와 높은 각성도의 특징이 나타나며 혐오의 감정은 낮은 정서가와 분노 감정에 비해 낮지만 슬픔 감정에 비해 높은 각성도의 특징이 있고 공포의 감정은 낮은 정서가와 혐오 감정에 비해 낮은 각성도의 특징이 있다.

기존 연구들에서는 이러한 감정의 형성이 감각적으로 느껴지는 신체의 활성화 [7]뿐만 아니라 신체 움직임을 통해서도 나타나는 것을 [4, 5, 6, 19, 20] 확인하였다. Nummenmaa [7] 연구진은 신체 감각을 기반으로 컴퓨터 기반 자가 보고 방법을 사용하여 신체의 활성화 또는 비활성화의 정량적 지표를 통해 측정하는 방법인 Bodily Sensation Maps (BSM)을 제안하였다. 또한, AER의 초기 버전으로 기존 연구들에서는 Motion Capture장비를 통해 측정한 각 신체 관절의 움직임이 개인의 감정 상태에 따라 다르게 나타남을 확인하였다 [19, 20, 21, 22]. 예를 들어, 행복과 분노 같은 높은 각성도의 특징을 가지고 있는 감정은 다른 감정에 비해 팔과 손의 움직임이 크며 [21], 슬픔의 감정은 다른 감정에 비해 손과 팔이 몸에 더 가까워져 움직임이 적다는 특징이 있다 [22]. 따라서, 감정의 각성도와 정서가에 따라 신체 활성화 및 신체 움직임이 달라질 수 있다 [21, 22]. 그러나, 감정 자극을 통해 형성된 감정의 각성도, 정서가의 변화가 신체 활성화 정도 및 신체 움직임에 주는 영향에 대해서는 아직 확인한 바가 없다.

최근 연구들에서는 신체 움직임 데이터를 Machine Learning을 통해 감정 분류를 할 수 있음을 제안하였다 [4, 5, 6, 19, 20]. 예를 들어, Nummenmaa [7] 연구진은 신체 감각을 통해 드러나는 감정적 특이점이 Linear Discriminant Analysis (LDA) 모델로 분류될 수 있음을 밝혔고 Ahmed [20] 연구진은 신체 움직임을 통해 드러나는 감정적 특이점이 Linear Discriminant Analysis (LDA), Support Vector Machine (SVM), Decision Tree (DT) 등의 모델로 분류될 수 있음을 밝혔다. 그러나 감정 자극에 따라서 신체를 기반으로 한 감정의 각성도, 정서가 차이가 AER 시스템의 성능에 주는 영향에 대한 연구는 아직 알려져 있지 않다.

본 연구는 세 가지의 목표를 가지고 있다. 첫 번째로, 기존 연구에서 제안한 3가지 감정 자극인 단어, 사진, 영상 자극을 통해 감정 자극이 동일한 감정, 각성도를 유도하는지 확인하고자 한다. 두 번째로, 감정 자극에 따라 신체 감각의 활성화 정도 및 신체 움직임의 정량적 차이를 확인하고자 한다. 마지막으로, 이러한 3가지 감정 자극을 기반으로 수집한 신체적 특이점들이 본 연구에서 사용하는AER 시스템에 주는 영향에 대해 Bodily Motion Map (BMM) 방법론을 통해 확인하고자 한다.

2. 연구 방법

2.1 피험자 모집

본 실험은 피험자를 모집하기 위해 교내 광고로 모집하였으며 실험의 전체 과정을 피험자에게 고지한 후 진행되었다. 20명의 피험자를 모집하였으며 (mean = 26.85, SD = 3.1; female n = 7), 피험자의 데이터를 수집한 뒤 아래 절차에 따라 분석하였다.

2.2 BSM 및 BMM 방법론

본 연구에서는 기존 연구에서 제안한 컴퓨터 기반 자가 보고 방법인 BSM [7]과 본 연구에서 제안하는 AER 시스템을 위한 BMM 방법론을 활용하여 연구를 진행하였다. BSM 측정 방법은 피험자들에게 각 감정 자극을 제시한 후 자극을 보고 양쪽 아바타에 색칠하도록 지시하였다 (Figure 1.A). 좌측 신체 아바타 경우, 피험자들은 해당 감정 상태 하에서 평소에 비하여 더욱 활성화될 것이라고 생각하는 신체 부위를 색칠하도록 요청받았다. 우측 신체 아바타 경우, 평소에 비하여 더욱 비활성화될 것이라고 생각하는 신체 부위를 색칠하도록

Figure 1. Process of BSM extraction. (A) Participants were instructed to colorize both avatars after viewing emotional stimuli. (B) Participants clicked on the body parts they believed would be activated (left avatar) or deactivated (right avatar) based on the presented emotion. (C) The recorded points were aggregated to combine two bodily maps. (D) Each participant's BSM represented the degree of activation for 19 body parts across 7 emotions.

Download Original Figure

요청받았다. 피험자들은 마우스를 통해 작은 점을 신체 부위에 클릭하여 색칠하였다 (Figure 1.B). 좌측 신체 아바타인 ‘활성화’ 신체 지도에 표시된 점의 수는 양의 값으로 기록되었으며, 우측 신체 아바타인 ‘비활성화’ 신체 지도에 표시된 점의 수는 음의 값으로 기록되었다. 기록된 신체 지도상의 표시된 점의 수를 합산하여 두 개의 신체 지도를 결합하였다 (Figure 1.C). 추후, 자극 간 비교를 위해 BSM을 19개의 신체 부위로 나누어 각 신체 부위에 대한 피험자들의 점의 개수의 합계로 기록하였다. 7가지 감정 중 가장 큰 값의 점의 수를 기준으로 정규화하여 활성화 정도를 도출하였다. 도출된 활성화 정도를 통해 19개 신체 부위 × 7가지 감정의 BSM을 나타냈다 (Figure 1.D).

본 연구에서 제안하는 AER 방법론으로 피험자들의 BMM을 나타내기 위해 실제 움직임을 측정하여 모션 캡처 데이터를 만들어 사용하였다. 각 피험자의 신체 움직임은 19개 신체 부위 (Figure 2.A)로 나누어 정의되었으며, 초당 30 프레임의 속도로 5초의 길이로 구성되었다. 측정 방법은 Azure Kinect (Microsoft, Seattle, USA)를 사용해 피험자들이 각 감정 자극을 통해 형성된 감정을 신체로 표현하도록 요청하였다 (Figure 2.B). 각 피험자의 실제 움직임은 32개 신체 부위의 좌표로 저장되었다 (Figure 2.C). 그 중 BSM과 동일하게 시각화 하기 위해 정의된 19개 신체 부위의 좌표(x, y, z) 데이터를 추출하였으며, 데이터는 150 프레임× 19 개 신체 부위× 3 축으로 구성하였다. 각 신체 부위마다의 프레임 별 움직임 평균을 수식 (1)과 같이 계산하여 각 감정에 대한 신체 움직임 평균을 도출하였다 (Figure 2.D).

Figure 2. Process of BMM extraction. (A) The 19 body parts defined in this study. (B) Emotional stimuli were presented for 5 seconds. (C) Measurement of participants' body movements in response to the generated emotions. (D) Calculation of average body movements per body part for the 7 emotional states. (E) Based on the derived averages for the 7 emotions, the activation levels were determined by subtracting the reference value from the movement values specific to each emotion, resulting in the representation of BMM (19 body joints × 7 emotions).

Download Original Figure

T h e a v e r a g e o f m o v e m e n t = ∑ f = 1 150 (x f − x f − 1) 2 + (y f − y f − 1) 2 + (z f − z f − 1) 2 150 f r a m e s

(1)

도출한 7가지 감정의 평균을 계산하여 해당 결과를 신체 움직임의 기준으로 설정하였다. 각 감정 별 움직임 값에서 기준 움직임 값을 뺀 활성화 정도를 도출하였다. 수집된 활성화 정도를 사용해 각 감정에 따라 19개 신체 부위 × 7가지 감정의 BMM을 제시하였다 (Figure 2.E).

2.3 감정 자극

본 연구에서는 총 3종류의 감정 자극(단어, 사진, 영상)을 사용하였다. 단어 자극은 7가지 감정 단어(행복, 슬픔, 놀람, 분노, 혐오, 공포, 중립)를 사용하였다. 각 단어는 임의의 순서로 세 번씩 한국어로 전달되었으며, 피험자들이 제공된 단어를 보고 각 감정을 토대로 평가할 수 있도록 제시되었다. 사진 자극은 Karolinska Directed Emotional Faces [23] 데이터 세트에서 7가지 감정에 해당하는 서로 다른 3개의 인물 표정 사진으로 사용하였다. 인물 표정 사진은 외국인 남성, 여성 배우의 사진으로 이루어져 있으며, 피험자들은 인물 표정 사진을 보고 사진 속 인물이 느끼고 있는 감정을 토대로 평가할 수 있도록 제시되었다. 영상 자극은 7가지 감정을 유도할 수 있는 서로 다른 10초 길이의 소리 없는 영화 클립 [16]을 감정에 따라 3개씩 사용하였다. 피험자들은 영상을 보고 느껴지는 감정을 토대로 평가할 수 있도록 제시되었다.

2.4 Machine Learning 기법

2.4.1 Linear Discriminant Analysis (LDA)

LDA모델은 입력 데이터 세트를 저차원 공간으로 투영해 차원을 축소하는 기법이자 지도학습에서 분류 문제에 사용되는 모델이다. 이는 직각 행렬에서 사용되는 특이값 분해 방법(Singular Value Decomposition; SVD)을 적용하였고 store covariance 매개변수는 True로 설정하였다.

2.4.2 Support Vector Machine (SVM)

SVM 모델은 지도 학습 모델 중 하나로서 분류 문제에 사용되며, 두 그룹으로부터 데이터들과 가장 먼 거리를 가지는 최적의 초평면(hyperplane)을 선택하여 분류하는 것을 목표로 하는 방법이다. 이는 다중 클래스를 분류하기 위해 데이터 세트를 서로 다른 두 개의 클래스를 가지는 데이터 세트로 분할하고 이를 이진 분류기로 학습하는 방법인 일 대 일 접근 방식으로 구성하였다. 또한, kernel 유형은 linear 함수를 사용하였고 kernel 계수는 0.0, 정규화 매개변수는 1.0으로 설정하였다.

2.4.3 Decision Tree (DT)

DT 모델은 분류 문제가 가능한 지도 학습 모델 중 하나로, 여러 가지 규칙을 순차적으로 적용하면서 독립 변수 공간을 분할하여 분류하는 모델이다. 이는 분류 문제에서 각 노드의 정보 이득을 최대화하는 Classification And Regression Tree (CRAT) 알고리즘을 적용하였고 분류 척도로는 gini 계수를 사용하였다.

2.4.4 Random Forest (RF)

분류 정확도를 높이기 위해 DT 모델에서 파생된 RF 모델은 다수의 DT로부터 얻은 예측 값 중 가장 많은 값을 최종 예측 값으로 채택하는 앙상블 방식을 사용한 모델이다. 앙상블을 위해 10개의 DT가 사용되었으며 분류 척도로는 gini 계수로 설정하였다.

2.4.5 Deep Neural Network (DNN)

DNN 모델은 수많은 데이터를 다양한 비선형 변환기법의 조합을 통해 높은 수준의 학습을 시도하는 심층 Machine Learning 알고리즘을 말한다. 이는 클래스의 분류를 위한 32, 16 unit을 가지는 dense layer와 결과 분류를 위한 7 unit으로 softmax layer로 구성하였다. 각 dense layer의 활성화 함수는 Rectified Linear Unit (ReLU)로 설정하였다.

2.5 측정 변인

Self-Assessment Manikin (SAM). 피험자의 정서적 반응을 측정할 수 있는 9-point Likert Scale 설문지 방법 [18]으로, 피험자가 자신의 정서 상태에 가장 가까운 마네킹 그림에 정서가(Valence) 와 각성도(Arousal)를 표시하도록 되어있으며, 질문은 다음과 같다. Valence: “현재 감정이 얼마나 부정적/긍정적인지 해당하는 곳에 체크해 주십시오.” Arousal: “현재 감정의 크기가 얼마나 고요한지/흥분되는지에 따라 해당하는 곳에 체크해 주십시오.”

Difference of clicks. Nummenmaa [7] 연구진이 제안한 컴퓨터 기반 지형적 자가 보고 방법을 사용하여 피험자가 감정 자극을 보고 난 후 느껴지는 신체 감각을 토대로 평소에 비해 활성화 될 것이라고 생각하는 신체 부위를 마우스로 클릭한 점의 수와 비활성화 될 것이라고 생각하는 신체 부위를 클릭한 점의 수의 차를 계산하였다.

Amount of movement. 피험자가 감정 자극을 보고 난 후 느껴지는 감정을 표현한 신체 움직임에서 신체 부위 별 움직임의 총량을 합산하여 계산한 값이다. 계산 방법은 각 신체 부위마다 프레임 별 움직임(150 프레임 × 19개 신체 부위 × 3축)을 모두 합산하여 수식 (2)와 같이 계산하였다.

A m o u n t o f m o v e m e n t = ∑ f = 1 150 (x f − x f − 1) 2 + (y f − y f − 1) 2 + (z f − z f − 1) 2

(2)

Classification Accuracy. 지도 학습 분류 모델인 LDA, SVM, DT, RF, DNN을 통해 BSM, BMM의 데이터로 감정 자극 간의 complete classification accuracy를 계산한 값이며, 계산 방법은 다음과 같다. 우선, 감정 별 BSM, BMM을 입력 데이터 세트(1 감정 × 19개 신체 부위)로 구성하여 Min-Max Scaling 기법을 수식 (3) 통해 정규화를 진행하였다. 그 후, 5개의 모델을 통해 5-Fold cross validation으로 학습해 감정 자극 별 정확도를 도출하였다.

x s c a l e d = (x − x m i n) / (x m a x − x m i n)

(3)

2.6 실험 절차

본 실험 절차는 실험 목적을 설명한 후 인적 사항(성별, 나이)에 대한 사전 설문을 진행하였다. 실험 전 실험 환경에 친숙해지기 위해 연습 시행을 진행 후 BSM을 나타내기 위해 컴퓨터 기반 자가 보고 방법으로 측정한 신체 감각을 기반으로 한 감정 표현을 수행하는 실험을 진행하였다. 이는 각 감정 자극을 제시 후 느껴지는 감정을 토대로 평가하도록 지시하여 진행하였다. 그 후, BMM을 나타내기 위해 Motion Capture로 측정한 실제 움직임을 기반으로 한 감정 표현을 수행하는 실험을 진행하였다. 이는 각 감정 자극을 제시 후 느껴지는 감정을 신체로 표현하도록 지시하여 진행하였다. 제시되는 각 감정의 순서는 counter balanced 되었다. 마지막으로, 감정 자극을 검증하기 위한 설문지 응답이 완료된 후 실험을 종료하였다 (Figure 3).

Figure 3. Experimental procedure

Download Original Figure

2.7 통계 분석

SPSS 27.0 (SPSS Inc., Chicago, USA) 프로그램을 활용하여 데이터를 분석하였다. 정규성 검정을 위해 왜도, 첨도 및 Kolmogorov-Smirnov 검정을 활용하였다. 또한, 구형성 검정을 위해 Mouchly의 단위 행렬 검정을 활용하였다.

감정 자극을 검증하기 위해 수집한 각성도(Arousal), 정서가(Valence) 경우는 각 피험자의 데이터를 3가지 감정 자극 × 7가지 감정으로 구성하여 통계 분석 전 정규화를 진행하였다. 그 후, 감정 자극과 감정 상태 조건을 비교하기 위해 Repeated Measures Analysis of Variance (RM ANOVA)를 수행하였다. 통계적 유의 수준은 p < 0.05로 설정되었다.

BSM, BMM 경우는 각 피험자의 데이터를 19개 신체 부위 × 7가지 감정으로 구성하여 통계 분석 전 정규화를 수행하였다. 그 후, 각 감정에 대한 BSM, BMM의 신체 부위 별 활성화 및 비활성화된 신체 부위를 0과 비교하기 위해 각 신체 부위에 따른 Univariate t-test를 수행하였다. 이에 대한 결과로 통계적으로 유의미하게 활성화 또는 비활성화된 신체 감각, 신체 움직임 결과를 반영하는 Map을 생성하였다.

추가로 데이터 분석을 하기 위해 수집한 클릭수의 차(Difference of clicks), 신체 움직임의 총량(Amount of movement) 경우는 각 피험자의 데이터를 3가지 감정 자극 × 7가지 감정으로 구성하여 통계 분석 전 정규화를 수행하였다. 그 후, 감정 자극과 감정 상태 조건을 비교하기 위해 Repeated Measures Analysis of Variance (RM ANOVA)를 진행하였다.

3. 연구 결과

3.1 주관적인 정서적 반응 평가 결과

각성도(Arousal)를 분석한 결과 (Figure 4.A) 는 감정 자극 조건 간 통계적으로 유의미한 차이가 나타났고 (F (2, 38) = 13.136, p < .001, η² = .409; 단어 mean = 4.83, 사진 mean = 4.63, 영상 mean = 5.22) 감정 상태 조건 간에서도 통계적으로 유의미한 차이가 나타났다 (F (6, 114) = 8.020, p < .001, η² = .297). 또한, 감정 자극과 감정 상태 간의 상호작용 효과가 나타났다 (F (6.332, 120.317) = 3.178, p < .001, η² = .143). 사후 분석을 수행한 결과, 영상 자극이 단어 자극 조건보다 유의미하게 높은 각성도 값을 보이는 것을 확인하였다 (p < .05). 또한, 영상 자극이 사진 자극 조건보다 유의미하게 높은 각성도 값을 보이는 것을 확인하였다 (p < .001).

Figure 4. Result of Arousal (A) and Valence (B).

Download Original Figure

정서가(Valence)를 분석한 결과 (Figure 4.B)는 감정 자극 조건 간 통계적으로 유의미한 차이가 나타났고 (F (2, 38) = 8.786, p < .01, η² = .316; 단어 mean = 4.22, 사진 mean = 4.28, 영상 mean = 3.94) 감정 상태 조건 간에서도 통계적으로 유의미한 차이가 나타났다 (F (3.359, 63.814) = 43.020, p < .001, η² = .694). 또한, 감정 자극과 감정 상태 간의 상호작용 효과가 나타났다 (F (12, 228) = 5.674, p < .001, η² = .230). 사후 분석을 수행한 결과, 영상 자극이 단어 자극 조건보다 유의미하게 낮은 정서가 값을 보이는 것을 확인하였다 (p < .01). 또한, 영상 자극이 사진 자극 조건보다 유의미하게 낮은 정서가 값을 보이는 것을 확인하였다 (p < .01).

3. 2 BSM 및 BMM 기반 Machine Learning 평가 결과

3.2.1 감정 자극 별 BSM, BMM 시각화

3가지 감정 자극을 사용하여 형성된 감정을 기반하여 추출한 BSM을 시각화 하였다. 활성화된 신체 부위, 비활성화 된 신체 부위는 각각 따뜻한 색상, 차가운 색상으로 색칠하였고 통계적으로 유의미하게 활성화되지 않은 신체 부위는 검은색 색상으로 색칠하였다. BSM을 통해 감정 별 신체 활성화 패턴의 감정적 특이점이 다르게 나타나는 것을 확인하였다 (Table 1). 또한, 감정 자극 간에서는 행복, 슬픔, 분노, 중립 감정에서 신체 감각을 통해 드러나는 감정적 특이점의 특별한 차이를 발견할 수 없으나 놀람, 혐오, 공포 감정에서 시각적으로 감정적 특이점의 차이가 나타나는 것을 확인하였다. 세부적으로, 놀람 감정에서는 단어, 사진 자극(흉부 활성화)과 영상 자극, 혐오 감정에서는 각 감정 자극(단어: 전신 비활성화, 사진: 머리 활성화, 팔 비활성화 영상: 팔, 다리 비활성화), 공포에서는 단어 자극(흉부 활성화, 하체 비활성화)과 영상 자극(전신 활성화)과의 신체 감각에 대한 활성화 정도 차이가 있음을 확인하였다. 단어, 사진, 영상 자극의 BSM은 각각 Figure 5과 같다.

Table 1. Interpretation of emotional distinctiveness in BSM by emotional stimuli.

Emotion	Word	Picture	Video
Happy	full body activation	full body activation	full body activation
Sad	lower body deactivation	lower body deactivation	lower body deactivation
Surprise	upper body activation	chest activation	-
Angry	full body activation	full body activation	full body activation
Disgust	full body deactivation	head activation limbs deactivation	full body activation
Fearful	chest activation lower body deactivation	-	full body activation
Neutral	upper body deactivation	upper body deactivation	full body deactivation

Download Excel Table

Figure 5. BSM by emotional stimuli. (A) Word (B) Picture (C) Video

Download Original Figure

3가지 감정 자극을 사용하여 형성된 감정을 기반하여 추출한 BMM을 시각화 하였다. BSM과 동일한 색상으로 색칠하였고 BMM을 통해 감정 별 신체 움직임 패턴의 감정적 특이점이 다르게 나타나는 것을 확인하였다 (Table 2). 또한, 감정 자극 간에서는 행복, 놀람, 분노, 중립 감정에서 신체 움직임을 통해 드러나는 감정적 특이점의 특별한 차이를 발견할 수 없으나 슬픔, 혐오, 공포 감정에서 시각적으로 감정적 특이점의 차이가 나타나는 것을 확인하였다. 세부적으로, 슬픔 감정에서는 각 감정 자극 (단어: 머리, 하체 활성화, 손 비활성화 사진: 머리 활성화 영상: 전신 비활성화), 혐오 감정에서는 단어 (머리, 하체 비활성화), 영상 자극 (전신 비활성화)과 사진 자극, 공포 감정에서는 영상 자극 (전신 활성화)과 단어, 사진 자극과의 신체 움직임 패턴의 활성화 정도 차이가 있음을 확인하였다. 단어, 사진, 영상 자극의 BMM은 각각 Figure 6과 같다.

Table 2. Interpretation of emotional distinctiveness in BMM by emotional stimuli.

Emotion	Word	Picture	Video
Happy	full body activation	full body activation	full body activation
Sad	head, lower body activation hand deactivation	head activation	full body deactivation
Surprise	-	head, limbs deactivation	full body deactivation
Angry	upper limbs activation	head activation	upper limbs activation
Disgust	head, lower body deactivation	-	full body deactivation
Fearful	-	-	full body activation
Neutral	full body deactivation	full body deactivation	upper body deactivation

Download Excel Table

Figure 6. BMM by emotional stimuli. (A) Word (B) Picture (C) Video

Download Original Figure

3.2.2 BSM 및 BMM 데이터 분석

클릭수의 차(Difference of clicks)를 분석한 결과 (Figure 7.A)는 감정 자극 조건 간에서 통계적으로 유의미한 차이가 나타났고 (F (2, 38) = 3.528, p < .05, η² = .157; 단어 mean = 75.81, 사진 mean = 47.26, 영상 mean = 86.15) 감정 상태 조건 간에서도 통계적으로 유의미한 차이가 나타났다 (F (2.841, 53.976) = 15.917, p < .001, η² = .456). 또한, 감정 자극과 감정 상태 간의 상호작용 효과가 나타났다 (F (5.026, 95.486) = 3.579, p < .001, η² = .158). 사후 분석을 수행한 결과, 영상 자극이 사진 자극 조건보다 유의미하게 높은 클릭수의 차를 보이는 것을 확인하였다 (p < .01).

Figure 7. Results of Difference of clicks (A) and Amount of movement (B)

Download Original Figure

신체 움직임의 총량(Amount of movement)를 분석한 결과 (Figure 7.B)는 감정 자극 조건 간에서 통계적으로 유의미한 차이가 나타났고 (F (2, 38) = 11.115, p < .001, η² = .369; 단어 mean = 43.41, 사진 mean = 38.57, 영상 mean = 47.06) 감정 상태 조건 간에서도 통계적으로 유의미한 차이가 나타났다 (F (3.298, 62.670) = 26.866, p < .001, η² = .586). 또한, 감정 자극과 감정 상태 간의 상호작용 효과가 나타났다 (F (5.584, 106.105) = 7.430, p < .001, η² = .281). 사후 분석을 수행한 결과, 영상 자극이 사진 자극 조건보다 유의미하게 큰 움직임을 보이는 것을 확인하였고 (p < .01) 단어 자극이 사진 자극 조건보다 유의미하게 큰 움직임을 보이는 것을 확인하였다 (p < .05).

3.2.3 BSM 및 BMM 기반 Classification Accuracy

감정 자극 별 추출된 BSM, BMM를 통해 분류 정확도를 비교하기 위해 LDA, SVM, DT, RF, DNN 모델을 사용하여 계산하였다 (Table 3). 단어, 사진, 영상 자극의 complete classification accuracy의 평균은 각각 31.69%, 28.43%, 33.89% (chance level 14%) 이다.

Table 3. Complete classification accuracy by emotional stimuli.

Model	Features	Word	Picture	Video
LDA	BSM	35.47%	31.90%	34.76%
LDA	BMM	39.28%	36.19%	39.76%
SVM	BSM	35.24%	31.66%	33.81%
SVM	BMM	35.24%	27.86%	39.52%
DT	BSM	21.91%	26.19%	25.71%
DT	BMM	27.14%	23.34%	31.43%
RF	BSM	27.38%	27.86%	29.76%
RF	BMM	29.52%	26.19%	33.33%
DNN	BSM	30.21 %	23.96%	32.30%
DNN	BMM	35.47%	29.17%	38.54%
Average		31.69%	28.43%	33.89%

Download Excel Table

4. 논의

본 연구는 3가지의 감정 자극(단어, 사진, 영상)에 따라 신체 감각의 활성화 정도 및 신체 움직임으로 나타나는 감정적 특이점이 AER 시스템 성능에 주는 영향에 대해 확인하고자 하였다. 이에 따라, 본 연구에서는 세 가지의 주요 결과를 도출하였다. 첫 번째로, 기존 연구에서 제안한 3가지 감정 자극 (단어, 사진, 영상)이 동일한 감정을 유발함을 확인하였고 기존 연구 결과와 동일하게 영상 자극이 다른 자극에 비해 감정의 각성도가 높게 형성됨을 확인하였다. 두 번째로, 감정 자극에 따라 신체 감각의 활성화 정도 및 신체 움직임의 감정적 특이점이 감정 별로 공통점과 차이점이 있음을 확인하였다. 마지막으로, 이러한 3가지 감정 자극 중 더 감정적으로 높은 각성도를 도출하는 영상 자극을 통해 수집한 신체적 특이점이 다른 자극에 비해 높은 분류 정확도를 보이는 것을 확인하였다.

4.1 주관적인 정서적 반응 평가를 통한 감정 자극 검증

첫 번째로, 3가지 감정 자극인 단어, 사진, 영상 자극에 대한 주관적인 정서적 반응을 통해 동일하게 감정을 유발함을 확인하였다. 기존 연구들 [12, 14, 15, 16, 17]에서는 행복의 감정에서 높은 정서가와 높은 각성도의 특징을 보이고 슬픔의 감정에서 낮은 정서가와 낮은 각성도의 특징이 나타난 것과 같이 각 감정에 따른 각성도, 정서가의 변화를 보였다. 본 연구 결과를 통해 한국 문화권에서도 감정에 따른 각성도, 정서가의 변화가 기존 연구들 [12, 14, 15, 16, 17]의 결과와 비슷한 양상을 보이는 것을 확인하였다. 예를 들어, 행복의 감정은 높은 정서가와 다른 감정에 비해 높은 각성도의 특징이 나타나며 슬픔의 감정은 낮은 정서가와 다른 감정에 비해 낮은 각성도의 특징이 나타났다. 분노의 감정은 낮은 정서가와 다른 감정에 비해 높은 각성도의 특징이 보였으며, 혐오의 감정은 낮은 정서가와 다른 감정에 비해 높은 각성도의 특징이 나타남을 확인하였다. 더 나아가 감정 자극 형태 따라 동일한 감정의 정서적 반응에 대한 차이를 확인하였다. 기존 연구들 [14, 15]에서는 영상 자극이 다른 자극에 비해 부정적인 감정을 더 부정적이고 감정을 흥분된 상태로 느끼는 것을 보였다. 본 연구에서도 기존 연구의 결과와 동일하게 영상 자극이 더 감정적으로 높은 각성도를 도출하는 것을 확인하였고 부정적인 감정에서 다른 자극에 비해 낮은 정서가를 보이는 것을 확인하였다. 이를 통해 감정 자극의 형태에 따라서 동일한 감정이라도 다른 각성도, 정서가의 감정을 유발할 수 있음을 확인하였다.

4.2 감정 자극에 따른 BSM및BMM의 감정적 특이점

두 번째로, 감정 자극에 따라 신체 감각의 활성화 정도 및 신체 움직임의 감정적 특이점 간에 정량적 차이가 나타나는 것을 확인하였고, 감정 자극에 따른 BSM, BMM반응이 감정 별로 공통점과 차이점이 있음을 확인하였다. 신체 감각 관련 연구 [7]의 결과는 행복, 분노 감정에서 상체의 감각이 활성화되는 패턴이 보였다. 이 중 행복은 전신의 감각이 활성화 되는 패턴을 보였으며, 슬픔에서는 하반신과 팔의 감각이 비활성화 되는 패턴이 보였다. 또한, 신체 움직임 관련 연구 [21, 22]의 결과에서는 행복, 분노 감정에서 상체의 움직임이 활성화되고 슬픔에서 팔과 손의 움직임이 비활성화 되는 패턴을 보임을 밝힌 바가 있다. 본 연구에서도 기존 연구 결과와 비슷한 양상으로 BSM, BMM 반응이 전체적으로는 중립을 포함한 7가지 감정에서 다른 패턴을 도출해 내는 공통점을 확인하였고 감정 자극 간에서 감정적 특이점의 공통점과 차이점이 있음을 확인하였다. 세부적으로는 BSM은 행복, 슬픔, 분노, 중립에서 감정 자극 간 비슷한 양상의 감정적 특이점을 도출하였으나 놀람, 혐오, 공포 등에서 신체 감각에 대한 활성화 정도의 차이가 있음을 동시에 확인하였다. BMM은 행복, 놀람, 분노, 중립에서 감정 자극 간 비슷한 양상의 감정적 특이점을 도출하였으나 슬픔, 혐오, 공포 등에서 신체 움직임 패턴에 대한 활성화 정도의 차이가 있음을 동시에 확인하였다. 이를 통해 BSM, BMM으로 나타내는 신체 활성화 패턴의 차이는 감정 자극의 형태에 따른 감정의 각성도의 차이로 인해 유발했을 가능성이 있다. 이로 인해, 감정 자극에 따라 신체 감각 및 신체움직임에서 나타나는 신체 활성화 패턴은 하나의 정량적 지표로 사용할 수 있음을 확인하였다.

4.3 신체 활성화 정도 및 신체 움직임의 Machine Learning 평가

마지막으로, 본 연구는 이러한 3가지 감정 자극을 기반으로 수집한 신체적 특이점들이 AER 시스템에 주는 영향에 확인하고자 하였고 이 중 영상 자극을 통한 정량적 지표의 측정이 Machine Learning 기법과 관계없이 가장 높은 정확도를 보이는 것을 확인하였다. 신체적 특이점의 정량적 차이를 확인하고자 BSM에서 측정한 클릭수의 차와 신체 움직임의 총량을 계산하여 데이터를 분석한 결과, 클릭수의 차는 영상 자극이 다른 자극에 비해 더 많이 클릭하였던 것을 확인하였고 신체 움직임의 총량은 영상 자극이 다른 자극에 비해 더 많이 움직인 것을 확인하였다. 이는 기존 연구들 [7, 19, 20, 21, 22]과 동일하게 높은 각성도의 감정은 더 많은 신체 감각 및 신체 움직임을 일으키는 것을 확인하였다. 이로 인해, 영상 자극이 다른 자극에 비해 더 감정적으로 높은 각성도를 도출하므로 더욱 신체 감각의 활성화를 잘 느끼고 많은 신체 움직임을 표현한다고 해석할 수 있다. 또한, 얼굴, 목소리를 활용한 감정 인식 연구들 에서는 사람이 표현하는 감정의 강도가 강할수록 다른 사람이 감정을 인식하는 정확도가 높다고 밝힌 바가 있다 [24]. 이에 따라 더 높은 각성도를 가진 감정을 유도할수록 더 높은 정량적 지표의 값으로 인해 사람의 감정 인식 정확도가 높았으며, 이러한 현상이 신체 기반의 감정적 특이점에서도 드러난 것으로 보인다. 이를 통해 본 연구에서는 얼굴, 목소리를 기반으로 한 기존 연구와 동일하게 신체를 기반으로 한 감정적 특이점이 감정의 각성도가 높을수록 Machine Learning의 분류 정확도를 더 높일 수 있음을 확인하였다.

4.4 한계점

본 연구는 몇 가지 한계점을 가진다. 첫 번째로, BSM 및 BMM의 반응에서 상대적으로 적은 수의 피험자가 참여하여 감정의 세부적인 결과를 해석하기 어렵다. 추가로 다양한 연령의 피험자를 모집하여 더 많은 BSM 및 BMM의 반응 결과를 분석할 필요가 있다. 두 번째로, 본 연구에서는 3가지 감정 자극인 단어, 사진, 영상 자극만 사용하였다. 추후 연구에서는 스토리 [25, 26], 음악 [27, 28]과 같은 다양한 감정 자극을 고려하여 비교할 필요가 있다. 세 번째로, 정량적 지표인 신체 움직임에서 총 움직임의 총량만 분석하여 감정의 세부적인 결과를 해석하기 어렵다. 추후 연구에서는 움직임과 관련된 특징을 4가지 요소 (Body, Effort, Shape, Space)로 정의한 Laban Movement Analysis (LMA) 방법론 [29]을 통해 신체 움직임을 다양한 feature로 분석할 필요가 있다.

5. 결론

본 연구는 기존 연구에서 제안한 자극을 활용하여 감정을 동일하게 유도할 수 있음을 확인하였고, 감정 자극에 따른 각성도의 차이가 나타남을 검증하였다. 또한, BSM, BMM으로 표현되는 신체 관련 감각, 움직임 지표에서도 감정적 특이점이 감정에 따라 공통점과 차이점이 있음을 확인하였다. 마지막으로, 더 감정적으로 높은 각성도를 도출하는 영상 자극을 통해 수집한 신체적 특이점이 단어, 사진 자극에 비해 높은 분류 정확도를 보이는 것을 확인하였다. 이러한 신체적 변화를 토대로 AER 시스템에서 감정을 유도할 수 있는 자극의 가이드라인을 제시할 수 있고 한국 문화권과 다른 문화권의 피험자를 대상으로 감정 표현으로 드러나는 신체적 특이점을 비교하여 연관성을 파악하는 연구로 확장할 수 있다.

감사의 글

이 논문은 2021년도 정부(과기정통부)의 재원으로 한국연구재단 바이오•의료기술개발사업의 지원을 받아 수행된 연구임(No. NRF-2021M3A9E4080780). 이 논문은 2018년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2018R1A5A7059549).

References

[1].

Cacioppo J. and Gardner W., “Emotion”, Annual Review of Psychology, pp. 191-214, 1999.

[2].

Yang, H., Ciftci, U. and Yin L., “Facial expression recognition by de-expression residue learning”, In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2168-2177, 2018.

[3].

Shan. L. and Weihong. D., "Deep Facial Expression Recognition: A Survey", IEEE Transactions on Affective Computing, pp. 1195-1215, 2022.

[4].

Gavrilescu M., "Recognizing emotions from videos by studying facial expressions, body postures and hand gestures," 2015 23rd Telecommunications Forum Telfor (TELFOR), pp. 720-723, 2015.

[5].

Nourhan E., Pablo B., German I. and Stefan W., “Emotion Recognition from Body Expressions with a Neural Network Architecture”, In Proceedings of the 5th International Conference on Human Agent Interaction (HAI '17), pp. 143–149, 2017.

[6].

Cho. Y., Jung M. and Kim K., "Emotion and Body Movement: A Comparative Study of Automatic Emotion Recognition Using Body Motions," 2022 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), pp. 768-771, 2022.

[7].

Nummenmaa, L., Glerean, E., Hari, R., and Hietanen, J., “Bodily maps of emotions”, Proceedings of the National Academy of Sciences, pp. 646-651, 2014.

[8].

Wallbott H., "Bodily expression of emotion", European Journal of Social Psychology, pp. 879-896, 1998.

[9].

Stephanie O., Christoph M., Micah M., Christine M., Serge C. and Theodor L., “Electrical neuroimaging reveals early generator modulation to emotional words”, NeuroImage, pp. 1242-1251, 2004.

[10].

Anne K., Delphine G. and Nicolas V., “Congruent bodily arousal promotes the constructive recognition of emotional words”, Consciousness and Cognition, pp. 81-88, 2017.

[11].

Lang P., Bradley M. and Cuthbert B., The International Affective Picture System (IAPS): Technical manual and Affective Ratings”, Emotion and Attention, 1997

[12].

Bradley M. and Lang P., “The International Affective Picture System (IAPS) in the study of emotion and attention”, Handbook of emotion elicitation and assessment, pp. 29–46, 2007.

[13].

Mikels, J., Fredrickson B., Larkin G., Lindberg C., Maglio S., and Reuter-Lorenz P., “Emotional category data on images from the International Affective Picture System”, Behavior Research Methods, pp. 626–630, 2005.

[14].

Tina M., Lench H., Flores S. and Bench S., “Discrete emotions predict changes in cognition, judgment, experience, behavior, and physiology: A meta-analysis of experimental emotion elicitations”, Psychological Bulletin, pp. 834–855, 2011.

[15].

Siedlecka E. and Denson, T. “Experimental Methods for Inducing Basic Emotions: A Qualitative Review”, Emotion Review, pp. 87–97, 2019.

[16].

Gross J. and Levenson R., “Emotion elicitation using films”, Cognition & Emotion, pp. 87–108, 1995.

[17].

Schaefer A., Nils F., Sanchez X. and Philippot P., “Assessing the effectiveness of a large database of emotion-eliciting films: A new tool for emotion researchers”, Cognition and Emotion, pp. 1153–1172, 2010.

[18].

Bradley M. and Lang P., “Measuring emotion: The self-assessment manikin and the semantic differential”, Journal of Behavior Therapy and Experimental Psychiatry, pp. 49–59, 1994.

[19].

Shun L., Liqing C., Changye Z., Baobin L., Nan Z. and Tingshao Z., “Emotion recognition using Kinect motion capture data of human gaits”, PeerJ, 2016.

[20].

Ferdous A., Hossain B. and Marina L., “Emotion Recognition From Body Movement”, IEEE Access, pp. 11761–11781, 2020

[21].

Pollick F., Paterson H., Bruderlin A. and Sanford A. “Perceiving affect from arm movement”, Cognition. pp. 51-61, 2001.

[22].

Saha S., Datta S., Konar A. and Janarthanan R., "A study on emotion recognition from body gestures using Kinect sensor, "International Conference on Communication and Signal Processing, pp. 56-60, 2014.

[23].

Lundqvist D., Flykt A. and Öhman A., “The Karolinska Directed Emotional Faces: KDEF CD-ROM (Karolinska Institutet, Stockholm)”, Psychology, 1998.

[24].

Livingstone S. and Russo F., “The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): A dynamic, multimodal set of facial and vocal expressions in North American English”, PLoS ONE , pp. 2018.

[25].

Mayer J., Allen I. and Beauregard K. “Mood inductions for four specific moods: A procedure employing guided imagery”, Journal of Mental Imagery, pp. 133–150, 1995.

[26].

Mosher D. and White B. “Effects of committed or casual erotic guided imagery on females’ subjective sexual arousal and emotional response.”, Journal of Sex Research, pp. 273–299, 1980.

[27].

Clark, D., “On the induction of depressed mood in the laboratory: Evaluation and comparison of the Velten and musical procedures”, Advances in Behaviour Research and Therapy, pp. 27–49, 1983.

[28].

Västfjäll, D., “Emotion induction through music: A review of the musical mood induction procedure.”, Musicae Scientiae, pp. 173–211, 2002.

[29].

Ed G., “Laban Movement Analysis: Charting the Ineffable Domain of human Movement”, Journal of Physical Education, Recreation & Dance, pp. 27-30, 1995.