감정 트레이닝: 얼굴 표정과 감정 인식 분석을 이용한 이미지 색상 변환

Reinhard 등은 [1] Lab 색 공간에서 각 채널의 평균과 각 화소에 대한 표준편차를 이용하여 원본 이미지와 참조 이미지의 색상을 변환하는 기법을 제안하였다. 이 방법은 이미지 전체를 대상으로 하였으며 색상을 변환하는 방법은 아래와 같다 (수식 1 참조).

여기서 L은 조명을 나타내는 L채널, a는 빨간색과 초록색을 나타내는 a채널, b는 파란색과 노란색을 나타내는 b채널, μ는 평균, σ는 표준편차를 의미한다. 이 방법은 이미지 전체의 평 균과 표준편차를 이용하여 색상을 변환하는 기법으로, 간단한 연산을 사용하는 만큼 계산 시간이 짧아서 효율적이라는 장점을 가지고 있지만, 이미지 전체를 대상으로 평균과 표준편차를 계산하기 때문에 하나의 입력 이미지에 하나의 평균과 표준편차가 존재한다. 이로 인해 다양한 색상을 가진 이미지를 사용할 경우 그 색들의 혼합된 값이 하나의 평균과 표준편차로 연산되어 잘못된 색상값으로 변환되는 경우가 종종 있다. 또한 하나의 평균과 표준편차로 인해 이미지의 국부적인 색 특성을 표현하는 데에도 한계가 있다.

Greenfield 등은 [2] 이미지 다운 샘플링을 한 후 색상에 대한 대표 팔레트를 추출하고 추출된 팔레트의 색을 이용하여 이미지 색상을 변환하는 기법을 제안하였다. 이 기법은 유화 그림만을 대상으로 하였고 색상 변환만을 목적으로 수행하였기 때문에 Lab 색상 채널 중 조명을 나타내는 L채널을 제외한 a와 b채널만을 사용하였다. 이 방법은 원본 이미지와 참조 이미지의 팔레트 색들 중 서로 거리가 가까운 색끼리 색상을 변환하는 특징을 가지고 있다. 그렇기 때문에 종종 비슷한 색을 가진 영역들이 다른 영역으로 분리되어 서로 다른 색으로 변환되는 부자연스러운 결과가 나오며, 이 같은 문제는 원본 이미지에없던 노이즈 윤곽선이 나타나기도 한다.

Neumann 등은 [3] HSI 색상 공간에서 색상, 채도, 명도 채널의 누적 히스토그램을 형성하고 확률밀도함수와 누적분포함 수에 의해 얻어진 함수를 기반으로 색상을 변환하는 기법을 제안하였다. 누적 히스토그램을 이용한 기법의 경우 각 채널 의 화소 갯수를 사용하였기 때문에 공간적인 결합력이 약화되고, 이로 인해 노이즈가 생성되는 경우가 종종 발생한다.

최근에 Tai 등은 [4] Gaussian mixture 모델을 이용하여 이미 지를 분할하고 휘도(Luminance)가 비슷한 영역의 색상을 로컬 하게 변환하는 방법을 제안했다. Bonneel 등은 [5] 프레임간의 색상을 변환하여 영상의 색상을 변환하는 방법을 제안했다. 이 방법은 휘도를 이용하여 색상을 분할하고, 그림자의 변화를 통해 색상을 변환하였다. 또, 이 방법을 활용하여 Hristova 등은 [6] 빛과 색상 사이의 특징을 고려한 Gaussian 분산 클러 스터로 이미지를 분할하는 기법을 제안했다.

같은 자극에 대해서도 행동 양상이나 표현은 사람마다 각기 다르게 나타나기 때문에 다양하고 복잡한 사람의 감정을 인 식한다는 것은 매우 어려운 일이다. 개개인의 성별, 교육, 문 화 등 다양한 환경의 영향과 자극에 대해 인식하는 감정이 개인마다 다르게 형성되기 때문에 인간의 감정에 대한 분류를 연구자들마다다르게 정의하였다. Plutchik [7]는 두려움, 노여움, 슬픔, 기쁨, 수용, 혐오, 놀라움으로, Tomkins [8]는 두려움, 노여움, 즐거움, 흥미, 혐오, 놀라움, 수치, 경멸, 고통으로 분류하였다. 감정 표현에 있어 가장 일반적인 표정들에 대하여 Ekman과 Friesen [9, 10]는 기본 감정을 기쁨, 슬픔, 화남, 놀람, 공포, 혐오라는 6가지 감정으로 분류하였으며, 이후 이 6가지 기본 감정은 얼굴 표정인식 연구에 감정 분류 기준으로 자주 사용되었다 (Figure 1 참조).

Figure 1: Human facial expressions of six basic Ekman emotions [11].

Download Original Figure

Heimberg 등은 조현병의 원인은 환자들이 정서를 해석하는 과정에서 손상이 발생하는 것이라 주장하였고 [12], Morrison 등도 같은 결론을 주장하였다 [13]. 그동안 많은 연구들은 조 현병 환자의 얼굴 표정을 통하여 정서 인식 능력의 결핍을 보고했지만 결핍에 대한 뚜렷한 원인은 아직 증명하지 못했다. 얼굴 표정만을이용하여 감정을 정확하게 파악한다는 것은 매우 어려운 일이기 때문이다. 또한 측정된 감정을 6개의 기본 정서 목록에 강제적으로 매칭시키기 때문에 이 과정 자체도 정확도가 떨어진다는 한계점이 있다. 일반적인 감정은 심적 변화 가 표정의 변화로 나타나지만, 순간적인 얼굴 표정만을 이용하여 감정을인지한다는 것은 정확성에 문제가 발생하고 [11], 조현병 환자와 같이 감정 변화가 둔한 경우에는 이 문제를 더욱 더 충족시키기 어렵다.

이 문제를 완화시키기 위해 의도적으로 표정을 과장시켜 감정 값을 근사하는 연구도 있었지만 이 역시 정확도 측면에 문제가 있다 [14]. 최근에는 Kulkarni 등이 [15] 표정의 변화로부터 자동으로 불쾌한 감정이 인식되는 기술을 제안했다. 이 연구는 얼굴 움직임이 진정한 감정에 의해 표현된 것인지를 판단하기 위해 얼굴의 특징 벡터들을 시공간으로 표현하고 학습하는 방법을이용하였다.

본 논문은 Emotion API를 기반으로, 보다 자연스러운 감정들을 추출해내는 방법으로 위에서 언급했던 한계점들을 극복하면서, 조현병 환자들의 얼굴 표정을 통한 감정 변화를 분석하고, 이 값을 이미지의 색상 변환 프레임워크와 통합시켜 스스로 감정변화를 쉽게 인지할 수 있도록 하고자 한다.

많은 연구자들은 조현병 환자들이 정상인들에 반해 감정 반응과 감정 변화가 크지 않다는 특징을 이용해 눈이나 입술의 변화를 기반으로 감정을 근사하곤 했다 [17, 18, 19] . 이 연구들에서는 영상처리기법을이용하여 눈과 입술의 변화를 분석한다. 대부분의 얼굴들이 대칭형이기 때문에 이 기준을 기반으로 얼굴에서 몇 가지 특징벡터를 추출한 뒤, 감정을 분석한다. 이런 접근법들의 한계점은 영상 내 조명이나 사람의 피부색에 예민 한 결과를 나타낸다. 본 논문은 Emotion API를 활용함으로 F_tv 로부터 보다 정확한 감정 데이터를 얻는다 (Figure 3 참조). F_tv 는 각각의 감정이 내재된 T_v들을 연속적으로 보여주고 그에 해당하는 얼굴 표정의 사진들을 얻어 이로부터 최종적인 감정 데이터를 측정해낸다.

F_tv로부터 추출된 감정 데이터는 단순히 얼굴 표정의 사진으로부터 느껴지는 현 시점의 감정을 보여줄 뿐이지, 실제 심적 감정의 변화까지 측정하고 표현했다고 하기에는 부족하다. 그렇기에, 사진으로부터 얻은 감정 데이터를 시간에 따라 수치화하여 사용자의 감정 변화를 체크한다 (Table 2 참조). 이 테이블은 각 T_v로부터 얻은 F_tv들 중 6개 샘플 사진을 이용한 결과이며, 빨간색과 파란색은 각 감정의 최대 값과 최소 값을 의미한다. 각감정에 대한피크 분석은 시간에 따른 감정의 차이를 통해 가중치 w를 계산해내고, 이 값을 기반으로 표준편차를 계산하여 최종적인 감정 값 s를 도출해낸다 (수식 2 참조).

Figure 3: Emotion data based on facial expression photographs of real schizophrenic patients [16].

Download Original Figure

여기서 x는 각감정에 대한 값, x̅는 감정 값들의 평균, n은 표본의 크기, type는 각 감정들의 종류, w는 피크 분석을 이용한 가중치이다. 이 가중치는 감정의 최대 값과 최소 값의 차이를 통해 계산하며, 이 값은 Table 2에서 볼 수 있다 (수식 3 참조). 우리는 s* 값이 지정한 임계값보다 작아 정상군의 감정변화와 차이가 크다는 것을 인지하면, 조현병의 초기 증상으로 의심된다 판단하였다 (수식 4 참조). 본 논문에서는 20명의 정상인 데이터의 감정 변화율을 측정하여 그 값들의 평균을 임계 값의 범위로 설정하였다.

Figure 4은 Table 2에서 측정한 조현병 환자의 감정 데이터를 입력하여 계산한 감정 그래프이다. 정상인에 비해 감정 변화가 적어 4개의 감정만을 보여주지만 미묘한 감정의 변화가 측정되는 것을 볼 수 있다 (Figure 4 참조).

Figure 4: An emotional chart calculated from emotional data from patients with schizophrenia (X-Axis : face images, Y-Axis : emotion values calculated from images).

Download Original Figure

Figure 5과 6에서 보듯이 정상인의 감정 변화 데이터는 조현병 환자의 감정과 비교했을 때 눈에 띄게 차이가 나는 것을 볼 수 있다 (Table 3 참조). 제안한 방법은 다양한 감정이 내제된 템플릿 영상을 입력하여 데이터를 얻고, 시간에 따른 감정 변화율을 기반으로 표준편차를 이용해 좀 더 정확한 감정을 분석해낸다. 감정의 변화는 주변 환경과 대인 관계, 의사 소통의 방법 등 다양한 환경적 요소에 따라 달라질 수 있지만, 조현병은 증상이 얼굴 표정에서 가장 두드러지게 나타나기 때문에 T_v으로부터 얻은 표정 기반 접근법을 이용하였다.

Figure 5: An emotional chart calculated from normal facial expression.

Download Original Figure

Figure 6: Comparison of emotional charts between normal(yellow) and schizophrenia(blue) facials.

Download Original Figure

입력 이미지의 색상을 변환하기 위해 본 논문에서는 먼저, 예측한 감정 값을 기반으로 매칭되는 색상을 선택한 후, 다양한 이미지 색상 변환 방법 중 Reinhard 등의 [1] 방법을 사용해 색 상을 변환하였다.

감정에 매칭되는 색상을 결정하기 위해 Yang과 Peng [20] 에서 사용한 24개 감정에 대한 색 조합을 사용하였다. 하지만 이 연구에서 사용한 색 조합은 Table 4에서와 같이 각 감정을 나타내는 단어로만 정의되어 있기 때문에 본 논문에서 바로 활용하기에는 어렵다. 따라서 우리는 Haralick 등이 [21] 제안 한 단어에 대한 A-V 감정 정보 데이터베이스를 사용하여 각 감정에 대한 2차원 감정 정보를 획득한 후, 예측된 감정과 가장 가까운 대상의 색상을 선택한다. 또한 예측된 감정이 감정 단어와 유사하지 않은 경우, 해당 감정과 가장 가까운 감정정보를 가진 이미지를 예측 모델 생성에 사용한 영상으로부터 찾아 대상 이미지로 선정한 후 색상 변환을 수행하며, 이 과정 에서 우리는 사전에 사용자가 미리 정의한 Corresponding 정보를 이용하였다. 이 때, 더 정확한 결과를 얻기 위해 1,200장의 이미지 중, 감정을잘 표현하는 색상을 가진 125장의 이미지를 대상 이미지로 사용하였다 (Figure 7 참조).

Table 4: The 24 color moods and their primary corresponding colors.

Powrful	Soft	Traditional
Regal	Rich	Welcoming
Refreshing	Magical	Romantic
Moving	Tropical	Nostalgic
Vital	Elegant	Classic
Energeic	Earthy	Trendy
Dependable	Subdued	Friendly
Fresh	Calm	Professional

Download Excel Table

Figure 7: Emotion templates based on image color.

Download Original Figure