1. 서론
조현병은 사람의 감정, 사고 및 행동에 영향을 줄 수 있는 만성 정신장애이다. 그 외에도 지각의이상(환각), 사고 내용의이상 (망각) 및 사고과정의 이상 외에도 의욕 없음, 사회활동저하, 인지기능 저하등 많은 정신기능 영역의 손상을 보일 수 있는 병이다. 조현병 치료는 약물 혹은 심리치료를 이용하는데, 대부분의 경우 약물치료를 통해 일상생활이 가능하지만 약물을 지속적으로 복용하지 않을 경우 재발 가능성이 커지기 때문에 꾸준한 약 복용과 함께 일상생활에서 관리가 필요하다.
주 치료방법인 약물요법 외에 다양한 치료방법 개발에 대한 필요성과 중요성이 제기되고 있는 만큼 약물치료 후에도 인지 기능, 사회기능 등의 장애가 지속될 수 있기 때문에 일상생활 에서 조현병 환자의 정신증상과 대인관계 문제를 완화시키는 것을 중요한 치료의 목적으로 보고 있다. 그렇기에 본 연구는 감정 분석을 기반으로 조현병 환자의 정서적 안정 및 치료자와의 긍정적인 관계를 형성하고, 얼굴 표정과 표정의 변화로 감정을 분석하여 스스로의 감정을 쉽게 인지하고 트레이닝할 수 있는 프레임워크를 제안함으로 음악 및 미술 치료 등으로 활용하여, 위에서 얘기한 긍정적인 치료 효과를 극대화시키고자 한다.
2. 관련 연구
Reinhard 등은 [1] Lab 색 공간에서 각 채널의 평균과 각 화소에 대한 표준편차를 이용하여 원본 이미지와 참조 이미지의 색상을 변환하는 기법을 제안하였다. 이 방법은 이미지 전체를 대상으로 하였으며 색상을 변환하는 방법은 아래와 같다 (수식 1 참조).
여기서 L은 조명을 나타내는 L채널, a는 빨간색과 초록색을 나타내는 a채널, b는 파란색과 노란색을 나타내는 b채널, μ는 평균, σ는 표준편차를 의미한다. 이 방법은 이미지 전체의 평 균과 표준편차를 이용하여 색상을 변환하는 기법으로, 간단한 연산을 사용하는 만큼 계산 시간이 짧아서 효율적이라는 장점을 가지고 있지만, 이미지 전체를 대상으로 평균과 표준편차를 계산하기 때문에 하나의 입력 이미지에 하나의 평균과 표준편차가 존재한다. 이로 인해 다양한 색상을 가진 이미지를 사용할 경우 그 색들의 혼합된 값이 하나의 평균과 표준편차로 연산되어 잘못된 색상값으로 변환되는 경우가 종종 있다. 또한 하나의 평균과 표준편차로 인해 이미지의 국부적인 색 특성을 표현하는 데에도 한계가 있다.
Greenfield 등은 [2] 이미지 다운 샘플링을 한 후 색상에 대한 대표 팔레트를 추출하고 추출된 팔레트의 색을 이용하여 이미지 색상을 변환하는 기법을 제안하였다. 이 기법은 유화 그림만을 대상으로 하였고 색상 변환만을 목적으로 수행하였기 때문에 Lab 색상 채널 중 조명을 나타내는 L채널을 제외한 a와 b채널만을 사용하였다. 이 방법은 원본 이미지와 참조 이미지의 팔레트 색들 중 서로 거리가 가까운 색끼리 색상을 변환하는 특징을 가지고 있다. 그렇기 때문에 종종 비슷한 색을 가진 영역들이 다른 영역으로 분리되어 서로 다른 색으로 변환되는 부자연스러운 결과가 나오며, 이 같은 문제는 원본 이미지에없던 노이즈 윤곽선이 나타나기도 한다.
Neumann 등은 [3] HSI 색상 공간에서 색상, 채도, 명도 채널의 누적 히스토그램을 형성하고 확률밀도함수와 누적분포함 수에 의해 얻어진 함수를 기반으로 색상을 변환하는 기법을 제안하였다. 누적 히스토그램을 이용한 기법의 경우 각 채널 의 화소 갯수를 사용하였기 때문에 공간적인 결합력이 약화되고, 이로 인해 노이즈가 생성되는 경우가 종종 발생한다.
최근에 Tai 등은 [4] Gaussian mixture 모델을 이용하여 이미 지를 분할하고 휘도(Luminance)가 비슷한 영역의 색상을 로컬 하게 변환하는 방법을 제안했다. Bonneel 등은 [5] 프레임간의 색상을 변환하여 영상의 색상을 변환하는 방법을 제안했다. 이 방법은 휘도를 이용하여 색상을 분할하고, 그림자의 변화를 통해 색상을 변환하였다. 또, 이 방법을 활용하여 Hristova 등은 [6] 빛과 색상 사이의 특징을 고려한 Gaussian 분산 클러 스터로 이미지를 분할하는 기법을 제안했다.
같은 자극에 대해서도 행동 양상이나 표현은 사람마다 각기 다르게 나타나기 때문에 다양하고 복잡한 사람의 감정을 인 식한다는 것은 매우 어려운 일이다. 개개인의 성별, 교육, 문 화 등 다양한 환경의 영향과 자극에 대해 인식하는 감정이 개인마다 다르게 형성되기 때문에 인간의 감정에 대한 분류를 연구자들마다다르게 정의하였다. Plutchik [7]는 두려움, 노여움, 슬픔, 기쁨, 수용, 혐오, 놀라움으로, Tomkins [8]는 두려움, 노여움, 즐거움, 흥미, 혐오, 놀라움, 수치, 경멸, 고통으로 분류하였다. 감정 표현에 있어 가장 일반적인 표정들에 대하여 Ekman과 Friesen [9, 10]는 기본 감정을 기쁨, 슬픔, 화남, 놀람, 공포, 혐오라는 6가지 감정으로 분류하였으며, 이후 이 6가지 기본 감정은 얼굴 표정인식 연구에 감정 분류 기준으로 자주 사용되었다 (Figure 1 참조).
Heimberg 등은 조현병의 원인은 환자들이 정서를 해석하는 과정에서 손상이 발생하는 것이라 주장하였고 [12], Morrison 등도 같은 결론을 주장하였다 [13]. 그동안 많은 연구들은 조 현병 환자의 얼굴 표정을 통하여 정서 인식 능력의 결핍을 보고했지만 결핍에 대한 뚜렷한 원인은 아직 증명하지 못했다. 얼굴 표정만을이용하여 감정을 정확하게 파악한다는 것은 매우 어려운 일이기 때문이다. 또한 측정된 감정을 6개의 기본 정서 목록에 강제적으로 매칭시키기 때문에 이 과정 자체도 정확도가 떨어진다는 한계점이 있다. 일반적인 감정은 심적 변화 가 표정의 변화로 나타나지만, 순간적인 얼굴 표정만을 이용하여 감정을인지한다는 것은 정확성에 문제가 발생하고 [11], 조현병 환자와 같이 감정 변화가 둔한 경우에는 이 문제를 더욱 더 충족시키기 어렵다.
이 문제를 완화시키기 위해 의도적으로 표정을 과장시켜 감정 값을 근사하는 연구도 있었지만 이 역시 정확도 측면에 문제가 있다 [14]. 최근에는 Kulkarni 등이 [15] 표정의 변화로부터 자동으로 불쾌한 감정이 인식되는 기술을 제안했다. 이 연구는 얼굴 움직임이 진정한 감정에 의해 표현된 것인지를 판단하기 위해 얼굴의 특징 벡터들을 시공간으로 표현하고 학습하는 방법을이용하였다.
본 논문은 Emotion API를 기반으로, 보다 자연스러운 감정들을 추출해내는 방법으로 위에서 언급했던 한계점들을 극복하면서, 조현병 환자들의 얼굴 표정을 통한 감정 변화를 분석하고, 이 값을 이미지의 색상 변환 프레임워크와 통합시켜 스스로 감정변화를 쉽게 인지할 수 있도록 하고자 한다.
3. 감정 트레이닝을 위한 프레임워크
본 방법은 아래와 같은 단계로 수행되며 (Figure 2 참조), Table 1은 본 논문에서 사용하는 표기법이다.
| Symbol | Description |
|---|---|
| T v | Template videos (not image) |
| F tv | Facial images from Tv |
| I ct | Color-transfer image by emotion |
-
각각의 감정이 내재된 템플릿 영상 Tv을 연속적으로 보 여주고, 그 영상을 본 사용자의 얼굴 표정 사진 Ftv을 얻 는다 (Figure 2a 참조). 이는 Tv을 보여줌으로 감정분석의 정확도를 높이고 그렇게 얻어낸 표정 사진 Ftv을 사용하기 위함이다.
-
앞에서 얻은 Ftv을 Emotion API를 이용하여 각각의 감정 을 분석한다. 그리하여 템플릿 영상 갯수만큼 표정 분석 결과 데이터를 얻는다 (Figure 2b 참조).
-
표정 분석 결과 데이터를 시간에 따른 감정 그래프로 표현하고, 정상군 감정 그래프와 비교하여 최종적으로 조현병 환자의 감정 상태를 계산한다 (Figure 2c와 Figure 2d 참조).
-
감정상태와 색상을 매칭시켜 최종 감정색상을 결정하고, 이미지의 색상 변환을 수행한다. 결과적으로 사용자의 감정에 따라 다양한 색상으로 변환된 이미지 Ict를 얻게 된 다 (Figure 2e 참조).
많은 연구자들은 조현병 환자들이 정상인들에 반해 감정 반응과 감정 변화가 크지 않다는 특징을 이용해 눈이나 입술의 변화를 기반으로 감정을 근사하곤 했다 [17, 18, 19] . 이 연구들에서는 영상처리기법을이용하여 눈과 입술의 변화를 분석한다. 대부분의 얼굴들이 대칭형이기 때문에 이 기준을 기반으로 얼굴에서 몇 가지 특징벡터를 추출한 뒤, 감정을 분석한다. 이런 접근법들의 한계점은 영상 내 조명이나 사람의 피부색에 예민 한 결과를 나타낸다. 본 논문은 Emotion API를 활용함으로 Ftv 로부터 보다 정확한 감정 데이터를 얻는다 (Figure 3 참조). Ftv 는 각각의 감정이 내재된 Tv들을 연속적으로 보여주고 그에 해당하는 얼굴 표정의 사진들을 얻어 이로부터 최종적인 감정 데이터를 측정해낸다.
Ftv로부터 추출된 감정 데이터는 단순히 얼굴 표정의 사진으로부터 느껴지는 현 시점의 감정을 보여줄 뿐이지, 실제 심적 감정의 변화까지 측정하고 표현했다고 하기에는 부족하다. 그렇기에, 사진으로부터 얻은 감정 데이터를 시간에 따라 수치화하여 사용자의 감정 변화를 체크한다 (Table 2 참조). 이 테이블은 각 Tv로부터 얻은 Ftv들 중 6개 샘플 사진을 이용한 결과이며, 빨간색과 파란색은 각 감정의 최대 값과 최소 값을 의미한다. 각감정에 대한피크 분석은 시간에 따른 감정의 차이를 통해 가중치 w를 계산해내고, 이 값을 기반으로 표준편차를 계산하여 최종적인 감정 값 s를 도출해낸다 (수식 2 참조).
| Emotions | Fig.1,4 | Fig.2,5 | Fig.3,6 |
|---|---|---|---|
| Anger | 0.000008, | 0.000006, | 0.000006, |
| 0.000005 | 0.000008 | 0.000007 | |
| Contempt | 0.00004 | 0.000046 | 0.000049 |
| 0.000037 | 0.000055 | 0.000038 | |
| Neutral | 0.999571 | 0.999595 | 0.999634 |
| 0.999619 | 0.999364 | 0.999587 | |
| Sadness | 0.00038 | 0.000353 | 0.000322 |
| 0.000339 | 0.000572 | 0.000357 |
여기서 x는 각감정에 대한 값, x̅는 감정 값들의 평균, n은 표본의 크기, type는 각 감정들의 종류, w는 피크 분석을 이용한 가중치이다. 이 가중치는 감정의 최대 값과 최소 값의 차이를 통해 계산하며, 이 값은 Table 2에서 볼 수 있다 (수식 3 참조). 우리는 s* 값이 지정한 임계값보다 작아 정상군의 감정변화와 차이가 크다는 것을 인지하면, 조현병의 초기 증상으로 의심된다 판단하였다 (수식 4 참조). 본 논문에서는 20명의 정상인 데이터의 감정 변화율을 측정하여 그 값들의 평균을 임계 값의 범위로 설정하였다.
Figure 4은 Table 2에서 측정한 조현병 환자의 감정 데이터를 입력하여 계산한 감정 그래프이다. 정상인에 비해 감정 변화가 적어 4개의 감정만을 보여주지만 미묘한 감정의 변화가 측정되는 것을 볼 수 있다 (Figure 4 참조).
Figure 5과 6에서 보듯이 정상인의 감정 변화 데이터는 조현병 환자의 감정과 비교했을 때 눈에 띄게 차이가 나는 것을 볼 수 있다 (Table 3 참조). 제안한 방법은 다양한 감정이 내제된 템플릿 영상을 입력하여 데이터를 얻고, 시간에 따른 감정 변화율을 기반으로 표준편차를 이용해 좀 더 정확한 감정을 분석해낸다. 감정의 변화는 주변 환경과 대인 관계, 의사 소통의 방법 등 다양한 환경적 요소에 따라 달라질 수 있지만, 조현병은 증상이 얼굴 표정에서 가장 두드러지게 나타나기 때문에 Tv으로부터 얻은 표정 기반 접근법을 이용하였다.
| Emotions | Fig.1,4 | Fig.2,5 | Fig.3,6 |
|---|---|---|---|
| Anger | 0.158442, | 0.000002, | 0.000048, |
| 0.358155 | 0.000063 | 0.000223 | |
| Contempt | 0.039363, | 0, | 0.008034, |
| 0.007905 | 0.020619 | 0.000177 | |
| Disgust | 0.227549, | 0, | 0.002056, |
| 0.000511 | 0.02609 | 0.000033 | |
| Fear | 0.002109, | 0, | 0.004042, |
| 0.000004 | 0.453433 | 0.012016 | |
| Happiness | 0.007561, | 0.999998, | 0.000001, |
| 0.000004 | 0 | 0.000001 | |
| Neutral | 0.515327, | 0, | 0.037552, |
| 0.630615 | 0.002985 | 0.078695 | |
| Sadness | 0.043334, | 0, | 0.948074, |
| 0.002734 | 0.49615 | 0.000224 | |
| Surprise | 0.006316, | 0, | 0.000193, |
| 0.000072 | 0.000661 | 0.908632 |
입력 이미지의 색상을 변환하기 위해 본 논문에서는 먼저, 예측한 감정 값을 기반으로 매칭되는 색상을 선택한 후, 다양한 이미지 색상 변환 방법 중 Reinhard 등의 [1] 방법을 사용해 색 상을 변환하였다.
감정에 매칭되는 색상을 결정하기 위해 Yang과 Peng [20] 에서 사용한 24개 감정에 대한 색 조합을 사용하였다. 하지만 이 연구에서 사용한 색 조합은 Table 4에서와 같이 각 감정을 나타내는 단어로만 정의되어 있기 때문에 본 논문에서 바로 활용하기에는 어렵다. 따라서 우리는 Haralick 등이 [21] 제안 한 단어에 대한 A-V 감정 정보 데이터베이스를 사용하여 각 감정에 대한 2차원 감정 정보를 획득한 후, 예측된 감정과 가장 가까운 대상의 색상을 선택한다. 또한 예측된 감정이 감정 단어와 유사하지 않은 경우, 해당 감정과 가장 가까운 감정정보를 가진 이미지를 예측 모델 생성에 사용한 영상으로부터 찾아 대상 이미지로 선정한 후 색상 변환을 수행하며, 이 과정 에서 우리는 사전에 사용자가 미리 정의한 Corresponding 정보를 이용하였다. 이 때, 더 정확한 결과를 얻기 위해 1,200장의 이미지 중, 감정을잘 표현하는 색상을 가진 125장의 이미지를 대상 이미지로 사용하였다 (Figure 7 참조).
 Powrful |
 Soft |
 Traditional |
 Regal |
 Rich |
 Welcoming |
 Refreshing |
 Magical |
 Romantic |
 Moving |
 Tropical |
 Nostalgic |
 Vital |
 Elegant |
 Classic |
 Energeic |
 Earthy |
 Trendy |
 Dependable |
 Subdued |
 Friendly |
 Fresh |
 Calm |
 Professional |
4. 결과 및 실험
제안한 방법을 검증하기 위해 15명의 조현병 환자들을 대상으로 Tv를 보여주고 그들의 얼굴 표정 사진인 Ftv를 분석하여 이미지의 색상을 변환하는 실험을 실행하였다. 실험자들에게 인물, 풍경, 사물을 다룬 템플릿 영상을 무작위 순서로 감상하게 하였다. 이미지의 색상 변환은 코렐 데이터베이스에 있는 자연 이미지와 웹에서 무료로 제공하는 자연 이미지 등을 이용하여 원본 이미지를 참조 이미지의 색상으로 변환시켰다.
Figure 8은 제안한 방법을 이용하여 색상 변환을 수행한 결과이다. Figure 8a는 원본 이미지이며, 분노, 행복, 우울, 안정이 란 4개의 감정에 따라 이미지의 색상이 변환되어 Ict라는 결과 가 나타나게 된다. Figure 8b는 부정적인 감정으로 분석되었기 때문에 어둡고 붉은 계열을 가진 이미지 색상으로 변환되었다. 반면에 Figure 8c는 행복한 감정으로 분석된 값이 색상을 변환한 결과이다. 긍정적인 감정을 가진 이미지로 분석되었기 때문에 결과가 전반적으로 밝은 파스텔톤 이미지의 색상으로 변환되었다. Figure 8d와 Figure 8e는 각각 우울한 감정과 안정적인 상태로 분석된 감정을 이용하여 색상을 변환한 결과이다. Figure 8d에서 보듯이 우울한 감정 값이 강할수록 색상이 점차 탁한 색으로 변환되는 결과가 나타났고, 안정적인 상태일수록 자연 친화적인 색인 녹색, 하늘색, 갈색 계열의 색상으로 변환되는 결과가 나타났다 (Figure 8e 참조).
Figure 9와 Figure 10은 또 다른 결과를 보여주는 그림이며, 위 결과들과 마찬가지로 감정의 상태를 잘 반영하여 이미지 색상을 변환하였다.
본 논문의 결과를 미술 치료사들에게 보여주고 분석을 요청했다. 감정을 나타내는 색상 템플릿에 따라 이미지의 색상 및 분위기가 변환되지만, 미술치료에 바로 활용하기에는 이미지가 가지고 있는 콘텐츠를 고려하지 못했다는 점에서 다소 부족한 부분이 있음을 지적했다. 하지만 감정 변화가 적은 조현병 환자들에게 적합한 프레임워크라는 점과, 거동이 불편해 통원치료가 어려운 아동이나 노인들이 스스로 감정 상태를 인지하고 트레이닝 할 수 있다는 점에서 의미있는 결과라 판단되기 때문에 향후가 기대되는 결과라는 것이 미술 치료사들의 공통적인 의견이였다.
5. 결론 및 향후 연구
본 논문에서는 조현병과 같은 감정 변화가 적은 사용자들이 자신의 감정상태를 쉽게 깨달을 수 있게 하는 것 뿐만 아니라, 초기 증상을 스스로 인지하고 트레이닝할 수 있도록 하는 감정 트레이닝 프레임워크를 제안했다.
단순하게 사용자의 사진을이용하여 감정을 체크하는 접근법은 사진 내 명도나 주변 조명들에 의해 정확한 감정 측정이 어렵다. 그러나 이 제안 방법은 감정이 내제된 템플릿 영상을 보여주고 영상을 보고 있는 사용자의 표정 사진을 이용하여 좀 더 정확한 감정을 분석하므로 입력 데이터의 신뢰성을 높인다. Emotion API를 이용함으로 각각의 사진마다 높은 정확도의 감정 값을 얻고, 이 값을 분석하여 시간에 따라 변화하는 얼굴 표정을 인식한다. 또, 감정 상태를 피크 분석과 표준편 차로 분석함으로 좀 더 정확한 감정 분석이 가능했고, 이로써 정상인의 감정 변화 데이터와 조현병 환자의 감정 변화 데이터가 눈에 띄게 차이 나는 것을 확인할 수 있었다. 본 논문에서는 Reinhard 등의 [1] 기법을 활용하여 감정에 따라 이미지의 색상을 변환했지만 최근에 발표된 이미지 색상 변환기법으로 교체하면 결과를 좀 더 개선시킬 수 있을거라 기대한다 [22, 23, 24].
일반적으로 감정을 트레이닝하는데 대표적으로 사용하는 방법 중 하나가 미술 치료이다. 제안하는 방법은 이미지의 변환 과정을 통합시키는 방법으로, 조현병과 같은 감정 변화가 적은 사람뿐만 아니라 거동이 불편한 아동이나 노인들에게도 스스로의 감정을 쉽게 인지하고 스스로 트레이닝할 수 있도록 하기 위한 목적이다.
그럼에도 불구하고 본 논문의 결과가 실제조현병 환자들이 느끼고 있는 감정인지 정확하게 증빙하기에는 아직 충분하지 않다. 좀 더 정확한 조현병 환자의 심리를 파악하기 위해서는 얼굴 표정뿐만 아니라, 대화 스타일, 주변 환경과 대인 관계 등 다양한 요소를 고려되어야 한다. 그렇기 때문에 본 논문에 서는 제안된 연구의 결과를 저자뿐만 아니라, 그림과 색상을 이용하여 치료하는 미술치료전문가에게 자문을 구했다.
실제 얼굴 표정의 변화가 없는 것은 감정 값으로도 보이며, 우리는 이런 차이를 좀 더 명확하게 알 수 있도록 감정 수치 데이터를 조절/분석하는 방법을 제안했다. 향후 이 기술이 미술 치료에 활용될 수 있도록 통합 프레임워크를 연구할 것이다. 또한, 감정변화에 둔한 노인이나 아동의 얼굴 표정변화 및 감 정 인식 분석에도 활용하여 우울증 방지나 웰다잉(Well-dying)을 위한 애플리케이션을 연구할 예정이다.
