저가형 모션 캡처 장비를 이용한 실시간 상호작용 애니메이션 시스템

영화, 애니메이션, 게임 등 대다수의 시각 컨텐츠를 제작하는 데 다수의 캐릭터 또는 캐릭터 및 오브젝트 간의 상호작용 동작은 빈 번히 사용된다. 이러한 수요와 함께 해당 동작을 묘사하기 위한 애니메이션 및 시뮬레이션 기술에 관한 연구 또한 꾸준히 이루어 져왔다. 단일 캐릭터의 동작을 묘사하는 대다수의 연구는 동작의 자연스러움과 동작에 따른 몸체 변화에 초점을 맞추어 진행한다. 상호작용 동작의 경우, 단순 동작 구현에 그치지 않고 두 캐릭 터 또는 오브젝트 간의 접촉과 그로 인한 반응 동작 또는 변화를 구현해야 하므로 그 난이도가 높다. 예를 들어 캐릭터 또는 오 브젝트가 상호작용 할 때는 특정 점이 접촉되거나 일정 거리를 유지해야 하고, 두 몸체가 서로 관통(penetration)해서는 안 된다. 또한 상호작용의 시점 이후로 반응 동작을 취하는 경우도 있고, 캐릭터 및 오브젝트의 특성에 따라 상호작용 시점 전후로 몸체 의 변화가 일어나기도 한다. 이처럼 자연스러운 상호작용 동작의 구현에는 각 캐릭터의 자세 이외에도 고려해야 할 요소가 다수 존재하며, 더 나은 동작 묘사를 위해 다양한 연구들이 진행되어 왔다.

상호작용 동작에 관한 연구는 상호작용의 주체에 따라 구분할 수 있다. 단일 캐릭터와 오브젝트 간의 상호작용(물건 집기 등), 두 캐릭터 간의 상호작용(커플 댄스 등), 그리고 나아가 캐릭터와 오브젝트 수를 늘려 더 복잡한 상호작용을 구현한 응용연구들 도 있다. 또한 캐릭터 동작 생성을 하는데 가장 직관적인 방법은 모션 캡처 데이터베이스로부터 필요한 동작에 관한 정보를 참조 하는 것이다. 동작 생성의 참고가 되는 모션 데이터를 예제 동작 (reference motion) 또는 예제 데이터(reference data)라고도 하는 데, 상호작용 동작 생성 기술에도 예제 데이터 기반으로 작동하 는 기술 연구가 다양하다. 본 논문은 두 캐릭터의 상호작용 동작 을 예제 기반(example-based)으로 생성하는 기술을 연구개발한 것으로, 이 절에서는 본 연구와 마찬가지로 둘 이상의 캐릭터의 상호작용 동작을 예제 기반으로 생성하는 기존 연구들을 소개하 고자 한다.

Kim et al.은 예제 춤동작으로부터 동작의 리듬 패턴인 ’모션 비트(motion beats)’를 분석하여, 소리 입력의 리듬 신호에 맞추 어 2인 캐릭터의 볼룸 댄스 동작이나 군중 캐릭터의 행렬 행진 동작을 생성하는 애니메이션 기술을 연구하였다[3]. 모션 비트의 추출은 기존 Jones와 Boltz의 연구에서 차용하여 동작의 방향 변 화를 기준으로 이루어지며, 모션 비트에 따라 모션 그래프를 작 성하고 실시간 탐색을 통해 각 동작을 연속으로 블렌딩(blending) 하였다[4]. Hsu와 Gentry, Popovic 또한 볼룸 댄스 동작을 생성 하는 애니메이션 기술을 연구하였는데, 동작별로 의미를 부여한 맵핑 예제(mapping instance)로 이루어진 데이터베이스를 작성함 으로써 사용자가 입력한 이동 경로를 따라 볼룸 댄스를 추는 2인 캐릭터 애니메이션을자동적으로 생성할 수 있었다[5].

Kwon et al.은 동작 모델링, 상호작용 모델링, 동작 합성 과 정을 모두 포함한 예제 기반 2인 캐릭터 상호작용 동작 애니메 이션 시스템을 연구개발하였다[6]. 해당 시스템은 강제 기반 방 식(force-based method)으로 예제 동작 데이터를 분할(segmentation)하고, 각 분할 동작을 학습 기반으로 분류하며, 베이즈 네 트워크(Bayesian network)를 통해 동작 간의 전이(motion transition)를 결정한다. 활용 예로 킥복싱과 같은 복잡한 발 접촉과 두 캐릭터 간의 상호접촉이 동반된 높은 난이도의 상호 작용 동작 도 자연스럽게 구현함으로써 해당 시스템의 성능을입증하였다. Shum et al.은 킥복싱과 레슬링 같은 두 캐릭터의 복잡한 상호 작용이 포함된 2인 격투 스포츠 동작을 생성하는 새로운 기술을 소개하였다[7]. 해당 연구에서는 예제 데이터로 상대적으로 정확 도가 떨어지는 2인 캡처 동작 데이터를 사용하는 대신, 1인 개별 동작 데이터로부터 상호작용 동작으로서 대응할 수 있는 두 동 작을 선택하여 각각의 캐릭터에 입힘으로써 2인 애니메이션을 생성하는 기술을 연구하였다. 상호작용에 적합한 동작을 선별하 는 방법으로는 이산 공간 시스템(discrete space system) 내에서 연속 동작 계획을 배치하는 데 유용한 ’시간적 확장 접근법(temporal expansion approach)’이라는 독자적인 방법을 개발하였다. 사용자 제어 캐릭터의 동작에 따라 가상의 상대 캐릭터의 반응 동작이 가장 상호작용에 적합한 동작으로 자동 결정되므로, 직 접 2인 예제 데이터를 사용하는 것보다 폭넓은 상호작용 동작을 생성할 수 있다. Shum et al. 은 또한 이러한 2인 상호작용 동작 생 성 기술 연구를 응용하여 2인이상의 다수의 캐릭터에 적용할 수 있는 기술을 연구개발하였다[8]. 서로 상호작용 중인 캐릭터들의 다음 동작을 결정하기 위해 강화 학습(reinforcement learning) 기 법을 적용하고자 했으나, 다수의 캐릭터에 대응하는 넓은 상태 공간(state space)에서는 강화 학습 기법을 수행하는 것이 어렵다. 따라서 전체 상태 공간 내에 의미 있는 상태(동작)만 모아놓은 부 분 공간(sub-spaces)을 만들고, 두 캐릭터의 상호작용 동작을 그 래프 형식으로 정리한 ’상호작용 그래프(interaction graph)’라는 유한 상태 기계(finite state machine)을 설계하였다. 해당 기술은 여러 명의 캐릭터가 권투를 하거나 떼 지어 이동하거나 함께 짐을 나르는 등의 상호작용 동작을 생성하는 데 우수한 성능을 보여주 었다. 또한 Shum et al.은 몇 명의 캐릭터 상호작용 동작 생성에 그치지 않고 단체 스포츠, 격투, 물건 옮기기 등 수십, 수백명에 달하는 캐릭터들이 얽힌 상호작용 동작 생성 기술을 제안하였 다[9]. 해당 연구에서는 게임 트리를 확장하여 상호작용 동작을 사전에 계산하고, 시공간적으로 연쇄된 ’상호작용 패치(interaction patches)’ 자료 구조 형태로 저장함으로써 대량의 동작 생성 계산을 수행할 수 있었다. 이후 Shum et al.은 2인 이상의 캐릭 터가 함께 일하거나 스포츠 게임을 겨루는 동작을 구현하는 동 작 합성 기술을 연구개발하였다[10]. 기존의 1인 예제 동작 데이 터를 사용하여 2인 캐릭터의 상호작용 동작을 생성하는 연구를 응용한 것으로[7], 1인 동작을 탐색하는 모션 그래프를 작성하고 최소-최대 탐색(min-max search)을 통해 게임 트리를 평가함으로 써 캐릭터들의 다음 동작을 결정하는 방식으로 구현하였다. 해당 연구와 유사한 연구 주제로 Wampler et al.은 두 캐릭터가 스포츠 게임을 겨루는 동작 계획 기술을 연구개발하였다[11]. 캐릭터의 다음 동작은 제로섬 마르코프 게임 모델(zero-sum Markov game model)을 차용하여 상대 캐릭터의 현재 동작과 앞으로 예상되는 반응 동작을 고려하여 결정하도록 구현하였다. 이러한 동작 생성 기술은 상대 캐릭터의 다음 동작을 예상하고 상대 캐릭터의 공 격의 효과를 최대한 줄이기 위한 대응 동작을 결정함으로써 두 캐릭터가겨루는 장면을 흥미롭게 묘사할 수 있다.

본 연구에서는 두 명의 연기자가 상호작용하는 것을 동시에 포 착한(capture) 2인 모션 캡처 데이터를 예제 데이터로 사용하되, 사용자 캐릭터는 보급형 동작인식 장비를 통해 입력된 사용자의 동작을 가상 환경에 맞게 최대한 모방하고, 가상의 상대 캐릭터 의 동작은 사용자 캐릭터의 동작에 따라 결정되는 두 캐릭터의 상호작용 동작 생성 기술을 다룬다. 캐릭터 동작을 입히는 데에 는 사용자입력 동작이나 예제 데이터의 동작을 그대로 모방하지 않고, 가상 환경 및 상호작용 상황에 맞게 자세의 높낮이나 각도 와 같은 세부적인 요소를 조정한다. 예제 데이터를 참조하는 데 에는 K-최근접 이웃 알고리즘을이용하여 사용자입력과 유사한 동작을 선별하고, 두 캐릭터에 상호작용 동작을 입히고 편집하는 데에는 역기구학을 사용하였다. 결과적으로 두 캐릭터가 실시간 으로 인사, 악수, 하이파이브 등의 상호작용 동작을 자연스럽게 수행할 수 있다.

두 캐릭터의 상호작용 동작 생성 및 편집에 관한 기술 연구는 더 높은 품질과 작동 효율을 위해 끊임없이 다양한 방식으로 이루 어져 왔다. 그에 비해 사용자와 컴퓨터가 모션 인식 장비를 통해 실시간으로 상호작용하며 두 캐릭터의 상호작용 동작을 결정하 는 상호작용 시스템에 관한 기술 연구는 상대적으로 적은 편이다. 실시간 상호작용 시스템의 구현에는 동작의 품질은 물론이고 사 용자와 즉흥적인 상호작용을 수행할 수 있도록 빠른 반응 속도도 중요하므로, 일정 수준의 결과 동작 품질을 유지하면서 계산량 또한 최적하는 데에 초점을 맞추어연구가 진행되어 왔다.

Lee와 Lee는 두 캐릭터의 상호작용 동작을 생성하는 데 앞서 분류되지 않은 방대한 양의 예제 모션 데이터를 사전에 계산해 둠으로써 실시간 계산량을 줄이고자 하였다[12]. 기존 연구들과 유사하게각 동작을 탐색하여 최적의 경로(다음 동작)를 찾는 방 법을 택하는 대신, 상대 캐릭터의 동작에 대해 반응하는 동작을 결정하는 제어 정책(control policy)을 사전에 미리 계산함으로 써 실시간 작동에 필요한 시간 비용을 감소시킬 수 있었다. Ho 와 Komura는 사용자 캐릭터와 상대 캐릭터가 실시간으로 레슬 링을 할 수 있는 상호작용 시스템을 연구개발하였다[13]. Ho와 Komura가 이전에연구개발한 위상 좌표(topology coordinates)를 사용하여 유한 상태 기계를 사전에 계산함으로써 상대 캐릭터가 실시간으로 공격 또는 방어 동작을 선택하여 취할 수 있도록 설계 하였다[14]. 해당 시스템을 통해 사용자는 상대 캐릭터와 폭넓은 자유도의 동작과 빠른 반응속도로 레슬링 경기를 즐길 수 있다. 이후 Ho et al.은 사용자가 광학 모션 캡처 장비를 이용한 실시간 동작 입력으로 제어할 수 있는 두 캐릭터의 댄스 또는 격투 등의 상호작용 동작을 생성하는 실시간 상호작용 애니메이션 시스템 을 연구개발하였다[15]. 해당 연구에서는 높은 난이도의 제약조 건이 부가되는 상호작용 동작을 자연스럽게 생성하기 위해 Ho et al.의 상호작용 메쉬(interaction mesh) 관련 이전 연구를 응용하여 다양한 동작 변화를 꾀하도록 하였다[16]. 시스템 작동 실험 결과, 사용자의 입력에 따라 댄스 또는 격투와 같은 상호작용 동작을 빠 르게 생성할 수 있었으며, 생성된 동작은 예제 데이터와 근소한 차이를 보여 결과 동작의 자연스러운 정도를 입증하였다. 또한 Kulpa et al.은 상호작용 동작의 원활한 실시간 생성을 위해 캐 릭터 동작 변화에 필요한 계산량을 줄이고자 새로운 아이디어를 제시하였다[17]. 일반적으로 캐릭터 동작을 변화시키는 데에는 각 관절들(joints)을 특정값으로 회전시키는 과정이 포함되는데 이는 상당한 계산량을 요구한다. 관절 회전을 계산하는 대신 예 제 데이터 상의 루트 관절(root joint)의이동을 정규화(normalize) 함으로써 시스템 캐릭터와예제 데이터 캐릭터의 구조를 대응시 키고 동작을 입히는 데 필요한 계산량을 줄이는 데 성공하였다.

본 연구에서는 사용자와 시스템이 실시간으로 입력 및 출력을 교환하는 상호작용 시스템을 연구개발하였다. 실시간 입력을 반 영하여 결과 화면을 출력하기 위해서는, 실시간으로 결과 동작을 생성하는 과정에 필요한 계산량을 최소화해야 한다. 따라서 전 처리 과정을 따로 두어 예제 동작 데이터의 정보를 사전에 학습 하고, 예제 데이터를 특징 모델을 사용하여 동작 탐색 및 생성을 신속하게 수행할 수 있도록 하였다.

본 논문에서 연구개발한 애니메이션 시스템은 2인 상호작용 동 작 데이터를 예제 데이터로서 참조하고 이를 본 시스템의 캐릭터 모델에 적용함으로써 결과 애니메이션을 생성한다. 예제 데이터 에서 사용된 캐릭터 모델은 일반적으로 시스템 내 키넥트의 입 력으로 동작하는 사용자 캐릭터 모델과 그 골격 구조 및 크기가 다르다. 따라서 예제 데이터를 본 시스템의 캐릭터 모델에 적용 하기에 앞서 예제 데이터의 캐릭터 모델과 결과 애니메이션에 사용될 시스템 내 캐릭터 모델의 골격 구조를 매칭 시켜야 한다. 이렇듯 골격 구조가 다른 두 모델이 서로 정보를 호환하여 사용할 수 있도록 서로 상응하는 관절끼리 매칭 시키는 것을 본 논문에 서는 ‘골격 매칭’이라 한다.

전처리 과정의 첫 번째 작업으로서 예제 데이터의 캐릭터 모 델과 Figure 4의 시스템 내 캐릭터 모델 간의 골격 구조를매칭시 키는단계를 진행하였다. 본 연구의 애니메이션 시스템에서는 동 작을 수행하는 주체로서 Figure 4와 같은 골격 구조를 가진 캐릭 터 모델을 사용하였는데, 이는 총 21개의 관절로 이루어져 있다. Figure 4에서 파란색으로 표시된 9개의 관절은 특징 관절(feature joints)을 표시한 것으로, 동작 생성 시 자세를 결정하는 주요 관 절로 취급한다.

두 캐릭터 모델 간의 관절 매칭은 수작업으로 서로 대응하는 관절들을 1대1로 매칭시켜 진행하였다. 관절 매칭 수작업의 편 의를 개선하기 위해, Figure 5와 같은 인터페이스를 개발하였다. 해당 인터페이스는 화면에 두 캐릭터 모델을 동시에 띄워두고 서로 대응되는 관절을 차례로 선택하고 매칭 정보를 저장할 수 있다. 기존에 매칭된 관절쌍에 대하여 수정 및 삭제도 가능하며, 몇 번의 단순 클릭 반복으로 손쉽게 관절 매칭을 진행할 수 있다. 해당 기능 및 인터페이스는 시스템으로부터 독립하여 사용할 수 도 있으며, 추후 여러 가지 캐릭터 모델을 다루는 유사 연구에도 폭넓게 사용할 수 있다.

Figure 5: An example of the use of skeleton matching interface.

Download Original Figure

골격 매칭을 통해 예제 데이터 내의 캐릭터 모델과 본 시스템의 캐릭터 모델 간의 관절 구조 매칭이이루어지면, 다음으로는 예제 데이터에 포함된 각종 동작들을 정보화하여 저장한다. 본 연구의 상호작용 애니메이션 시스템에서는 2인 상호작용 동작으로 구성 된 모션 캡처 데이터베이스를 예제 동작 데이터베이스로 사용하 는데, 맵핑 모델 생성 과정에서는 이 예제 데이터 내에 있는 두 캐릭터의 관절 정보(위치, 회전 등)가 프레임(frame)별로 변화하 는 양상을 몇 가지 변수를 사용하여 체계화한다. 즉 예제 데이터 내에 있는 여러 가지 동작별로 각 관절의 상태정보변화를 파악하 여 그 특징을 데이터 형태로 저장해놓는 것인데, 쉽게 말하자면 동작 별로 관절 변화의 규칙을 세우는 과정이라 할 수 있다. 이 때 예제 데이터에 존재하는 모든 관절에 대한 정보를 저장하는 것 이 아니라, 동작의 종류를 결정짓는 특징적 요소가 되는 관절에 한정하여 단순화된 동작 정보를 저장한다.

맵핑 모델 생성 과정은 단순히 예제 데이터에 포함된 관절 정 보를 복사하는 것이 아니라, 특징 모델 S^u = {p^r, p^f} 에 동작의 종류를 결정짓는 최소한의 정보만을 추출하여 가공 및 저장하 는 것이다. 여기서 특징 모델 S^u는 결과 애니메이션에서 사용될 캐릭터 모델의 전체 관절 구조 그대로가 아닌 9개의 특징 관절 (Figure 4 참조)의 위치들을 지칭하는 것이다. 그리고 특징 모델 은 사용자에 해당하는 캐릭터에서 추출된 특징 관절로 이루어져 있다. 예제 데이터의 캐릭터 관절 정보를 그대로 참조하여 결과 애니메이션을 생성하는 것은 그 차원이 높아 실시간과정에서 자 세를 계산하는 데 많은 계산량을 요구한다. 따라서 예제 데이터의 동작 정보에서 특징 모델을 추출하여 실시간과정의작동 속도를 높이고자 한다. 예제 데이터의 캐릭터 모델 기준에서 특징 모델 기준으로 예제 동작 정보를 재계산하므로, 본 논문에서는 이러 한 과정을 편의상 동작 맵핑이라고 부르기로 한다. 이 과정에서 도출한 예제 데이터의 동작과 특징 모델의 변환 관계들을 맵핑 모델 M이라고 하는데, 맵핑 모델은 전처리 과정의 출력값이며 실시간 처리에서 사용된다.

본 연구에서는 예제 데이터 캐릭터의 관절 위치 변화를 체계화 하기 위해 동작의 종류를 결정짓는 특징 속성에 대한 매개변수를 몇 가지 설정하였다. Table 1은 사용자 캐릭터와 상대 캐릭터의 관절의 상태를 표시하는 상태 매개변수 x^s = {x^u, ẋ^u,x^c, ẋ^c}를 나열한 것이고, Table 2는 사용자 캐릭터와 상대 캐릭터의 상태를 제어하는 제어 매개변수 p^r, p^f 를 나열한 것이다.

Table 1 에서 사용자 캐릭터 자세를 나타내는 x^u = {r^u,q^u}는 루 트의위치와 회전정보를 표현하는 4×4 행렬 r^u와 나머지 관절의 각도 q^u를 포함한다. 상대방 캐릭터의자세 x^c = {r^c,q^c}도 역시 루트의위치 r^c와 나머지 관절의 각도 q^c를 가진다. 이때 상대 캐 릭터의 루트 정보 r^c는 사용자 캐릭터의 루트 정보에 상대적으로 저장한다:

본 상호작용 애니메이션 시스템은위와 같은 전처리 과정을 거쳐 결과적으로 맵핑 모델을 생성한다. 이는 예제 동작 데이터를 프레 임 단위로 사용자 캐릭터와 상대 캐릭터의 상태 매개변수 형태로 저장하고 예제 동작과 특징 모델 사이의 변환 규칙을 정의하는 제어 매개변수들로 이루어진 일종의 동작 정보 패키지라고 볼 수있다. 생성된 맵핑 모델은 다음 장에서 설명하는 두 캐릭터의 상 호작용 동작을 생성하는 실시간과정에서 초기 자세를 설정하는 데 사용된다.

리그레션은 사용자의 실시간 자세 입력에 따라 사용자 캐릭터와 상대 캐릭터의 상호작용 동작을 생성하는 과정의 첫 번째 단계이 다. 이 단계에서는 전처리 과정에서 생성된 맵핑 모델에 따라 단 순화된 특징 모델 S^u를 토대로 제어 매개변수를 측정하고 KNNIDW를 이용하여 상태 매개변수를 측정한다[18]. 실시간 사용자 입력 자세로부터 특징 모델을 추출하고 이 특징 모델이 가지고 있는 정보인 제어 매개변수 p^r, p^f 를 맵핑 모델의 입력으로 전달 하면 출력으로 상태 매개변수인 x^s = {x^u, ẋ^u,x^c, ẋ^c}을 얻는다.

다음 프레임에 취해야 할 자세는 목표 시간 내에 취해야 할 목 표 자세(동작)에 따라 결정되는데, 실시간 동작에서는 사용자의 입력 동작에 따라 목표 자세 및 다음 프레임에 취해야 할 자세가 결정될 것이다. 상태 매개변수를 계산하는 데에는 K 근접 역거리 가중치 기법(K-nearest neighbor inverse distance weighting, KNNIDW)을 사용하였는데, 해당 방식은 KD 트리 형태의자료구조를 빠르게 탐색하는 데 적합하기 때문이다. 이는 비선형 계산이 이 루어지는 리그레션 과정에 유리하다.

다음은 사용자 캐릭터와 상대 캐릭터가 현재자세로부터 다음 프레임의 자세를 취하기 위한 제어 매개변수와 상태 매개변수의 관계를 보여준다. 여기서 사용되는 모든 입력 및 출력 매개변수는 예제 데이터로부터 참조된 것으로, 사전에 벡터 형식으로 변환된 값이다. 제어 매개변수를 얻기 위하여 프레임 t의 사용자 입력 자세 ${\tilde{x}}_t^u$에서 특징 모델을 벡터 형태인 $S_t^u$로 변환한다. 이때 t의 범위를 현재 t, 과거~현재 t − w : t, 과거~미래 t − w/2 : t + w/2 와 같이 3가지 경우로 나눌 수 있다. 예를 들어 3번째 경우 특징 벡터는 $S_{t-w/2:t+w/2}^u\in \left\{S_{t-w/2}^u,S_{t-w/2+1}^u,\cdots ,S_{t+w/2}^u\right\}$로 나 타낼 수 있다. 첫 번째 경우를 제외한 나머지 경우들은 특징 벡터 의 크기 w만큼의 딜레이(delay)가 있다. 그리고 세 번째 경우는 미래 프레임을 보기 때문에 완전히 실시간으로 진행할 수 없고 사전에 녹화된 동작 정보를 사용한다. 특징 벡터는 제어 매개변 수인 $P_{t-w/2:t+w/2}^r$와 $P_{t-w/2:t+w/2}^u$를 포함하고 맵핑 모델의입력 으로 전달된다. 상태 매개변수 x^s는 맵핑 모델의 출력으로 얻을 수 있다. x^s에는 사용자 캐릭터 자세 x^u와 상대 캐릭터 자세 x^c 의 정보가 포함되어 있는데, 이때 x^c의 루트는 사용자 캐릭터 x^u 의 루트에 상대적으로 저장되어 있기 때문에 수식 3를 이용하여 전역 좌표계값으로 돌려주어 리그레션 단계를마친다:

자세 재건 단계에서는 이전 리그레션 단계에서 얻은 결과 x^s에 포함된 자세 정보 x^u, x^c를 결과 화면에 출력될 사용자 캐릭터와 상대 캐릭터에 적용하여 자세를 생성한다. 이 때 계산된 캐릭터 전체 관절의 자세는 초기 자세로, 사용자의 입력 의도에 맞는 동 작 및 상호작용 패턴을 묘사한다. 초기 자세만 적용한 경우 결과 모션의 품질이 불안정하였다. 이것을 개선하기 위해 x^s에 포함된 사용자와 상대 캐릭터 관절의 속도 정보 ẋ^u, ẋ^c를 이전 자세에 적분하여 얻은 자세 정보와 x^u, x^c를 0.95 : 0.05 비율로 혼합하여 적용하였다. 이 결과에 가우시안 필터를 추가로 적용하여 결과 모션의 품질을 상당부분 개선하였다.

초기 자세는 캐릭터 모델의 관절 구조, 즉 뼈대를 기준으로 설 계된 위치이다. 따라서 두 캐릭터의 상호접촉이있는 동작의 경우 접촉면의위치가 관절 기준으로 계산된다. 이 때 모델링 과정에서 부피가 있는 사람 형태의 스킨을 씌우면, 관절(뼈대) 간의 접촉을 달성하기 위해 두 캐릭터의 스킨(피부 표면)이 정확하게 맞닿지 않거나 관통하는 현상이 발생하기도 한다(Figure 6 참조). 비록 초 기 자세가 정확하게계산되었다고 하더라도 경우에 따라 최종 결 과 애니메이션에서는 부자연스럽게 연출되는 상황이 발생할 수 있다. 이러한 상황을 방지하기 위해 상호접촉이 발생하는 관절을 엔드 이펙터(end-effectors)로 설정하고 충돌 감지 기술을 더하여 자세 오류를 발견한다.[19] 해당 오류에 대하여 [19]에서 제안한 충돌 회피 기술을 통해 자연스러운 접촉이 가능한 자세로 관절 위치를 재계산 한 후에 역기구학 풀이를 통해 캐릭터의 자세를 수정하고, 그 결과 결과화면에 출력될 최종 자세 x̂^s가 생성된다. Figure 6은이러한 자세 보정 과정의 예를 보여준다. 좌측 화면에 서는 악수 동작 생성 과정에서 초기 자세 모델링 결과 두 캐릭터 의 손 표면이 접촉하지 않고 관통하는 현상이 발생하였다. 중앙 및 우측 화면에서는 충돌 회피를 통해 수정된 자세로 자연스러운 악수 동작을 연출한다.

Figure 6: (a) shows the hand skin of the two characters penetrate without contact in the process of generating a handshake motion, and (b), (c) show the final pose corrected through collision detection and inverse kinematics.

Download Original Figure

Figure 7은 여러 가지 동작에 대해서 예제 동작 데이터의 자 세, 사용자의 키넥트 입력 자세, 그리고 본 애니메이션 시스템을 통해 재건된 최종 자세를 비교한 것이다. (a)는 기본자세인 T 자 세를 취한 것으로, 사용자는 팔이 다소 구부러진 자세를 취하고 있으나 자세 재건 결과 예제 자세처럼 팔을 올곧게 뻗은 자세로 보정되었다. (b)는 허리 숙여 인사하는 자세, (c)는 손을 높이 들어 내미는 하이파이브 자세, (d)는 손을 적당한 높이로 들어 내미는 주먹 인사 자세를 취한 것으로, 마찬가지로 사용자의 다소 일그 러진 자세를 입력하더라도 예제 자세를 참조하여 자연스럽게 보 정된 자세가 생성되는 것을 확인할 수 있다.

Figure 7: Comparison between reference motion, user input motion, and reconstructed motion.

Download Original Figure