메쉬 구조 비종속적 음성 기반 3차원 발화 애니메이션 생성

음성 신호 기반 3차원 얼굴 발화 애니메이션 생성은 Brand [14]의 초기 연구를 시작으로 오랜 기간 어려운 도전 과제로 남아 있었 다. 해당 과제의 주요 목표는 음성 신호에 적절한 입모양을 지닌 발화 애니메이션을 생성하는 것이다. 심화학습 기반 신경망의 등 장 이후, Audio2Face [1]는 음성 신호를 학습한 얼굴 메쉬의 정점 위치 값으로 변환하는 신경망 구조를 제안하였으며, 해당 구조 는 이후의 여러 연구들의 기반이 되었다 [2, 4, 5]. Faceformer [4] 는 얼굴 애니메이션 생성을 위해 자기 회귀 모델 중 하나인 트 랜스포머 모델 구조를 도입함으로써 정확도를 크게 향상시켰다. CodeTalker [5]는 음성 신호와 표정 사이의 다중 매핑 문제를 해 결하기 위해 얼굴 동작에 대한 잠재코드북 (latent codebook)을 도 입하였다. Imitator [6]는 참조 비디오에 나타나는 화자 고유의 특 징 임베딩을 추정하고 최적화하는 방식을 통해 비디오 속 화자의 발화 방식을 효과적으로 포착하여 얼굴 애니메이션을 생성한다.

이러한 방법들은 정확도의 개선과 생성 애니메이션의 다양성 측면에서 높은 성과를 보였으나, 공통적으로 학습에 사용된 얼굴 메쉬 구조에 한정하여 적용 가능하다는 한계가 있다. 또한, 학습 설정에 민감하여 새로운 얼굴 메쉬에 적용할 경우 세심한 파라 미터 조정이 필요하기에, 범용성이 다소 제한적이다. 이에 반해, 본 연구에서 제안하는 방법은 메쉬 변형 네트워크를 활용하여 임의의 메쉬 구에 적용할 수 있는 메쉬 구조에 비종속적(meshagnostic) 구조를 지니고 있어, 음성 기반 얼굴 애니메이션 생성 시 높은 확장성과 범용성을 제공한다.

앞서 언급한 정점 예측 기반 방법들 [1, 2, 3, 4, 5]과 달리, 음성 신호로부터 얼굴 발화 애니메이션을 생성하기 위해 리깅 파라미 터나 블랜드쉐입 (Blendshape) 계수를 예측하는 연구도 활발히 진행되어 왔다. VisemeNet [15]은 LSTM 계층을 이용해 2D JALI viseme 필드 파라미터를 예측하며, JALI [16] viseme을 기반으로 리깅된 캐릭터 모델에 한하여 적용할 수 있다. Voice2Face [17]는 조건부 변분 오토인코더 (CVAE)를 사용해 음성 신호로부터 얼굴 메쉬 정점 위치값을 직접 복원하고, 이어서 MLP를 통해 복원된 정점으로부터 리깅 파라미터를 회귀한다. 또한, Medina 와 그의 동료들 [18]은 사실적인 발음 애니메이션에서 중요한 요소인 혀 움직임을 고려하여 입술과 혀의 랜드마크를 예측하고, 이를 바탕 으로 혀 모델 구축 및 혀 애니메이션 생성을 위한 리깅 파라미터 추정 방법을 제안했다. 본 연구에서는 이와 유사한 맥락에서, 입 력 음성 신호로부터 FACS 기반 블랜드쉐입 파라미터에 대응하는 해석 가능한 표정 잠재코드를 예측한다. 이렇게 얻어진 잠재코드 는 사전학습한 디코더를 통해 대상 얼굴 모델을 매 프레임 마다 변형함으로써 얼굴 발화 애니메이션을 생성한다.

변형 전달 (deformation transfer)은 한 메쉬에서의 변형 정보를 다른 메쉬로 전달하는 작업이다. 초기 연구에서는 정점 단위의 변위나 변형 그래디언트를 전달하기 위해 소스 메쉬와 타겟 메 쉬 간의 대응점을 수동으로 설정해야 했다 [19, 20]. 이후 심화학 습 기반 신경망의 등장으로 일부 연구 [21, 22]는 이를 신경망의 잠재 공간 (latent space)을 매개하는 방식을 통해 대응점 지정 문 제를 극복하였다. 그러나 이러한 접근 방식들 역시 학습한 메쉬 구조에 종속되므로, 임의의 메쉬에 대해 곧바로 적용하기 어렵 다는 한계가 있다. 또 다른 접근으로는, 두 얼굴 메쉬 간의 표정 전이를 위해 이미지-투-이미지 (image-to-image) 변환 네트워크 를 활용하는 방법들이 제안되었다 [23, 24]. 하지만 이 경우에도 새로운 얼굴 모델마다 별도의 학습 과정이 필요하다는 한계가 있다. 최근, Aigerman 과 그의 동료들 [25]은 삼각형 단위의 야 코비안 (Jacobian)을 활용하여 대응점의 지정 없이 임의의 메쉬 쌍 간에도 deformation transfer가 가능한 방식을 제안하였다. 이 어서 NFR [7]은 주어진 얼굴 모델에서의 전역적인 형태와 표정 정보를 추출하는 인코더를 추가함으로써 메쉬 구조에 구애받지 않는 리타게팅이 가능하도록 확장하였다. 본 연구는 NFR의 접근 법에 기초하여, 음성 기반의 3차원 얼굴 발화 애니메이션이라는 영역으로 해당 방법론을 확장한다.

본 절에서는 제안하는 연구의 기반이 되는 사전학습 모델 NFR [7]의 알고리즘에 대해 설명한다. NFR은 서로 다른 구조 를 가진 메쉬 간에도 변형 (deformation)을 리타게팅할 수 있도록 설계된 신경망 기반의 방법이다. NFR은 Identity 인코더, Expression 인코더 그리고 디코더로 구성된다. Identity 인코더는 대상 메쉬로부터 identity 잠재코드 z_i ∈ ℝ¹⁰⁰를 추정하며, Expression 인코더는 소스 메쉬로부터 expression 잠재코드 z_e ∈ ℝ¹²⁸ 를 추정한다. 이렇게 얻어진 코드들 (z_i, z_e)과 함께, 이미지 코드 c ∈ ℝ¹²⁸, 그리고 대상 메쉬의 삼각형에 해당하는 중심점 (centroid) 및 법선 벡터 (normal vector)로 구성된 각 삼각형별 피처 코드 β_j ∈ ℝ⁶를 디코더 Ψ에 입력하면, 대상 메쉬의 j번째 삼각 형 γ_j에 대한 변형 행렬 P_j ∈ ℝ^3×3을 생성할 수 있다. 이 과정은 다음과 같이 수식으로 표현된다:

각 삼각형 γ_j에 대해 P_j를 예측한 이후, 최종적으로 변형된 메쉬 의 정점들을 복원하기 위한 추가 단계가 필요하다. 먼저 예측된 변형 행렬 P_j를 해당 삼각형의 tangent basis에 제한하여 R_j ∈ ℝ^3×2로 변환하고, 푸아송 (Poisson) 방정식을 통해 최종 정점 위 치 V*를 얻는다. 해당 과정은 다음과 같은 최적화 문제로 표현된 다:

여기서 $V{\nabla }_j^{{\rm T}}$는 삼각형 γ_j의 야코비안(Jacobian)을 나타내며, ∇_j 는 대상 메쉬 정점 V 를 해당 삼각형의 야코비안으로 매핑하는 그래디언트 연산자이고, |γ_j|는 삼각형의 면적을 의미한다.

NFR의 강점은 해석 가능한 표현 잠재 공간을 제공하면서, 특정한 메쉬 구조나 형태에 제한되지 않는다는 점에 있다. 표 정 잠재코드 z_e의 앞 53차원은 ICT-FaceKit [10]에서 제공하는 FACS 기반 블랜드쉐입 파라미터와 동일한 방식으로 동작하기에 LiveLinkFace [26] 앱과 같은 상용 프로그램과의 호환이 용이하 다. 본 연구에선 이 53차원을 z_FACS로, 나머지 75차원은 z_ext로 구 분하여 표기한다.

음성 신호가 정확히 z_e로 매핑될 수 있다면, 사전학습한 디코 더 Ψ를 통해 별도의 추가 학습이나 리타게팅 절차 없이도 입력된 음성에 맞춰 어떤 3D 얼굴 메쉬라도 발화 애니메이션을 생성할 수 있다. 이러한 가능성을 바탕으로, 본 연구에서는 음성 신호를 z_e로 직접 변환할 수 있는 새로운 인코더 Wav2Rig을 설계한다.

Wav2Rig은 사전학습 음성 신호 분석 모델의 딥피처(deep feature) 를 사전학습 변형 전달 모델의 잠재코드 z_e로 변환하는 매핑 네 트워크이다. 사전학습 음성 신호 분석 모델로는 wav2vec2.0 [8] 을 활용하며, 이를 통해 a 로부터 딥피처 f 를 추출한다. (a → f^1:t, f^1:t ∈ ℝ^t×768). wav2vec2.0은 컨볼루션 기반의 전처리 네트 워크와 트랜스포머 인코더(transformer encoder)로 구성되어 있 다. 트랜스포머 인코더는 총 12개의 계층으로 이루어져 있으며, 각 계층은 서로 다른 수준의 표현 정보를 담고 있기 때문에, 달 성하고자 하는 세부 목적에 따라 가장 적합한 계층이 달라질 수 있다[27]. 기존 방법들 [4, 5]은 wav2vec 2.0의 파라미터를 파인 튜닝하고 마지막 계층에서 추출한 피처를 사용한다. 반면, 본 방 법은 wav2vec 2.0 파라미터를 고정한 후, 트랜스포머 인코더의 중간 계층에서 추출된 피처 f^1:t만을 사용한다. 계층 별 피처의 효과는 Sec. 4.4.1에서 자세히 분석하였으며, 해당 실험을 통해 중간 계층이 가장 효과적임을 확인하였다. 딥피처 f^1:t와 발화 스 타일 임베딩 s ∈ ℝ¹²⁸은 Wav2Rig에 입력되어 표정 코드 시퀀스 ${\widehat{z}}_e^{1:t}$를 예측한다. 이 과정은 다음과 같이 표현된다:

네트워크 구조는 입력 계층, 두 개의 은닉 계층, 그리고 출력 계층으로 구성된 총 네 개의 1D 컨볼루션(Convolution) 계층으로 이루어져 있다. 입력 계층은 오디오 피처 f^1:t을 받아 이를 처리한 뒤 은닉 계층에 전달한다. 이때 은닉 계층의 출력은 발화 스타일 임베딩 s와 함께 연결(concatenate)된다.

본 설계는 CodeTalker [5]에서 제안된 방법과 유사하게 one-hot 라벨 대신 학습 가능한 스타일 벡터를 활용함으로써 네트워크가 스타일 공간을 내재적으로 학습할 수 있도록 유도한다. 스타일 벡터는 데이터셋의 각 화자에 대해 고유하게 할당하여 학습에 사 용되며, s_n ∈ S, S = s₁, s₂,. .., s_N 로 정의된다. 이때 N 은 전체 화자 수를 의미한다. 은닉 계층의 출력을 기반으로, 최종 출력 계 층은 표정 코드 시퀀스 ${\widehat{z}}_e^{1:t}$을 생성한다.

Wav2Rig의 학습은 손실함수 L_rig만을 사용한다. L_rig는 정답 값과 예측된 표정 코드 간의 L1 거리를 측정하며, 다음과 같이 정의된다:

여기서 $z_e^{1:t}$는 정답 블랜드쉐입 파라미터인 $z_{\text{FACS}}^{\text{GT}}$와 $z_{\text{ext}}^0$로 구성된 벡터 시퀀스를 의미한다. 시퀀스의 각 시점에서의 표정 코드 z_e는 다음과 같이 정의된다:

여기서 k는 표정 잠재코드의 인덱스를 나타내며, $z_{\text{ext}}^0$ 는 모든 요 소가 0으로 채워진 제로 벡터이다.

본 방법은 추론 단계에서 완전한 엔드투엔드(end-to-end) 파이프 라인으로 동작하며, Eq. (1)에 따라 음성신호, 대상 얼굴 모델, 그리고 스타일 임베딩을 입력으로 받아 발화 애니메이션을 생 성한다. 추론과정은 다음과 같다. 먼저, 음성 신호로부터 추정한 wav2vec2.0의 피처를 입력으로 Wav2Rig은 표정 잠재코드 시퀀 스를 추정한다. 다음으로 사전학습 NFR의 identity 인코더는 대 상 얼굴 모델로부터 z_i, 이미지 코드 c, 그리고 삼각형 단위의 피처 코드(per-triangle feature code) β_j 를 추출한다. 이렇게 얻어진 코 드들은 결합되어 디코더 Ψ에 입력되며, 이를 통해 삼각형 단위의 디포메이션 필드 시퀀스가 생성된다. 이후, Eq. (3)을 통해 최종적 으로 음성에 동기화된 3D 얼굴 메쉬의 애니메이션이 복원된다. 전체적인 파이프라인 구성은 Fig. 2에 제시되어 있다.

Wav2Rig 학습하기 위해, 음성 파일 (a)과 FACS 기반 블랜드 쉐입 파라미터 ($z_{\text{FACS}}^{\text{GT}}$)로 구성된 데이터셋을 구축하였다. 블랜 드쉐입 파라미터는 iPhone 13 Pro를 삼각대에 고정한 상태에 서 LiveLinkFace [26] 앱을 사용하여 수집하였으며, 해당 앱은 영상으로부터 음성과 함께 FACS 기반의 ARkit 블랜드쉐입 파 라미터를 제공한다. 획득한 ARkit 블랜드쉐입 파라미터는 ICT-FaceKit [10]이 제공하는 블랜드쉐입 매핑에 따라 $z_{\text{FACS}}^{\text{GT}}$ 로 변환되 어 저장되었다. 영상은 초당 30프레임으로 녹화되었고, 음성은 44,100 Hz의 샘플링 레이트로 수집되었다. 데이터 수집에는 총 16명 (남성 7명, 여성 9명)이 참여하였으며, 각 참가자에 대해 71 개의 문장에 관한 발화 데이터를 확보하였다. 각 화자에 대해서는 ICT의 Identity 블랜드쉐입에서 임의의 얼굴 형태를 샘플하여 각 참자가 별 발화 애니메이션에 할당하였다. 실험에 사용한 모든 얼굴 모델은 NFR에서 수행된 메쉬 표준화 절차에 따라 전처리되 었으며, 이 과정에서 눈구멍과 입 안쪽 내부는 제외하였다. 전체 데이터는 학습용 56개, 테스트용 15개로 분할하여 실험에 사용하 였다.

오디오 피처는 별도의 언급이 없는 경우, wav2vec 2.0 [8]의 5 번째 계층에서 추출한 것을 사용하였다. Wav2Rig은 Adam optimizer [28]를 사용하여 학습하였으며, 하이퍼파라미터는 β₁ = 0.5, β₂ = 0.999, 학습률은 1 × 10⁻⁴로 설정하였다. 학습은 총 200 에폭(epoch)에 걸쳐 진행되었으며, 오디오 피처는 윈도우 크기 8 로 슬라이싱하여 입력하였다. 모든 학습 및 실험은 단일 NVIDIA RTX A5000 GPU에서 수행되었으며, Wav2Rig의 학습에는 약 1.5 시간이 소요되었다.

본 방법의 성능을 평가하기 위해, Sec. 3.4에서 설명한 ICT-FaceKit [10] 기반의 테스트셋을 사용하였다. 추가적으로, 다양한 메쉬 구조에 대한 일반화 성능을 검증하기 위해 Multiface [11], VOCASET [12], BIWI [13] 등 여러 공개 데이터셋으로부터 확보 한 얼굴 모델을 활용하였다. 해당 얼굴 모델은 Fig. 3와 같이 메쉬 표준화 절차에 따라 전처리된 후 사용되었다. 평가지표로는 기존 연구들 [4, 5]에서 사용된 Lip Vertex Error (LVE)를 채택하였다. LVE는 각 프레임마다 예측된 입술 정점과 정답 정점 간의 L2 거 리 중 최대값의 평균을 측정한 값이다. 입술 정점은 ICT-FaceKit 프로젝트에서 사전에 지정된 랜드마크를 사용하였다 ¹.

Figure 3: Mesh standardization. Eye sockets and mouth internals are removed from VOCASET [12] meshes, and both mouth and nose internals are removed from BIWI [13] meshes.

Download Original Figure

본 실험의 목표는 학습한 메쉬 구조와 다른 구조를 가진 얼굴 모 델에 관한 대응 여부 및 성능을 평가하는 데 있으며, 시각적 결 과는 Fig. 4에 제시되어 있다. 학습에 사용된 ICT [10] 기반의 얼 굴 모델에 대해서는 물론, 학습 데이터에 포함되지 않은 얼굴 모 델 [11, 12, 13]에 대해서도 본 방법으로 발화 애니메이션을 강건 하게 생성할 수 있는 것을 확인할 수 있었다.

Figure 4: Animated 3D faces with varying shapes and mesh structures. Visual results are shown across different mesh typologies including ICT (in-domain) [10], VOCASET [12], BIWI [13] and Multiface [11]. Blue numbers indicate the frame indices of the generated animations.

Download Original Figure

본 방법의 성능을 정량적으로 평가하기 위해, Sec. 3.4에서 기 술한 테스트 데이터를 decimation과 subdivision을 통해 리메싱 (re-meshing)하여 다양한 메쉬 구조를 갖는 정답 애니메이션을 확보한 뒤, 생성된 애니메이션 결과와의 LVE를 측정하였다. decimation이 적용된 메쉬의 경우, 먼저 Blender ²를 사용하여 메쉬의 정점 수를 줄였다. 이후, 원본 메쉬와 decimation이 적용된 메쉬 간의 정점 대응 관계를 설정하고, 각 프레임에서 원본 메쉬의 변 형 결과를 따라가도록 decimation이 적용된 메쉬를 변형하여 발 화 애니메이션을 생성하였다. subdivision이 적용된 메쉬의 경우, Loop subdivision [29]을 적용하여 해상도를 높인 뒤, decimation 이 적용된 메쉬와 동일한 방식으로 대응점 설정을 통해 발화 애 니메이션을 생성하였다. 평가를 위한 입술 랜드마크의 경우, 원 본 메쉬의 입술 랜드마크와 가장 가까운 정점을 기준으로 대응 정점을 선택하였다.

정량적 결과는 Tab. 1에 제시되어 있다. decimation이 적용된 메쉬 (약 5천 개의 삼각형)는 학습에 사용된 원래의 메쉬 구조 (약 1만5천 개의 삼각형)와 유사한 성능을 보였다. subdivision이 적 용된 메쉬 (약 6만2천 개의 삼각형)의 경우, 원본 메쉬 구조를 기 반으로 생성한 애니메이션과의 유사한 오차 범위를 보여주었다.

정량적 성능 평가를 위해 음성 기반 얼굴 애니메이션 기법인 Faceformer [4]와 Codetalker [5]와의 비교 실험을 진행하였다. 두 방법은 본 방법과 달리 학습된 메쉬 구조에 종속된 mesh-specific 방식으로, 정점 위치 또는 변위를 직접 예측하여 얼굴 애니메이 션을 생성한다. 공정한 비교를 위해 각 방법은 공식 구현 코드를 기반으로 Sec. 3.4에서 구축한 ICT 데이터를 사용하여 처음부터 재학습하였다. 학습이 완료된 후, 동일한 테스트셋을 사용하여 애니메이션을 시각화하고 LVE를 측정하였다. 또한, Wav2Rig의 예측이 완벽할 경우 얻을 수 있는 성능 상한을 파악하기 위해, 정 답 FACS 기반 블랜드쉐입 파라미터와 NFR을 조합한 결과($z_{\text{FACS}}^{\text{GT}}$ + NFR)도 함께 비교하였다. 공개 데이터셋인 VOCASET [12]과 BIWI [13]의 애니메이션 데이터는 음성 오디오-얼굴 애니메이션 쌍만 제공하기에 본 연구의 학습 조건 (음성 오디오와 블랜드쉐 입 파라미터 쌍) 과 맞지 않아 비교에서 제외하였다.

정량적 결과는 Tab. 2 에서 확인할 수 있다. Codetalker [5]는 LVE에서 가장 안 좋은 결과를 보였으며, 이는 발화 애니메이션과 입력 음성 신호 간 동기화 오류가 자주 발생했기 때문으로, Fig. 5 의 주황색 화살표로 확인할 수 있다. Faceformer는 Codetalker 보다 개선된 LVE 값을 보였지만, 결과 애니메이션이 다소 정적 (static)으로 나타났으며, 이는 평균적인 표정으로 수렴한 결과로 해석된다. 해당 특징은 Fig. 5의 노란색 박스로 강조되었다. 반면, 제안하는 방법은 가장 낮은 LVE 값을 기록하였으며, 이는 상한선 $z_{\text{FACS}}^{\text{GT}}$ + NFR)에 근접한 결과를 보여준다. 특히 단어 “truth”를 발 음하는 Fig. 5의 프레임(57–61) 구간에서, 본 방법은 입술 변형이 발음에 걸맞게 표현된 것을 확인할 수 있다.

Figure 5: Visual comparison with competing methods. Blue numbers indicate the frame indices of the generated animations. Orange arrows indicate incorrect lip-sync of CodeTalker [5]. Yellow box indicates static motion of Faceformer [4].

Download Original Figure

본 절에서는 제안하는 Wav2Rig의 설계의 효율성을 검증하기 위 해 다음 세 가지 핵심 요소를 분석한다: (1) wav2vec 2.0 [8]에서 추출한 계층별 오디오 피처에 따른 성능 변화, (2) Wav2Rig 네트 워크 구조의 효율성, (3) z_e의 변주에 따른 성능 변화. 다음 절에서 각 요소에 관한 실험과 결과를 통해 선택의 정당성을 입증한다.

4.4.1 wav2vec 2.0의 계층별 오디오 피처 분석

본 실험에서는 wav2vec 2.0 [8]의 다양한 계층에서 추출된 오디 오 피처를 학습에 사용하여, 가장 효과적인 피처 계층을 확인하 였다. Sec. 3.4에서 구축한 데이터셋을 사용하여 실험을 진행했으 며, 각 계층에서 추출한 피처로 계산한 LVE 값을 Fig. 6에 시각화 하였다. 그 결과, 중간 계층(5 ∼ 9층)의 피처가 가장 우수한 성능 을 보였으며, 특히 5번째 층의 피처에서 최저 LVE를 기록하여 본 방법의 기본 구성으로 채택하였다. 이와 같은 중간 계층 피처의 우수한 성능은, wav2vec 2.0이 입력의 일부를 가린 후 이를 예측 하는 방식으로 학습된 데에서 기인한 것으로 보인다. 이 학습 전 략은 트랜스포머의 중간 계층에 고수준의 의미 정보(semantics) 를, 마지막 계층에는 저수준의 음향 정보(sound detail)를 내장하 도록 유도한다. 따라서 wav2vec 2.0의 중간 계층을 활용하는 것은 본 연구뿐 아니라, CodeTalker [5]나 Faceformer [4]와 같은 메쉬 구조에 종속적인 방법에서도 성능 향상을 가져올 수 있을 것으로 사료된다.

Figure 6: Comparison of lip vertex errors for the features from different layers of wav2vec 2.0 [8].

Download Original Figure

기존 연구들 [3, 4, 5]은 대부분 입력 음성으로부터 얼굴 움직임을 직접적으로 예측하는 데 초점을 두고 있으며, 이후 생성된 애니메 이션을 수정하거나 편집하는 기능은 고려하지 않았다. 반면, 본 연구의 Wav2Rig은 음성 신호를 FACS 기반 해석 가능한 표정 잠 재코드로 매핑하기 때문에, 블랜드쉐입 애니메이션과 마찬가지 로 특정 표정을 선택적으로 조정하거나 편집할 수 있는 유연함을 제공한다. 특히, 해석 가능한 표정 잠재코드는 ICT-FaceKit [10] 에서 제공하는 블랜드쉐입과 연동되어, 직관적인 편집 환경 제공 이 가능하다. Fig. 7에서 생성된 애니메이션에 ‘smile’ 또는 ‘sad’ 등의 감정에 맞게 편집된 사례를 확인할 수 있다.

Figure 7: Edited result of the generated speech animation. Visual results are shown across different mesh structures, marked with specific expressions and the related facial rig names. From the left is the generated animation in ICT [10], followed by edited meshes, two from ICT (in-domain), one BIWI [13], two VOCASET [12], and one Multiface [11]. Blue numbers indicate frame indices of the generated animations.

Download Original Figure

더빙은 본 방법이 적용될 수 있는 또 다른 응용 사례이다. 본 방법 은 입력 음성으로부터 주어진 얼굴 모델에 적절한 발화 애니메이 션을 생성함과 동시에, 원본 애니메이션에서의 상안면 움직임은 유지할 수 있다. Fig. 8의 세 번째 행에서 보이는 바와 같이, 입 주변 영역에서 높은 L2 거리 값이 뚜렷하게 나타나 발화 애니메 이션이 적용된 것을 확인할 수 있으며, 상안면 영역에선 L2 거리 값이 전무하나 경계에선 부드럽게 보간 (interpolate) 되어 원본 애니메이션을 해치지 않고 자연스럽게 통합됨을 확인할 수 있다.

Figure 8: Visual dubbing result. The vertices are colored by the L2 distance between the meshes from the source animation and the dubbed animation. Blue numbers indicate frame indices of the generated animations and the dubbed animations.

Download Original Figure