SDF를 이용한 자동 스키닝 웨이트 페인팅 신경망

스키닝 웨이트 페인팅 자동화에 대한 기술들은 크게 기하학 기반 (geometric-based) 방법과 데이터 중심 (data-driven) 방법 두 가지로 나눌 수 있다.

기하학 기반 방법은 캐릭터와 스켈레톤 사이의 기하학적인 관계를 이용한다. 스키닝 웨이트 페인팅 자동화에 대한 초기 연구들이 주로 이 방법을 사용하였다. 이 방법은 관절과의 거리가 스키닝 웨이트에 큰 영향을 미친다고 가정한다. 따라서 Heat diffusion[3], illumination model[4], Laplacian energy[5], geodesic voxel binding[6] 등 다양한 방법으로 관절까지의 거리를 계산하여 스키닝 웨이트를 예측하였다.

인공지능과 기계학습 기술의 발전에 따라서 데이터 중심 방법으로 스키닝 웨이트 페인팅을 수행하는 연구도 진행됐다. SNARF[10], Neural Blend Shape[11] 등에서, 모션 캡처 데이터를 활용하여 스키닝 정보를 나타내는 심층 신경망 구조를 학습해 스켈레톤의 변형을 캐릭터의 스킨에 적용하는 과정을 보여주었다. 이 방식은 학습에 사용한 데이터와 같은 인간 형태의 스켈레톤 구조를 가진 캐릭터에서 훌륭한 결과를 보여줬다. 그러나 모션 캡처 데이터에 사용한 스켈레톤과 다른 구조를 갖는 캐릭터에는 적용할 수 없다는 한계가 있다.

다양한 구조를 가진 캐릭터와 스켈레톤에 대해서 적용 가능한 데이터 중심 방법으로 NeuroSkinning[7], RigNet[8], SkinningNet[9] 등 그래프 신경망을 활용한 방법이 제안되었다. 스켈레톤의 경우에는 관절을 노드로 뼈를 엣지로 변환하고, 삼각형 메시 캐릭터는 꼭짓점을 노드로 변을 엣지로 변환하는 방법으로 스켈레톤과 캐릭터로부터 그래프를 만들어 낸다. 이렇게 변환한 그래프를 그래프 신경망의 입력으로 하여 좋은 결과를 얻어내었다. 그러나 이 방법들은 그래프로 변환이 쉬운 삼각형 메시에서만 적용이 가능하다.

본 논문에서는 캐릭터에 대응하는 스켈레톤의 정보를 구하고, 스켈레톤의 각 관절이 갖는 특성 벡터를 얻기 위하여 그래프 신경망을 이용하였다.

그래프 신경망(Graph Neural Network, GNN)[12]은 합성곱 신경망 (Convolutional Neural Network)을 그래프 자료구조에 적용하기 위한 방법으로 처음 제안되었다. 이후 GNN에 대한 연구가 지속되었고, 현재 GNN은 크게 스펙트럼 접근방식(spectral approach) [13, 14]과 공간적 접근방식(spatial app-roach)[15-17]으로 나눌 수 있다.

그래프 신경망에 대한 최근의 연구들은 대부분 공간적 접근방식을 일반화한 메시지 전달(Message-Passing) 방법[18]을 적용하고 있다. 그래프 합성곱 신경망 (Graph Convolutional Net-work, GCN)[16]은 메시지 전달을 구현한 방법의 하나로, 이웃한 노드의 수에 따라 정규화한 가중치 행렬을 사용하여 노드의 특징 벡터를 변환하는 방법을 제안한다.

EdgeConv[19]도 메시지 전달 방법의 그래프 신경망 중 하나로, 삼차원상에서 기하학적인 특성을 그래프의 엣지를 통해 전달하도록 하였다. 신경망의 각 단계마다 이웃한 노드로부터의 정보를 다층 퍼셉트론(Multi-Layer Perceptron, MLP)에 입력하여 그 결과로 노드를 업데이트하는 방식으로 신경망을 학습한다. 본 논문에서 관절의 특성 벡터를 얻기 위한 방법으로 메시지 전달 방식의 GNN인 EdgeConv 방식을 활용하였다.

Signed Distance Field(SDF)란, 각 지점의 값이 삼차원 물체의 표면까지의 거리를 절댓값으로 갖고, 그 위치가 물체의 내부인 경우 음수, 외부인 경우 양수로 부호를 갖는 영역을 통해 삼차원 물체를 암묵적으로 표현하는 방법이다.

이 SDF 그리드를 이용하여 삼차원 물체를 학습하는 연구도 많이 행해졌다. Shape Descriptor를 학습하거나[20], 3D Shape com-pletion을 수행[21, 22] 하는 등의 연구에서 삼차원 물체의 모양을 SDF 그리드를 활용하여 학습하는 것을 보여주었다. SDF로 나타낸 캐릭터의 변형을 학습하여 변형된 캐릭터를 재구축하는 연구도 진행되었다[23]. 이러한 연구들은 대부분 SDF 그리드에 3D CNN을 적용하여 삼차원 물체의 모양을 학습하였다. 본 논문에서도 캐릭터의 모양을 학습하기 위하여 SDF그리드를 입력으로 하는 3D CNN을 사용하였다.

스키닝 웨이트 예측 신경망을 학습하기에 앞서, 캐릭터의 모양 정보를 얻기 위하여 SDF 오토인코더를 사전 학습한다. 먼저 캐릭터를 1×1×1 크기로 정규화한 후 그 캐릭터 위에 r×r×r 해상도의 그리드를 설정한다. 각 그리드에는 해당 칸의 중심 위치의 SDF 값을 갖도록 한다. 이렇게 만든 그리드 X ∈ R^r3 를 SDF 오토인코더의 레이어의 입력으로 한다.

SDF 오토인코더는 인코더 부분과 디코더 부분으로 나누어진다. 인코더는 삼차원 합성곱 계층(3D convolutional layer)과 풀링 계층(pooling layer)으로 이루어져 SDF를 256차원의 잠재 벡터(latent vector) Y ∈ ℝ^d_mesh 로 변환한다. 디코더는 Y를 다시 SDF 그리드로 복원하는 역할을 하기 위하여 여러 개의 삼차원 합성곱 계층과 전치 합성곱 계층(transposed convolutional layer)로 이루어져 있다. 이 네트워크의 자세한 정보는 Table 2에 있다.

이후 복원한 SDF그리드 (X̂) 과 원본 SDF 그리드 데이터를 가지고 아래 식과 같은 평균 제곱 오차(mean squared error, MSE) 손실 함수를 이용하여 오토인코더를 학습한다.

이 단계에서 얻은 잠재 벡터 Y를 이후 단계에서 캐릭터 모양의 특징으로 사용한다.

이 단계에서는 주어진 스켈레톤의 각 관절의 특성 벡터를 계산한다. 먼저 스켈레톤의 각 관절을 꼭짓점으로 하고 관절을 연결하는 뼈를 변으로 하는 무방향 그래프 G = (V,E)를 만든다. 꼭짓점 v ∈ V는 관절의 위치 정보 벡터 x_v를 가진다. x_v는 삼차원 좌표를 NeRF[24]에서와 같이 아래 매핑 함수 γ를 이용하여 2L·3 차원으로 늘린 벡터이다.

스켈레톤을 그래프 자료구조로 변환하였으면 해당 그래프를 입력으로 하는 GNN을 만든다. 본 논문에서는 메시지 전달 방식을 이용한 그래프 신경망 중 EdgeConv[19]을 활용하였다. 본 논문에서 EdgeConv의 변 특성(edge features)을 구하는 학습 가능한 비선형 함수로는 MLP를 사용하였고, 변 특성의 aggregation에는 평균 함수를 이용하였다. x_v가 EdgeConv 계층 하나를 지나며 x_v'로 업데이트되는 과정을 정리한 식은 아래와 같다.

여기서 N(v)는 v에 인접한 꼭짓점의 집합이다. 스켈레톤 네트워크에서 각 관절은 두 개의 EdgeConv 계층을 통해 d_skel차원의 특성 벡터를 가지게 된다.

주어진 위치의 스키닝 웨이트를 예측하기 전에 주어진 점이 캐릭터 모양 내에서 어떤 지역적인 정보를 가지고 있는지를 생성하기 위해 지역 특성 네트워크 단계를 거친다. 이때 3.2절에서와 마찬가지로 해당 위치의 좌표 p를 매핑 함수 γ를 이용하여 더 높은 차원으로 만들고, 3.1절의 오토인코더에서 얻은 캐릭터의 잠재 벡터 Y와 연결(concatenate)한다. 위치 정보와 캐릭터 정보를 연결한 벡터를 입력으로 하는 MLP를 거쳐 해당 위치의 모양에 대한 d_local차원의 정보 x_local을 얻는다. 이 과정을 정리하면 아래 식과 같다.

지역 특성 네트워크에서 얻은 결과와 스켈레톤 네트워크에서 얻은 각 관절의 특성 벡터를 이용하여 최종적으로 스키닝 웨이트를 예측한다. 이때 예측 신경망에 입력하는 크기를 고정하고, 좀 더 효율적인 계산을 위하여 k-최근접 접근 방식(k-Nearest Neighborhood approach)을 이용해 스키닝 웨이트를 예측할 지점과 가까운 k개의 관절에 대한 스키닝 웨이트를 예측한다. 점과 관절 사이의 거리는 Dionne[6]의 방법에서 사용했던 것처럼 SDF 그리드 안에서 캐릭터의 내부에 존재하는, 즉, 음수인 값을 가지는 위치를 복셀로 만들고 연결된 복셀의 측지 거리(geodesic distance)를 이용하였다.

스키닝 웨이트 예측 신경망의 결과는 스키닝 웨이트의 특성을 유지하기 위하여 소프트맥스 활성 함수(softmax activation function)를 이용하여 각 값이 0 이상 1 이하가 되고 값의 합이 1이 되도록 만든다. 최종적으로 입력 지점 p에서 예측한 스키닝 웨이트 $w_p^{\prime }$는 다음과 같다.

$x_i^{\prime }$는 p에서 i번째로 가까운 관절의 특성 벡터이다. 이렇게 구한 결과를 이용하여 스켈레톤 네트워크, 지역 특성 네트워크, 스키닝 웨이트 예측 네트워크를 학습하기 위하여 아래 식의 크로스 엔트로피 손실 함수를 이용하였다.

SDF 오토인코더의 인코더 및 디코더 세부 구현은 Table 2와 같다. conv는 3D 합성곱 계층, pooling은 풀링 계층, fc는 완전 연결 계층(fully-connected layer), deconv는 전치 합성곱 계층을 의미하고, 괄호 안의 숫자는 각 계층의 입출력 차원을, 아래는 전체의 입력과 출력 차원을 의미한다.

오토인코더 학습에는 데이터의 90%를 훈련에 사용하고 10%를 평가 및 검증에 사용하였다. 0.0001의 학습률로 총 1000에포크 동안 진행하였고, 약 40시간이 걸렸다. Figure 1은 이 오토인코더를 이용하여 SDF 그리드를 재구축한 모습을 나타낸다.

Figure 1: Original SDF (left), Reconstructed SDF (right)

Download Original Figure

본 논문에서 사용한 스키닝 웨이트 페인팅 신경망을 이용하여 삼각형 메시 캐릭터의 스키닝 웨이트를 예측한 결과는 Figure 2 와 같다. 삼각형 메시를 이용하여 구한 SDF 그리드와, 스켈레톤, 그리고 삼각형 메시의 각 꼭지점들을 신경망에 입력하여 각 꼭지점의 스키닝 웨이트를 구하였다. 같은 관절에 영향을 받는 꼭지점은 같은 색깔로 칠하였다.

Figure 2: Original Skinning Weights (left), Predicted Skinning Weights (right)

Download Original Figure

Figure 3: The result of applying our method to the point cloud

Download Original Figure

Figure 2는 본 논문의 방법을 점구름(Point Cloud)으로 만든 캐릭터에 적용하고, 다른 자세를 적용한 결과이다. 캐릭터 내부에서 1500개의 점을 샘플링 하여 각 점의 스키닝 웨이트를 구한 후 각 점이 영향을 받는 관절에 따라 다른 색깔을 칠하였다. 이처럼 본 논문의 방법은 SDF로 얻은 모양 정보와 스키닝 웨이트를 구할 지점의 좌표를 이용하기 때문에 삼각형 메시 이외의 표현 방식을 사용한 캐릭터에도 적용할 수 있다.

Table 3은 스키닝 웨이트 페인팅 자동화와 관련된 최신 연구와 본 연구의 결과를 정량적으로 평가한 표이다. 정밀도(Precision)과 재현률(Recall)은 삼각형 메시의 특정 정점이 스켈레톤의 관절에 영향을 받는지를 예측한 결과이다. 기존 연구들[7-9]에서와 같이 특정 관절에 해당하는 웨이트의 값이 1×10^-4 이상인 경우를 참으로 하여 계산하였다. 평균 L1 노름 (average L1-norm)은 정점의 각 관절에 대한 웨이트 값들을 벡터로하여 원본 데이터와 예측한 데이터 사이의 L1 거리를 의미한다. 본 논문에서는 SDF를 이용하여 삼각형 메시 이외의 캐릭터에도 사용할 수 있는 방법을 제안하였으나 삼각형 메시에 대한 결과는 최신 연구들과 비교하였을 때 떨어지는 것을 알 수 있다.