Journal of the Korea Computer Graphics Society

The Korea Computer Graphics Society

J Korea Comput Graph Soc 2022; 28(4):1-11

pISSN: 1975-7883, eISSN: 2383-529X

DOI: https://doi.org/10.15701/kcgs.2022.28.4.1

Article

K-SMPL: 한국인 체형 데이터 기반의 매개화된 인체 모델

최별이¹

, 이성희¹^,^*

K-SMPL: Korean Body Measurement Data Based Parametric Human Model

Byeoli Choi¹

, Sung-Hee Lee¹^,^*

¹한국과학기술원 문화기술대학원

¹KAIST, Graduate School of Culture and Technology

^*corresponding author: Sung-Hee Lee/KAIST, Graduate School of Culture and Technology (sunghee.lee@kaist.ac.kr)

© Copyright 2022 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 18, 2022; Revised: Jul 06, 2022; Accepted: Aug 20, 2022

Published Online: Sep 01, 2022

요약

선형 스키닝 기반 3D 인체 생성 모델 SMPL (Skinned Multi-Person Linear Model)은 1990년대 미국 거주 미국인들 3천 8백여 명을 대상으로 만들어진 3D 신체 데이터베이스인 CEASAR 로부터 최적화 기법을 통해 만들어진 가장 널리 쓰이는 통계적인 3D 모델이다. 본 연구는 한국인 체형의 통계적 특성을 보다 정확히 표현하는 SMPL기반의 한국인 체형 3D 모델을 제안한다. 이를 위해 우리는 한국인 여성 2천7백여명의 신체 각 부위의 실측 데이터에 기존 3D SMPL 모델을 피팅하는 비선형 최적화 알고리즘을 개발한다. 이를 사용하여 한국인 3D 신체 데이터베이스를 구축하고, 주성분 분석 방법으로 한국인 체형 기반 매개화된 3D 모델을 개발한다. 본 연구를 통해 제안하는 한국인의 체형적 특징을 가진 블렌드쉐입과 새로운 체형 파라미터는 기존 모델이 표현하는 체형에 비해 한국인 체형 데이터 특성을 잘 반영함을 확인하였다. 뿐만 아니라, 우리의 모델은 SMPL 에 비해 신체 실측 데이터에 대한 피팅 정확도를 개선함을 확인하였다. 제안된 모델은 향후 아바타 생성이나 인체 형상 측정 등 다양한 용도로 사용될 수 있다.

Abstract

The Skinned Multi-Person Linear Model (SMPL) is the most widely used parametric 3D Human Model optimized and learned from CAESAR, a 3D human scanned database created with measurements from 3,800 people living in United States in the 1990s. We point out the lack of racial diversity of body types in SMPL and propose K-SMPL that better represents Korean 3D body shapes. To this end, we develop a fitting algorithm to estimate 2,773 Korean 3D body shapes from Korean body measurement data. By conducting principle component analysis to the estimated Korean body shapes, we construct K-SMPL model that can generate various Korean body shape in 3D. K-SMPL model allows to improve the fitting accuracy over SMPL with respect to the Korean body measurement data. K-SMPL model can be widely used for avatar generation and human shape fitting for Korean.

Keywords: 기하학적 모델링; 3D 휴먼 모델; 체형; 선형 스키닝; 최적화

Keywords: Geometric Modeling; 3D human model; body shape; optimization; skinning

1. 서론

인간은 다양한 시각적 컨텐츠의 주된 요소이다. 뿐만 아니라, 현실에서의 인간이 만드는 움직임, 상호작용, 그리고 이 모든 것을 포함한 상황을 표현하기 위한 매개체로써 인간이 어떻게 표현되는지는 매우 중요하다. 인간 전신 체형, 포즈를 비롯하여 손, 머리, 그리고 얼굴 표정에 이르기까지 여러 단계에 걸친 다양한 연구가 진행되었고 그 결과로 다양한 휴먼 모델들이 고안되어 왔다[1,2,3,4,5]. 그 중, SMPL[6]은 현재 가장 널리 사용되는 휴먼 모델이다. 이는 수천명의 3D 스캔 된 사람 데이터를 학습시켜 인간의 체형과 포즈에 대한 통계적 특성을 나타낸 모델이다. SMPL은 사용한 모집단의 특성을 직관적인 모수(파라미터, parameter)로 나타내는 간편함이 장점으로, 포즈를 다루는 관절 정보와 함께 각도를 다루는 파라미터 θ와 체형의 특징을 표현한 체형 파라미터 β로 포즈와 체형을 분리하여 나타내고 있다. 이러한 SMPL은 IMU 센서를 활용한 측정[7], 적은 수의 모션 캡쳐 마커 데이터를 활용[8,9], 혹은 이미지, 비디오로부터 도출되는 2D 특징점(key points)을 활용한[10,11] 희소 측정(sparse mea-surement)에 적용하여 사용하기 용이해 더욱 널리 사용되고 있다. 모집 단의 데이터로 학습되어 만들어진 블렌드쉐입과 이를 조절하는 파라미터로 모델을 구성 하고 쉽게 조절할 수 있다는 간편성이 SMPL이 널리 사용되는데 주된 요인인 동시에 이로 인한 한계점들도 존재한다. SMPL의 상위 버전인 STAR 모델[12]은 이 중 포즈와 관련한 한계점을 해결하고자 진행된 연구로, SMPL이 사용하는 기본적인 선형 스키닝 방식인 LBS(Linear Blend Skinning)에 의해 직접적인 영향을 받는 포즈 종속적인 보정 오프셋(corrective offset)을 개선하였다. 본 연구는 이전 연구 가 다룬 적 없는 SMPL의 체형과 관련된 문제를 풀고자 한다. 이와 같은 형태의 3D 체형은 삼각 메쉬 형태로 표현된다. 삼각 메쉬는 컴퓨터 그래픽스 및 기하 모델링에서 널리 사용되는 유연한 곡면 표현을 위한 수단이다[23]. 일반적으로 스캔 장비로 물체의 표면을 샘플링하여 포인트 클라우드를 얻는 방식으로 만들어지는 형태로 위에서 설명한 대부분의 스캔 데이터들이 삼각 메쉬의 형태로 존재한다[23].

기존에 존재하는 데이터셋을 기반으로 학습되어 만들어진 휴먼 모델과, 하나의 잘 만들어진 휴먼 모델로부터 파생된 모델들은 결국 동일한 체형적 특징을 공유한다. 위와 같이 현재 널리 쓰이고 있는 휴먼 모델 혹은 새롭게 등장한 모델의 경우에도 취득이 용이한 기존의 서양인 기반의 데이터셋(예: CAESAR 전체 혹은 일부)을 사용하기 때문에 서로 비슷한 체형을 나타내고 있다. 따라서, 기존 모델은 다양한 인종의 다양한 체형을 표현하기에는 한계가 있다.

우리는 한국인의 체형 특성을 보다 정확히 반영하는 K-SMPL 을 제안한다. 한국인을 대상으로 한 대규모 3D 스캔 데이터가 존재하지 않으므로, 본 연구는 한국인의 신체 치수 측정 데이터로부터 3D 체형데이터를 만드는 것부터 시작 한다. 이를 위해 우리는 SMPL 모델을 수정한 새로운 피팅 알고리즘을 개발한다. 생성된 3D 한국인 체형 데이터을 주성분 분석해 도출한 K-SMPL은 기존의 SMPL 모델에 비해 피팅시, 한국인 데이터에 대한 향상된 피팅 정확도를 보여 준다. 본 연구는 산업 전반에서 다양한 한국인 체형 모델을 생성하고 활용할 수 있도록 K-SMPL 모델을 공개할 예정이다.

2. 관련 연구

2.1 SMPL: A Skinned Multi-Person Linear Model

SMPL은 기존 렌더링 엔진과 호환이 쉽고 간편한 구조를 갖춘 동시에 포즈 제어가 가능한 사실적인 인체 체형 및 포즈 모델이다. 미국인 남성과 여성의 3D 스캔 된 데이터를 통해 학습된 선형 모델로, 다양한 파라미터를 활용하여 만들어진 수식의 결과를 더해 현실적인 사람을 만들어내는 가산적인 형태를 보인다. 레스트 포즈 템플릿(Rest Pose Template), 체형 종속적인 블렌드 쉐입(Shape-dependent Blend Shape), 포즈 종속적인 블렌드 쉐입(Pose-dependent Blend Shape), 블렌드 웨이트(Blend Weight) 등이 있다[6]. SMPL 모델은 선형 모델로 LBS(Linear Blend Skinning) 기법을 사용한다. LBS 기법은 두개 이상의 뼈의 변환 행렬로 정점 위치를 계산하여 정해진 가중치에 비례해서 값을 섞는 방법으로, 일반적으로 특정 값과 값 사이의 위치를 보간 하여 가져올 때 쓰이는 방법이다[6].

2.2 데이터 기반의 학습 휴먼 모델

CAESAR[13]는 2,400여명의 미국인과 2,000여명의 유럽인의 3D 스캔 된 체형 데이터로 이루어진 3D 휴먼 데이터 베이스 이다. 이후, CAESAR 데이터셋의 전체 혹은 일부의 체형 데이 터로 만든 다양한 통계적 모델[6,14,15]이 제안되었다. 이처럼 이미 존재하는 데이터셋과 이로부터 만들어진 모델로부터 파생되는 다양한 후속 연구가 진행되어 왔다. SCAPE[1]는 데이터로부터 학습된 체형 및 포즈로 인간의 신체를 처음 으로 표현한 3D 모델로Dyna[2]와 같은 후속 모델이 등장 하는 기반이 되었다. 그러나 SCAPE 모델은 관절이나 뼈대에 대한 정보가 없기 때문에 자세를 취했을 때 신체의 각 부위의 길이가 보존되지 않아 비현실적인 체형이 도출되는 등의 문제가 있었다. 또한, 게임 엔진이나 그래픽 파이프라인에 대한 호환성도 낮아 활용도가 저조하다는 한계가 있었다. 이러한 문제점을 개선하여 등장한 SMPL[6]은 SCAPE와 비슷하게 3D 휴먼을 체형과 포즈로 나누어 변형시키는 방식을 사용하였다. 하지만, SMPL은 선형 스키닝 기반으로 정점을 변형시키는 보정 오프셋(corrective offset)을 활용하여 모델을 구성하여 SCAPE보다 나은 정밀한 모델이며 활용이 용이하다는 장점을 가졌다. 이후, SMPL을 기반으로 한 후속 연구들이 등장했다. STAR은 SMPL이 사용한 데이터셋을 그대로 사용하면서 동시에 SMPL의 한계를 개선하기 위해 SizeUSA로부터 체형 및 포즈 데이터를 추가하여 모델을 구성하였다. Frank, Adam, SMPL-X와 같은 모델[16,17]들은 SMPL이 CAESAR로부터 학습하여 도출해낸 체형과 포즈에 대한 주 성분들을 활용하여 모델을 구성하였다.

최근에는 딥러닝 생성모델을 활용하면서 SMPL이 사용한 데이터셋을 사용하는 동시에 이를 보강하기 위해 추가적인 스캔데이터를 사용한 모델도 등장하였다. 인공신경망을 이용한 3D 형상 구현 기술은 네트워크의 출력 형태에 따라 명시적 표현 기법과 음함수 기반의 암묵적 표현 기법으로 분류할 수 있다[20]. 명시적 표현 방법으로는 형상 표현이 직관적이고 사용이 쉬운 복셀(voxel), 포인트(point), 메쉬(mesh) 등의 기하 객체가 있다. 음함수 기반의 표현 기법은 물체의 내 외부 경계면을 표현하는 음함수 (implicit function)를 기반으로 암묵적인 표현을 사용한 것이다[20]. 우리는 이전 휴먼 모델들처럼 SMPL을 기반으로 하여 모델을 구성하되, 기존에 존재하지 않았으며 기존의 연구에서 사용 하지 않은 한국인 데이터셋을 직접 만들어 새로운 체형의 특성을 찾아내고자 한다.

3. 한국인 기반 체형 모델: K-SMPL

K-SMPL은 Korean-based Skinned Multi-Person Linear Model의 준말로 SMPL을 활용한 정점 기반의 선형 스키닝 모델이다. SMPL이 인간의 3D 스캔 데이터에 의해 학습되고 그에 따른 다양한 체형과 포즈가 만들어지기 때문에 어떤 데이터를 사 용하여 학습시키는지에 따라 체형과 포즈가 달라진다는 점을 활용하였다. 기존의 SMPL은 CAESAR 데이터셋[13]이 제공 하는 데이터 중 미국인의 체형 데이터를 기반으로 체형과 포즈를 학습시켰기 때문에 서양인이 가지고 있는 체형적인 특징을 확인할 수 있다. 따라서, 본 연구에서는 한국인의 체형 데이터셋을 기반으로 한국인의 체형적 특징을 확인할 수 있는 모델을 만들고자 한다.

학습 데이터로 사용될 3D 휴먼 데이터가 필요하기 때문에 한국인 치수 데이터(Section 3.1)를 기반으로 한국인 3D데이 터셋을 만드는 과정을 진행한다. 학습 데이터를 생성하여 본 연구에 사용하는 [22]처럼 실제 데이터를 기반으로 만들어진 데이터는 연구에 직접적으로 연관 있는 파라미터 정보를 포함하고 있기에 효과적이다. 이 장에서는 숫자로 이루어져 있는 치수 데이터를 SMPL에 맞춰 피팅 된 3D 모델을 만드는 구체적인 과정에 대해 설명한다. 이렇게 만들어진 한국인 체형 3D 데이터셋을 주성분 분석하여 도출된 결과로 한국인 체형의 특성을 추출하여 한국인 체형모델(K-SMPL)을 구성한다 (Figure 1).

Figure 1. An overview of the Korean SMPL(K-SMPL) model.

Download Original Figure

3.1 SizeKorea: 한국인 인체 치수 조사

사이즈코리아(SizeKorea)[18]는 산업통상자원부 국가기술표 준원이 구축하고 있는 한국인 인체표준정보 DB이다.

본 연구에서 구축한 한국인 3D 데이터셋은 SizeKorea의 데이터를 기반으로 만들어졌다. 사이즈코리아 사업은 1979년부터 약 5년 주기로 정기 조사를 실시해 왔으며, 현재 제8차 한국인 인체 치수 조사 (2020.11. ~ 2021.11.)까지 진행되었다. 본 연국에서는 가장 최신 데이터인 제8차 데이터를 사용한다. 해당 데이터는 한국인 20세부터 69세까지의 5,092명(남자 2,319명/여자 2,773명)의 직접측정한 137가지 항목에 대한 인체표준정보를 포함한다. 직접 측정된 137가지 항목은 마틴(Martin)식 계측자, 체성분 분석기, 각도기 등 직접측정도구를 이용하여 측정된 높이, 너비, 두께, 길이에 대한 치수와 각도에 해당하는 항목들이다. K-SMPL을 만들기 위해서는 한국인 5,092명 중 2,770명의 여성에 해당하는 데이터를 선택하여 데이터로 사용한다. 총 2,770개의 SizeKorea 데이터는 주성분 분석에 사용되는 2,216개의 학습 데이터(80%)와 주성분 검증을 위해 사용되는 554개의 테스트 데이터(20%)로 나누어 사용된다.

3.2 측정항목분류

본 연구에서는 137가지의 직접측정 항목들 중 데이터의 분산값에 유의미한 차이가 있는 39가지 항목들을 사용한다. 기본 SMPL모델의 신체 각 부위로부터 높이, 너비, 두께, 둘레 등 39가지 항목을 측정하여 해당하는 치수에 맞게 피팅 시킨다. 따라서, 선택된 39가지의 항목들은 다음과 같이 구현 방법에 따라 Height(높이), Width(너비, 길이), 그리고 Girth(둘레, 길이)의 세 가지 카테고리로 나뉜다.

(1) Height (높이) : 키, 눈높이, 목뒤높이, 어깨높이, 겨드랑높이, 허리높이, 배꼽수준허리높이, 위앞엉덩뼈가시높이, 엉덩이높이, 샅높이, 무릎높이
(2) Width (너비, 길이) : 젖가슴너비, 허리너비, 어깨너비, 엉덩이너비, 엉덩이두께, 겨드랑두께, 가슴두께, 젖가슴두께, 허리두께, 배꼽수준허리두께, 머리수직길이, 얼굴수직길이, 눈동자사이너비, 머리두께, 머리너비
(3) Girth (둘레, 길이) : 팔길이, 등길이, 위팔길이, 팔안쪽길이, 가슴둘레, 허리둘레, 겨드랑둘레, 머리둘레, 넙다리둘레, 장딴지둘레, 목둘레, 위팔둘레

(1) Height는 SMPL 모델의 두 발의 중심점을 기준으로 하여 해당 항목을 측정하기에 가장 효과적인 모델 위의 정점 (vertex)이 가진 y축 값을 계산하여 측정된다. (2) Width는 해당 항목을 측정하기에 가장 효과적인 모델 위의 두 정점 사이의 직선 거리를 구하는 공식에 의해 측정된다. 마지막으로 (3) Girth는 측지선 거리(geodesic distance)를 구하는 방법을 통해 측정된다. 각 카테고리별 구현 방법에 의해 계산된 높이, 너비, 두께, 둘레에 해당하는 치수들은 이후 Section 3.4의 피팅 알고리즘에서 GT(Ground Truth)값 으로부터의 오차를 계산하는데 필요한 추정값(estimated distance)으로 사용된다.

3.3 체형 기반 블렌드쉐입 (Shape Blendshape)

K-SMPL은 SMPL이 모델을 구성하는 방식을 차용하여 구성된다. SMPL모델은 정점(vertex) 기반의 LBS 스키닝 방식을 차용한다.

(1) Template:

(T̅)
(2) Template+ShapeBlendshape:

$T ¯ + B S (β ¯)$
(3) Template+ShapeBlendshape+PoseBlendshape:

$T ¯ + B S (β ¯) + Β P (θ ¯)$
(4) Template+ShapeBlendshape+PoseBlendshape+LBS:

$W (T P (β ⇀, θ →), J (β ⇀) θ ⇀, W)$

포즈 값이 0인 기본 포즈(일반적으로 T-포즈)를 (1)Template 이라고 하고, 이는 평균 체형을 의미한다. 템플릿에 (2)체형 종속적인(identity-dependent)쉐입 B_S ( $β ⇀$ )과 (3)포즈 종속적인 (pose-dependent)쉐입 B_P ( $θ →$ ) 을 분리하여 더하고 마지막으로 (4)스키닝을 사용한 추가 피팅으로 만들어지는 체형 변화 값까지 모두 합하여 SMPL 모델이 된다.

이 중 우리는 체형에 종속적으로 만들어지는 2)를 집중적으로 탐구한다. 다양한 사람의 체형은 데이터셋의 체형 평균값인 (1) 템플릿에 더해진 체형 종속 선형 함수 B_S( $β ⇀$ ) 의 값으로 표현 된다. 우리는 SMPL이 그러하듯 이 함수를 블렌드쉐입(blend-shape)의 합이라 이해하고, 이 때의 blendshape은 3D 메쉬를 이루는 정점들의 오프셋(offset)이다[6].

B S (β →; S) = ∑ n = 1 | β → | β n S n

하나의 blendshape S 은 메쉬를 이루는 6,890개의 정점에 대한 정보와 23개의 관절에 대한 정보가 벡터로써 표현된다. S_n ∈ R^3N 는 정규 직교의 성질을 가진 주성분을 의미한다. 이는 체형 종속적인 쉐입을 도출하기 위해 인풋으로 사용되는 3D 스캔 데이터를 주성분 분석하여 도출된 결과이다. $β ⇀ = [β 1, ⋯, β | β ⇀ |] T$ 는 체형 계수로 각 주성분에 미치는 영향력을 의미한다. 이로 인해 가중치가 부여된다. 위의 식의 S 를 블렌-드쉐입(blendshape)이라 부르고, $S = [S 1, ⋯, S | β ⇀ |]$ 는 위의 결과로 만들어지는 체형 오프셋들을 모두 더하여 만들어진다. 즉 S 와 그의 조절인자인 체형 파라미터 $β ⇀$ 가 SMPL 모델이 다양한 체형을 만들어내는 주요 구성 요소임을 알 수 있다. 따라서 우리는 이 두가지를 한국인 데이터를 통해 재구성하고 개선하여 기존의 SMPL이 표현하고 있는 체형과는 차이가 있는 한국인의 특성을 가진 블렌드쉐입을 도출하여 K-SMPL을 만들고자 한다.

3.4 최적화 기반 3D 피팅 알고리즘

본 장에서는 Section 3.1 의 데이터를 Section 3.3 을 활용하여 SMPL에 피팅시켜 K-SMPL모델을 만들기 위한 한국인 3D 데이터셋을 만드는 과정에 대하여 설명한다. 39가지 신체 측정 항목에 해당되는 총 51가지의 치수 데이터를 Ceres Solver[19]를 활용하여 최소자승법 문제로 만들어 푸는 방식을 사용하여 피팅한다. Residual은 어떤 데이터가 추정된 모델로부터 얼마나 떨어진 값인지를 나타내는 용어로, 본 연구 에서는 추정오차라고 이해한다.

residual = arg min 12 ∑ 51 (‖ D c a l c u l a t e d ‖ − D g t) 2 + Regularizer

Section 3.2의 측정 항목별 구현 방법에 따라 SMPL로부터 측정하여 추정한 값을 D_calculated) 라 표시한다. 이 추정값과 원본 데이터 D_gt)사이의 오차를 최소화시키는, 즉 SMPL 모델의 특정 신체 부위의 치수가 실제 SizeKorea 데이터 상의 어떤 한국인의 신체 치수와 같도록 만드는 것이다. 정리하자면, 총 51가지의 치수 데이터의 오차를 동시에 최소화하는 체형을 만들어내는 블렌드쉐입의 체형 파라미터( $β ⇀$ )를 계산한다.

위의 Residual 을 계산하는 식에서 나타난 D_calculated) 은

‖ (V o n e ¯ + ∑ k = 1 10 S o n e k β o n e) − (V t h e o t h e r ¯ + ∑ k = 1 10 S t h e o t h e r k β t h e o t h e r) ‖

으로 위와 같이 계산할 수 있다. 이와 같은 최적화 기법은 시간이 오래 걸리는 단점이 있다[22]. 본 연구의 경우, 하나의 체형에 대한 파라미터를 최적화하기 위해 적게는 30분 이내에서 2시간 이내까지의 시간이 필요하다.

3.5 전신의 파트별 분리 및 가중치 재구성

메쉬로 표현되는 인체 3D 형상은 분리하여 조절하기 어렵다. 메쉬를 분할하는 방법으로는 형상 검출, 텍스처 매핑, 그리고 메쉬 편집 등이 있다. 이를 활용한 다양한 기법들이 제안되어 있다[21]. 본 논문에서 사용된 최적화 기반의 피팅 알고리즘의 결과 계산되는 값은 SMPL의 체형을 다양하게 조절할 수 있는 체형 파라미터( $β ⇀$ )의 집합이다. 기존 SMPL에서는 주성분 10개 각각에 부여되는 10개의 파라미터를 사용한다. 그러나 기존의 10개의 파라미터는 전신을 전체적으로 조절하여 신체의 디테일한 부분 조정이 불가하다는 문제가 있다. 따라서, 본 연구에서는 기존 SMPL의 24개의 관절은 그대로 사용하되, 전신을 머리(Head), 상체(To-rso), 팔(Arms), 그리고 다리(Legs)의 네개의 파트로 나누어 파트별 정보를 피팅 알고리즘에 활용한다(Figure 2). 이로 인해 K-SMPL은 기존의 SMPL이 가진 단점 중 전신을 부분적으로 조정할 수 없다는 것을 개선하였다.

Figure 2: The distribution of existed 24 joints into 4 parts: Head, Torso, Arms, and Legs. SMPL(left) and K-SMPL(right), both use same joints information. But K-SMPL reconstruct the joints information into 4 parts.

Download Original Figure

V one = V one ¯ + ∑ i = 10 10 S one i [∑ p 4 W p,one β p i]

위의 식에서 확인할 수 있듯이 기존의 10개 체형 파라미터가 신체의 파트 별 조정이 가능한 4x10개의 파라 미터로 보강된다. 또한, 기존의 SMPL에서 사용하던 스키닝 웨이트 (블렌드 웨이트, W)를 재구성하여 사용한다. 웨이트 전처리과정으로는 극단치(outlier)를 제거하고 파트 별 정보로 스키닝 정보를 업데이트하는 과정을 거친다. 그 결과, 가중치가 더해진 4x10 개의 체형 파라미터가 신체를 네 부분으로 나누어 세밀하게 조정할 수 있게 되었다.

이전 SMPL이 사용하던 동일한 체형의 주성분을 사용하되 각각을 4개의 파트로 나누어 조절할 수 있는 파라미터를 만들 어 사용한 것이다.

3.6 한국인 체형 추출을 위한 주성분 분석

Section 3.5의 정보가 보강된 피팅 알고리즘 (Section 3.4)에 의해 2,216명의 한국인 신체 측정 데이터가 SMPL에 피팅되어 2,216개의 한국인 3D 메쉬 데이터를 만든다. 만들어진 학습 데이터는 주성분 분석에 사용된다. 학습 데이터가 가진 한국인 체형의 특성을 분석한 주성분 분석 과정을 통해 Table 1과 같은 분산의 비율을 가진 주성분을 도출할 수 있다.

Table 1: The explained variance ratio of 10 principle components from the 2,216 Korean women 3D body shape data. PC1 to PC10 describe the first principle to the last principle component.

PC1	PC2	PC3	PC4	PC5	PC6	PC7	PC8	PC9	PC10
0.7514	0.1388	0.0669	0.0133	0.0116	0.0064	0.0055	0.0025	0.0017	0.0014

Download Excel Table

4. 결과

본 논문은 인종이 가진 체형적 다양성을 표현하기 위한 한 방법으로 동양인, 특히 한국인의 체형적 특성을 가진 한국인 체형 모델(K-SMPL)을 만들기 위해 다음과 같은 환경에서 구현 되었다: 인텔 i7-9700F 3.00GHz CPU. 또한 논문에서 제안하는 모델의 알고리즘 및 구현은 Visual Studio 19를 사용하여 C++ 로 만들어졌다.

SizeKorea에서 제공하는 한국인 신체 치수 데이터(Section 3.1, 3.2) 중 한국인 여성 2,216명의 데이터를 Section 3.5의 정보가 보강된 SMPL모델 기반의 피팅 알고리즘 (Section 3.4)으로 맞춰 2,216개의 한국인 3D 메쉬 데이터를 만들었다(Figure 3). 만들어진 데이터셋은 포즈에 대한 정보 없이 체형에 대한 정보만을 가진 채 만들어졌다. 따라서 기본 포즈인 T-포즈를 한 서로 다른 체형의 3D 신체 데이터를 Figure 3에서 관찰할 수 있다. 3D 데이터의 시각화는 MAYA에서 구현되었다.

Figure 3: 2,216 Korean women 3D body shape data which is optimized in accordance with the 2,216 SizeKorea measurement data.

Download Original Figure

Figure 3의 SMPL에 피팅된 한국인 여성 2,216명의 3D 데이터로 주성분 분석 (Section 3.6)하여 도출된 한국인 여성의 체형 특성을 나타내는 체형 주성분 중 주된 성분 일부는 Figure 5의 왼쪽에 나타나 있다. 기존의 SMPL에서 CAESAR 데이터셋 으로부터 추출한 10개의 주성분을 사용한 것처럼, 본 연구에서도 도출된 주성분 중 Table 1의 분산 비율을 가지는 10개 분산의 축을 사용하였다. Figure 5은 K-SMPL을 이루는 10개의 체형 주성분 중 원 데이터셋 분산의 75.1%가 놓여있는 주성분 축으로부터 6.6%가 놓여 있는 세번째 주성분 축까지를 시각화한 결과(왼쪽)과 기존 SMPL에서 제공하는 10개의 체형 데이터셋 기반의 체형 주성분 중 내림차순으로 3개의 주성분을 시각화한 결과(오른쪽)을 비교하였다. 가운데 열은 아무런 가중치가 주어지지 않은 상태의 각 주성분을 나타낸다. 양 옆으로는 가중치가 음의 값부터 양의 값까지 변화됨에 따라 변화하는 체형을 관찰할 수 있다. SMPL의 첫번째 체형 주성분이 모델의 키를 나타낸다고 알려진 바처럼 K-SMPL의 첫번째 체형 주성분도 다른 주성분에 비하면 체형적인 차이보다는 키의 차이가 있음을 확인할 수 있다. 그러나, 서양인을 기반으로 한 SMPL보다 키의 차이가 적음을 확인할 수 있다. 뿐만 아니라, 기본 체형 역시 서양인과는 다르게 복부 쪽이 두드러지지 않은 결과를 보여준다. 또한, 전반적으로 서양인보다 키가 작고 왜소한 체형을 나타낸다는 것을 확인할 수 있다. 이를 통해 서양인을 기반으로 만들어진 블렌드쉐입과 한국인을 기반으로 만들어진 블렌드쉐입에 체형적 차이가 있음을 확인할 수 있다.

주성분 분석을 위해 학습 데이터셋으로 분류된 2,216개의 한국인 여성 신체 치수 데이터를 사용하였다. 테스트 데이터셋으로 분류된 554명의 한국인 여성에 대한 신체 치수 데이터를 K-SMPL과 SMPL을 각각 사용하여 피팅시켜 한국인의 신체 데이터를 3D 모델에 피팅시킨 후 발생하는 피팅 오차를 비교하였다(Figure 4). K-SMPL은 Table 1의 한국 인 데이터를 기반으로 만들어진 한국인 체형의 특성을 가진 주성분 10개를 사용한 모델이고, SMPL은 기존의 모델[6]로 미국인 데이터를 기반으로 만들어진 미국인 체형의 특성을 가진 주성분 10개를 사용한 모델이다. 이는 서로 다른 데이터셋으로 만들어진 체형에 대한 정보를 다루는 블렌드 쉐입의 피팅시 영향력을 비교하기 위한 결과로, Figure 4의 SMPL과 K-SMPL 사이의 유일한 차이는 각 모델을 구성하는 블렌드쉐입이다. Figure 4에 의하면 세 개의 항목 중 높이 (Height)에 해당되는 13개의 항목들은 K-SMPL에서 평균 적으로 0.025m의 오차가 줄어드는 것을 확인할 수 있다. 너비 및 길이(Width)에 해당하는 19개의 항목들은 K-SMPL에서 오차 상의 큰 차이를 보이지는 않았고 측지선 거리(Geodesic distance)를 사용하는 둘레 및 길이(Girth)에 해 당하는 19개 항목들의 경우 K-SMPL에서 이전 SMPL보다 더 큰 오차를 보였다.

Figure 4: Comparison of the result of average error between SMPL and K-SMPL. Three pairs show the average error within height, width, and geodesic distance features. Each sector includes 13 factors of height features, 19 factors of width features, and 19 factors of girth features, respectively.

Download Original Figure

Figure 5: The first three shape principle components from K-SMPL(left) and SMPL(right). PC1 and PC2 vary from -2 to 2 standard deviations from left to right. PC

Download Original Figure

Section 3.5에 의해 재구성된 정점 기반의 SMPL모델을 사용하 는 K-SMPL은 Figure 6에서 관찰할 수 있듯이 Head, Torso, Arms, 그리고 Legs의 네 개의 파트로 전신을 분리하여 조절할 수 있다. 10개의 블렌드쉐입에 영향을 주던 10개의 체형 파라 미터를 4개로 나누어 하나의 블렌드쉐입을 조절한다. 따라서, Table 2에서 나타낸 것처럼 각 블렌드쉐입마다 신체를 네개의 파트로 분리하여 조철하는 체형 파라미터가 추가적으로 존재 한다. 그로 인해 기존과 동일한 개수인 10개의 블렌드쉐입을 가지고도 Head, Torso, Arms, 그리고 Legs의 네개의 파트를 개별적으로 혹은 동시에 조절할 수 있다.

Figure 6: K-SMPL that can control whole body into 4 parts. (a) to (e) from left to right. (a) shows the initial body shape. (b), (c), (d), and (e) show the controllable body parts in head, torso, arms and legs.

Download Original Figure

Table 2: 4x10 Shape parameters in accordance with the 4 parts of body: Head, Torso, Arms and Legs. Each shape parameters can control each parts separately. P1 to P4 describe Head to Legs.

Blendshape	01	02	03	04	05	06	07	08	09	10
Head	β₁, P₁	β₂, P₁	β₃, P₁	β₄, P₁	β₅, P₁	β₆, P₁	β₇, P₁	β₈, P₁	β₉, P₁	β₁₀, P₁
Torso	β₁, P₂	β₂, P₂	β₃, P₂	β₄, P₂	β₅, P₂	β₆, P₂	β₇, P₂	β₈, P₂	β₉, P₂	β₁₀, P₂
Arms	β₁, P₃	β₂, P₃	β₃, P₃	β₄, P₃	β₅, P₃	β₆, P₃	β₇, P₃	β₈, P₃	β₉, P₃	β₁₀, P₃
Legs	β₁, P₄	β₂, P₄	β₃, P₄	β₄, P₄	β₅, P₄	β₆, P₄	β₇, P₄	β₈, P₄	β₉, P₄	β₁₀, P₄

Download Excel Table

Table 2에서 나타낸 4x10개의 체형 파라미터를 Section 3.5에 서 재구성한 가중치와 함께 SMPL피팅에 사용하였다. 그 결과, Figure 7의 그래프에서 관찰되는 것처럼 피팅 시 오차가 줄어 들어 피팅의 정확도가 향상되는 결과를 확인할 수 있었다. Figure 7는 Height에 포함된 항목 13개, Width에 포함된 항목 19개, 그리고 Girth에 포함된 항목 19개를 모두 피팅 시켰을 때 발생하는 각 항목마다의 평균 오차를 나타낸 그래프이다. SMPL에서 제공하는 기존 10개의 블렌드쉐입에 기존 10개의 체형 파라미터를 사용했을 때와 파트 별로 조절할 수 있는 4x10개의 체형 파라미터를 사용하였을 때 피팅 오차에 차이가 있음을 확인할 수 있다. Table 3는 Figure 7의 상자 수염 그래프의 값들을 분석한 결과이다. 기존의 체형 파라미터를 사용했을 때와 새로운 체형 파라미터를 사용했을 때의 오차의 차이가 유효하게 존재하는 것을 확인할 수 있다.

Figure 7: Comparison of average error distribution between SMPL with original 10 shape parameters and SMPL with new 4x10 shape parameters.

Download Original Figure

Table 3: Comparison of the result of box plot in accordance with . 10 shape parameters describe the original shape parameters that SMPL provided. 40 shape parameter (the new 4x10 shape parameters) describe the partially weighted parameters that Section 3.5 suggested.

	10 shape parameter			10 shape parameter
	height	width	geodesic	hight	width	geodesic
upper quartile	0.0509	0.0387	0.0243	0.0271	0.0206	0.0296
median	0.0384	0.0346	0.0218	0.0220	0.0189	0.0268
lower quartile	0.0287	0.0346	0.0190	0.0018	0.0174	0.0240
max	0.0820	0.0274	0.0320	0.0406	0.0258	0.0377
min	0.0101	0.0127	0.0118	0.0093	0.0128	0.0152

Download Excel Table

5. 결론 및 향후 연구

본 논문에서는 이전 휴먼 모델들이 표현하고 있는 체형의 다 양성에 문제를 제기하고, 이전의 서양인 기반으로 만들어진 휴먼 모델들과는 다른 한국인이 가진 체형적 특성을 표현하는 한국인 체형 모델을 만들고자 하였다. 숫자로 이루어진 치수 데이터를 3D 모델인 SMPL에 피팅 시키는 알고리즘을 개발하는 과정에서 SMPL이 기본적으로 3D 모델을 형성하는데 사용하고 있는 구성 요소들을 개선하여 이전에 존재하지 않았던 한국인 체형 모델(K-SMPL)을 만들고, 3D 모델 피팅에서의 성능을 높였다. K-SMPL 을 구성하는데 새롭게 개선하여 제안한 요소 두가지는 다음과 같다.

첫번째로는 한국인 3D 데이터셋으로 도출한 한국인의 체형적 특성을 가진 블렌드쉐입이다. 먼저, 한국인에 대한 신체 직접 측정 데이터를 3D 휴먼 모델인 SMPL에 피팅 시키는 알고리즘을 개발하여 한국인 체형 3D 데이터셋을 만들었다. 만들어진 데이터셋을 사용하여 한국인이 가진 체형적 특성을 주성분 분석 과정을 통해 도출해내 SMPL모델이 기존 모델을 구성하는 방식을 차용하여 한국인 SMPL(K-SMPL)을 만들었다. 이는 기존의 휴먼 모델들이 주로 사용하던 서양인을 기반으로 한 체형과 차이가 있는 한국인의 체형을 표현할 뿐만 아니라, 기존에 존재하지 않았던 한국인을 기반으로 한 한국인 체형을 양산해내는 모델로서 의의가 있다. 두번째로는 전신을 부분별로 나누어 조절할 수 있는 4x10개의 체형 파라미터의 도입이다. 기존의 SMPL이 스키닝에 사용하던 블렌드 웨이트 를 재구성하여 새로운 체형 파라미터와 함께 사용하였다. 이는 기존 10개의 체형 파라미터가 부분적 조절이 불가한채 신체의 전체적인 부분을 동시에 조절할 수밖에 없었던 문제를 개선한 것으로 이로 인해 더욱 세밀한 신체 부위까지의 피팅이 가능해져 정점 기반 3D 모델 피팅 시에 피팅 오차를 줄이고 정확도를 높이는데 도움을 주었다.

다만 모델을 구성하는데 체형에 대한 정보만 사용하고 포즈와 관련한 체형 정보 및 포즈 정보는 고려하지 않았다는 점이 한계로 남아있다. SMPL에서는 모델을 구성하는데 기본적 으로 체형에 관한 정보와 포즈에 대한 정보를 동시에 모두 고려한다. 그에 비해, 본 연구에서는 포즈에 의한 체형을 고려하지 않았다는 점은 후속 연구가 필요한 부분이다. 이는 후속 연구에서 피팅 정확도 및 K-SMPL의 활용도를 더욱 확장할 수 있는 가능성을 시사한다. 본 연구를 통해 만들어진 한국인 여성 2천7백여명에 대한 3D 체형 데이터는 공개될 예정이다. 또한 본 연구를 통해 도출된 한구인 체형의 주성분을 활용하여 다양한 한국인 체형 3D 데이터를 생성하는 웹 기반 어플리케이션을 만들 예정이다. 이를 통해 산업 전반에서 한국인 3D 데이터를 쉽게 사용 및 활용할 수 있을 것으로 기대된다.

감사의 글

본 연구는 과학기술정보통신부 재원 한국연구재단의 지원 (2022R1A4A5033689)과 문화체육관광부 한국콘텐츠진흥원의 지원(R2020040211)으로 수행되었음.

References

[1].

D. Anguelov, P. Srinivasan, D. Koller, S. Thrun, J. Rodgers, and J. Davis, “Scape: Shape completion and animation of people,” ACM Trans. Graph., vol. 24, no. 3, p. 408–416, jul 2005. [Online]. Available:

[2].

G. Pons-Moll, J. Romero, N. Mahmood, and M. J. Black, “Dyna: A model of dynamic human shape in motion,” ACM Trans. Graph., vol. 34, no. 4, jul 2015. [Online]. Available:

[3].

Y. Chen, Z. Liu, and Z. Zhang, “Tensor-based human body modeling,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2013.

[4].

H. Seo, F. Cordier, and N. Magnenat-Thalmann, “Synthesizing animatable body models with parameterized shape modifications,” in SCA ’03, 2003.

[5].

H. Xu, E. G. Bazavan, A. Zanfir, W. T. Freeman, R. Sukthankar, and C. Sminchisescu, “Ghum ghuml: Generative 3d human shape and articulated pose models,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.

[6].

M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “SMPL: A skinned multi-person linear model,” ACM Trans. Graphics (Proc. SIGGRAPH Asia), vol. 34, no. 6, pp. 248:1–248:16, Oct. 2015.

[7].

T. von Marcard, B. Rosenhahn, M. Black, and G. Pons-Moll, “Sparse inertial poser: Automatic 3d human pose estimation from sparse imus,” Computer Graphics Forum 36(2), Proceedings of the 38th Annual Conference of the European Association for Computer Graphics (Eurographics), 2017. [Online]. Available: /brokenurl#Video

[8].

M. Loper, N. Mahmood, and M. J. Black, “Mosh: Motion and shape capture from sparse markers,” ACM Trans. Graph., vol. 33, no. 6, nov 2014. [Online]. Available:

[9].

N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, and M. J. Black, “Amass: Archive of motion capture as surface shapes,” 2019 IEEE/CVF International Conference on CVomputer Vision(ICCV), pp. 5441-5450, 2019.

[10].

A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik, “End-to-end recovery of human shape and pose,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 7122–7131.

[11].

M. Kocabas, N. Athanasiou, and M. J. Black, “Vibe: Video inference for human body pose and shape estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.

[12].

A. A. A. Osman, T. Bolkart, and M. J. Black, “STAR: A sparse trained articulated human body regressor,” pp. 598– 613.

[13].

K. Robinette, S. Blackwell, H. Daanen, M. Boehmer, and S. Fleming, “Civilian American and European surface anthro-pometry resource(Caesar),” USA, p. 74, June 2002.

[14].

B. Allen, B. Curless, and Z. Popovi c, “The space of human body shapes: Reconstruction and parameterization from range scans,” ACM Trans.Graph., vol. 22, no. 3, p. 587-594, 2003.

[15].

H. Seo, F. Cordier, and N. Thalmann, “Synthesizing animatable body models with parameterized shape modifications,” 07 2003.

[16].

H. Joo, T. Simon, and Y. Sheikh, “Total capture: A 3d deformation model for tracking faces, hands, and bodies,” 06 2018, pp. 8320–8329.

[17].

G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. A. Osman, D. Tzionas, and M. J. Black, “Expressive body capture: 3d hands, face, and body from a single image,” in Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), June 2019, pp. 10 975–10 985. [Online]. Available: http://smpl-x.is.tue.mpg.de

[18].

“SizeKorea, ” 2020, [Online] Available : https://sizekorea.kr/human-meas-search/3d-human-shape/intro/

[19].

S.Agarwal, K.Mierle, and T.C.S. Team, “Ceres Solver, ” 3 2022. [Online]. Available : https://github.com/ceres-solver/ceres-solver

[20].

김용규, 김덕수 .(2021).3차원 형상 복원을 위한 점진적 점유 예측 네트워크.컴퓨터그래픽스학회논문지,27(3),65-74.

[21].

문지혜, 박상훈, 윤승현.(2022).3D Magic Wand: 하모닉 필드를 이용한 메쉬 분할 기법.컴퓨터그래픽스학회논문지,28(1),11-19.

[22].

주은정, 최명걸.(2020).정적 드레이프를 이용한 니트 옷감의 시뮬레이션 파라미터 추정.컴퓨터그래픽스학회논문지,26(5),15-24.

[23].

박정호, 박상훈, 윤승현.(2020).형상 차이 기반 홀 패치의 파라미트릭 블렌딩 기법.컴퓨터그래픽스학회논문지,26(3),39-48.

<저자소개>

최 별 이

jkcgs-28-4-1-g8

2014-2019 충남대학교 생물과학과 학사
2020-2022 한국과학기술원 문화기술대학원 석사
관심분야: Avatar modeling, Geometric/Neural rendering

이 성 희

jkcgs-28-4-1-g9

2008 UCLA Computer Science 박사
2009-2010 Honda Research Institute 박사후연구원
2010-2013 광주과학기술원 전기전자컴퓨터공학부 조교수
2013-현재 한국과학기술원 부교수
관심분야: 가상 휴먼 및 아바타의 모델링/시뮬레이션/애니메이션