1. 서론
최근 사회적으로 신체적인 건강과 외모에 대한 관심이 높아지면서, 운동 인구의 확대와 함께 개인의 신체적인 모습을 아름답게 표현하고자 하는 욕구가 크게 부각되고 있다. 특히, 젊은 세대들은 자신의 바디 프로필을 촬영하여 소셜 미디어 플랫폼에 업로드하는 것을 통해 자아 표현과 자신감을 표출하는 것이 최근 트렌드이다.
바디프로필이란 Figure 1 과 같이 수개월동안 고강도의 운동과 철저한 식이요법을 통해 근육을 늘리고 지방을 없애 최상의 몸을 만든 후, 전문적인 스튜디오에서 노출이 많은 의상을 입고 촬영하는 것을 말한다.[1] 최근 2, 30대 젊은 세대에게 바디 프로필은 단순히 자신의 외모를 자랑하는 것을 넘어서, 개인의 생활 방식과 가치관을 나타내는 중요한 수단으로 인식된다. 이들은 자신의 건강과 운동, 라이프스타일을 바탕으로 형성된 신체의 변화와 발전을 자랑스럽게 기록하며, 동시에 다른 사람들과 공유하고자 한다. 이를 통해 개인의 성취를 축하하고, 운동 및 건강 관련 정보를 공유하며, 서로를 격려하고 영감을 주는 문화와 환경을 조성하고 있다.[2]
바디프로필은 스튜디오에서 촬영된 2D 이미지로 신체의 모습을 기록하고 공유하는 것이 가장 일반적인 형태이나, 최근 3D 스캔 기술을 기반으로 하여 3D 형태의 바디프로필을 제작하는 사례(Figure 2) 및 스캔 데이터를 3D 프린팅하여 피규어 형태로 판매하는 사례(Figure 3) 등이 새롭게 등장하였다. 이렇게 3D 스캔을 통하여 촬영된 바디프로필은 기존 2D 이미지와 비교하여 다양한 카메라 각도에서 보다 입체적으로 촬영된 몸체 3D 스캔 데이터를 감상할 수 있다는 장점이 있다. 그러나, 이러한 3D 스캔을 통한 결과물 또한 정지된 한 순간의 포즈만을 보여줄 수 있기 때문에 보다 살아있고 생동감있는 느낌을 주기는 어렵다.
본 연구는 3D 스캔 기술과 모션 캡처 기술을 활용하여 움직이는 애니메이션 형태의 새로운 바디 프로필 제작 방식을 제안한다. 이를 통해 개인의 동적인 모습과 움직임을 더욱 생생하게 기록하고 표현할 수 있는 애니메이션된 3D 바디 프로필을 제작할 수 있다. 이러한 형태의 바디 프로필은 기존 2D 이미지 기반의 바디프로필 및 정지된 포즈의 3D 스캔 데이터와 비교하여 사용자의 더 높은 관심과 참여를 유도할 수 있다. 또한, 단순히 심미적 목적의 일회성 촬영뿐만 아니라 근육량 및 체형의 변화를 정확한 3D 스캔데이터를 통하여 확인함으로써, 운동 효과의 확인 및 체형 관리 등 지속적이고 실제적인 건강관리 목적으로도 활용 가능성이 높다.
2. 시스템 개요 및 제작
Animated 3D 바디프로필은 기존의 한 가지 포즈로 고정된 2D 이미지 촬영 방식이나 3D 스캔 방식과 달리, 살아있는 듯 움직이는 애니메이션 형태로 신체의 움직임을 보여줄 수 있다는 것이 가장 큰 차이점이다. 이를 통하여 특정 시점으로 고정된 2D 이미지나 마네킹과 같은 무생물 느낌을 주는 3D 스캔 데이터와 비교하여 보다 살아있고 생동감 넘치는 바디 프로필 콘텐츠 제작이 가능하다.
그러나, 사용자가 Animated 3D 바디프로필을 제작하기 위하여 직접 모션 캡처를 수행하거나 볼류메트릭 스캔을 수행하는 것은 너무 큰 시간과 비용이 소모된다. 모션 캡처를 수행하기 위해서는 직접 모션 캡처 슈트를 입거나 몸에 마커를 부착한 뒤 모션 데이터를 획득한 다음 이를 다시 뼈대 애니메이션 형태로 제작하는 복잡한 일련의 공정을 거쳐야 하는데, 서로 다른 사용자마다 매번 이러한 공정을 반복적으로 수행하는 것은 시간과 비용이 많이 소요된다. 볼류메트릭 스캔의 경우 별도의 모션캡처 장비 없이 움직이는 사용자의 신체를 있는 그대로 스캔하여 보여줄 수 있다는 장점이 있으나, 고품질의 결과물을 위해서는 다수의 고화질 카메라가 필요하고 이 데이터를 획득, 저장, 정합, 후가공하는데 큰 비용이 소모되므로 개인적 용도로 손쉽게 활용할 수 있는 시스템에는 부적합하다.
이를 극복하기 위하여, 본 연구에서는 사용자가 직접 모션 캡처나 볼류메트릭 스캔을 수행하지 않고도 간단한 몇 개의 포즈를 3D 스캔하여, 이를 기반으로 움직이는 애니메이션 형태의 3D 바디프로필을 제작할 수 있는 방법을 고안하였다. 본 연구에서는 신체의 아름다움을 겨루는 보디빌딩 대회에서 참가 선수들이 근육의 발달을 드러낼 수 있는 일련의 규정된 포징(posing) 을 수행하는 데 착안하여, 포즈와 포즈의 연결동작은 미리 준비된 모션 캡처 데이터를 활용하고, 각 포즈는 사용자의 3D 스캔 데이터에서 획득된 고유한 사용자의 신체를 보여주는 방식을 개발하였다. 이를 통하여 사용자는 몇 개의 포즈에 대하여 3D스캔을 수행하는 것으로 자신의 신체 특성을 드러낼 수 있는 Animated 3D 바디프로필을 제작할 수 있게 된다. Figure 4 는 본 연구의 전체 시스템 개요도를 보여주고 있다.
Animated 3D 바디프로필을 제작을 위해 사용자로부터 획득하여야 하는 필수 포즈의 개수 및 형태를 결정하기 위하여, 대한보디빌딩협회(Korean Bodybuilding and Fitness Federation) 에서 주관하는 보디빌딩 공식 대회 규정 포즈(Mandatory Poses)[3] 를 참고하였다. 본 연구에서는 총 7종의 규정 포즈에서 사이드 체스트(Side Chest), 프론트 랫 스프레드(Front Lat Spread), 프론트 더블 바이셉스(Front Double Biceps), 백 랫 스프레드(Back Lat Spread), 업도미널 앤 타이(Abdoninal and Thighs) 등 5종의 포즈를 선정하였고, 이를 기반으로 하여 변형된 5종의 포즈를 키 포즈로 정의하였다. 규정 포즈를 참고하여 활용한 각 포즈의 형태는 Figure 5와 같다. 규정 포즈를 그대로 활용하지 않고 변형된 포즈를 활용한 이유는, 규정 포즈의 경우 전문적인 보디빌더들이 대회에서 활용하는 포즈로 훈련받지 않은 초보자가 따라할 경우 제대로 된 포즈를 만들기가 어렵고 효율적으로 근육의 발달을 보여주기 어렵다고 판단되어, 바디 프로필 촬영 목적에 맞게 초보자도 보다 손쉽게 따라할 수 있는 형태로 변형하여 활용하였다. 다만 이 5개의 필수 키 포즈들은 본 연구를 위하여 정의한 하나의 활용 사례이며, 활용 목적 및 콘텐츠의 성격에 따라 다양한 포즈들을 결정하여 활용할 수 있다.
필수 키 포즈가 결정되면 해당 포즈를 연속적으로 취하는 모션 캡처 데이터를 획득한다. 본 연구에서는 Xsens MVN Link 모션캡처 슈트와 Xsens Metaglove 를 활용하여 각 몸체 주요 관절 및 손가락까지 모션을 획득하였다. 모션 캡처에 활용된 몸체 뼈대에서 관절의 갯수는 손가락 관절까지 포함하여 53개의 관절로 구성되었다. 모션 캡처를 수행할 때에는 모션 리타겟팅을 수행하기 위한 기본 포즈인 T-pose 에서 시작하여, 필수 키 포즈를 순차적으로 수행하였다. 필수 키 포즈에서는 약 5초간 포즈를 유지하였고, 키 포즈가 끝난 다음 포즈와 포즈의 연결동작은 자연스러운 동작으로 연결하였다. 전체 모션 캡처 분량은 약 45초로 구성하였다. Figure 6 은 모션 캡처를 수행하는 과정을 보여주고 있다.
3D 바디 프로필을 제작하기 위하여 사용자에 대한 3D 스캔을 수행하였다. 스캔 방식은 포토그래메트리(Photogrammetry) 방식으로 수행하였으며 120대의 카메라로 구성된 전신 스캔 부스에서 스캔을 수행하였다. 스캔은 기본 포즈에 해당하는 A-pose 및 5개의 필수 키 포즈를 수행하며, 전체 촬영 시간은 5분 미만으로 수행되었다. Figure 7 은 전신 스캔 부스 및 전신 스캔 결과물을 보여주고 있다.
스캔 수행시에 T-pose 가 아닌 A-pose 로 수행한 까닭은 스캔을 수행한 전신 스캔 부스의 캡처 볼륨으로 인하여 T-pose 를 수행하였을 때 손 부분이 제대로 스캔되지 않는 문제가 발생하여 A-pose 로 수행하였다. T-pose 를 수행하도 될 만큼 큰 면적을 가진 전신 스캔 부스의 경우 T-pose 로 스캔하여도 무방하다.
획득된 스캔 데이터는 Epic Games 의 Reality Capture 또는 Agisoft 의 Metashape 등의 3D 포토그래메트리 정합 소프트웨어를 통하여 3D 메쉬 정합 및 후보정, 텍스쳐 생성 작업을 진행하였다. 이렇게 획득된 스캔 메쉬는 리깅을 수행하기에는 너무 조밀하고, 또한 스캔된 메쉬마다 메쉬의 위상(Topology) 구조 및 폴리곤의 개수가 모두 다르므로, 이를 균일화하기 위한 메쉬 리토폴로지(Retolopogy) 를 수행한다. 이 작업을 위하여 본 연구에서는 R3DS Wrap 소프트웨어를 활용하였다. R3DS Wrap 은 사용자의 대응점 지정 및 에너지 최소화 기법을 통해 템플릿 메쉬를 변형시켜 스캔 메쉬의 표면 형태를 유지하면서 템플릿 메쉬의 위상 형태를 가지는 메쉬를 획득하는 메쉬 리토폴로지를 수행한다. 이를 통하여 1백만 폴리곤 이상의 고해상도 스캔 모델을 약 3만개의 폴리곤을 가진 메쉬로 성공적으로 리토폴로지를 수행하였고, 기본 포즈 뿐만 아니라 각각의 키 포즈에 따라 획득된 5종의 스캔 메쉬가 모두 동일한 갯수와 구조를 가진 바디 메쉬로 균일화되었다. Figure 8 은 메쉬 리토폴로지를 수행한 결과물을 보여주고 있다.
리토폴로지까지 수행된 캐릭터 메쉬에 대하여 캐릭터 리깅을 수행한다. 본 연구에서는 간편한 캐릭터 리깅을 위하여 Mixamo 의 자동화 리깅 시스템을 활용하였다. Mixamo 는 Adobe 에서 제공하는 웹 기반의 애니메이션 서비스로, 사용자들이 자신의 3D 캐릭터로 손쉽게 리깅 및 애니메이션 리타겟팅을 수행하여 결과물을 활용할 수 있는 간편하고 유용한 도구를 제공한다. 본 연구에서는 리토폴로지된 A-pose 를 Mixamo 를 통하여 자동화 리깅을 수행한 다음, 이를 활용하였다. Figure 9 는 캐릭터 리깅된 결과 및 샘플 애니메이션 적용 결과를 보여주고 있다.
다음으로 모션 캡처 된 데이터를 Mixamo 를 통하여 리깅을 수행한 캐릭터 리그에 리타겟팅 한다. 이를 통하여 스캔을 수행한 사용자가 지정된 키 포즈를 수행하는 애니메이션을 획득할 수 있다. 그러나 이렇게 획득된 애니메이션 데이터의 키 포즈는 실제로 사용자가 전신 스캔을 수행한 키 포즈와 차이가 발생한다. 그 이유는 사용자가 미리 주어진 키 포즈 가이드대로 자세를 취하고 스캔을 수행하여도 미리 준비된 템플릿 모션 캡처 데이터가 수행하는 키 포즈와는 어느 정도 차이가 발생하기 때문이다. 따라서, 애니메이션 데이터의 키 포즈에 대하여 풀바디 IK 를 활용하여 모션 에디팅을 수행함으로써 각 키 포즈가 사용자의 스캔 데이터와 최대한 가깝도록 자세를 편집한다. 이 때, 풀바디 IK 의 말단 작용점(end-effector) 은 Figure 10 의 왼쪽 그림에 표시된 바와 같이 머리, 두 손, 두 발까지 5개로 지정하였다. 이렇게 지정된 각 말단 작용점과 풀바디 IK 솔버를 통하여 애니메이션 데이터에서 각 말단의 위치를 스캔 데이터의 말단의 위치와 같도록 자세를 편집하였다. 풀바디 IK 솔버는 Autodesk Maya 의 HumanIK 솔버를 활용하였다. 자세를 편집한 결과 이미지는 Figure 10 의 오른쪽 이미지에서 확인할 수 있다.
편집된 모션이 획득되면, 각 키 포즈를 수행할 때 스캔된 사용자의 신체를 정확히 표현할 수 있도록 포즈 공간 디포머(Pose-space Deformer) [4] 를 적용한다. Mixamo 에서 자동화 리깅을 수행하여 획득한 캐릭터 리그는 몸체 뼈대와 메쉬를 선형 혼합 스키닝(Linear Blend Skinning) 방식으로 연결하였으므로, 각각의 키 포즈에서 사용자의 스캔한 신체를 정확하게 재현할 수 없다. 이 때 포즈 공간 디포머를 적용하여 해당 포즈에 사용자의 스캔 메쉬로 변형될 수 있도록 함으로써, 비교적 덜 중요한 키 포즈와 키 포즈 사이의 연결 동작에서는 기본 선형 혼합 스키닝 방식으로 메쉬를 변형시키고, 중요도가 높은 각 키포즈에서는 포즈 공간 디포머를 통하여 정확한 신체 메쉬를 보여줄 수 있도록 한다. Figure 11 은 포즈 공간 디포머를 적용하기 전, 후 결과물을 비교함으로써 포즈 공간 디포머를 적용하였을 때 사용자의 스캔된 신체를 정확하게 보여줄 수 있음을 확인할 수 있다. Figure 12 의 (a), (b) 는 서로 다른 인물에 대하여 제작된 완성된 Animated 3D 바디 프로필의 모습을 보여준다. 하단의 숫자는 해당하는 프레임의 숫자이다.
하나의 새로운 인물에 대하여 Animated 3D 바디 프로필을 제작하는데 소요되는 시간은, T-pose 및 5개의 필수 키 포즈 수행에 필요한 시간 약 5분, T-pose 스캔 데이터의 메쉬 리토폴로지 및 Mixamo 캐릭터 리깅에 소요되는 시간 약 10분, 이후 풀바디 IK 를 활용한 모션 리타겟팅 및 포즈 기반 디포머를 적용하는 연산시간 약 10분으로 도합 25∼30분 안에 새로운 바디 프로필을 제작할 수 있다.
3. 사용자 평가
Animated 3D 바디프로필 결과물에 대한 사용자 평가를 수행하기 위하여 일반인을 대상으로 한 설문을 진행하였다. 설문은 성별 및 연령대를 질문한 뒤, 3D 전신 스캔을 기반으로 하여 일반적인 턴테이블 형태의 3D 바디 프로필과, 본 논문이 제안하고 있는 Animated 형태의 3D 바디 프로필을 각각 A-type, B-type 으로 정의하고 어떤 바디 프로필 타입이 신체를 더욱 생동감있고 살아있는 형태로 보여줄 수 있는지 질문하였다. 사용자가 각 Type 을 선택하면, 해당 Type 의 3D 바디프로필에 대하여 효능감, 흥미도, 확장성 3가지의 설문에 응답하게 되고, 효능감은 “선택하신 타입의 3D Body Profile 이 운동 후 신체의 발달을 확인하는 데 적합하다고 생각하십니까?”, 흥미도는 “선택하신 타입의 3D Body profile 이 바디 프로필을 촬영한 경험이 있거나 향후 촬영하고자 하는 사용자들에게 흥미를 유발할 것이라고 생각하십니까?”, 확장성은 “선택하신 타입의 3D Body profile 이 운동 욕구를 촉진하고 신체 변화를 확인함으로써 건강을 관리하는데 유용할 것이라고 생각하십니까?” 의 질문으로 구성하였다. 바디 프로필 타입을 고르는 문항은 두 가지의 타입중 하나를 선택하게 하였고, 이후 효능감과 흥미도, 확장성에 대한 항목은 1이 “전혀 아니다”, 5가 “매우 그렇다” 를 나타내는 양극성 리커트 척도를 활용하였다.
설문에는 총 31명의 인원이 참가하였고, 참여한 성별은 남성이 12명, 여성이 18명 참여하였다. 연령대는 20대가 12명, 30대가 15명, 40대가 3명 참여하였다. 설문은 Google Forms 를 활용한 온라인 조사 방식으로 진행되었다.
Figure 13 은 사용자 평가를 수행한 결과를 나타내고 있다. 전체 31명의 설문 응답자 중에서 83.9% 에 해당하는 26명이 B type 을 선택함으로써, B type 이 보다 생동감있고 살아있는 형태의 바디 프로필이라고 응답하였다. 따라서, 본 연구에서 제작된 Animated 3D 바디 프로필 형태가 기존의 정지한 포즈의 3D 바디 프로필과 비교하여 더 생동감있고 살아있는 느낌을 주는 콘텐츠임을 확인할 수 있다. 이후 B type 을 선택한 응답자에 대하여 질문한 효능감, 흥미도, 확장성에 대한 설문에 대하여, 효능감은 평균 3.8점을 기록하여 Animated 3D 바디 프로필이 운동 후 신체의 발달을 확인하는데 적합하다고 생각하는 것을 확인할 수 있었다. 다음으로 흥미도는 평균 4.0점으로, 바디 프로필을 촬영하였거나 향후 촬영하고자 하는 사용자들에게 흥미를 유발할 수 있는 콘텐츠임을 확인하였다. 마지막으로 확장성에 대해서는 평균 3.9점으로 응답하여, Animated 3D 바디 프로필이 운동 욕구를 촉진하고 신체 변화를 확인함으로써 건강을 관리하는데 유용한 방향으로 확장된 서비스를 제공할 수 있는 가능성이 높다고 평가하는 것을 확인하였다.
4. 결론
본 연구는 기존의 2D 이미지 형태의 바디 프로필 및 3D 전신 스캔을 기반으로 하였지만 정지된 형태의 3D 바디 프로필을 대체할 수 있는 애니메이션 형태의 3D 바디 프로필을 제안하였다. 바디 프로필을 촬영하는 사용자로 하여금 최대한 간소화된 절차를 통해 움직이는 바디 프로필 영상을 획득할 수 있도록 미리 준비된 일련의 템플릿 포즈 애니메이션에 사용자로부터 획득된 3D 전신 스캔 메쉬를 적용하기 위하여 풀바디 IK 와 포즈 기반 디포머 기술을 응용하는 방식을 고안하였다.
기존의 스튜디오에서 촬영하는 바디 프로필의 경우 순간적인 촬영만을 위한 극단적인 체지방 감량으로 인하여 다양한 부작용을 야기하는 비판적인 부분도 존재한다. 영양 부족으로 인한 급성 탈모, 간 또는 신장 기능의 이상, 호르몬의 불균형 등을 호소하며 건강하고자 하는 본래 목적을 잃고 변질되어 버리는 사례가 대표적이다.[4] 3D 전신 스캔을 활용한 3D 바디 프로필은 일회성의 사진 촬영이 아닌 지속적인 건강 관리의 측면에서 우수한 가능성을 가지고 있다. 3D 전신 스캔은 단순히 심미적인 목적을 넘어 근육 및 체형의 변화를 정량적으로 측정할 수 있으며, 운동방식을 결정하고 및 식단을 교정하는데 유용한 자료로 활용할 수 있다. 현재 피트니스 센터 등에서 운동을 통한 변화를 측정하는 방식은 체성분 측정기가 대표적인데, 이 방식의 경우 체내의 근육량이나 체지방량의 변화를 측정하는 데는 효율적이나 시각적으로 보여지는 체형 및 신체 근육의 변화까지 추적하지는 못한다. 3D 전신 스캔을 활용한 바디 프로필은 이러한 면에서 기존 장비 및 서비스가 담당하지 못한 영역을 다룰 수 있다.
본 연구의 결과물은 각종 조명 및 소품들을 통하여 전문적인 연출을 통해 촬영하는 기존의 스튜디오 환경에서의 바디 프로필 촬영을 대체하기 위해서는 후속 연구 및 개발이 필요하다. 3D 가상공간 안에서는 다양한 조명이나 배경, 특수효과 등을 활용 가능하므로 콘텐츠 제작에 있어 더욱 풍성하고 다양한 연출이 가능하다.
사용자들로 하여금 손쉽게, 높은 접근성으로 Animated 3D 바디 프로필을 활용하게 하기 위하여 필요한 것은 3D 전신 스캔의 효율화이다. 현재 포토그래메트리 방식의 3D 전신 스캔 부스는 100여대 이상의 카메라를 동원한 대규모의 시스템을 필요로 하여, 공간 활용 및 비용 문제가 있다. 또한 전문적인 운용 노하우를 가진 인력이 스캔 데이터의 획득 및 후가공 작업을 거쳐야지만 이후 작업 공정에 활용할 수 있다는 것도 숙제이다. 대규모 3D 스캔 부스를 대체하기 위한 기술로는 보다 적은 숫자의 사진으로도 3D 렌더링을 수행할 수 있는 NeRF[5] 와 같은 기술이 각광받고 있다. 또한 사전 학습된 데이터를 기반으로 적은 숫자의 사진 입력으로도 3D 메쉬를 생성할 수 있는 인공지능 기반 메쉬 생성 연구들도 대규모 Photogrammetry 스캔 부스를 대체할 수 있는 좋은 방법이다. 신체의 미세한 변화까지 그대로 측정하고자 하는 사용자의 요구사항과 간편하고 접근성 좋은 3D 스캔 데이터 획득이라는 두 가지 목적을 달성하는 기술 개발이 본 연구의 실증 및 상용화를 위한 좋은 후속 연구가 될 수 있을 것이다.
