FabMap: 생성형 AI 기반 가상 원단 제작을 위한 새로운 원단의 PBR 맵 데이터셋 개발과 검증

가상 패션이란 3D 소프트웨어를 사용하여 만든 의류의 시각적 표현을 말한다. 대형 금융사 Morgan Stanley 와, 회계 법인 Deloitte 사에서는 2030년까지 디지털 패션 시장의 순자산 가치를 500억 달러 이상으로 예상하였다.[1] 가상 패션의 원단은 컴퓨 터 그래픽스에서의 물리기반렌더링 (Physically Based Rendering, PBR) 알고리즘에 의해 PBR맵이라는 이미지 형태의 정보로 표현한다. 가상 패션 제작에서 도안에 맞는 원단 재질의 고품질 PBR 맵 제작은 필수적이며, 이는 FSD (Fabric Scan Device)활용, Adobe 3D 프로그램을 통한 수작업 제작으로 이루어져왔다. 하지 만 이러한 방식은 FSD 장비, 상응하는 전문지식이 필요한 만큼, 비용과 시간이 요구된다. 이런 어려움을 해소하기 위해, 최근에 는 머신러닝 기술을 활용하여 한 장의 가이드 이미지로부터 재질 의 PBR맵을 생성하는 방법이 연구되었다.

Figure 1: 원단의 렌더링 이미지와 PBR 맵

Download Original Figure

Figure 2: 가상의상의 제작과정과 인공신경망의 도입

Download Original Figure

이를 위해서는 인공신경망을 학습시킬 풍부한 데이터셋이 필 수적이다. 그러나 재질의 학습용 데이터셋은 소수의 공개된 데 이터셋에 의존하고 있으며, 가장 최신 연구된 Matsynth[2] 기준 고품질 원단 재질의 데이터는 4,069개 중 380개에 불과하다. 이 는 첫번째로 양적으로 부족하고, 두번째로는 다양한 색상,패턴, 직조구조를 가진 원단 재질의 특성에 맞추어 다양하게 구성되지 않았으며, 이를 고려하여 구성된 재질 데이터셋은 전무하다.

본 연구는 기존 원단 재질 데이터에 대해, 앞선 두 가지 측면에 서의 한계점에 주목하였다. 색상과 직조구조 분석을 기반으로 데 이터를 수집, 제작하여 데이터의 다양성을 확보하면서 기존의 원 단 데이터를 양적으로 보완할 수 있는 새로운 데이터셋, FabMap 을 제시한다. 첫번째, 이전의 데이터셋과 호환하여 사용할 수 있 도록 기존의 데이터셋 Matsynth Dataset[2]의 “Fabric”, ”Leather” 데이터가 포함하지 않은 새로운 데이터를 수집한다. 수집한 데이 터의 다양한 색상, 세부 값을 변형한다. 이때 가상 의상 디자인 을 할 때에는 가죽과 원단 모두 할 수 있는 활용할 수 있는 재질 이므로, 다양한 결과물의 범위를 보장하기 위해 가죽 재질도 포 함한다. 두번째, Adobe Substance 3D Designer를 사용하여 노드 를 연결하는 전통적인 방식으로 새로운 직조구조와 패턴, 색상을 가진 원단 재질 데이터를 제작한다. 이런 방식으로 수집, 제작된 451 개의 원단 머티리얼과 80개의 가죽 재질 머티리얼을 포함한 531개의 새로운 PBR 맵 데이터셋을 제시한다. 새로 구축한 데 이터셋의 검증은 Matfuse[3] 인공신경망을 사용하여 진행한다. 40,000장 규모의 다양한 재질 데이터를 학습한 Matfuse 인공신경 망 모델을, Matsynth Dataset[2]의 “Fabric”, ”Leather” 카테고리 재질 데이터로 1차 Fine-tuning하고, 이를 FabMap데이터셋으로 2차 Fine-tuning을 진행한다. 이후 테스트 데이터셋을 사용하여, Fine-tuning 된 두 인공신경망 모델로부터 생성한 PBR 맵을 렌 더링하여, 생성된 텍스쳐를 FID (Frechet Inception Distance)[4] 평가지표를 통한 정량적 평가와 디자이너의 시각적 분석을 거친 정성적 평가를 통해 검증한다.

Matsynth Dataset[2]은, 2048px 해상도를 가진 기존의 데이터셋 연구 Deschaintre Dataset[5]의 양적 한계 보완과 품질 향상을 위 해 개발된 데이터셋으로, 4096px 해상도를 가진 7종의 PBR 맵 (Diffuse, Basecolor, Roughness, Specular, Normal, Metallic, Displacement map)을 포함한 4,069개의 머티리얼 데이터로 구성되 어 있다. CC0 저작권을 가진, 5곳의 온라인 머티리얼 라이브러 리 (AmbientCG, CGBookCase, PolyHeaven, ShareTexture, TextureCan) 에서 Wood, Plastic, Terracotta, Stone, Metal, Plaster, Misc, Marbel, Ground, Concrete, Ceramic, Blends 그리고 Fabric 과 Leather카테고리로 분류될 수 있는 3736개의 고품질 머티리얼 데이터를 수집하였다. Ground, Snow와 같이 두 재질을 혼합하여 제작한 고유의 머티리얼을 포함하였으며 이 중 원단 재질 Fabric 카테고리 데이터셋은 380개, 139개가 Leather에 해당한다.

Figure 3: 원단 직조구조 기반 Matsynth ”Fabric” 데이터 분석

Download Original Figure

직조구조와 색상, 두가지 분석 결과를 바탕으로 하여, 새로운원 단의 PBR 맵 데이터셋, FabMap을 개발하였다. 앞선 재질 데이 터셋인 Deschaintre Dataset[5]과 Matsynth Dataset[2]과 호환하여 사용이 가능하다. 앞선 데이터셋은 한 장의 재질 이미지로부터 PBR 맵을 추론하기 위해, 원단 이외에 돌, 나무, 금속 등 최대한 다양한 재질을 포함하였지만, FabMap은 향후 인공신경망 기반 가상 의상 디자인을 위한 인공신경망 구축에 활용을 목표로 제 작하였다. 기존의 재질 데이터셋에서 Fabric 데이터를 분석하여, 한계점을 보완한 원단의 PBR 맵 데이터셋이다.

FabMap은 원단의 종류를 기준으로 머티리얼을 분류하여 제공한 다. 데이터셋은 원단 머티리얼 451개와 추가적으로 수집한 다양 한 색상과 패턴을 포함한 가죽 머티리얼 80개를 포함하고 있으며 총 531개의 고유한 4096px 해상도의 머티리얼을 포함한다. 각 머 티리얼은 Basecolor map, Normal map, Roughness map, Metallic map, Height map 총 5가지의 PBR 맵을 가지며, Woven (176) 16 개, Knit(260) 13개, Leather 머티리얼을 포함한 Non-woven (95) 5개의 하위 카테고리를 가진다.

Woven: Plain (34), Twill (16), Jacquard (12), Dobby (6), Denim (12), Bulrap (6), Linen(1), Canvas(16), Quilted/Padded(17), Rattan/String(4), Polyester pattern(3), Plaid(8), Damask(13), Carpet(8), Nylon(14), Silk(6)

Knit: Jersey (17), Rib (5), Jacquard Knit (84), Quilted Knit (3), Waffle Knit (6), Lace(44), Mesh(7), Terry(6), Wool(3), Corduroy(43), Fur(31), Camo pattern(7), Honeycomb knit(4)

Non-Woven: Vinyl (1), Trap (2), Other(7), Sequin(5), Leather (80) 선행 데이터셋의 Fabric 머티리얼 데이터 380개를 기준으로, 원 단 머티리얼 데이터 갯수는 총 71개 증가하였으며 Nylon, Silk, Honey comb Knit, Vinyl, Trap, Sequin 6개의 카테고리가 새로 추 가되어, 총 34개 하위 카테고리를 가진다.

FabMap은 수집과 제작 두 가지 방식으로 개발되었다. 기존의 연구에서 활용하지 않은, 공공 데이터와 기증 저작물에 해당하는 CC0 저작권이 명시된 3곳의 온라인 머티리얼 3DTextures (Joa˜o Paulo)[6] , Textuefun[7], Pbrmaterials[8] 라이브러리에서 원단 및 가죽 머티리얼 데이터를 수집하였다.

데이터 처리 과정: 첫번째, 해상도 검토 및 선별,수집된 머티리 얼의 해상도를 확인하고, 4096px의 고해상도가 아닌 머티리얼을 폐기하였다. 3DTextures 머티리얼들은 기본적으로 1024px CC0 머티리얼이었으나, 온라인 라이브러리에는 공개되어 있지 않은, 동일한 머티리얼의 4096px 해상도 버전을 추가로 구매하여 연구 에 활용하였다. 연구결과로 제작된 FabMap 데이터셋을 공개 시, 3DTextures 에서 수집한 머티리얼은 1024px로 제공되며, 학습에 활용된 체크포인트와 4096px 해상도 데이터에 대한 원본 링크를 대신 제공할 예정이다. 두번째, PBR Map 확인 및 정제: 원단 데이 터에서는 대부분 금속성이 없기 때문에 Metallic map을 생략하고 있는 머티리얼 데이터가 있다. 이러한 경우를 제외한, 머티리얼 5 종의 PBR map Basecolor, Normal, Roughness, Metallic, Height) 을 모두 포함하고 있는지 확인하였다. 3D 디지털 디자인 경력이 있는 연구자가, 시각적으로 품질이 저하되었거나 흐릿한 이미지 를 가지고 있는 머티리얼을 분류 후 폐기하였다. 품질이 의심되는 머티리얼은 3D 원단 오브젝트에 해당 PBR 맵을 적용시켜 렌더 링하는 과정을 통해 품질을 추가로 검사하였다. 세번째, Metallic Map 검증: 원단 머티리얼의 특성상 전혀 금속성을 가지지 않는 경우, Metallic map을 0 값을 가지는 이미지(검정색)로 제작하여 처리하였다. Metallic map의 픽셀 값이 실제로 0 또는 255만 포함 되어 있는지 확인하여, Metallic map에 0과 255가 아닌 중간 값이 포함되어 있는 경우, 해당 값을 0 또는 255 중 더 가까운 값으로 변환하여 명확한 이진 이미지가 되도록 했다.

Figure 8: FabMap의 직조구조별 구성

Download Original Figure

Figure 9: Matsynth ”Fabric”, FabMap의 직조구조별 비교

Download Original Figure

Figure 10: FabMap에 포함된 상세 원단

Download Original Figure

Figure 11: FabMap의 구성

Download Original Figure

수집된 데이터의 구성: 3DTextures[6]에서 원단 머티리얼 157개, 가죽 머티리얼25개, Textuefun[7]에서 원단 머티리얼 161개와 가 죽 35개, Pbrmaterials[8]에서 각각 7개와 21개를 수집하여,325개 의원단 머티리얼과 76개의 가죽 머티리얼을 수집하였다. 이를 제 외한 125개의 머티리얼은 원단의 특성과 디지털 디자인에 대한 이해를 바탕으로 Adobe Substance 3D Designer를 사용하여 직접 제작(57)하거나, Adobe Substance 3D Sampler를 사용하여 머티 리얼 Basecolor map의 색상, 패턴의 크기 변형 및 Roughness map 의 거칠기 조정 등 PBR map을 이루는 세부 파라미터 변형을 한 오리지널 머티리얼 데이터(68)로 구성되었다.

본 연구는 직조구조와 종류, 그리고 디지털 디자인에 대한 이해 를 바탕으로, 새로운 데이터셋을 구성할 원단 머티리얼 데이터를 직접 제작하였다는 점에서 차별성을 가진다. 현직 3D 디자이너 에게 제작방법에 대한 피드백을 통해 신뢰성있는 데이터 제작 과정을 보증하였다. Adobe 3D Substance Designer를 활용하여 Node 기반 머티리얼 그래프(Material Graph)를 구성하여 각 PBR 맵을 제작하였다. 이런방식으로 제작된 고유의 PBR 맵 머티리얼 데이터셋 57가지를 포함한다.

Figure 12: 수집된 데이터 검증과 변형

Download Original Figure

Figure 13: 머티리얼 그래프(Material Graph)

Download Original Figure

새로운 원단 PBR 맵 데이터의 다양성을 보장하기 위해, Adobe Substance 3D Sampler를 사용하여 수집된 머티리얼의 Basecolor map의 색상을 수동으로 변형하였다. 색상변형은 앞선 Matsynth Dataset[2]의 Fabric 카테고리 데이터의 색상분석 그래프를 기반 으로 하였다. 패턴을 가지고 있는 이미지의 경우, 패턴의 크기 변 형 및 패턴 회전, 색상변형을 수동으로 진행하였고, Roughness map의 거칠기를 원단재질 특성 하에 미세하게 조정한 68개의 오 리지널 머티리얼PBR 맵 데이터를 포함하였다.

Figure 14: 원단 머티리얼 그래프의 구성

Download Original Figure

Figure 15: 5가지의 환경광 맵으로 렌더링 된 재질

Download Original Figure

데이터 증강은 Matsynth Dataset[2]의 실험 과정을 참조하여 회 전과 크롭 두가지 방법을 중심으로 이루어졌다.

회전: 4096px해상도의 원본 PBR 이미지를 각각 8방향(0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°)로 0°부터 315° 사이에서 45도 간격으로 회전시켰다. 한 개의 머티리얼의 각 PBR 세트 당 8방향 의 회전된 데이터를 가지게 된다.

크롭: 8방향으로 회전된 PBR 맵 데이터 세트를, 1개의 4096px 크키로부터 4개의 2048px 크기를 가지도록 크롭하였다. 1개의 회전된 PBR맵 세트 당, 1개의 원본 크기 세트와 4장의 크롭된 크 기의 세트를 가지게 된다. 위의 과정을 거쳐, 한 개의 머티리얼 당 40개의 PBR 맵 세트를 생성하여, 총 21,200개의 PBR 맵 세트를 가진다.

렌더링은 Y방향을 위로 하여 고정된 3D Plane 오브젝트 위에 PBR 맵을 적용하고, 상단에서 Plane을 정면으로 바라보고 있는 고정된 카메라 환경에서 Mituba 렌더러로 렌더링 하였다.

인공신경망이 다양한 환경 하에 촬영된 이미지를 학습할 수 있 도록,The Laval Indoor HDR Dataset[9]의 고품질의 실내 환경광 맵 39,226장을 확보하였다. 렌더링 시 8장을 무작위로 선택하여 PBR 맵 세트 당 8번 렌더링하였으며, 인공신경망 학습시 8장의 이미지중 1가지를 무작위로 선택하여 PBR 맵과 쌍을 이루도록 하였다. 결과적으로, 80개의 가죽 재질이 일부 포함된 531개의 새로운 원단의 머티리얼에서부터, 5종의 재질 PBR 맵과 그에 대 응하는 렌더링 이미지를 가진, 21,200개의 재질 데이터 FabMap 을 개발하였다.

Matsynth Dataset[2]의 Fabric, Leather 데이터를 사용한 1차 파인튜닝: 새로 구축된 FabMap은 Matsynth Dataset[2]의 Fabric 을 기준으로 부족한 점을 분석하고, 보완하여 개발된 새로운 원단 중심의 PBR맵 데이터셋이므로, 그와의 비교가 필수적이다. 초기 모델을 MatSynth Dataset[2]의 Fabric, Leather 데이터로 1차 Fine-tuning을 수행하였다. 2차 Fine-tuning으로 진행할 FabMap데이터셋(약 21,200개의 데이터) 과 유사한 학습데이터 양 아래에서 진행하기에는, 머티리얼 390개로부터 증강과정을 통해 생성된 15,000개의 데이터셋은 상대적으로 부족한 규모 이므로, 학습 실험과정에서는 Leather 카테고리 머티리얼 139 개도 포함하여 진행하였다. 중복 데이터: 14종의 재질이 고르게 학습되었다고 언급되었으므로, Initial model 학습에 포함된 Fabric+Leather 데이터는 약 5000장으로, 이는 증강과정을 거친 전체 Fabric+Leather 데이터셋 약 20,700장의 약 20-25%에 해당한다. 비중복 데이터: Fabric+Leather 데이터의 약 75-80%에 해당한다. 기존 학습에 포함되지 않았으므로 Fine-tuning 과정에서 새롭게 학습된다. 학습과정에서 검증데이터로서 사용될 10%를 제외한 18,880개의 PBR 맵-렌더링 이미지 데이터쌍이 학습데이터로 사용되었다.

새로 구축한 FabMap을 사용한 2차 파인튜닝 1차 Fine-tuning 을 통해 Matsynth[2] Fabric+Leather 카테고리에 대한 학습을 진행한 모델을 사용하여, FabMap로 2차 Fine-tuning을 진행 하였다. FabMap 530개의 원단 머티리얼로부터 증강 과정을 통해 총 4종 PBR 맵(Basecolor, Normal, Roughness, Metallic) 과 이에 대응하는 렌더이미지 쌍 21,200개를 학습데이터로서 사용하였다. 이에 훈련과정에서 검증데이터로 활용할 약 10% 와 테스트 데이터로 활용될 10개의 머티리얼(증강 후 400개)을 제외하였다. 학습데이터 구성: FabMap: 원단 중심(일부 가죽 재 질 포함)의 18,480개 학습 데이터 Matsynth[2] Fabric+Leather 데이터: 기존 MatSynth Dataset의 Fabric+Leather 재질 중 무작위로 선별된 1,960개 데이터. 이는 앞선 1차 Fine-tuning 과정에서 학습된 데이터셋 특성의 망각(Catastrophic Forgetting) 을 예방하기 위해, 총 학습데이터의 10%를 이로 구성하였다. 결론적으로, 2차 학습에서는 20,440개의 PBR 맵-렌더링 이미지 데이터쌍이 학습에 사용되었다.

Fine-tuning은 LDM을 Fine-tuning하는 것으로 이루어졌다. 검 증손실(Validation loss)을 모니터링하여, 학습 중 가장 낮을 손실 값을 가졌던 에포크를 기록하고, 검증 실험에 사용하였다. 1차 Fine-tuning: 1.0e-06 학습률로 33에포크동안 진행되었으며, 배 치 사이즈를 4로 설정하여 150,000번의 반복학습 (Iteration)을 수 행했다. 2차 Fine-tuning: 배치 사이즈를 4로 설정하여 1.0e-05 학습률로 34에포크동안 진행되었으며, 150,000번의 반복학습을 수행했다. 두 단계의 Fine-tuning 과정에서는 기존 학습된 정보를 잃지 않으면서 새로운 데이터셋의 특성을 효과적으로 반영하는 데 초점을 맞췄다.

Figure 19: 추론 및 결과 비교 설계

Download Original Figure

테스트 데이터셋은 Matsynth[2] Fabric+Leather 와 FabMap에서 동일하게 각각 10개의 머티리얼을 선별하였다. 전자는 선별 완 료된 테스트 데이터가 이미 존재하여, 해당 10개의 머티리얼을 사용하였다. FabMap에서는 색상이나 패턴이 단순 변형된 머티 리얼을 제외하고, 학습된 데이터와 유사한 특성을 가지지 않는 테스트 머티리얼 10개를 선별하였다. 원단과 가죽재질 각각 5개 의 머티리얼을 포함하였다. 이 과정으로 선별된 총 20개의 머티 리얼을 증강과정을 거쳐 800개의 PBR 맵 세트를 제작하였으며, 800개 모두 1개의 실내 환경광 맵을 사용해 동일한 조건에서 렌 더링을 하였다.

FID(Frechet Inception Distance)[4] 두 데이터셋 간의 거리를 계 산하는 지표로, 전체 데이터셋의 통계적 특징을 비교하여, 값이 낮을수록 성능이 우수함을 나타낸다. PBR 맵은 하나의 텍스쳐의 정보 값들을 나누어 담은 불완전한 이미지 이므로, 이를 렌더링 하여 완전한 텍스쳐로 검증을 진행할 필요가 있다. 테스트 데이터 셋의 렌더링 이미지 800개와, Matsynth[2] Fabric+Leather 데이터 셋으로 1차 Fine-tuning 한 모델과, FabMap으로 2차 Fine-tuning 한 두 모델을 사용해 추론된 생성된 PBR 맵의 렌더링 이미지 800 개를 비교하였다. 이후 신뢰도 있는 검증을 위해, 테스트 데이터 셋을 Matsynth[2] Fabric+Leather 과 FabMap에서 선별한 각각의 두 테스트 데이터 그룹(각 400개)으로 나누어, 추가 검증을 진행 하였다.

추론 결과, FabMap을 추가로 학습한 모델이 생성한 원단의 텍 스쳐가 전반적으로 낮은 FID 값을 기록했다. 이는 해당 모델이 데이터의 다양성을 더 잘 재현했음을 의미한다.

디자인 경력이 있는 연구자가 입력 이미지와의 유사도를 시각 적으로 평가하였다. 초기모델(Initial Model), Matsynth[2] Fabric+Leather, FabMap으로 각 Fine-tuning을 진행한 세 모델을 사 용하여 PBR맵을 추론하였다.

추론 결과, 세 모델 모두 입력 이미지와 맞지 않는 색상의 Base-color map을 생성하는 경우가 존재했다. 알맞게 생성한 동일한 머티리얼의 결과를 비교하였을 때, 단색의 경우 FabMap이 Base-color map을 가장 유사한 색상으로 생성하는 것을 확인했다. 그 러나 패턴이 있는 이미지의 경우, FabMap 모델은 정확한 패턴을 나타내지 못하는 경우가 있었다. 초기 모델은 원단 재질과 일치 하지 않지만, 유사한 패턴을 가진 PBR 맵을 일부 생성했다. 이는 초기 모델이 벽돌, 나무 등 다양한 재질 데이터를 함께 학습한 결과가 일반적인 패턴 생성 정확도에 기여하였다고 생각된다. 추 후, 단일 이미지에서 PBR 맵을 추론하는 연구가 더욱 활성화되 고, 풍부하고 다양한 원단 중심의 데이터셋이 더욱 확보된다면, 신경망이 정확한 색상과 패턴을 생성하는 것에 기여할 것이다.

Figure 20: 세 모델의 각 머티리얼 별 추론 결과

Download Original Figure

Figure 21: 추론 결과 비교.가장 하단이 FabMap

Download Original Figure

Figure 22: 렌더링 이미지 간의 유사성 시각적 비교

Download Original Figure

Figure 23: FabMap을 학습한 모델을 사용한, A, B, C 분류의 예시

Download Original Figure

FabMap의 Matsynth[2] Fabric+Leather, FabMap으로 Fine-tuning을 진행한 두 모델을 사용하여 생성한 PBR 맵 결과물 100 개를 대상으로 A, B, C세 등급으로 나누어 분류 평가를 수행하였 다. 무작위하게 선택된 테스트 데이터셋 100장을 입력이미지로 사용하였으며, 입력이미지인 테스트 데이터셋으로부터 생성된 PBR 맵을 렌더링 하여, 이를 입력이미지와 비교하였다. 객관적 인 분류를 위해, 색상은 색조, 채도, 명도 3 가지 세분화하였으며, 색조, 명도, 채도, 그리고 재질의 패턴 중 2가지 요소 이상 유사할 경우에는 A, 1개 유사할 경우 B, 공통점이 전혀 없는 경우는 C 에 해당하도록 분류하였다. 먼저 C등급에 해당하는 결과물을 시 각적으로 분류한 뒤, A 또는 B등급에 해당할 수 있는 결과물을 재분류하였다.

분류 결과, FabMap을 추가로 학습한 모델의 경우, A등급과 B 등급에 해당할수 있는 결과물이 전체의 42%에 해당하였으며, 이는 Matsynth[2] Fabric+ Leather 만을 사용하여 학습하였을 때 (34%) 보다 8% 정도더 증가하였다. C에 해당하는 결과물도 8% 정도 줄어든 것을 시각적으로 확인할 수 있었다. 일부 결과물은 공정한 분류를 위해 GPT-4o의 이미지 분석 기능을 활용하여, 판 단의 타당성을 교차 검증을 하였다.

Figure 24: 각 모델별 결과물의 A, B, C 분류 별 비율 비교

Download Original Figure

Figure 25: FabMap으로 생성된 PBR맵을 활용한 의류 모델링

Download Original Figure

FabMap 사례를 바탕으로 하여, 더욱 풍부한 원단 중심의 학습 데이터셋이 구축된다면, 향상된 품질의 PBR 맵이 생성될 것이라 고 기대한다. 이는 원단 제작 과정에서 발생하는 어려움을 생성형 인공신경망을 통해 해소하는 데 기여할 것으로 보인다.