기하학적 변형과 딥러닝 복원을 결합한 게임 스프라이트 생성 방법

Hu [1]는 단일 레퍼런스 이미지와 포즈 시퀀스를 입력으로 캐릭 터 애니메이션 영상을 생성하는 Animate Anyone를 제안하였다. 이 방법은 캐릭터 외형의 세부 정보를 유지하기 위해 U-Net 기반 의 ReferenceNet을 도입하고, 공간 어텐션(spatial attention)으로 레퍼런스 이미지의 외형 특징을 확산(diffusion) 과정에 주입하였 다. 또한 Pose Guider로 포즈 기반 움직임을 제어하고, 시간 어텐 션(temporal attention)을 적용해 프레임 간 시간적 일관성(temporal consistency)을 향상시켰다.

Hsieh [2]는 Animate Anyone가 실사 영상 생성을 위해 학습 되어 스프라이트에 직접 적용할 경우 왜곡된 결과가 발생한다는 점을 지적하고, 스프라이트 도메인에 특화된 2단계 파인튜닝과 Pose Guider 개선을 통해 이를 보완한 Sprite Sheet Diffusion을 제안하였다. 이를 위해 스프라이트 전용 데이터셋을 구축하고, 포즈-이미지 생성과 포즈-스프라이트 생성의 2단계 파인튜닝을 수행하며 Pose Guider를 개선하여 스프라이트 도메인에 대한 적 응성을 높였다.

Heo [5]는 AnimateDiff [6]를 활용한 스프라이트 생성 방법을 제안하였다. Mixamo에서 획득한 걷기 모션 데이터를 렌더링한 뒤, OpenPose [7]를 통해 ControlNet [8] 입력을 생성하였으며, 이 를 조건으로 애니메이션용 스프라이트 시퀀스를 생성하였다. 이 후 생성 결과 중에서 품질이 우수한 프레임 및 시퀀스를 선택하여 활용하였다.

이들 방법은 공통적으로 OpenPose [7]나 DWPose [10]와 같은 스켈레톤 추출 기법을 통해 포즈 조건을 구성한다. 그러나 게임 스프라이트는 과장된 신체 비율, 비현실적인 포즈, 만화풍 외형 등 실사 인물 이미지와 크게 다른 특성으로 인해 이러한 포즈 추 출 기법이 안정적으로 동작하지 않는다는 문제가 있다 [2]. 삽화 캐릭터를 위해 설계된 포즈 추정 방법 [9]을 적용하더라도 게임 스프라이트에서는 유사한 실패 패턴이 나타난다(Figure 1).

Figure 1. Pose estimation failures on game sprite characters using the bizarrepose-estimator [9]. Their exaggerated body proportions, unrealistic poses, and stylized appearances differ significantly from real human photographs, leading to incorrect joint localization or missed keypoints.

Download Original Figure

또한 시간적 일관성(temporal consistency)을 유지하기 위해 연 속적인 스켈레톤 프레임을 입력으로 요구하지만, 게임 스프라이 트 제작 환경에서는 이를 구성하기 어렵다. 더불어 영상 생성 기 반 방법은 연속적인 고밀도 프레임을 출력하기 때문에, 4, 8, . . . 프레임의 단순 반복 사이클에 필요한 특정 포즈 프레임이 정확히 생성된다는 보장이 없다. 동영상과 달리 게임 스프라이트는 각 프 레임이 오랜 시간 화면에 표시되므로 품질 저하가 즉시 드러나, 원하는 프레임을 선별하기도 쉽지 않다.

Igarashi [4]는 사용자가 지정한 정점의 이동만으로 2차원 형상 을 직관적으로 변형할 수 있는 ARAP(As-Rigid-As-Possible) 변 형 기법을 제안하였다. 삼각형 메쉬 기반으로 형상을 표현하고, 각 삼각형의 회전과 상대적인 형태는 유지하면서 전단 왜곡이나 비정상적인 늘어남이 최소화되도록 변형을 계산하여 자연스러 운 결과를 생성하였다.

Hornung [3]는 단일 2차원 이미지와 3차원 모션 데이터를 이 용하여 사람이나 인간형 캐릭터를 애니메이션화하는 방법을 제 안하였다. 사용자가 입력 이미지에서 관절 위치를 지정하면, 이 에 대응하는 카메라와 3차원 자세를 복원하고, 계층 구조를 갖는 삼각형 메쉬 템플릿을 캐릭터에 맞게 정렬하였다. 이후 ARAP 변 형 기법을 기반으로, 원근 왜곡 효과를 반영한 ASAP(As-Similar-As-Possible) 변형을 적용하여 3차원 모션에 따른 자연스러운 2 차원 캐릭터 애니메이션을 생성하였다.

시스템은 크게 두개의 부분으로 구성된다. 먼저 ARAP기반의 스 프라이트 변형 모듈은 입력 이미지를 기하학적 변형 방법을 활 용하여 사용자가 의도한 포즈를 만들어 낸다. 다음으로 복원 네 트워크 기반 품질 보정 모듈은 변형된 이미지와 변형에 사용된 레퍼런스 이미지를 입력으로 하여 최대한 원본 이미지와 유사한 스프라이트를 생성해 낸다.

ARAP 기반 스프라이트 변형 모듈은 입력 전처리와 메쉬 생성, 스켈레톤 리깅, 포즈 편집 및 변형 단계로 구성된다. 여기서는 원 본 이미지로부터 생성된 2차원 메쉬에 구조적 제어를 가하여 복 원 네트워크에 들어갈 입력 이미지를 만들어 내는 것을 목표로 한다. 이를 위하여 관절 제어에 따라 국소 강체성을 최대한 유지 하는 변형 메쉬를 계산하고, 이를 바탕으로 타겟 포즈와 최대한 유사한 이미지를 만든다.

Figure 2은 메쉬 생성(mesh tool), 스켈레톤 리깅(skeleton tool), 포즈 편집(pose tool)으로 이어지는 편집 도구의 3단계 작업 흐 름을 보여준다. (a) mesh tool에서는 전경 마스크와 절단 경로를 반영해 변형에 적합한 삼각형 메쉬를 구성한다. (b) skeleton tool 에서는 메쉬 위에 관절과 뼈대 연결을 배치하여 변형 제어 구조를 정의한다. (c) pose tool에서는 관절을 목표 위치로 조작해 ARAP 제약을 적용하고, 그 결과로 생성된 변형 프레임을 확인한다.

Figure 2. ARAP-based sprite deformation tools and editing workflow. (a) The mesh tool constructs a deformation-suitable triangulated mesh from the foreground mask with user-guided cuts. (b) The skeleton tool places joints and bone connections on the mesh to define controllable deformation handles. (c) The pose tool edits joint targets and applies ARAP constraints to generate the deformed sprite frame.

Download Original Figure

복원 네트워크는 3.2의 ARAP 변형 모듈이 생성한 변형 이미지를 입력으로, 변형 과정에서 발생한 블러링 및 알파 경계 결손 등의 아티팩트를 제거하여 원본에 가까운 깨끗한 픽셀 아트를 복원하 는 것을 목표로 한다. 실제 ARAP 변형 쌍은 수집 비용이 높아 충분한 양을 확보하기 어려우므로, 정답 이미지에 워핑과 경계 결손을 인위적으로 적용하여 생성한 합성 쌍으로 학습한다.

3.3.2 네트워크 구조

ARAP 변형 이미지는 128 × 128 해상도로 생성되지만, 출력인 픽셀 아트는 32 × 32 해상도를 목표로 한다. 이처럼 입출력 해상 도가 다른 특성을 반영하여, 인코더보다 두 레벨 앞서 디코더를 종료하는 비대칭 UNet(AsymUNet)을 설계하였다(Figure 3).

Figure 3. Asymmetric UNet (AsymUNet) architecture

Download Original Figure

참조 이미지를 입력에 포함하는 설계는 예비 실험으로부터 도출되었다. 변형 이미지만을 4채널 입력으로 사용하면, 모델이 ARAP 변형이 발생하지 않은 영역에도 불필요한 변환을 가하는 경향이 관찰되었다. 반면, 변형 전 원본인 참조 이미지를 추가 입 력으로 제공하면 변형된 영역과 그렇지 않은 영역의 구분이 가 능해지며, 변형 영역에 복원을 집중함으로써 픽셀 아트의 선명도 와 지각 품질이 향상됨을 확인하였다. 이에 따라 변형 이미지와 참조 이미지를 채널 방향으로 이어붙인 8채널 입력을 사용하는 최종 구조를 채택하였다.

인코더. 이중 합성곱 블록(Conv 3 × 3 → InstanceNorm → LeakyReLU, ×2)과 2 × 2 최대 풀링을 4회 반복하여 공간 해상 도를 단계적으로 축소한다. 각 블록의 출력 특징 맵 e₀–e₃은 채 널 수 64, 128, 256, 512에 대해 공간 크기 128², 64², 32², 16²를 가지며, 병목 블록은 8² 해상도에서 채널 수를 1024로 확장한다.

디코더. 디코더는 두 단계의 업샘플링만 수행하여 해상도를 8² 에서 32²로 복원한다. 각 단계에서 전치 합성곱으로 공간 크기를 두 배로 늘린 후, 대응하는 인코더 특징 맵과 채널 방향으로 연 결하는 스킵 연결을 적용한다(e₃: 16², e₂: 32²). 출력 해상도보다 세밀한 e₀, e₁은 디코더에 연결하지 않는다.

잔차 경로. 변형 입력의 처음 4개 채널에 4× 평균 풀링을 적용 한 값을 1 × 1 합성곱 출력에 더한 후 [0, 1]로 클램핑하여 최종 출 력을 구한다. 이 잔차 경로는, 참조 이미지를 추가 입력으로 제공 하는 설계와 함께, 네트워크가 원본 픽셀을 불필요하게 변경하지 않고 변형 아티팩트에 국한된 보정만 수행하도록 구조 수준에서 강제한다.

학습에는 Intel Core Ultra 9 285K (3.7 GHz), NVIDIA GeForce RTX 5090(32 GB), RAM 64 GB 환경을 사용하였으며 복원 품질 평가에는 PSNR과 SSIM [14] 두 가지 지표를 사용하였다.

PSNR. PSNR은 픽셀 단위 복원 오차를 측정하는 지표로, 알파 채널 기준 전경 픽셀만을 대상으로 RGB 3채널 평균 제곱 오차 (MSE, Mean Squared Error)를 계산한다.

여기서 p_i, t_i는 [0, 1]로 정규화된 예측값과 정답 픽셀, N 은 유효 전경 픽셀 수이다. 단위는 dB이며 값이 클수록 좋다.

SSIM. SSIM은 밝기(luminance), 대비(contrast), 구조(structure) 세 요소를 동시에 측정하는 지표로, 인간 지각에 더 가까운 품질을 반영한다.

범위는 [0, 1]이며 값이 클수록 좋다. 본 실험에서는 32×32 RGB 전체 이미지에 대해 윈도우 크기 7로 계산하였다.

비교 기준선으로 (1) ARAP 변형 이미지를 4배 평균 풀링으로 단 순 다운스케일한 deformed baseline과, (2) 참조 이미지를 그대로 다운스케일한 ref copy baseline을 설정하였다. 두 기준선은 각각 포즈 변형 자체의 한계와 포즈를 무시한 경우의 하한을 나타낸다.

평가는 두 단계로 구성된다. 먼저 합성 학습 데이터의 검증 세 트 504쌍에서 네트워크의 합성 데이터 일반화 능력을 확인하고, 이어서 수동 제작한 실제 ARAP 변형 스프라이트 20쌍(세션 s01–s10, 포즈 2종)에서 실데이터 적용 가능성을 평가한다. 합성 검증 세트의 열화(warp 및 hole)는 학습시 데이터 증강을 위해 매 반복 마다 무작위로 적용되며, 평가 시에도 동일한 방식이 유지된다. 평가 수치의 재현성을 보장하기 위해 평가 시에는 난수 시드를 고정하였다.

Table 1과 Figure 4에 합성 데이터 검증 세트(504쌍)에 대한 정 량 결과를 정리하였다. 비교 대상은 회전 증강을 적용하지 않은 Restore, ±15^◦ 회전 증강을 적용한 Restore-R15, ±30^◦ 회전 증강 을 적용한 Restore-R30 세 가지 모델이다.

Figure 4. Validation PSNR (left) and SSIM (right) on the synthetic validation set (504 pairs) for Restore, Restore-R15, and Restore-R30. Dashed lines denote the deformed baseline (gray) and ref copy baseline (orange); higher values indicate better restoration quality.

Download Original Figure

세 모델 모두 PSNR과 SSIM 양 지표에서 deformed base-line(22.19 dB, SSIM 0.9354)을 크게 상회하였다. 특히 SSIM 기 준으로는 세 모델 모두 0.996 이상을 달성하여, 픽셀 오차뿐 아니 라 구조적 유사도 면에서도 deformed baseline 대비 우수한 복원 품질을 보였다.

회전 증강이 강해질수록 PSNR과 SSIM이 함께 낮아지는 것은 복원 과제의 난이도가 높아지기 때문이며, 모델 품질의 저하로 해 석해서는 안 된다. Restore(base)는 고정된 포즈 분포만을 학습하 여 44.68 dB / SSIM 0.9986에 달하는 수치를 달성하였으나, 이는 회전 변형 없이 고정된 포즈 패턴만을 학습한 결과로, 다양한 포 즈에 대한 일반화 능력을 반영하지는 않는다. 반면 Restore-R30 는 ±30^◦ 범위의 다양한 기울기에 대한 복원 능력을 확보하는 더 어려운 과제를 수행한다.

Table 2는 실제 ARAP 변형 스프라이트 20쌍(s01–s10, 포즈 2종) 에 대한 결과이다. 복원 네트워크는 실제 ARAP 변형 이미지를 학습에 사용한 적이 없을 뿐 아니라, 테스트에 사용된 레퍼런스 스프라이트 시트와 그 팔레트 변형본 모두 학습 데이터에서 제외 되었으므로, 20쌍 전체가 완전한 제로샷(zero-shot) 조건이다.

PSNR 기준으로는 세 모델 모두 deformed baseline(12.51 dB) 을 상회하여(12.59–12.64 dB), ref copy < deformed < pred 의 계층 구조가 확인되었다. SSIM 기준으로는 Restore-R15(0.5973)가 deformed(0.5950)를 소폭 상회하였으며, Restore-R30(0.5949)는 deformed와 동등한 수준을 보였다. Restore(base) 의 SSIM(0.5901)이 deformed를 소폭 하회하는 것은 회전 증강 없이 학습되어 ARAP 변형 특유의 기울기에 대한 대응 능력이 부족하기 때문으로 해석된다.

Table 3에서 세션별 평균 PSNR을 보면 10.4–14.8 dB에 이르 는 상당한 분산이 관찰된다. s04, s06, s07 세션에서는 세 모델 모두 deformed baseline을 일관되게 상회하는 반면, s01, s03처럼 deformed baseline의 PSNR이 상대적으로 높은 세션에서는 수치 상 기준선을 하회하는 경우도 있다. 그러나 정성적 결과(Figure 7) 에서는 해당 세션에서도 모델 출력이 시각적으로 더 우수한 복 원을 보이며, 이는 PSNR이 픽셀 아트의 지각적 품질을 완전히 반영하지 못할 수 있음을 시사한다.

Figure 5. ARAP real-data PSNR (left) and SSIM (right) for Restore, Restore-R15, and Restore-R30 under zero-shot evaluation (20 pairs from s01–s10, two poses each). Higher values indicate better restoration quality.

Download Original Figure

Figure 6. Trivial-solution analysis on the synthetic validation set: fraction of foreground pixels where the model output matches the reference (ref) or target image within an ℓ_∞ RGB threshold of 1/255. Lower pred≈ref indicates weaker reference-copy behavior, while higher pred≈target indicates better target reconstruction.

Download Original Figure

Figure 7. Qualitative results on ARAP real-data (s01–s07, s10; pose1, 32×32, ×6 zoom). Columns from left: ref, deformed input, Restore, Restore-R15, Restore-R30, target. All models consistently restore blur and image defects in the deformed input across sessions with varying deformation difficulty.

Download Original Figure

모델이 참조 이미지를 그대로 복사하는 자명해(trivial solution)에 빠지는지 여부를 확인하기 위해, alpha > 0인 전경 픽셀 각각에 대해 RGB 3채널의 최대 절대오차(ℓ_∞)를 다음과 같이 계산한다.

여기서 $p_c^{\left(i\right)}$, $s_c^{\left(i\right)}$, $t_c^{\left(i\right)}$는 각각 예측값, 참조 이미지, 정답 이미지 의 채널 c 픽셀값이고, N 은 유효 전경 픽셀 수이다. 임계값 ε = 1/255 (8비트 기준 1단계 오차)를 기준으로 두 비율을 산출한다.

Table 4과 Figure 6에 결과를 정리하였다.

회전 증강이 강화될수록 pred≈ref 비율이 35.7%에서 26.8% 로 낮아져 참조 이미지 복사 경향이 억제됨을 확인하였다. pred≈target이 함께 낮아지는 것은 증강으로 인해 복원 과제 자 체가 어려워진 결과로, 단순히 정답 일치율이 떨어진다고 성능이 저하된 것은 아니다. Restore(base)의 높은 PSNR은 참조 이미지 를 그대로 출력하는 경향에 상당 부분 기인하며, Restore-R30는 더 어려운 변형을 처리하면서도 자명해 경향을 억제한다는 점에 서 더 나은 일반화 능력을 보인다.

Figure 7은 실제 ARAP 변형 스프라이트 일부 세션(s01–s07, s10) 에 대한 정성적 복원 결과를 나타낸다(지면 관계상 s08, s09는 제 외하였음). 모든 이미지는 32×32 픽셀 아트를 6배 확대하여 표시 하였으며, 투명 픽셀은 체커보드 배경으로 나타내었다.

세션별로 변형 난이도가 다름에도 세 모델 모두 deformed 입력 의 블러링과 이미지 결손을 복원하는 경향을 보인다.

Figure 8은 학습 데이터 분포에서 크게 벗어난 디자이너 제작입 력에 대한 세 모델의 출력을 비교한 것이다. 해당 입력은 정답 이미지가 존재하지 않으므로 정량 평가가 불가능하며, 출력의 시 각적 품질로 모델 간 차이를 확인한다. 이는 회전 증강을 도입한 주요 동기에 해당하는 실험이다.

Figure 8. Qualitative comparison on out-of-distribution custom inputs (32×32, ×6 zoom, no ground truth). Columns from left: ref, deformed input, Restore, Restore-R15, Restore-R30. Rotation-augmented models better recover pose for tilted bodies and extended limbs that rarely appear in training data.

Download Original Figure

Restore(base)는 학습 분포와 다른 기울기나 팔다리 위치 변화 가 있을 때 참조 이미지의 픽셀을 그대로 출력하는 경향이 관찰된 다. 반면 Restore-R15와 Restore-R30는 동일한 입력에서 변형에 맞는 포즈 복원을 시도하며, 특히 기울어진 몸체나 뻗은 팔처럼 학습 시 거의 등장하지 않는 형태에서 더 나은 결과를 보인다. 예를 들어 Figure 8의 둘째줄 사례에서는 Restore(base)가 팔 형 태를 제대로 복원하지 못하는 반면, Restore-R15와 Restore-R30 는 팔의 방향과 형태를 비교적 안정적으로 복원한다. 이는 회전 증강이 포즈 다양성에 대한 모델의 강건성을 높임을 보여준다.