InDepthVOI: 결합 생성을 통한 기하적 특징을 인식하는 비디오 객체 삽입

기존 연구들은 VOI 문제를 해결하기 위해 다양한 접근법을 제안 하였다. 학습 없이 동작하는 방법들 [8, 9]은 사전 학습된 디퓨전 모델의 중간 어텐션 레이어(layer)에 객체 관련 잠재 벡터를 주 입함으로써 추가적인 학습 없이 객체 삽입을 수행한다. 한편, 비 디오 인페인팅 기반 방법 [11]은 VOI를 마스킹된 비디오(masked video) 복원 문제로 다루며, 입력 비디오에 마스크 시퀀스(mask sequence)를 적용한 뒤 생성 모델을 통해 마스킹된 영역을 복원 한다. 그러나 이러한 방법들은 삽입 객체의 움직임을 제어하기 어렵다는 한계를 가진다.

이를 해결하기 위해, 움직임 기반(motion-guided) VOI 방법 들 [10, 12]은 모션 궤적 또는 단서(cue)를 조건으로 활용하여 삽 입 과정에서 시간적 일관성과 제어 가능성을 향상시킨다. 최근 OmniInsert [14]는 유연한 형태의 객체 삽입을 위해 체계적인 학 습 단계와 마스크 없이(mask-free) 작동하는 프레임워크를 제안 하였다. 또한 InsertAnywhere [13]와 LoVoRA [17]는 정적인 객체 에 대해 명시적인 객체 마스크 시퀀스를 획득하고, 4D 장면 복원 또는 광학 흐름 추정을 활용하여 객체 삽입을 가이드한다.

그러나 기존 VOI 방법들은 대부분 RGB 도메인에 국한되어 있 으며, 깊이와 같은 구조적 표현에 대한 명시적인 모델링이 부족 하다. 반면, 본 연구에서는 기하적 단서와 RGB 외형을 공동으로 모델링함으로써 깊이를 인지하는 비디오 객체 삽입을 가능하게 한다.

조건 기반 이미지 및 비디오 생성에 대한 관심이 증가함에 따라, 결합 디퓨전 모델에 대한 연구 또한 활발히 이루어지고 있다. 이 미지 생성 분야에서는, JointNet [18]이 사전 학습된 디퓨전 모델 에 밀접하게 연결된 모달리티 브랜치를 추가하여 RGB 이미지와 깊이 맵을 공동으로 모델링하였다. UniCon [16]은 RGB 이미지 와 해당 조건 간의 결합 분포를 효과적으로 학습하기 위해 결합 교차 어텐션 방법을 제안하였다. 또한 JointDiT [19]은 두 모달 리티 간에 불균형한 시간 단계 샘플링(timestep sampling) 전략을 도입하여 다양한 조합적 생성 작업을 보다 효과적으로 수행할 수 있도록 하였다.

비디오 생성 분야에서는 MM-Diffusion [20]과 JavisDiT [21] 이 멀티모달 어텐션을 통해 비디오와 오디오 모달리티를 공동 학 습함으로써 시공간적 지식 동기화(prior synchronization)를 수행 하였다. IDOL [22]은 사람 중심 비디오와 깊이를 공동 생성하기 위한 통합된 듀얼모달리티(dual-modality) 디퓨전 트랜스포머를 제안하였으며, 자세(pose) 시퀀스를 조건으로 활용하여 사람의 움직임을 제어한다.

그러나 이러한 결합 비디오 디퓨전 생성 연구들에도 불구하고, 기존 방법들은 비디오 객체 삽입 문제를 고려하지 않는다. 특히 기존 연구들은 조건 신호를 활용한 생성 또는 여러 모달리티의 공 동 모델링에 초점을 맞추고 있으며, 구조화된 조건 내에 새로운 객체를 삽입하는 문제는 다루지 않는다. 반면 본 연구는 RGB 비 디오와 깊이 비디오에서의 객체 삽입을 공동으로 수행함으로써 이러한 한계를 해결하고자 한다.

객체 움직임의 제어 가능성을 향상시키기 위해, 본 연구에서는 깊이 궤적 맵을 추가적인 조건으로 활용한다. 기존 움직임 기반 VOI 방법들 [10, 12]은 객체의 궤적을 (x, y) 평면상의 2D 트래킹 맵(tracking map) 형태로 표현한다. 그러나 이러한 표현 방식은 z 축 방향의 움직임을 명시적으로 모델링하지 못한다는 한계를 가 진다.

이러한 한계에 착안하여, 본 연구에서는 각 (x, y) 트래킹 좌표 에 상대적 깊이 값을 함께 할당한다. 먼저 객체 영역 위의 균등 격 자(uniform grid)로부터 N 개의 점을 무작위로 샘플링한다. 그 다 음, 공개된 사전 학습 모델 [27]을 사용하여 포인트 트래킹(point tracking)을 수행하고, 추적된 점들을 비디오와 동일한 공간 차원 을 가지는 궤적 맵에 투영한다. 마지막으로 각 트래킹 포인트에 깊이 값 V_depth ∈ [−1, 1]을 할당하여 깊이를 인지하는 궤적 맵 Mtrack ∈ R^F×H×W 를 구성한다.

구체적으로, 각 트래킹 포인트의 깊이 값은 깊이 비디오로부터 추출한 객체 영역의 프레임별 평균 깊이 값으로 설정한다. M_track 은 다음과 같이 정의된다:

여기서 f 는 프레임 인덱스, $\left(x_f^i,y_f^i\right)$는 f 번째 프레임에서의 i번 째 트래킹 포인트를 의미하며, $V_f^{depth}$는 f 번째 프레임에서 객체 영역의 평균 깊이값을 나타낸다.

이러한 표현 방식은 객체의 (x, y) 평면상 위치 정보와 함께 배경 깊이 비디오 대비 상대적인 깊이 정보까지 동시에 제공한 다. 궤적 맵 M_track은 ControlNet [26]을 통해 잠재 벡터 표현 F^motion으로 인코딩되며, 이후 다음과 같이 RGB 브랜치에 주 입된다:

여기서 $F_l^{joint}$ 은 l번째 결합 교차 어텐션 레이어에서 나온 특징 벡터를 의미한다. 결과적으로 M_track은 복잡하고 계산 비용이 큰 3D 궤적 맵을 대체할 수 있는 경량화된 표현 방식으로 동작하며, 객체 움직임에 대한 사용자 제어 성능을 향상시킨다.

실제 환경에서의 동적 객체 삽입을 지원하기 위해, 본 연구에서는 RealVOI 데이터셋을 제안한다. RealVOI 데이터셋은 두 가지 주 요 목표를 바탕으로 구축되었다. 첫째, 각 비디오는 VOI 훈련에 필요한 모든 구성 요소를 포함해야 한다. 여기에는 객체가 존재하 는 비디오, 객체가 제거된 깨끗한 배경 비디오, 객체 이진(binary) 마스크, 그리고 객체 참조 이미지(예: 객체가 포함된 첫 번째 프레 임)가 포함된다. 둘째, 데이터는 실제 환경으로부터 수집되어야 하며, 배경 비디오에서 그림자나 반사와 같은 객체 관련 시각적 결함(artifact)을 충분히 제거하여 제공해야 한다. 그러나 기존 공 개된 VOI 데이터셋들은 이러한 조건을 부분적으로만 만족한다. Table 1에서 볼 수 있듯이, VPData [11]는 배경 비디오를 제공 하지 않으며, Senorita-2M [15]은 객체 관련 시각 효과를 완전히 제거하지 못한다. 또한 ROSE++ [13]는 가상 환경을 기반으로 구 축되었으며 주로 정적 객체에 초점을 맞추고 있다.

이러한 두 가지 목표를 바탕으로, 본 연구에서는 Figure 3에 묘 사된 체계적인 파이프라인을 통해 데이터셋을 구축하였다. 먼저, Pexels [28]으로부터 동적 객체를 포함하는 실제 환경 비디오를 수집하였다. 이후 PySceneDetect [29]를 사용하여 장면 전환을 검 출 및 제거하였으며, 모델 학습 설정에 맞추어 비디오의 해상도와 길이를 조정하였다. 다음으로, 고품질 데이터 확보를 위해 Qwen 기반 VLM [30]을 활용하여 시각적 결함(e.g., 심한 블러(blur) 및 과도한 오클루전)을 포함하는 비디오를 필터링하였다. 그 다음, 공개된 사전 학습 모델들 [31, 32, 33, 25, 27]을 사용하여 객체 제거 배경 비디오, 깊이 맵, 그리고 트래킹 포인트 맵을 생성하였 으며, 추가적인 사람 검증을 통해 품질이 낮은 결과를 제거하고, 마지막으로 객체 중심의 비디오 캡션(caption)을 VLM을 통해 생 성하였다. 구축된 데이터셋의 예시는 Figure 3에 묘사되어 있다.

Figure 3: The detailed pipeline of RealVOI dataset. Representative examples from RealVOI dataset are shown below.

Download Original Figure

훈련 및 추론. 본 연구의 실험에서 Wan2.1-VACE-1.3B [7]를 베 이스라인(baseline)으로 사용하였다. 모델은 AdamW 옵티마이저 (optimizer) [34]를 사용하여 학습률은 1e-4로 3 에폭(epoch) 동안 학습하였으며, 배치 사이즈는 8로 설정하였다. 결합 교차 어텐션 (joint cross-attention)의 가중치 파라미터(parameter)는 베이스라 인 모델의 셀프 어텐션(self-attention)의 가중치를 기반으로 초기 화하였으며, ControlNet은 베이스라인의 Context Block의 가중 치를 이용하여 초기화하였다. InDepthVOI에서 랭크(rank) 128의 LoRA [35]를 RGB 및 깊이 브랜치, 결합 교차 어텐션, ControlNet 에 적용하였다. 깊이 궤적 맵에서 트래킹 포인트 개수 N 은 1에서 10 사이로 설정하였다. 추가적으로, RGB 브랜치는 객체 중심의 프롬프트(prompt)가 들어가지만, 깊이 브랜치에서는 모달리티를 명시적으로 나타내기 위해 프롬프트 앞에 Depth_map.과 같은 트 리거(trigger) 단어를 추가하여 활용하였다. 추론 시 classifier-free guidance [36] 스케일 값은 5.0, 샘플링 단계(sampling step)는 50 으로 설정하였다. 생성된 비디오는 모두 480 × 832 해상도의 81 프레임으로 구성된다.

평가. 평가를 위해 RealVOI 데이터셋에서 다양한 객체 카테고리 를 포함하는 75개의 비디오를 무작위로 샘플링하였다. 본 연구 에서는 (1) 객체 일관성 평가(Subject Consistency; CLIP-I [37] and DINO-I [38]), (2) VBench [39]를 활용한 비디오 품질 평 가(Video Quality ; Background/Subject Consistency, Dynamic, and Imaging Quality), (3) 텍스트-비디오 정합성(text-video alignment; ViCLIP-T [40]) 측면에서 성능을 평가하였다.

본 연구에서는 AnyV2V [8], ReVideo [10], VACE-Inpainting (VACE-Inp) [7], RealVOI로 파인튜닝(fine-tuning)한 VACE-VOI, 그리고 Pika-Pro-2.5 [41]와 성능을 비교하였다. Figure 4와 Table 2에서 확인할 수 있듯이, InDepthVOI는 객체 일관성, 모션 퀄리티, 그리고 텍스트-비디오 정렬 측면에서 가장 균형 잡힌 성 능을 달성하였다. 기존 방법들은 삽입 객체와 배경 간의 구조적 관계를 명시적으로 모델링하지 않아 객체-장면 정합성이 저하되 는 경향이 있다. 예를 들어, VACE-VOI는 객체 외형과 배경 일관 성은 비교적 잘 유지하지만, 구조적 관계를 고려하지 않아 객체와 장면 간 상호작용에서 시각적 결함과 관통(penetration) 문제가 발 생한다. 반면 Pika-Pro는 첫 프레임 객체 외형을 충분히 반영하지 못하고 새로운 객체를 생성하는 경향이 있으며, 원본 비디오 대비 과도한 노출(overexposure)로 인해 배경 일관성이 저하된다.

Figure 4: Qualitative comparison with existing SOTA models.

Download Original Figure

반면 InDepthVOI는 깊이를 인지하는 결합 모델링을 통해 객체 와 장면 간의 구조적 정합성을 향상시키며, 깊이 궤적 맵을 추가 로 활용하여 움직임 제어 성능 또한 개선한다. 결과적으로, 객체 외형과 배경 일관성을 안정적으로 유지하면서도 보다 자연스럽 고 현실적인 객체-장면 상호작용을 달성할 수 있다.

깊이 궤적 맵. 궤적 맵 조건이 객체 움직임 편집에 미치는 영향 을 분석하기 위해 추가적인 정성적 실험을 수행하였다. Figure 5 에서 볼 수 있듯이, 첫 번째 프레임의 객체에 궤적 조건을 적용하 면 제공된 궤적 및 텍스트 묘사에 부합하는 움직임이 생성된다. 기존 궤적 기반 방법들 [12, 10]은 2D 평면상의 정밀한 포인트 레벨(point-level) 궤적 맵에 의존하는 반면, 본 연구의 방법은 단 순한 궤적만으로도 자연스럽고 일관된 객체 움직임을 생성할 수 있다. 또한 제안한 깊이 궤적 맵을 통해 객체는 공간 평면뿐 아 니라 깊이 방향에서도 일관된 움직임을 보이며, 기하학적으로 자 연스러운 움직임 컨트롤이 가능하다. 추가적으로 깊이 궤적 맵의 효과를 분석하기 위해 다양한 궤적 조건들을 비교하였다. Table 3 에서 볼 수 있듯이, 2D 좌표와 깊이 정보를 함께 활용한 깊이 궤 적 맵은 가장 높은 ViCLIP-T 성능을 달성하였다. 또한, 궤적 조 건을 사용하지 않거나 2D 좌표만 활용하는 경우에 비해 Subject Consistency와 Dynamic 지표가 향상되었다. 이는 깊이 정보가 모 션 제어에 추가적인 기하학적 정보를 제공하여 텍스트 정합성과 객체 및 움직임의 일관성을 높이는 데 효과적임을 보여준다.

Figure 5: Qualitative ablation of motion editing using the tracking condition. In the Revideo [10] result, the object follows the trajectory but exhibits unnatural motion.

Download Original Figure

결합 교차 어텐션. 결합 교차 어텐션의 효과를 분석하기 위해, 깊 이 정보를 학습 과정에 적용하는 다양한 방법을 비교하였다. 구체 적으로, (1) VACE-VOI와 (2) 배경 깊이 비디오를 ControlNet [26] 기반 조건으로 주입하는 VACE-VOI를 비교하였다. Table 4에서 볼 수 있듯이, 제안한 방법은 모든 평가 지표에서 가장 우수한 성 능을 달성하였다. 이는 RGB와 깊이 비디오를 공동 생성하는 듀 얼브랜치 구조와 결합 교차 어텐션이 VOI 작업에서 효과적임을 보여준다. 반면, ControlNet 기반 방법은 배경 깊이 정보만 활용 하고 삽입된 객체와 장면의 기하학적인 관계를 명시적으로 모델 링하지 못하기 때문에 상대적으로 낮은 성능을 보인다.

또한 깊이 정보를 활용하지 않는 경우 깊이 모호성 문제가 발생 한다. Figure 6에서 볼 수 있듯이, VACE-VOI는 움직임 과정에서 상대적인 깊이 관계가 시간적으로 불안정해지는 현상을 보인다. 예를 들어, 걷는 동작 중 다리의 앞뒤 관계가 순간적으로 뒤바뀌 는 문제가 발생한다. 반면, 본 연구의 방법은 삽입 객체의 깊이 정 보를 내부적으로 학습함으로써 이러한 깊이 모호성을 완화하며, 보다 안정적인 깊이 관계와 자연스러운 객체 움직임을 생성한다. 데이터셋 분석. RealVOI 데이터셋은 체계적인 파이프라인을 통 해 고품질 현실세계 VOI 데이터를 수집할 수 있었으나, 객체 제 거의 결과가 항상 완벽한 배경을 제공하지 않으며 트래킹 오류로 인해 예측된 궤적이 실제 움직임과 완벽하게 일치하지 않는 경우 가 있다. 그러나 제안된 데이터셋은 실제 환경에서 수집된 다양한 장면을 포함하고 있어 높은 실용성을 가지며, 사용자 입력 궤적의 정밀도나 품질에 보다 강건한 모델 학습을 가능하게 한다.

Figure 6: Qualitative ablation about the effect of depth condition. Here, the colored straight lines represent the joints of each body. In the VACE-VOI result, when an animal moves, the front and hind legs swap positions.

Download Original Figure