적응형 블러 기반 비디오의 수평적 확장 여부 판별 네트워크

Aides et al. [9]과 Avraham et al. [10]은 확장된 픽셀 세트를 채 우기 위해 completion algorithm을 사용하는 foveated view 기반 비디오 확장 방식을 제안하였다. 이 방식은 중심 시야에서 디테 일을 우선시하고 주변부로 갈수록 해상도를 점차 감소시키는 인 간 시각 시스템에 기반한다. 그러나 사용자는 비디오 콘텐츠에서 주변 환경을 탐색하는 데 흥미를 느끼므로 확장되어 새로 생성된 부분이 흐릿한 foveated view 접근 방식은 한계를 가진다.

Lee et al. [11]은 structure-from-motion(SFM) [12, 13] 을 기반 으로 복구된 3D 장면 정보를 활용하여 균일한 품질의 콘텐츠를 생성하는 새로운 방법을 제안함으로써 이 한계를 해결하려고 하 였다. 이 방식은 인접 프레임을 왜곡하고 혼합하여 고품질로 비 디오를 확장시킨다. 그러나 장면의 추정된 3D 기하학에 크게 의 존하므로 프레임 불일치로 인해 확장이 실패할 수 있다.

이 문제를 해결하기 위해 Gao et al. [14]과 Dehan et al. [8]은 딥러닝 기술에 적용하여 흐름 기반 정보를 활용한다. Dehan et al. [8]은 비디오 인페인팅 및 광학 흐름 추정을 위해 여러 딥러닝 모델을 활용하였다. 이는 다양한 상황에서 고품질 비디오 확장을 가능하게 한다(그림 3 참조). 본 연구는 영상 확장 기술 중 현재 가장 좋은 결과를 생성하는 Dehan et al. [8]의 방법을 기반으로, 주어진 비디오가 흐름 기반 비디오 확장 방법을 사용했을때 확장 이잘 되는지 판별하는 분류기를 제안한다.

Figure 3: Extrapolation result by Dehan et al. [8]. In the experiment, we cropped each side of the frame 12.5% and extrapolated it back.

Download Original Figure

컴퓨터 비전의 주요 과제인 행동 인식은 비디오에서 전체 행동 시퀀스를 분석하여 인간의 행동을 식별하는 것이다 [15]. 최근 몇 년 동안 딥러닝 방법론이 높은 일반화 능력을 가져 강력한 특징 을 학습할 수 있어 관심을 끌고 있다 [16, 17, 18, 19]. 행동은 역동 적이며 비디오에서 몇 초 동안만 지속되는 경우가 많다. 따라서 비디오의 모든 프레임을 입력으로 사용하는 것은 학습 중 불필 요한 계산 비용을 초래한다. 많은 딥러닝 접근 방식은 프레임을 서브샘플링하여 이 부담을 완화하였지만, 행동 인식에 중요한핵 심 프레임을 놓칠 가능성이 있다 [20]. 이를 극복하기 위해 Liu et al. [20]은 학습 중 모든 비디오 프레임을 활용하고 Hamming distance를 기반으로 한 시간 클러스터링 알고리즘을 사용하여 유사한 프레임을 식별하는 전략을 채택하였다. 본 연구에서는 이 방법론을 베이스라인으로 하여 분류기를 설계하였다.

비디오가 확장 가능한지 자동으로 판별하는 본 연구에 대한 엄 격한 평가를 수행하기 위해, densely annotated video segmentation dataset (DAVIS) 2017 [21]을 평가 데이터셋으로 선정하였다. DAVIS 데이터셋은 150개의 고화질 비디오로 구성되어 있으며, 비디오 연구에 널리 사용되는 오픈 데이터셋으로, 본 연구의 평 가에 적합하다. 학습 데이터셋은 다양한 장면과 촬영 스타일을 포함하는 6편의 영화에서 336개의 샷을 추출하여 사용하였다.

본 연구의 주요 목표는 비디오가 자연스럽게 확장될 수 있는지를 예측하는 것이다. 이를 위해, 비디오가 자연스럽게(natural) 혹은 부자연스럽게(unnatural) 확장되었는지 라벨링하여 학습 및 평가 데이터셋을 구성하였다. 데이터셋의 각 비디오는 Dehan et al. [8] 의 흐름 기반 비디오 확장 방법을 사용하여 확장하였다. 각 비디 오를 라벨링하기 위해 정량적 및 정성적 평가를 모두 수행하였다. 원본 비디오에서 양측에 대해 12.5%를 잘라내고, 이를 원래 비율 로 다시 확장하는 방식을 취하였다(그림 3 및 그림 5 참조).

엄격한 데이터셋 라벨링을 위해, 두 단계를 거쳤다. 먼저, LPIPS의 임계값을 0.1로 설정하고, 0.1 미만인 장면은 natural, 그렇지 않은 경우 unnatural로 분류하였다. 다음으로 사용자 테 스트를 실시하였다. LPIPS 점수가 균등하게 분포되도록 평가용 데이터셋을 세 가지 다른 버전으로 생성하였다. 각 버전에 대해 5명씩, 총 15명의 평가자가 참여하였다. 비디오 영상은 누구나 시청할 수 있음을 고려하여 평가자는 특정 그룹에 중점을 두지 않았다. 사용자 테스트 결과, 확장 후 unnatural로 평가된 비디오 는 다음과 같은 세 가지 특성을 나타냈다(그림 2 참조).

세 가지 경우 모두에 해당하지 않아 natural이라고 평가된 비 디오를 최종적으로 natural로 라벨링하였다. 학습 데이터셋도동 일한 방식으로 라벨링하였다. 라벨링 과정의 최종 분포는 표 1와 같다.

본 연구에서는 unnatural로 라벨링된 세 가지 사례가 어떤 상황 에서 발생하는지 분석하였다. 사례 1은 객체가 확장된 경계 방 향으로 계속해서 이동할 때 발생하고, 사례 2는 움직이는 객체가 경계에 걸칠 때 발생하며, 사례 3은 확장 경계에서 시각 정보가 불충분할 때 발생한다. 이를 바탕으로, 본 연구에서는 동적 전경 객체의 존재(특징1)와 확장되는 영역의 경계선에서 해당 객체의 출현(특징2)을 확장 품질에 영향을 미치는 두 가지 주요 특징으로 결론내렸다. 다음 방법을 사용하여 분류기가각 특징을 감지하도 록 했다.

네트워크로 하여금 전경 객체의 움직임에 주목하여 특징 1을 잘 감지하도록 하기 위해 밀집 광학 흐름을 사용했다. 특징 2 에 대해서는 foveated vision [4]에서 영감을 받아 가우시안 블러 를 프레임의 중심에 적용했다. 이 접근 방식은 비관심 영역(non-ROI)에 블러를 처리해 낮은 해상도를 적용하는 동시에 관심 영역 (ROI)에 더 많은 연산 자원을 할당하여 네트워크가 가장자리의 정보에 주목할 수 있도록 한다 [22].

각 프레임 내에서 객체의 수와 움직임의 강도가 다양하기 때문 에 가우시안 블러의 적합한 폭인 W_blur를 정의하는 것은 복잡하 다. 따라서 본 연구에서는 그림 4에서 표기한 것처럼 각 장면의 특성에 따라 블러 폭을 다르게 하는 적응형 블러 네트워크(N_ab) 를 설계했다. 이 개념은 foveated vision의 원리와 일치하며, 네트 워크가 유연하게 다양한 시나리오에 주목할 수 있도록 한다.

Figure 4: Different frame scenarios require different blur widths. (A) shows a stationary object in the center, allowing for a wider blur width due to the absence of significant periphery artifacts. On the other hand, (B) displays numerous temporal artifacts at the boundary, requiring a narrower blur width and expanded ROI. These varying scenarios reflect the concept of foveated vision [5] and have informed our design of an adaptive Gaussian blur network.

Download Original Figure

실험의 베이스라인 아키텍처는 ResNet-18 [23]을 백본으로 사용 하는 TSM [24]모델을 채택하였고, 임의 길이 비디오 처리를 위해 Liu et al. [20]의 방법을 사용하였다. 전체 네트워크는 그림 5에 나 타나 있다. 프레임은 ResNet-18로 입력되기 전 적응형 가우시안 블러 네트워크(N_ab)를 거친다. 이 네트워크는 각 프레임마다 0부 터 9까지의 인덱스를 선택하고, 이 인덱스에 해당하는 W_blur 값 을 미리 정의된 리스트에서 가져온다. 리스트에는 실험적으로 결 정된 최적 W_blur 값을 중심으로 2 픽셀씩 차이나는 10개의 W_blur 값들이 포함되어 있다. 선택된 W_blur 값에 따라 함수 G가 프레 임에 가우시안 블러를 적용하여 최종적으로 블러 처리된 프레임 (Iblur)을 얻게 된다.

Figure 5: Our work is divided into two key parts: dataset labeling and classification for extrapolatable video content. Dataset labeling initially relies on a quantitative evaluation, where an LPIPS value of 0.1 serves as the threshold. This is followed by a qualitative evaluation using a user test. We establish three cases of extrapolation failure and assign the final natural label to videos that pass all these cases. For classification, the optical flow of the cropped dataset is initially used as input. Following this, the Adaptive Blur Network(N_ab) selects the most suitable blur width(W_blur) for each frame. The W_blur list is chosen from one of the top 10 best-performing intervals from the fixed Gaussian blur results. Afterward, frames are blurred by G, and they subsequently pass through a classifier based on Liu et al., which ultimately determines whether the video will be extrapolated well.

Download Original Figure

적응형 블러 방식은 광학 흐름 입력이 비디오의 특징을 정확히 포착하지 못할 때 분류에 어려움을 겪었다. 그림 7에 나타난 것처 럼, 자전거를 타고 빠르게 화면 밖으로 이동하는 사람이나 빠르 게 날아가는 새와 같이 전경 객체가 프레임에서 갑자기 사라지는 상황에서 광학 흐름은 이를 감지하지 못했다. 프레임이 심하게 흔 들리는 경우에도 이와 유사한 문제가 발생했다. 이는 광학 흐름 기술 자체의 한계로 볼 수 있다. 이러한 문제를 해결하기 위해서 는 더 높은 해상도와 프레임 레이트의 비디오를 활용하고, 보다 정확한 광학 흐름 추출 방법을 사용하는 것이 도움될 것으로 예 상한다.

Figure 7: Limitations of our method are demonstrated in failure cases where the whole object exits the frame or the frame experiences severe shaking. In such instances, the optical flow fails to accurately detect these features, highlighting the constraints of our classifier.

Download Original Figure

광학 흐름과 다른 특징 추출 기술을 함께 사용하는 하이브리 드 접근 방식을 통해 본 분류기의 성능을 개선할 수 있을 것이다. 한 가지 방안으로, 최신 이미지 분할 모델인 Segment Anything Model(SAM) [25]을 활용하면 프레임의 가장자리에 위치한 주 요 관심 객체에 보다 집중할 수 있다. 또한, 비디오 깊이 추정 방 법 [26]을 통합하므로써 깊이가 깊은 객체의 움직임에는 낮은 가 중치를, 전경에 있는 객체의 움직임에는 높은 가중치를 부여할 수 있다. 이러한 전략을 통해 입력 데이터에 보다 상세한 객체 움 직임 정보를 포함시킴으로써 분류기의 정확도와 신뢰도를 높일 수 있을 것으로 기대된다.

Dehan et al. [8]이 제안한 방법에 기반을 둔 본 분류기는 더욱 발전된 비디오 확장 기술이 개발됨에 따라 잠재적 한계에 대한 우려를 가질 수 있다. 그러나 Gao et al. [14]과 같은 다른 흐름 기 반 비디오 확장 기법들도 Dehan et al.의 방법과 유사한 특성을 공유하고 있다(그림 8 참조). 이러한 유사성 때문에 흐름 기반 기 법들에서 natural 혹은 unnatural 로 라벨링되는 기준 또한 서로 비슷하다. 이는 본 분류 방식이 Dehan et al.의 방법뿐만 아니라 다른 흐름 기반 비디오 확장 기술에도 적용 가능함을 시사한다. 따라서 향후 더욱 발전된 흐름 기반 확장 기법이 등장하더라도, 그 기법이 Dehan et al.의 방법과 유사한 실패 사례를 보인다면 본 분류기를 보편적으로 적용 가능할 것으로 예상된다.

Figure 8: Flow based extrapolation methods Dehan et al. [8] and Gao et al. [14] share similar failure cases. The scenarios of failure cases are the same as those mentioned in Figure 2.

Download Original Figure