신경망 기반 디블러링을 이용한 선명한 동적 복사장 재구성

DeblurNeRF [3]에서 NeRF와 블러를 동시에 최적화하는 방향을 제안한 이후, 복사장 디블러링 방식에 대한 많은 연구가 진행되었 다. 블러를 커널의 형태로 모델링하여 최적화하는 기법들 [3, 4, 5] 은 카메라 모션 블러와 디포커스 블러를 각각 모델링하며, 두 블 러에 모두 적용한다. 한편, 블러를 노출 시간동안의 카메라 움직 임으로 모델링하는 기법들 [6, 7, 8, 9, 10] 역시 존재한다. 이러한 방식들은 블러가 있는 단안 비디오를 입력으로 받는 동적 복사 장 디블러링 방식으로 확장되었다 [16, 17, 18, 19]. Zhang et al. [16]은 Feature Extractor과 BP-Net을 이용하여 블러 커널을 근사 하고, 이를 동적 복사장과 동시에 최적화한다. BARD-GS [17]는 동적 장면에서 발생하는 모션 블러를 카메라 모션에 의한 블러 와 객체 모션에 의한 블러로 분리하여 모델링한다. Deblur4DGS [18]는 노출 시간 동안의 연속적인 장면 변화를 모델링하고, 여러 해상도를 이용하여 동적 복사장을 복원한다. MoBGS [19]는 잠 재 카메라 궤적과 노출 인식 모션을 추정하여 전역 카메라 모션 블러와 지역 객체 모션 블러를 함께 보정한다. 이러한 방식들은 동시에 많은 것들을 학습해야 하기에 많은 계산 시간을 요구하며, 특히 시간에 따라 움직이는 물체의 경우 타 프레임에서 적절한 대 응 관계를 얻기 힘들어 더욱 제한적이다.

한편, DDRF [26]는 위 논문들과 달리 이미지 디블러링 네트워 크를 사용하여 디블러링과 복사장의 최적화를 반복적으로 진행 하는 프레임워크를 제안하였다. 이러한 방식은 data-driven prior 을 추가적으로 활용함과 동시에, 최적화할 항들이 적어 보다 빠 른 시간에 동작한다. 그러나 이는 움직이는 물체가 없고 입력된 이미지들이 연속적이지 않은 상황을 가정하며, 블러가 있는 단안 비디오를 입력으로 받는 상황을 가정하지는 않는다.

이미지의 품질을 저하시키는 블러를 해결하기 위한 디블러링 연 구는 과거부터 계속 연구되어 왔다. 최근에는 대규모 데이터셋을 이용하여 딥러닝 모델을 학습하는, data-driven prior을 이용하여 디블러링하는 접근법이 주류를 이룬다 [20, 21]. 한편, 비디오 디 블러링은 이미지 디블러링 방법론에 더하여, 입력 이미지가 짧은 시간 간격, 비슷한 카메라 위치에서 학습되었다는 가정을 통해 주 변 이미지로부터 상호 보완되는 정보를 활용한다 [22, 23, 24, 25]. 기존의 정적 복사장 연구의 다중 뷰 세팅은 카메라 포즈가 비디 오에 비해 크게 변화하여 사용하기 어려웠으나, 단안 비디오를 입력으로 주로 받는 동적 복사장 세팅에서는 매우 유용하게 활용 될 수 있다.

메소드 설명에 앞서, 모델의 기반으로 사용되는 최신 비디오 디 블러링 네트워크인 BSSTNet [25] 을 먼저 소개한다. BSSTNet은 연속된 프레임 간의 특징 벡터를 상호 전파하여 이미지를 선명하 게 만드는 Blur-aware Bidirectional Feature Propagation (BBFP) 모듈과, 트랜스포머를 이용하여 이미지를 선명하게 만드는 Bluraware Spatio-temporal Sparse Transformer (BSST) 모듈로 구성된 다. BBFP 모듈은 주변 프레임들로부터 특징 벡터들을 전달받아, 정합하고 개선하는 Blur Feature Alignment (BFA) 모듈로 구성되 어 있다. BFA 모듈이 시작 프레임부터 끝 프레임까지 특징 벡터 를 전파하는 단계를 하나의 브랜치라 부르며, BBFP는 정방향/역 방향으로 교차되어 진행되는 다수의 브랜치들로 구성되어 있다. 블러 이미지 B는 인코더를 통과한 뒤 이미지 특징 벡터의 형태 가 되어 BBFP 모듈에서 개선된다. BBFP 모듈의 j번째 브랜치, 시간 t의 특징 벡터를 ${\widehat{F}}_t^j$ 라 정의하자. BFA는 ${\widehat{F}}_t^j$ 를 추정하기 위 하여 이전 단계의 시간 t 특징 벡터인 ${\widehat{F}}_t^{j-1}$, 현재 브랜치의 이전 시간 특징 벡터들 ${\widehat{F}}_{t-1}^j,{\widehat{F}}_{t-2}^j$를 이용한다. 세부 모델에는 각 특징 벡터를 다른 시간의 특징 벡터로 매핑하기 위한 추가적인 요소들 이 있으나, 편의상 특징 벡터들만으로 모듈을 단순하게 표현하면 다음과 같다.

BSST 모듈은 BBFP 단계를 거치며 정제된 특징 벡터를 트랜 스포머 [27]을 이용하여 추가로 정제하는 단계이다. 입력된 이미 지 영역을 타일로 나눈 뒤, 블러가 있는 영역을 쿼리로, 선명한 영역을 키/밸류로 삼아 어텐션을 진행하여, 블러가 있는 영역에 선명한 영역의 정보를 주입한다.

이 연구는 블러가 있는 단안 비디오를 입력으로 받아, 선명한 새 로운 시점 이미지를 합성하거나, 그러한 이미지를 생성할 수 있 는 선명한 동적 복사장을 추정하는 문제를 다룬다. Figure 1 은 파이프라인의 전반적인 구조를 보여준다. 먼저 M 장의 블러가 있는 단안 비디오 프레임들 B = {B₁, ..., B_M}를 입력으로 받 아, 비디오 디블러링을 진행하여 디블러된 비디오 프레임 $D^0=\left\{D_1^0,\dots ,D_M^0\right\}$를 추정한다 (섹션 3.3). 이후 추정된 디블러된 비 디오 프레임 D⁰를 입력으로 하여 선명한 복사장 V⁰를 학습한다 (섹션 3.4). 최적화가 완료된 V⁰로부터 D⁰와 똑같은 시점에서 이 미지들을 렌더링한다. 그 후, 복사장 가이드 기반 비디오 디블러 링 모델은 렌더링된 이미지들을 디블러링 과정에서의 추가적인 보조로 활용하여 B를 디블러링한다 (섹션 3.5). 복사장 가이드 기 반 비디오 디블러링 모델을 통해 디블러링이 완료된 이미지들을 가지고 최종 복사장인 V¹을 최적화한다 (섹션 3.4).

Figure 1: Overall pipeline structure of the proposed method.

Download Original Figure

초기 비디오 디블러링 단계는 블러가 있는 입력 비디오 B에 대 하여, 비디오 디블러링 모델을 이용하여 블러를 제거하여, 디블 러된 이미지 $D^0=\left\{D_1^0,\dots ,D_M^0\right\}$을 얻는 단계이다. 이는 이후 학 습될 복사장 V⁰을 덜 블러하게 만드는 데 도움을 준다. 우리는 비디오 디블러링 네트워크인 BSSTNet [25] 을 재학습하여 진행 하였다.

동적 복사장 최적화 단계는 각 디블러링 모델로부터 얻은 디블러 링 결과 이미지들을 이용하여 동적 복사장을 학습하는 단계이다. D⁰를 이용하여 첫 번째 복사장 V⁰를 학습하고, D¹를 이용하여 두 번째 복사장 V¹을 학습한다. 각 단계 모두 기존의 4DGS 모델 인 Mosca [13] 를 별도의 변경 없이 사용한다.

첫 번째 복사장은 초기 비디오 디블러링 과정을 통해 얻은 D⁰ 를 Mosca에 입력하여 초기 동적 복사장 V⁰를 학습한다. 이 단 계의 입력인 D⁰는 비디오 디블러링 과정을 통해 블러가 완화된 상태지만, 각 이미지 간 일관성이 부족하여 학습되는 전체 기하 구조가 흔들린다. 이 때문에 V⁰ 를 바로 최종 결과로 사용하는 대신, 다음 단계 디블러링의 참조 이미지를 생성하기 위한 중간 복사장으로 사용된다. 이를 위하여 입력 비디오와 동일한 시점의 이미지 R⁰을 렌더링한다. 이 과정에서는 별도의 카메라 포즈를 제공하지 않고, Mosca가 카메라 포즈와 동적 복사장을 함께 최적 화하도록 한다.

두 번째 단계에서도 복사장 가이드 기반 비디오 디블러링 모델 의 결과인 D¹을 이용하여 Mosca를 학습시켜 최종 동적 복사장 V¹을 얻는다. 복사장 가이드 기반 비디오 디블러링 모델은 기 존 디블러 모델의 일관성 문제를 완화하기에, 이를 유사 pseudo-sharp로 가정하고 최종 복사장 V¹을 학습한다. 이 단계에서는 이 전 단계의 Mosca가 학습한 카메라 포즈로 카메라 포즈를 초기화 한다.

비디오 디블러링 모델은 비디오의 블러를 완화하지만, 복사장 최 적화에 필요한 3D 기하 구조와 다중 시점 간의 일관성을 명시 적으로 고려하지 않는다. 복사장 가이드 기반 비디오 디블러링 모델은 3D 상에서 학습되는 이전 단계의 동적 복사장의 정보를 활용하여 이러한 문제를 완화하는 모델이다. 구체적으로 복사장 가이드 기반 비디오 디블러링 모델은 초기 동적 복사장 V⁰의 렌 더된 이미지 R⁰을 기존의 블러 이미지 B와 함께 입력으로 받아 개선된 디블러 이미지 D¹ 을 출력한다.

렌더된 이미지 R⁰는 모델 내부에서 기하적으로 일관된 pseudo-sharp 이미지의 역할을 맡는다. 선명한 이미지끼리 매칭 할 경우 각 점을 일대일로 매칭할 수 있지만, 블러는 한 점이 여러 픽셀에 도달한 결과이기에 블러가 있는 이미지끼리 매칭할 경 우 다대다 형태로 매칭되어야 한다. 복사장 가이드 기반 비디오 디블러링 모델은 R⁰를 pseudo-sharp로 이용하여, 비교적 선명한 렌더된 이미지를 기준으로 정합되도록 한다.

Figure 2 는 모델의 전체 구조를 보여준다. 이를 위해, 기존 비 디오 디블러 모델인 BSSTNet에 R⁰을 사용하는 모듈인 Render-BBFP (RBBFP)를 추가하였다.

Figure 2: Structure of RF-guided video deblurring model. The blue modules indicate the original components of BSSTNet, while the yellow modules denote the added RBBFP module and render feature flow.

Download Original Figure

RBBFP 모듈은 기존 BSSTNet의 BBFP모듈과 동일하게 여러 BFA 모듈의 브랜치로 구성되어 있다. 블러 이미지의 특징 벡터와 렌더 이미지의 특징 벡터를 구분하기 위해, RBBFP 모듈의 j번째 브랜치에서, 시간 t의 특징 벡터를 ${\widehat{f}}_t^j$ 이라 하자. RBBFP 모듈의 BFA는 ${\widehat{f}}_t^j$ 를 추정하기 위하여 이전 브랜치의 렌더링 이미지 특징 벡터인 ${\widehat{f}}_t^{j-1}$과, BBFP 모듈에서 만들어진 동일한 브랜치의 특징 벡터인 ${\widehat{F}}_t^j$, 그리고 그 이전 시간의 특징 벡터인 ${\widehat{F}}_{t-1}^j$를 이용한 다. 이를 앞의 BFA처럼 표현하면 아래와 같이 표현할 수 있다.

테스트 데이터셋 우리는 테스트 데이터셋으로 기존의 동적 복 사장 디블러링 논문들 [18, 19] 에서 공통적으로 사용되는 Stereo Blur Dataset [14]을 활용하였다. 이 데이터셋은 ZED 스테레오 카 메라로 60fps로 촬영된 데이터셋으로, 좌측 카메라는 블러 생성 을 위해, 우측 카메라는 테스트를 위한 새로운 시점으로 이용한 다. 좌측 카메라의 이미지를 블러하게 합성하기 위하여, 비디오 프레임 보간 [28] 을 이용하여 480fps로 증가시키고, 17, 33, 49장 중 랜덤하게 프레임 수를 정하여 블러를 합성한 데이터셋이다.

학습 데이터셋 우리는 학습용 데이터셋으로 테스트 데이터셋 과 동일한 형태로 구성된 DAVNET [29]의 데이터셋을 사용하 였다. 테스트에 사용되는 Stereo Blur Dataset은 학습에 사용하 는 DAVNET 데이터셋의 일부이기 때문에 공정한 비교를 위하여 테스트 데이터셋과 중복 혹은 유사한 장면들을 학습용 데이터셋 에서 모두 배제하였다. 최종적으로, 65개의 scene을 학습에 사용 하였으며, 원본 이미지 크기 (1280 x 720)과 테스트 이미지 크기 (512 x 288)으로 조정한 이미지를 둘 다 학습에 사용하였다.

학습 세부 사항 전체 파이프라인에서 첫 번째 복사장은 이후 디 블러링 모델에서 사용할 가이드를 출력하는 모델로, 최종 모델보 다는 기하학적 정합에 초점을 둔다. 이 때문에, 첫 번째 복사장은 두 번째 복사장에 비해 가볍고 빠르게 학습된다. 구체적으로, 첫 번째 복사장은 가우시안 스플래팅의 조화 진동수를 1로 설정하 여 학습되며, 별도의 카메라 포즈 입력을 받지 않고 자체적으로 카메라 위치를 추정한다. 반면, 두 번째 복사장은 조화 진동수를 3으로 하고, 이전 단계로의 복사장이 최적화한 카메라 포즈를 이 용하여 카메라 포즈를 초기화한다.

우리는 우리의 모델을 기존 방법들 [18, 19]과 비교한다. 또한, 복사장 디블러링 문제를 해결하는 가장 단순한 아이디어인 비디 오 디블러링 모델 BSSTNet과 동적 복사장 모델 Mosca를 순차 적으로 적용한 파이프라인을 Baseline으로 삼아 비교한다. 이 때, BSSTNet은 우리의 모델과 동일하게 학습된 모델을 사용한다. 이 미지 평가 메트릭으로는 PSNR과 LPIPS를 사용한다.

Table 1은 Stereo Blur Dataset [14]의 새로운 시점에서 합성된 이미지에 대한 정량적 평가를 보여준다. 학습된 디블러 모델을 사용한 Baseline도 다른 복사장 디블러링 방법들에 비교할 만한 성능이 나왔으며, 복사장 가이드 기반 비디오 디블러링 모델까지 전체 파이프라인을 진행할 경우 다른 방법보다 높은 성능을 달 성한다. Figure 3은 이러한 다른 시점 이미지를 렌더링한 결과 중 일부를 보여준다. 첫 번째 행에서는 다리가 빠르게 움직여 블러 가 크게 형성되었을 때, data-driven prior을 사용하는 Ours가 다른 모델들에 비해 더 선명하게 복원하는 것을 보여준다. 두 번째 행 의 팔 부분과, 세 번째 행의 다리 부분 주변에서 Deblur4DGS와 MoBGS가 보다 블러한 모습을 보여준다. 반면, 디블러 모델을 사 용한 경우 그러한 부분이 적게 드러난다.

Figure 3: Visual comparisons for dynamic deblurring novel view synthesis on the Stereo Blur Dataset.

Download Original Figure

복사장 가이드 기반 비디오 디블러링 모델의 성능을 분석하기 위하여 절제 실험을 진행하였다. Table 1의 Ours w/o RF-guided 항은 전체 파이프라인에서 복사장 가이드 기반 비디오 디블러링 모델을 pretrained BSSTNet으로 대체한 결과이다. Ours는 Ours w/o RF-guided 대비 PSNR을 추가로 향상시키고 LPIPS를 감소 시킨다. 이는 복사장 가이드 기반 비디오 디블러링 모델이 렌더 링 이미지를 참조로 활용하여 디블러링 결과를 개선하고, 최종 복사장을 학습하는 데더 적합한 입력을 생성함을 보여준다.

우리의 파이프라인은 신경망 기반 디블러링 단계를 추가로 포함 하므로, 이러한 단계가 전체 수행 시간에 큰 부담을 주는지 확인 할 필요가 있다. Table 2는 RTX3090 에서 측정한 각 단계별 수행 시간을 보여준다. 우리의 파이프라인에서 디블러링 단계는 전체 시간 중 작은 비중을 차지하며, 대부분의 계산 비용은 동적 복사 장 최적화 과정에서 발생한다.

우리의 파이프라인의 전체 수행시간은 약 80분 정도로, MoBGS의 최적화 시간(90분)과 유사하다. MoBGS와 같이 복사 장과 블러 모델링을 동시에 최적화하는 기법은 최적화의 소요 시간이 길다. 반면, 우리의 파이프라인은 디블러링과 복사장 학 습을 교차하여 수행하므로 각 단계의 수행 시간은 길지 않지만, 동적 복사장 학습을 여러 번 하여 전체 파이프라인의 소요 시간이 증가하였다. 학습 세부 사항에서 언급한 바와 같이, 첫 번째 복사 장은 최종 복사장을 학습하는 두 번째 복사장에 비하여 가볍고 빠르게 학습되었다.

한편, 렌더링 속도 측면에서는 MoBGS가 제안한 방법보다 약 5배 빠른 결과를 보였다. 이러한 차이는 MoBGS의 백본 모델인 SplineGS [12]가 우리의 백본 모델인 Mosca [13]보다 빠른 렌 더링 속도를 갖기 때문으로 추정된다. 실제로 SplineGS [12]는 NVIDIA 데이터셋에서 약 400 fps의 렌더링 속도를 보고하였으 며, 이는 동일 논문에서 실험한 Mosca의 렌더링 속도 40 fps 대비 약 10배 빠른 수치이다.

이 파이프라인의 한계는 신경망 기반 디블러링 방법이 학습 데 이터셋에 크게 의존한다는 것이다. 이 때문에, 학습 데이터셋에 없던 블러가 등장할 경우 우리의 네트워크는 성능이 하락할 수 있다.