3D Gaussian Splatting을 위한 3단계 실시간 NPR 포스트 프로세싱 파이프라인

비실사 렌더링(NPR)은 현실의 물리적 재현보다 추상화와 강조를 통해 형상 이해와 시각적 전달력을 높이는 데 초점을 둔다. 전통적인 NPR 연구는 깊이, 노멀, 윤곽선과 같은 기하학적 단서를 활용하여 외곽선과 형상 특징을 강조하는 방향으로 발전해 왔다[5]. 이후 연구는 이미지 및 비디오 수준의 abstraction으로 확장되었으며, 실시간 환경에서도 painterly 또는 cartoon-like한 결과를 생성할 수 있음이 보고되었다[3],[4]. 그러나 이러한 방법들은 대체로 안정적인 기하 정보 또는 일반 영상 입력을 전제로 하므로, 3DGS와 같은 비정형 장면 표현에 직접 적용할 경우 한계가 있다.

3D Gaussian Splatting(3DGS)[1]은 장면을 명시적인 3D Gaussian primitive 집합으로 표현하여, NeRF 계열 대비 높은 렌더링 효율과 실시간성을 제공하는 radiance field 기법이다[2]. 그러나 3DGS는 명시적인 메쉬 연결 구조가 없고, 화면 공간에서 splat이 중첩되어 장면을 형성하므로 기존 geometry-aware NPR 기법을 직접 적용하기 어렵다. 또한 시점 변화나 샘플링 비율 변화에 따라 aliasing과 high-frequency artifact가 발생할 수 있으며[7], 이러한 특성은 edge detection 과정에서 실제 구조와 splat 노이즈를 구분하기 어렵게 만든다.

3D 장면 스타일화 연구는 StylizedNeRF[9], ARF[10], StyleGaussian[11], ReGS[12], StylizedGS[13]와 같이 주로 학습 또는 최적화 기반 접근으로 발전해 왔다. 이러한 방법들은 3차원 일관성이 높다는 장점이 있으나, 새로운 스타일 적용 시 재학습 또는 추가 최적화가 필요하며 계산 비용이 증가할 수 있다[11],[12],[13]. 따라서 실시간 상호작용이 중요한 응용에서는 즉시 적용 가능한 경량 접근이 여전히 필요하다.

본 연구는 위와 같은 한계를 고려하여, 3DGS의 렌더링 결과에 대해 별도의 재학습 없이 적용 가능한 screen-space 기반 NPR 포스트 프로세싱 파이프라인을 제안한다. 핵심 아이디어는 색상 추상화와 구조 추출을 분리하는 것으로, Kuwahara 기반 필터링을 통해 회화적 표면 추상화를 수행하고[4],[8], blur 기반 전처리 후 edge detection을 수행함으로써 splat noise에 강건한 외곽선을 생성한다. 즉, 본 연구는 학습 기반 스타일화와 달리 zero-shot으로 적용 가능하며, 실시간성과 적용 편의성을 중시하는 3DGS stylization 방법이라는 점에서 차별성을 가진다.

3D Gaussian Splatting(3DGS)은 수많은 Gaussian splat의 중첩을 통해 장면을 표현하므로, 렌더링 결과에 고주파 노이즈와 픽셀 단위 불연속성이 포함되기 쉽다. 이러한 특성은 NPR 스타일링 과정에서 색상 불연속성과 외곽선 검출의 불안정성을 유발하며, 원본 결과에 직접 edge detection을

적용할 경우 splat 자국이 실제 구조적 경계로 오인되는 문제를 초래한다. 이를 해결하기 위해 본 연구는 (1) 색상 추상화(Color Abstraction), (2) 구조 추출(Structure Extraction), (3) 합성(Composition)으로 구성된 3단계 실시간 포스트 프로세싱 파이프라인을 제안한다. 첫 번째 단계에서는 Kuwahara 필터를 이용하여 3DGS의 입자감을 회화적인 면으로 평탄화하고, 두 번째 단계에서는 가우시안 블러 기반 전처리를 통해 구조 정보만을 안정적으로 추출한다. 마지막 단계에서는 전처리된 구조 텍스처에서 강건한 외곽선을 검출하고, 이를 추상화된 색상 정보와 결합하여 최종 NPR 결과를 생성한다. 본 시스템은 3DGS 데이터를 실시간으로 로드하고 렌더링하기 위한 오픈소스 기반 플러그인[14]을 확장하여 구현되었으며, RenderGraph를 활용하여 다단계 처리 과정의 리소스 생명주기와 메모리 할당을 효율적으로 관리한다. 제안하는 전체 파이프라인의 흐름은 Figure 1과 같다.

Figure 1. Overview of the proposed 3-stage real-time NPR pipeline. The pipeline decouples color abstraction (Stage 1) and structure extraction (Stage 2) to handle 3DGS artifacts effectively before the final composition (Stage 3)

Download Original Figure

첫 번째 단계는 3DGS의 이산적인 입자감을 회화적인 면(Surface)으로 변환하는 과정이다. 3DGS의 원본 이미지는 픽셀 단위의 분산(Variance)이 매우 높기 때문에, 이를 평탄화하기 위해 Kuwahara 필터[8]를 적용한다. Kuwahara 필터는 픽셀 (x,y)를 중심으로 하는 윈도우를 Figure 2와 같이 4개의 사분면 영역 Q_k (k=1,2,3,4)으로 분할한다. 각 영역 Q_k에 포함된 픽셀 수 N에 대하여, 평균 μ_k와 분산 ${\sigma }_k^2$은 식 (1)과 같이 정의된다.

Figure 2. Kernel structure of the Kuwahara filter (5×5 window example). The filter divides the window into four overlapping subregions to calculate the mean and variance.

Download Original Figure

여기서 C(i,j)는 픽셀의 색상 값을 의미한다. 필터는 4개의 영역 중 표준편차가 가장 작은 영역(Minimum Variance)을 선택하여, 해당 영역의 평균값을 최종 픽셀 색상 C_abstract로 결정한다.

식 (2)의 과정을 통해 엣지(Edge) 정보가 있는 영역(분산이 큰 영역)은 배제되고 색상이 균일한 영역이 선택되므로, 3DGS 내부의 자잘한 스플랫 텍스처는 뭉개지고 주요 경계면은 보존된다. 본 실험에서는 필터의 윈도우 크기를 13×13 (반지름 R=6)로 설정하여 3DGS의 입자감을 효과적으로 평탄화하였다. 이 결과물은 최종 단계에서 베이스 컬러(T_color)로 사용된다.

본 연구의 핵심 제안인 두 번째 단계는 강건한(Robust) 외곽선 검출을 위한 전처리 과정이다. 3DGS 렌더링 결과물에 포함된 스플랫 노이즈는 고주파 성분(High-frequency)으로, 이는 엣지 검출 알고리즘이 실제 물체의 외곽선과 단순한 스플랫 자국을 구분하지 못하게 하는 주된 원인이 된다.

따라서 본 단계에서는 저주파 통과 필터(Low-pass Filter)인 가우시안 블러(Gaussian Blur)를 적용하여 구조 정보 텍스처(T_structure)를 생성한다. 엄밀한 의미의 구조 추출(Structure Extraction)은 텍스처 질감만 제거하고 엣지는 보존하는 고비용의 연산(예: RTV 등)을 필요로 하나, 본 연구에서는 실시간 렌더링 성능 확보를 위해 가우시안 블러를 이용한 근사(Approximation) 방식을 채택하였다. 이 과정은 단순한 이미지 블러링이 아니라, 후속 단계인 Sobel 연산자가 미세한 스플랫 노이즈에는 반응하지 않고 객체의 거시적인 형태(Macro-structure) 변화에만 반응하도록 유도하는 전처리(Pre-filtering) 역할을 수행한다. 2차원 가우시안 분포 함수 G(x,y)는 식 (3)과 같다.

이론적으로는 식 (3)을 따르지만, 본 연구에서는 실시간 렌더링 성능을 극대화하기 위해 이를 3×3 크기의 이산적인 이항 커널(Discrete Binomial Kernel)로 근사하여 구현하였다. 사용된 커널 K는 식 (4)와 같이 중심 픽셀에 가장 높은 가중치(4)를 부여하고 거리에 따라 감쇠하는 고정 가중치(Fixed Weights)를 가진다.

이 커널은 σ≈1.0인 가우시안 분포의 정수비 근사값에 해당하며, 부동소수점 연산 비용을 최소화하면서도 3DGS의 스플랫 노이즈(Splat Noise)를 효과적으로 평탄화(Smoothing)할 수 있다. 최종적으로 구조 텍스처 T_structure는 입력 이미지 I와 커널 K의 합성곱으로 생성된다.

이 과정을 통해 3DGS의 미세한 입자 노이즈가 제거되고, 물체의 전체적인 형태(Low-frequency Structure) 정보만이 남게 된다. 이 텍스처는 사용자에게 직접 보여지지 않으며, 오직 다음 단계의 엣지 검출 연산을 위한 참조 데이터로만 활용된다.

마지막 단계에서는 앞서 생성된 두 텍스처를 결합하여 최종 결과를 생성한다. 먼저 Stage 2에서 생성된 구조 텍스처(T_structure)를 입력으로 받아 Sobel 연산자[15]를 적용한다. 수평 방향(G_x)과 수직 방향(G_y)의 미분 근사값은 식 (6)와 같이 계산된다.

이때 원본 이미지가 아닌, 노이즈가 제거된 T_structure를 참조하므로 3DGS의 아티팩트에 영향을 받지 않는 깨끗한 그라디언트를 얻을 수 있다. 엣지의 강도(Magnitude) E는 다음과 같다.

검출된 엣지 강도 E는 임계값(Threshold) 함수를 거쳐 가중치 마스크 M_edge로 변환된다. 이때 임계값 T_edge=0.25를 적용하여, E〈T_edge인 경우 노이즈로 간주하여 제거하고 그 이상인 경우 엣지로 판단하였다. 최종적으로 픽셀 셰이더는 식 (8)과 같이 Stage 1의 추상화된 색상(T_color )과 엣지 색상(C_edge, 일반적으로 검은색)을 선형 보간(Linear Interpolation)하여 최종 NPR 이미지 C_final을 생성한다.

RenderGraph는 이 합성이 완료되는 즉시 중간 텍스처인 T_color 와 T_structure의 메모리를 해제하여 시스템 리소스를 최적화한다.

본 연구에서 제안하는 3-Pass 파이프라인은 다수의 렌더 타겟(Render Target)을 사용하므로, 비효율적인 메모리 관리는 성능 저하의 주된 원인이 될 수 있다. 이를 방지하기 위해 Unity RenderGraph의 자동화된 리소스 수명 관리(Transient Resource Lifespan Management)[16]를 적극 활용하였다.

중간 단계에서 생성되는 T_color 와 T_structure텍스처는 RenderGraph.CreateTexture를 통해 임시 리소스(Transient Resource)로 선언된다. 엔진은 프레임 그래프(Frame Graph)를 분석하여, Stage 3(합성)가 종료되는 시점에 해당 텍스처들이 더 이상 참조되지 않음을 감지하고 즉시 메모리를 반환하거나 다른 렌더 패스의 리소스로 재사용(Aliasing)한다. 이를 통해 개발자가 수동으로 Release를 호출할 때 발생할 수 있는 메모리 누수나 해제 지연 문제를 원천적으로 차단하였다.

또한, 각 패스(Pass) 간의 실행 순서와 데이터 의존성(Dependency)은 builder.UseTexture API를 통해 명시적으로 정의된다. RenderGraph 컴파일러는 이 정보를 바탕으로 GPU 파이프라인 상의 적절한 배리어(Barrier)와 동기화 지점을 자동으로 삽입하여, 불필요한 GPU 유휴 시간(Idle Time)을 최소화하고 병렬 처리가 가능한 구간을 최적화한다.

반복 연산이 많은 이미지 처리 알고리즘의 실시간성을 보장하기 위해 HLSL 셰이더 레벨에서 다음과 같은 최적화 기법을 적용하였다.

첫째, 고정 커널(Fixed Kernel) 사용과 루프 제거이다. Stage 2의 가우시안 블러 패스에서는 런타임에 가중치를 계산하는 for 반복문 대신, 3×3 오프셋을 하드코딩(Hard-coding)하여 텍스처 샘플링을 수행하였다. 이는 동적 분기(Dynamic Branching)와 레지스터 할당 비용을 제거하여 GPU의 처리 효율을 높였다. 또한 Kuwahara 필터에서는 픽셀당 수십 회의 텍스처 샘플링을 수행하는 고비용 연산이다. 본 연구에서는 필터의 반경(Radius)을 상수로 고정하고 [unroll] 속성을 명시하여, 컴파일러가 반복문을 병렬 명령어로 전개하도록 유도하였다. 이는 동적 분기(Dynamic Branching) 비용을 제거하여 셰이더 실행 속도를 크게 향상시킨다.

둘째, LOD(Level of Detail) 연산 제거이다. 포스트 프로세싱 단계에서는 밉맵(Mipmap)이 필요하지 않으므로, SAMPLE_TEXTURE2D 대신 SAMPLE_TEXTURE2D_LOD(..., 0) 매크로를 사용하여 밉맵 레벨 계산에 소요되는 연산 부하를 제거하였다.

셋째, 구조적 버퍼링(Structured Buffering)이다. 엣지 검출 단계에서 Sobel 연산 시 매번 9번의 텍스처 샘플링을 수행하는 대신, 3-Pass 구조를 통해 이미 전처리된(Pre-processed) 블러 텍스처를 1:1로 매핑하여 샘플링함으로써, 텍스처 캐시 적중률(Cache Hit Rate)을 높이고 메모리 대역폭 효율을 극대화하였다.

본 제안 시스템의 유효성을 검증하기 위해 Mip-NeRF 360 데이터셋[17]과 자체 촬영한 데이터셋(대학교 캠퍼스 환경)을 사용하여 3DGS 씬을 구축하였다. 구현 및 테스트는 Unity 6 (URP) 환경에서 수행되었으며, 하드웨어 사양은 Intel i7-13700KF CPU, NVIDIA GeForce RTX 4090 GPU, 64GB RAM이다. 렌더링 해상도는 FHD(1920x1080)를 기준으로 하였으며, 4K(3840x2160) 해상도에서의 부하 테스트를 병행하였다. Figure 3은 본교 캠퍼스를 직접 촬영하여 3DGS로 학습시킨 후, 제안하는 NPR 파이프라인을 적용한 결과이다. 이를 통해 표준 벤치마크 데이터뿐만 아니라, 사용자가 직접 생성한 데이터에서도 안정적인 스타일라이징이 가능함을 확인하였다.

Figure 3. Qualitative results on the self-captured dataset (Campus). The proposed pipeline effectively stylizes real-world scenes captured with a smartphone.

Download Original Figure

본 연구의 핵심 제안인 '구조 추출(Structure Extraction) 단계'의 필요성을 검증하기 위해 소거 연구(Ablation Study)를 수행하였다. Figure 4는 가우시안 블러(Gaussian Blur) 전처리 유무에 따른 엣지 검출 결과를 비교한다.

Figure 4. Ablation study on Structure Extraction. (a) Edge detection on raw 3DGS input shows severe noise artifacts. (b) Proposed method using structure extraction generates clean and robust edges.

Download Original Figure

이를 통해 색상 처리와 구조 처리를 분리(Decoupling)하는 3단계 파이프라인이 3DGS의 아티팩트 문제를 해결하는 데 필수적임을 입증하였다.

구조 추출 패스가 적용된 상태에서, 어떤 엣지 검출 알고리즘이 3DGS에 가장 적합한지 비교 분석하였다(Figure 5). Roberts 연산자[18]는 커널 크기가 작아 노이즈에 가장 민감하게 반응하여 엣지가 과도하게 검출되는 경향을 보였다. Canny 알고리즘[19]은 NMS(Non-Maximum Suppression) 과정을 포함하여 얇은 선을 검출하지만, 3DGS 데이터의 불연속성으로 인해 선이 끊기는(Disconnected) 현상이 발생하였다. 반면, 본 연구에서 채택한 Sobel 연산자는 중심 픽셀 주변의 3×3 영역에 대한 가중 평균(Weighted Average)을 포함하고 있어, 미세한 스플랫 노이즈에 대한 민감도를 낮추고 지역적인 변화율(Gradient)을 안정적으로 계산할 수 있다. 이러한 특성은 불연속적인 3DGS 데이터에서 가장 부드럽고 끊김 없는 외곽선을 생성하여, 만화적 스타일링에 가장 적합한 결과를 보였다.

Figure 5. Comparison of edge detection algorithms. Sobel operator (Ours) demonstrates the best trade-off between detail preservation and noise suppression compared to Roberts and Canny.

Download Original Figure

본 제안 기법은 사용자가 Kuwahara 필터의 윈도우 반경(Radius, R)을 조절하여 스타일의 추상화 정도를 실시간으로 제어할 수 있다. Figure 6는 R값의 변화에 따른 시각적 결과를 비교한 것이다.

Figure 6. Comparison of stylization results according to Kuwahara filter radius (R).

Download Original Figure

이러한 실험 결과는 사용자가 콘텐츠의 목적에 따라 '정밀한 묘사'와 '회화적 추상화' 사이의 균형점을 선택할 수 있음을 시사하며, 이는 인터랙티브 애플리케이션에서 중요한 시각적 조절 기능을 제공한다.

정지 영상뿐만 아니라 카메라가 이동하거나 줌인/아웃(Zoom In/Out)하는 동적 상황에서의 안정성을 평가하였다(Figure 7). 3DGS는 카메라가 물체에 근접(Zoom-in)할수록 스플랫 간의 간격이 벌어지는 특성이 있다. 실험 결과, 제안하는 Kuwahara 필터는 이러한 스플랫 사이의 빈 공간을 주변 색상으로 블렌딩(Blending)하여 메꾸는 효과를 보였으며, 블러 기반의 엣지 검출은 스플랫이 갈라지는 시점에서도 외

Figure 7. Dynamic view stability test. The proposed pipeline maintains visual coherence even when zooming in, effectively masking the separation of splats.

Download Original Figure

곽선의 떨림(Flickering)을 최소화하여 시각적 일관성을 유지하였다. 이는 별도의 메쉬 복원 과정 없이도 3DGS 콘텐츠의 몰입감을 유지하는 데 기여한다.

제안하는 3-Pass 파이프라인의 연산 부하를 측정하기 위해 FHD 및 4K 해상도에서 프레임 레이트(FPS)와 프레임 타임(Frame Time)을 측정하였다(Table 1). Raw 3DGS 방식 대비 텍스처 읽기/쓰기 횟수가 증가하여 프레임 타임은 소폭증가(약 0.2ms~1.4ms)하였다. 4K 환경에서도 여전히 평균 100 FPS 이상의 성능을 기록하였다. 이는 RenderGraph의 최적화된 리소스 관리가 메모리 대역폭 병목을 효과적으로 완화했기 때문으로 분석된다. 결과적으로 본 시스템은 고품질의 스타일라이징을 수행하면서도 실시간성이 요구되는 인터랙티브 애플리케이션에 충분히 적용 가능하다.

Table 2는 제안하는 기법과 3DGS 스타일라이징 연구들을 비교 분석한 것이다. StyleGaussian[11], ReGS[12], StylizedGS[13]등 기존의 데이터 중심(Data-centric) 접근법들은 3D 가우시안의 속성(Feature, Geometry)을 직접 학습하거나 최적화하므로 3차원적 일관성(Consistency)은 뛰어나지만, 사전 학습(Pre-processing)이 필수적이거나 높은 메모리 비용(VRAM Usage)이 발생한다는 한계가 있다.

반면, 제안하는 기법(Ours)은 스크린 공간 처리 방식의 특성상 시간적 일관성에는 물리적 한계가 존재하나, 1) 별도의 학습 과정이 전혀 없는 제로 샷(Zero-shot) 방식이며, 2) RenderGraph의 임시 리소스(Transient Resource)만을 활용하여 메모리 오버헤드를 최소화했다는 점에서, 즉각적인 상호작용이 필요한 실시간 애플리케이션에 가장 적합한 특성을 보인다.