피사계 심도를 고려한 효율적인 이미지 추상화

일반적으로 이미지의 색상추상화와 에지의 추출 단계는 NPR 결과에 상당한 영향을 미 친다. 색상 추상화가 강하게 나타나 면 이미지 내 콘텐츠를 알아 볼 수 없으며, 카툰 형식의 느낌이 두드러지 게 표현되 지 않는다. 이 같은 문제는 Focusing과 Defocusing 영역이 뚜렷한 이미지 내에서 더욱 심하게 부각되어, Figure 3b에서 보듯이 원숭이 얼굴부분의 색상 디테일이 떨어지는 문제가 나타난다. 그렇기에 이 같이 DoF가 포함된 사진에서도 이미지 추상화를 Robust하게 수행하기 위한 새로운 프레임 워크를 제안한다 (Figure 3c 참조). 제안하는 추상화 기법을 구현하기 위해서는 입력이미지로부터 다음과 같은 하위 문제를 풀어야 한다:

첫 번째 문제를 해결하면 DoF의 크기에 따른 가중치 맵이 구성되고 (Figure 2b 참조), 이 맵을 기반으로 단계 별로 색상을 추상화한다 (Figure 2c 참조). 그림에서 보듯이, Focusing된 부 분은 색상 추상화가 약하게 적용되 었고, Defocusing된 영역은 추상화가 강하게 적용된 것을 볼 수 있다. DoG(Difference-of-Gaussian) 필터를 기반으로 라인을 추출하여 (Figure 2d 참조) 최종 합성된 결과는 Figure 2e와 같다.

Figure 2: Image abstraction with our method.

Download Original Figure

Figure 3: Problem statement.

Download Original Figure

이미지 기반 NPR 기술의 대부분은 사람의 미적 반응을 이끌어 내는 데에 목적이 있었다. 여기에는 페인팅(Painting) [5, 6, 7, 8], 펜-잉크(Pen-and-ink) 렌더링 [9, 10], 연필(Pencil) 렌더링 [11, 12], 점묘(Stipple) 렌더링 [13, 14], 모자이크(Mosaics) [15], 조각(Engraving) [16], 입체파(Cubist) 렌더링 [17, 18] 기술들이 포함된다.

DeCarlo와 Santella는 [19] Canny 에지 (Edge) 검출 [20] 기법과 평균 이동(Mean-shift) 필터 [21]를 활용한 카툰 스타일의 이미지 추상화 기법을 제안했다. 그들은 에지 검출 기법을 사용하여 라인을 추출하고, 평균 이동 필터를 이용하여 색상의 영역 평활화 및 세그먼트화를 수행하였다. 또한, 눈 추적(Eye-tacking) 기반의 사용자 인터페이스를 제공하여 지역별 중요도를 사용자가 직 접 지정할 수 있도록 했고, 이미지 세그먼트 영역의 계층적 구조와 함께 추상화 레벨을 적응형 구조로 제어할 수 있게 하였다. Wang et al. [22]은 비 등방성 평균 이동 필터(Anisotropic mean-shift filter)를 개발하여 비디오에서 적용 가능한 이미지 추상화 시퀀스 기법을 제안하였다. Wen et al. [23]은 평균 이동 필터를 기반으로 장면의 색상 스케치를 자동으로 러프하게 만드는 시스템을 제안했다.

평균 이동 세그먼트(Mean-shift segmentation)는 영역의 경계 부분에서 거친 노이즈 문제를 야기시킨다는 한 가지 한계점이 있다. 이 문제를 최소화하여 좀 더 명확한 경계 및 추상화 결과를 얻기 위해 몇몇 연구에서는 새로운 스무딩 기법을 제안했다 [19, 23]. 평균 이동 필터를 활용한 영역 분할은 영역을 병합하는데는 유용하지만, 정교한 라인을 생성하는데는 적절하지 않다 [24].

Fischer et al. [25]은 3D 모델을 NPR 방식으로 표현할 수 있는 시스템을 제시했다. 그들은 라인 추출과 평활화 문제를 해결하기 위해 Canny 에지 검출 [20]과 양방향 필터 (Bilateral filter) [26]를 적용했다. Orzan et al. [27]은 Canny 에지 검출과 그라디언트 재구성 방법(Gradient reconstruction method)을 이용하여 다중스케일 상에서의 이미지 추출 시스템을 개발했다.

일반적으로는 Canny 에지 검출방법이 라인 드로잉에 자주 사용되지만, 특정 분야에 맞는 라인 추출 방법들도 꾸준하게 제안되어 왔다. Gooch et al. [28]은 DoG 필터를 이용한 얼굴 표정 시스템을 제시했고, 이 필터를 이진 휘도 임계 값(Binary luminance thresholding)과 함께 사용하여 폭백 얼굴 그림을 자동으로 생성해 냈다. Winnemöller et al. [30]은 이 기술을 확장하여 이미지 및 비디오 추상화 기법에 활용하였다. 이들은 라인 드로잉에 DoG 필터를 사용하고 영역 스무딩(Smoothing)에 양방향 필터를 사용하였다.

DoG 에지 모델은 Canny의 방법보다 두께가 일정하지 않은 경계에서 에지를 잘 생성하기 때문에 스타일이 뛰어난 삽화를 만드는데 보다 효과적임이 입증되었다 [28]. 또한, 양방향 필터 [26]는 비선형 이미지 평활화에 널리 사용되는 강력한 도구이며, 그 효율성도 인정받아 2차원 뿐만 아니라 3차원 지오 메트리 프로세싱 및 그래픽 응용 프로그램에서도 다양하게 활 용되고 있다.

위에서 언급한 필터들은 이미지 추상화분야를 한층 개선시켰으나, 디자인의 관점에서 볼 때 개선이 필요함을 보여준다. 대부분 DoF를 고려하지 못한 방법들을 제시하며 그 결과를 분석하고 있다. 추상화와 같은 이미지 프로세싱 필터는 전문가 뿐만 아니라 일반 사용자들도 모바일 사진 편집 앱을 통해 쉽게 접할 수 있는 기능이며, 실생활에서 쉽게 볼 수 있는 사진들은 대부분 DoF가 포함되어 있기 때문에 이 부분을 고려한 개선책이 필요함을 인지하였다. 결과적으로 본 논문에서는 사진 내 DoF 영역을 자동으로 인식하고 색상의 추상화 단계 조절을 최적화함으로서 개선된 추상화 결과를 보여주고자 한다.

사진 내 DoF 영역을 계산하기 위해 노이즈 제거 필터에 주로 사용되는 상호-상관 필터 G를 이용한다. 이 필터는 두 개의 연속된 데이터들이 얼마나 연관되어 있는지를 예측하는 표준 방법이다. 이 방법은 각 픽셀 데이터들의 색상값이 얼마나 유사하게 관련되어 있는지를 측정하는 방법이며 수식 1과 같이 정의된다.

여 기서 H는 각 인접 픽셀의 가중치로 필터링(Filtering), 커널(Kernel), 또는 마스크(Mask)라고 부르며, F는 인접 픽셀들 의 색상값이다. 이 마스크는 활용분야에 따라 다양한 형태로 모델링되는데, 본 논문에서는 가우시안 필터 링(Gaussian filtering) 기법을 이용한다 (수식 2 참조).

이미지에 포함되어 있는 DoF 영역을 추출하기 위해 우리는 몇 가지 가정을 한다. 1) DoF 영역에서는 Focusing된 영역을 중심으로 색상이 서서히 뿌옇게 흐려지는 현상이 나타난다. 2) Defocusing에 의해 뿌옇게 흐려진 영역과 선명한 영역의 차이는 명확하다. 위에서 언급한 두 가지 특징을 이용하여, 원본 이미지 $I_0^{rgb}$와 원본 이미지로부터 생성한 스무딩(Smoothing) 이미지 $I_1^{rgb}$의 RGB색상 채널의 차이를 기반으로 DoF 가중치 맵 D를 아래와 같이 계산한다 (수식 3 참조).

여기서 H_m과 m은 각각 마스크와 마스크의 크기를 나타내며, 마스크의 크기는 15로 설정했다. O는 앞에서 언급한 뿌연 이미지와 선명한 이미지 사이의 색상 차이를 계산한 수식이다. $I_0^{rgb}$ 원본 이미지로부터 얻은 RGB색상이고, $I_1^{rgb}$는 뿌연 이미지로 부터 얻은 RGB색상이며, 스무딩 필터는 가우시안 스무딩 기법을 사용했다. 수식에서 보듯이 DoF 영역의 가중치는 RGB채널 값을 3차원 벡터로 표현하여 그 벡터의 놈(Norm)을 통해 계산한다. Figure 4은 입력 이미지를 통해 얻은 결과이 다. DoF에 의해 Figure 4a에서 Defocusing된 뿌연 영역의 가중치가 잘 표현되었고, 그 외 다양한 이미지들에서도 안정적으로 DoF맵을 추출해냈다 (Figure 5 참조).

Figure 4: Weight map D calculated using the DoF region (blue: blurred region, red: clear region).

Download Original Figure

Figure 5: DoF weight maps calculated from various input images.

Download Original Figure

이 장에서는 이미지의 색상을 단계 별로 추상화하는 방법에 대해 설명한다. 이미지 추상화에서 매우 중요한 단계로, 앞에서 계산한 가중치 맵 D와 양방향 필터를 이용하여 DoF에 따라 색상을 추상화한다. 양방향 필터 는 경계를 보존하면 서 노이즈 값을 감소시키는 필터이다 [26]. 이 필터에서 사용하는 가우시안 함수 기반의 가중치는 픽셀간의 거리, 색상 강도, 깊이 등의 차이에 따라 다양한 결과를 얻을 수 있다. 이 가중치를 반복 적으로 조정함으로 경계를 보존하면서 노이즈를 감소시킬 수 있다. 수식 5는 양방향 필터를 나타낸다.

여기서 x_i는 i 번째 픽셀의 위치, Ω는 x를 중심으로 고려된 인접 픽셀들의 인덱스이다. kr은 공간에서 강도의 차이를 부드럽게 해주는 커널의 공간 범위이며, 이 값이 커지면 범위 내에 고려된 인접 픽셀의 갯수가 많아진다. ks는 에지의 진폭(amplitude) 을 최소화하는 가중치이며, 이 값이 커지면 이미지가 스무딩되고, 무한대로 되면 (ks = ∞) 가우시안 블러효과처럼 나타난다. W는 공간적 근사값과 강도의 차이를 활용한 정규화된 변수이다. 여기서 중요한 부분이 가중치이며, W를 계산하는 과정에 D맵을 추가하여, DoF에 적절하게 커널의 가중치를 수정한다 (수식 7 참조).

이 필터링을 적용한 뒤, 우리는 Seo 와 Kim[31] 이 제안한 명도 기반 단순화 기법을 활용하여 색상을 추상화한다. 이 기법 은 명도 채널을 따로 분리하여 연속적인 명도 구간을 불연속적인 구간으로 단순화한다. 불연속 구간(n_v)이 정의되면, 0~255 의 값으로 분포되어 있는 명도 채널을 n_v의 단계로 단순화시킨다. 이때 명도 채널의 범위(n_r)는 256/n_v로 계산한다. 그리고 명도 채널의 모든 픽셀들의 색의 범위를 n_v개의 구간으로 조정한다. 명도 단순화 단계를 거친 후 가중치 맵 D에 따라 단순화된 명도와 원본 이미지의 명도를 보간하여 최종 명도값을 결정한다. 이와 같은 처리 과정 을 통해 명도 채널을 계산한 뒤 다시 RGB채널로 변환하면 RGB색상이 단순화된다. Figure 6 는 명도 단순화 방법을 위한 슈도 코드이며, Figure 7은 DoF 기반 명도 단순화 방법을 적용하여 색상 추상화를 계산한 결과이다.

Figure 6: Pseudo code for value simplification with weight map D.

Download Original Figure

Figure 7: Color abstraction using weight map D.

Download Original Figure

이미지를 이용한 라인 추출 방법은 Canny [20], 평균 이동 세그먼트(Mean-shift segmentation) [21], DoG 필터링 [29] 등이 있다. 제안하고자 하는 프레 임워크에서는 DoG 필터를 기반으로 Winnemoller et al. [30] 과 Kang et al. [24] 기법을 활용한다. 다양한 라인 추출 기법들을 적용해 봤지만, ETF(Edge tangent flow) 흐름에 따라 DoG 필터를 조정하여 라인의 품질을 향상시키는 Kang et al [24]의 기법을 이용했을 때 가장 좋은 결과를 얻었다.

ETF에서는 에지의 그래디 언트 방향으로 DoG 필터를 적용하는 것이 Kang et al. [24]의 핵심 아이디어이다:

여기서 I(l_x,s (t))는 입력 이미지 I에서 l_x,s (t)에 위치해 있는 색상값을 나타낸다. 위 수식은 다음과 같이 해석될 수 있다: c_x를 따라 움직일 때, 그래디언트 라인 l_x,s 에 1차원 필터 f 를 적용한다. 여기서 c_x는 x에서의 흐름 곡선(Flow curve)을 나타내며, f는 DoG기법 에서 제안한 에지 모델이다 (수식 10). 좀 더 자세한 설명은 Kang et al. [24]의 논문을 참고해보길 추천한다. G_σ는 가중치 함수 s를 이용하여 c_x에 따라 아래와 같이 가우시안 함수 형태로 표현된다:

수식 8에서 파리미터 σ_m은 S의 크기를 자동으로 결정한다. 따라서, σ_m을 통해 커널의 길이와 라인 Coherence의 정도를 제어한다.

기본 필터 f는 아래와 같이 DoG기법 에서 제안한 에지 모델을 사용하였다 [30]:

여기서 두 개의 파라미터 σ_c와 σ_s는 각각 중심 간격과 주변 간격의 크기를 제어하는 변수이다. 우리는 f의 모양을 Laplacian-of-Gaussian [29]의 형태와 비슷하게 만들기 위해 σ_s의 값을 1.6σ_c로 설정하였다. 결과적으로, 사용자가 σ_c의 값을 입력하면 자동으로 σ_s가 결정되고, 따라서 수식 8에서 T의 크기가 결정되며, 이 값은 라인의 두께에 직접적인 영향을 준다. ρ는 노이즈를 제거하는데 사용되는 변수이며 일반적으로 0.94~1.0 범위로 설정하였다.

본 논문에서는 DoF 영역에 따른 라인의 두께를 자동으로 조절하기 위해 수식 8을 아래와 같이 수정하여 L^*을 계산한다.

기존 수식에 D (l_x,s (t))를 추가하여, 영역 별로 다른 DoF의 크기에 따라 라인의 두께가 자동으로 조절되도록 하였다. 위 수식은 다음과 같이 해석될 수 있다: c_x를 따라움직 일 때, 그래디언트 라인 l_x,s 에 1차원 필터 f 를 적용하여 라인을 추출하며, 이때 라인의 두께는 D의 영향을 받는다. 결과적으로 Focusing 된 선명한 부분은 라인이 좀 더 두껍게 추출되고, Defocusing 된 뿌연 부분은 얇은 두께의 라인으로 추출된다.

수식 11 에서 $\tilde{L}*$을 얻으면, Winnemoller et al. [30]에서 제안한 것처럼 이진 임계값을 통해 흑백 이미지로 변환한다:

여 기서 τ는 0~1 사이의 값이며, 본 논문에서는 0.5로 설정하였다.

Figure 8은 $\tilde{L}*$을 이용해서 추출한 라인 맵 이 다. DoF 가중치 맵 D는 Figure 8a에서 보듯이 선명한 부분에서 흰색에 가까 운 값을 갖고, 뿌연 영역일수록 검정색에 가까운 값을 갖는다 (Figure 8b 참조). Kang et al. [24]의 방법은 오직 색상의 변화를 통한 흐름 장(Flow field)을 이용하여 라인을 추출하기 때문에, DoF 보다 색상의 영향을 더 받아 DoF와는 거리가 먼 라인 맵을 만든다 (Figure 8c 참조). 그림에서 빨간색 박스는 원본 이미지에서 봤을 때 선명한 영역임에도 불구하고 색상의 차이가 크지 않기 때문에 얇은 두께의 라인이 생성된다. 반면에 파란색 박스는 뿌연 영역임에도 불구하고 라인이 선명하게 그려짐을 볼 수 있다. 이 같은 문제는 Kang et al. [24]의 방법에서 단순하게 라인 두께만 조절한다고 해결할 수 있는 부분이 아니며, 수식 11의 적분 과정에서 포함한 D (l_x,s (t))의 역할이 크다. 제안된 기법으로 생성한 라인 맵 $\tilde{L}*$은 선명한 부분에서는 좀 더 두꺼운 라인을 그려주고, 뿌연 부분에서는 라인의 두께를 얇게하여 흐릿한 라인의 특징을 잘 표현했다 (Figure 8d 참조).

Figure 8: A technique of adjusting the quality of a line using a DoF weight map.

Download Original Figure