Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

피사계 심도를 고려한효율적인 이미지 추상화

김종현1,*
Jong-Hyun Kim1,*
1강남대학교
1Kangnam University
*corresponding author: Jong-Hyun Kim/Kangnam University(jonghyunkim@kangnam.ac.kr)

© Copyright 2018 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 23, 2018 ; Revised: Aug 02, 2018 ; Accepted: Sep 27, 2018

Published Online: Dec 01, 2018

요약

본 논문에서는 피사계 심도 (DoF, Depth of field)가 포함된 사진을자동으로 추상화시켜주는 비 사실적 렌더링 (NPR, Non-photorealistic rendering) 기술을 제안한다. 우리의 접근 방식은 RGB 채널을 이용하여 DoF 영역을 효율적으로 분류하고, DoF 크기에 따라 색상을 추상화하며, 라인의 두께를 자동으로 조절함으로 새롭게 필터링 하는 기술이다. DoF 기반 필터링 방식은 성능과 디자인 관점에서 추상화의 품질을 크게 개선시켰으며, 간단하고 빨라 구현하기 쉽고, 사진으로부터 추상화나 일러스트레이션을 제작할 때 원본 사진이 갖고 있는 DoF의 특징과 스타일을 효율적으로 잘 표현한다.

Abstract

In this paper, we present a non-photorealistic rendering technique that automatically delivers a stylized abstraction of a photograph with DoF(Depth of field). Our approach is a new filtering method that efficiently classifies DoF regions using RGB channels and automatically adjusts the color abstraction and extracted line quality based on this classification. This DoF-based filtering is simple, fast, and easy to implement and significantly improves the abstraction performance in terms of feature enhancement and stylization.

Keywords: 피사계 심도; 이미지 추상화; 비 사실적 렌더링; 이미지 프로세싱
Keywords: Depth of field; Image abstraction; Non-photorealistic rendering; Image processing

1. 서른

일반적으로 NPR은 영상의 특징을 단순화하는 추상화(Abstraction)와 스타일화(Stylization) 기법에 자주 사용되며, 포스터와 같은 특정 정보를 보다 효과적으로 전달하는데 도움을 준다. 예를 들면, 일러스트레이션에서 특징을 간단하게 설명 하는 부분이 여기에 해당 될 수 있다. 라인 드로잉(Line darwing)은 NPR 연구에서 주목을 끌고 있는 학문으로 주로 3차원 모델에서 다양하게 응용된다 [1, 2, 3, 4]. 이와 같은 추상화 기법들은 이미지와 3차원모델에 응용되 었지만 DoF가 고려된 이미지에서 명확하게 추상화 필터를 개발하려는 시도는 거의 없었다. 우리가 흔히 볼 수 있는 이미지에는 대부분 DoF가 포함되어 있다 (Figure 1 참조). 원본 이미지에서 DoF가 포함된 영역을 뚜렷하게 식별하기란 어려운 일인데, 이는 DoF가 포함된 이미지에서 정확한 깊이 (Depth) 값을 추출하기에 그것을 인식할 만한 정보가 부족하기 때문이다.

jkcgs-24-5-1-g1
Figure 1: Images with DoF. A butterfly and robot images are isolated from the background.
Download Origianl Figure

본 논문에서는 이미지에서 추상화 영역을 자동으로 분류 해내는 필터링 기법을 제시하고자 한다. 이는 특징 보존적인 방식 (Feature-preserving manner)으로 이미지 내 중요한 영역과 그렇지 않은 영역을 구분하여 추상화한다. 첫째, DoF 영역을 기준으로 이미지에서 Focusing된 영역인 중요한 부분과, Defocusing된 영역인 배경 부분을 분류하는 가중치 맵인, DoF 맵 을 만든다. 둘째, 이 맵을 기반으로 이미지의 색상을 단계별 추상화한다 : 중요하지 않은 영역은 강하게, 중요한 부분은 약하게 추상화하여 로컬 색상을 최대한 보존한다. 셋째, 이미지 내 중요한 객체의 경계를 캡쳐하여 부드럽고 일관된 스타일로 라인을 표시한다. 라인 추출 및 색상 추상화를 위해 상호상관 필터(Cross-correlation filtering)를 사용하고, DoF 영역의 크기에 따라 색상의 추상화 수준을 조절하여 적용시킨다. 이러한 기법은 DoF 영역을 효율적으로 추출하여 색상과 라인을 단계별로 추상화한다는 점에서 이전 추상화 기법과 차이가 있다. 또한, 스타일화 측면에서 추상화 성능을 향상시켜 중요한 시각적인 특징을 효과적으로 사용자에게 전달하는 콘텐츠에 응용할수 있으며, 결과적으로 고품질의 일러스트레이션을 제작할 수 있다.

1.1 문제정의

일반적으로 이미지의 색상추상화와 에지의 추출 단계는 NPR 결과에 상당한 영향을 미 친다. 색상 추상화가 강하게 나타나 면 이미지 내 콘텐츠를 알아 볼 수 없으며, 카툰 형식의 느낌이 두드러지 게 표현되 지 않는다. 이 같은 문제는 Focusing과 Defocusing 영역이 뚜렷한 이미지 내에서 더욱 심하게 부각되어, Figure 3b에서 보듯이 원숭이 얼굴부분의 색상 디테일이 떨어지는 문제가 나타난다. 그렇기에 이 같이 DoF가 포함된 사진에서도 이미지 추상화를 Robust하게 수행하기 위한 새로운 프레임 워크를 제안한다 (Figure 3c 참조). 제안하는 추상화 기법을 구현하기 위해서는 입력이미지로부터 다음과 같은 하위 문제를 풀어야 한다:

  1. DoF 영역 추출. 이미지로부터 효율적으로 DoF 영역을 추 출하고 DoF의 크기를 기반으로 가중치 맵을 구성한다.

  2. 적응형 색상 추상화. 가중치 맵을 이용하여 색상의 추상화를 단계별로 수행한다.

  3. 적응형 라인 추출. 가중치 맵을 이용하여, Focusing된 영역은 라인의 두께를 두껍게, Defousing된 영역은 라인의 두께를 얇게 조절한다.

첫 번째 문제를 해결하면 DoF의 크기에 따른 가중치 맵이 구성되고 (Figure 2b 참조), 이 맵을 기반으로 단계 별로 색상을 추상화한다 (Figure 2c 참조). 그림에서 보듯이, Focusing된 부 분은 색상 추상화가 약하게 적용되 었고, Defocusing된 영역은 추상화가 강하게 적용된 것을 볼 수 있다. DoG(Difference-of-Gaussian) 필터를 기반으로 라인을 추출하여 (Figure 2d 참조) 최종 합성된 결과는 Figure 2e와 같다.

jkcgs-24-5-1-g2
Figure 2: Image abstraction with our method.
Download Origianl Figure
jkcgs-24-5-1-g3
Figure 3: Problem statement.
Download Origianl Figure
1.2 관련 연구

이미지 기반 NPR 기술의 대부분은 사람의 미적 반응을 이끌어 내는 데에 목적이 있었다. 여기에는 페인팅(Painting) [5, 6, 7, 8], 펜-잉크(Pen-and-ink) 렌더링 [9, 10], 연필(Pencil) 렌더링 [11, 12], 점묘(Stipple) 렌더링 [13, 14], 모자이크(Mosaics) [15], 조각(Engraving) [16], 입체파(Cubist) 렌더링 [17, 18] 기술들이 포함된다.

DeCarlo와 Santella는 [19] Canny 에지 (Edge) 검출 [20] 기법과 평균 이동(Mean-shift) 필터 [21]를 활용한 카툰 스타일의 이미지 추상화 기법을 제안했다. 그들은 에지 검출 기법을 사용하여 라인을 추출하고, 평균 이동 필터를 이용하여 색상의 영역 평활화 및 세그먼트화를 수행하였다. 또한, 눈 추적(Eye-tacking) 기반의 사용자 인터페이스를 제공하여 지역별 중요도를 사용자가 직 접 지정할 수 있도록 했고, 이미지 세그먼트 영역의 계층적 구조와 함께 추상화 레벨을 적응형 구조로 제어할 수 있게 하였다. Wang et al. [22]은 비 등방성 평균 이동 필터(Anisotropic mean-shift filter)를 개발하여 비디오에서 적용 가능한 이미지 추상화 시퀀스 기법을 제안하였다. Wen et al. [23]은 평균 이동 필터를 기반으로 장면의 색상 스케치를 자동으로 러프하게 만드는 시스템을 제안했다.

평균 이동 세그먼트(Mean-shift segmentation)는 영역의 경계 부분에서 거친 노이즈 문제를 야기시킨다는 한 가지 한계점이 있다. 이 문제를 최소화하여 좀 더 명확한 경계 및 추상화 결과를 얻기 위해 몇몇 연구에서는 새로운 스무딩 기법을 제안했다 [19, 23]. 평균 이동 필터를 활용한 영역 분할은 영역을 병합하는데는 유용하지만, 정교한 라인을 생성하는데는 적절하지 않다 [24].

Fischer et al. [25]은 3D 모델을 NPR 방식으로 표현할 수 있는 시스템을 제시했다. 그들은 라인 추출과 평활화 문제를 해결하기 위해 Canny 에지 검출 [20]과 양방향 필터 (Bilateral filter) [26]를 적용했다. Orzan et al. [27]은 Canny 에지 검출과 그라디언트 재구성 방법(Gradient reconstruction method)을 이용하여 다중스케일 상에서의 이미지 추출 시스템을 개발했다.

일반적으로는 Canny 에지 검출방법이 라인 드로잉에 자주 사용되지만, 특정 분야에 맞는 라인 추출 방법들도 꾸준하게 제안되어 왔다. Gooch et al. [28]은 DoG 필터를 이용한 얼굴 표정 시스템을 제시했고, 이 필터를 이진 휘도 임계 값(Binary luminance thresholding)과 함께 사용하여 폭백 얼굴 그림을 자동으로 생성해 냈다. Winnemöller et al. [30]은 이 기술을 확장하여 이미지 및 비디오 추상화 기법에 활용하였다. 이들은 라인 드로잉에 DoG 필터를 사용하고 영역 스무딩(Smoothing)에 양방향 필터를 사용하였다.

DoG 에지 모델은 Canny의 방법보다 두께가 일정하지 않은 경계에서 에지를 잘 생성하기 때문에 스타일이 뛰어난 삽화를 만드는데 보다 효과적임이 입증되었다 [28]. 또한, 양방향 필터 [26]는 비선형 이미지 평활화에 널리 사용되는 강력한 도구이며, 그 효율성도 인정받아 2차원 뿐만 아니라 3차원 지오 메트리 프로세싱 및 그래픽 응용 프로그램에서도 다양하게 활 용되고 있다.

위에서 언급한 필터들은 이미지 추상화분야를 한층 개선시켰으나, 디자인의 관점에서 볼 때 개선이 필요함을 보여준다. 대부분 DoF를 고려하지 못한 방법들을 제시하며 그 결과를 분석하고 있다. 추상화와 같은 이미지 프로세싱 필터는 전문가 뿐만 아니라 일반 사용자들도 모바일 사진 편집 앱을 통해 쉽게 접할 수 있는 기능이며, 실생활에서 쉽게 볼 수 있는 사진들은 대부분 DoF가 포함되어 있기 때문에 이 부분을 고려한 개선책이 필요함을 인지하였다. 결과적으로 본 논문에서는 사진 내 DoF 영역을 자동으로 인식하고 색상의 추상화 단계 조절을 최적화함으로서 개선된 추상화 결과를 보여주고자 한다.

2. DoF 기반의 이미지 추상화

본 논문에서는 DoF가 포함된 이미지 추상화에서의 1) DoF 영역 찾기, 2) 단계별 색상 추상화, 3) 단계별 라인 추출을 위해 상호-상관 필터 기반의 접근 방식을 활용한다.

2.1 DoF 영역을 이용한 가중치 맵

사진 내 DoF 영역을 계산하기 위해 노이즈 제거 필터에 주로 사용되는 상호-상관 필터 G를 이용한다. 이 필터는 두 개의 연속된 데이터들이 얼마나 연관되어 있는지를 예측하는 표준 방법이다. 이 방법은 각 픽셀 데이터들의 색상값이 얼마나 유사하게 관련되어 있는지를 측정하는 방법이며 수식 1과 같이 정의된다.

G ( x , y ) = H F = u = 1 1 v = 1 1 H ( u , v ) F ( x + u , y + v )
(1)

여 기서 H는 각 인접 픽셀의 가중치로 필터링(Filtering), 커널(Kernel), 또는 마스크(Mask)라고 부르며, F는 인접 픽셀들 의 색상값이다. 이 마스크는 활용분야에 따라 다양한 형태로 모델링되는데, 본 논문에서는 가우시안 필터 링(Gaussian filtering) 기법을 이용한다 (수식 2 참조).

H ( x , y ) = 1 16 [ 1 2 1 2 4 2 1 2 1 ] 1 2 π σ 2 e u 2 + v 2 σ 2
(2)

이미지에 포함되어 있는 DoF 영역을 추출하기 위해 우리는 몇 가지 가정을 한다. 1) DoF 영역에서는 Focusing된 영역을 중심으로 색상이 서서히 뿌옇게 흐려지는 현상이 나타난다. 2) Defocusing에 의해 뿌옇게 흐려진 영역과 선명한 영역의 차이는 명확하다. 위에서 언급한 두 가지 특징을 이용하여, 원본 이미지 I0rgb와 원본 이미지로부터 생성한 스무딩(Smoothing) 이미지 I1rgb의 RGB색상 채널의 차이를 기반으로 DoF 가중치 맵 D를 아래와 같이 계산한다 (수식 3 참조).

D ( x , y ) = u = m m v = m m H m ( u , v ) O ( x + u , y + v ) m 2
(3)
O ( x , y ) = I 0 r g b ( x , y ) I 1 r g b ( x , y )
(4)

여기서 Hmm은 각각 마스크와 마스크의 크기를 나타내며, 마스크의 크기는 15로 설정했다. O는 앞에서 언급한 뿌연 이미지와 선명한 이미지 사이의 색상 차이를 계산한 수식이다. I0rgb 원본 이미지로부터 얻은 RGB색상이고, I1rgb는 뿌연 이미지로 부터 얻은 RGB색상이며, 스무딩 필터는 가우시안 스무딩 기법을 사용했다. 수식에서 보듯이 DoF 영역의 가중치는 RGB채널 값을 3차원 벡터로 표현하여 그 벡터의 놈(Norm)을 통해 계산한다. Figure 4은 입력 이미지를 통해 얻은 결과이 다. DoF에 의해 Figure 4a에서 Defocusing된 뿌연 영역의 가중치가 잘 표현되었고, 그 외 다양한 이미지들에서도 안정적으로 DoF맵을 추출해냈다 (Figure 5 참조).

jkcgs-24-5-1-g4
Figure 4: Weight map D calculated using the DoF region (blue: blurred region, red: clear region).
Download Origianl Figure
jkcgs-24-5-1-g5
Figure 5: DoF weight maps calculated from various input images.
Download Origianl Figure
2.2 단계별 색상 추상화

이 장에서는 이미지의 색상을 단계 별로 추상화하는 방법에 대해 설명한다. 이미지 추상화에서 매우 중요한 단계로, 앞에서 계산한 가중치 맵 D와 양방향 필터를 이용하여 DoF에 따라 색상을 추상화한다. 양방향 필터 는 경계를 보존하면 서 노이즈 값을 감소시키는 필터이다 [26]. 이 필터에서 사용하는 가우시안 함수 기반의 가중치는 픽셀간의 거리, 색상 강도, 깊이 등의 차이에 따라 다양한 결과를 얻을 수 있다. 이 가중치를 반복 적으로 조정함으로 경계를 보존하면서 노이즈를 감소시킬 수 있다. 수식 5는 양방향 필터를 나타낸다.

B ( x ) = 1 W x i Ω I ( x i ) k r ( I ( x i ) I ( x ) ) k s ( x i x )
(5)
W ( x ) = x i Ω k r ( I ( x i ) I ( x ) ) k s ( x i x )
(6)

여기서 xii 번째 픽셀의 위치, Ω는 x를 중심으로 고려된 인접 픽셀들의 인덱스이다. kr은 공간에서 강도의 차이를 부드럽게 해주는 커널의 공간 범위이며, 이 값이 커지면 범위 내에 고려된 인접 픽셀의 갯수가 많아진다. ks는 에지의 진폭(amplitude) 을 최소화하는 가중치이며, 이 값이 커지면 이미지가 스무딩되고, 무한대로 되면 (ks = ∞) 가우시안 블러효과처럼 나타난다. W는 공간적 근사값과 강도의 차이를 활용한 정규화된 변수이다. 여기서 중요한 부분이 가중치이며, W를 계산하는 과정에 D맵을 추가하여, DoF에 적절하게 커널의 가중치를 수정한다 (수식 7 참조).

W * ( x ) = x i Ω k r ( I ( x i ) I ( x ) D ( x ) ) k s ( x i x )
(7)

이 필터링을 적용한 뒤, 우리는 Seo 와 Kim[31] 이 제안한 명도 기반 단순화 기법을 활용하여 색상을 추상화한다. 이 기법 은 명도 채널을 따로 분리하여 연속적인 명도 구간을 불연속적인 구간으로 단순화한다. 불연속 구간(nv)이 정의되면, 0~255 의 값으로 분포되어 있는 명도 채널을 nv의 단계로 단순화시킨다. 이때 명도 채널의 범위(nr)는 256/nv로 계산한다. 그리고 명도 채널의 모든 픽셀들의 색의 범위를 nv개의 구간으로 조정한다. 명도 단순화 단계를 거친 후 가중치 맵 D에 따라 단순화된 명도와 원본 이미지의 명도를 보간하여 최종 명도값을 결정한다. 이와 같은 처리 과정 을 통해 명도 채널을 계산한 뒤 다시 RGB채널로 변환하면 RGB색상이 단순화된다. Figure 6 는 명도 단순화 방법을 위한 슈도 코드이며, Figure 7은 DoF 기반 명도 단순화 방법을 적용하여 색상 추상화를 계산한 결과이다.

jkcgs-24-5-1-g6
Figure 6: Pseudo code for value simplification with weight map D.
Download Origianl Figure
jkcgs-24-5-1-g7
Figure 7: Color abstraction using weight map D.
Download Origianl Figure
2.3 DoF에 의해 제어된 라인 추출

이미지를 이용한 라인 추출 방법은 Canny [20], 평균 이동 세그먼트(Mean-shift segmentation) [21], DoG 필터링 [29] 등이 있다. 제안하고자 하는 프레 임워크에서는 DoG 필터를 기반으로 Winnemoller et al. [30] 과 Kang et al. [24] 기법을 활용한다. 다양한 라인 추출 기법들을 적용해 봤지만, ETF(Edge tangent flow) 흐름에 따라 DoG 필터를 조정하여 라인의 품질을 향상시키는 Kang et al [24]의 기법을 이용했을 때 가장 좋은 결과를 얻었다.

ETF에서는 에지의 그래디 언트 방향으로 DoG 필터를 적용하는 것이 Kang et al. [24]의 핵심 아이디어이다:

L ( x ) = S S T T I ( l x , s ( t ) ) f ( t ) G σ m ( s ) d t d s ,
(8)

여기서 I(lx,s (t))는 입력 이미지 I에서 lx,s (t)에 위치해 있는 색상값을 나타낸다. 위 수식은 다음과 같이 해석될 수 있다: cx를 따라 움직일 때, 그래디언트 라인 lx,s 에 1차원 필터 f 를 적용한다. 여기서 cxx에서의 흐름 곡선(Flow curve)을 나타내며, f는 DoG기법 에서 제안한 에지 모델이다 (수식 10). 좀 더 자세한 설명은 Kang et al. [24]의 논문을 참고해보길 추천한다. Gσ는 가중치 함수 s를 이용하여 cx에 따라 아래와 같이 가우시안 함수 형태로 표현된다:

G σ ( x ) = 1 2 π σ e x 2 2 σ 2
(9)

수식 8에서 파리미터 σmS의 크기를 자동으로 결정한다. 따라서, σm을 통해 커널의 길이와 라인 Coherence의 정도를 제어한다.

기본 필터 f는 아래와 같이 DoG기법 에서 제안한 에지 모델을 사용하였다 [30]:

f ( t ) = G σ c ( t ) ρ G σ s ( t ) ,
(10)

여기서 두 개의 파라미터 σcσs는 각각 중심 간격과 주변 간격의 크기를 제어하는 변수이다. 우리는 f의 모양을 Laplacian-of-Gaussian [29]의 형태와 비슷하게 만들기 위해 σs의 값을 1.6σc로 설정하였다. 결과적으로, 사용자가 σc의 값을 입력하면 자동으로 σs가 결정되고, 따라서 수식 8에서 T의 크기가 결정되며, 이 값은 라인의 두께에 직접적인 영향을 준다. ρ는 노이즈를 제거하는데 사용되는 변수이며 일반적으로 0.94~1.0 범위로 설정하였다.

본 논문에서는 DoF 영역에 따른 라인의 두께를 자동으로 조절하기 위해 수식 8을 아래와 같이 수정하여 L*을 계산한다.

L * ( x ) = S S T T I ( l x , s ( t ) ) D ( l x , s ( t ) ) f ( t ) G σ m ( s ) d t d s ,
(11)

기존 수식에 D (lx,s (t))를 추가하여, 영역 별로 다른 DoF의 크기에 따라 라인의 두께가 자동으로 조절되도록 하였다. 위 수식은 다음과 같이 해석될 수 있다: cx를 따라움직 일 때, 그래디언트 라인 lx,s 에 1차원 필터 f 를 적용하여 라인을 추출하며, 이때 라인의 두께는 D의 영향을 받는다. 결과적으로 Focusing 된 선명한 부분은 라인이 좀 더 두껍게 추출되고, Defocusing 된 뿌연 부분은 얇은 두께의 라인으로 추출된다.

수식 11 에서 L˜*을 얻으면, Winnemoller et al. [30]에서 제안한 것처럼 이진 임계값을 통해 흑백 이미지로 변환한다:

L ˜ * ( x ) = { 0 if L ( x ) < 0 a n d 1 + tanh ( L ( x ) ) < τ , 1 otherwise,
(12)

여 기서 τ는 0~1 사이의 값이며, 본 논문에서는 0.5로 설정하였다.

Figure 8L˜*을 이용해서 추출한 라인 맵 이 다. DoF 가중치 맵 DFigure 8a에서 보듯이 선명한 부분에서 흰색에 가까 운 값을 갖고, 뿌연 영역일수록 검정색에 가까운 값을 갖는다 (Figure 8b 참조). Kang et al. [24]의 방법은 오직 색상의 변화를 통한 흐름 장(Flow field)을 이용하여 라인을 추출하기 때문에, DoF 보다 색상의 영향을 더 받아 DoF와는 거리가 먼 라인 맵을 만든다 (Figure 8c 참조). 그림에서 빨간색 박스는 원본 이미지에서 봤을 때 선명한 영역임에도 불구하고 색상의 차이가 크지 않기 때문에 얇은 두께의 라인이 생성된다. 반면에 파란색 박스는 뿌연 영역임에도 불구하고 라인이 선명하게 그려짐을 볼 수 있다. 이 같은 문제는 Kang et al. [24]의 방법에서 단순하게 라인 두께만 조절한다고 해결할 수 있는 부분이 아니며, 수식 11의 적분 과정에서 포함한 D (lx,s (t))의 역할이 크다. 제안된 기법으로 생성한 라인 맵 L˜*은 선명한 부분에서는 좀 더 두꺼운 라인을 그려주고, 뿌연 부분에서는 라인의 두께를 얇게하여 흐릿한 라인의 특징을 잘 표현했다 (Figure 8d 참조).

jkcgs-24-5-1-g8
Figure 8: A technique of adjusting the quality of a line using a DoF weight map.
Download Origianl Figure

3. 결과

이 논문에서 제안하는 프레 임워크의 우수성을 증명하기 위해 다양한 이미지로 방법을 비교해봤다.

Figure 9d에서 보듯이 뚜렷하게 보이는 자동차 영역은 색상과 라인 맵에서도 선명한 추상화 결과를 만들어 냈다. Figure 9b 에서 색상이 흰색에 가까울수록 선명한 객체이며, 그 특징이 색상의 선명도와 라인의 두께에 영향을 주었다.

jkcgs-24-5-1-g9
Figure 9: DoF-based abstraction with our method: Car.
Download Origianl Figure

Figure 10은 명확하게 뿌연 영역이 포함되어 있는 이미지를 이용하여 실험한 결과이다. Figure 9보다 명확하게 가중치 맵, D가 추출됐고, 이 맵이 고려되어 라인이 선명하게 추출되었다. Figure 10c는 Focusing된 고양이 영역에 대해 라인을 선명하게 추출하였다. Kang et al. [24] 이 제안한 색상 추상화 방법을 이용하면 Figure 10e처럼 색상이 어둡게 표현되고, 색상의 디테일을 잃어버리게 된다. 원본 이미지가 대체적으로 어두운 색상들을 많이 가지고 있기 때문에 추상화 단계에서 그 특징이 강하게 표현되어, 마치 흑백사진과 같은 형태로 보이게 된다. 그러나 본 논문에서 제안한 방식은 Figure 10e에서 보듯이 Focusing된 고양이의 디테일을 최대한 살리면서 색상을 추상화하기 때문에 색상의 디테일이 이전 기법에 비해 잘 표현된다. 그리하여 최종적으로, Figure 10f는 DoF에 의해 색상과 라인의 디테일이 잘 표현되어 나타난 이미지 추상화의 합성 결과이다.

jkcgs-24-5-1-g10
Figure 10: DoF-based abstraction with our method: Cat.
Download Origianl Figure

Figure 11a에서 도시는 Focusing된 영역이며, 손 부분은 Defocusing 된 영역이다. 마찬가지로 이 이미지 역시 좋은 품질의 추상화 결과를 얻을 수 있었고, 특히 DoF 영역에 따라 라인의 두께가 자동으로 잘 조절된 것을 볼 수 있다 (Figure 11c 참조). 그 외 다양한 이미지들에서도 잘 동작하였다 (Figure 12 참조). Table 1은 본 논문의 결과들을 제작하는데 소요된 계산시간을 요약한 표이다.

jkcgs-24-5-1-g11
Figure 11: DoF-based abstraction with our method: City.
Download Origianl Figure
jkcgs-24-5-1-g12
Figure 12: Results (inset image: input image).
Download Origianl Figure
Table 1: Computation time of proposed results (Size : size of input image, computation time : sec).
Figure Size D C L ˜ *
9 600×450 15.3 13.1 2.2
10 220×147 1.7 1.5 0.6
11 336×339 6.3 5.5 1.8
12a 1024×683 41.3 5.5 1.8
12b 620×354 12.5 10.6 2.5
Download Excel Table

4. 결른 및 향후 연구

지금까지 DoF 효과가 포함된 이미지를 효율적으로 추상화하기 위한 프레임워크에 대해 설명했다. 상호-상관 필터를 활용 하여 DoF 영역을 효율적으로 추출할 수 있는 가중치 맵을 제안했고, 이 맵을 이용하여 DoF의 크기에 따라 색상을 단계별로 추상화 할 수 있는 기법과 라인의 두께를 자동으로 조절할 수 있는 기법을 제안했다. 색상 추상화가 강하게 나타나면 이미지 내 콘텐츠를 알아 볼 수 없으며, 카툰 형식의 느낌이 잘 표현되지 않고, Focusing과 Defocusing 영역이 뚜렷한 이미지 내에서 이 문제가 특히 더 심하게 나타나기 때문에, DoF가 포함된 사진에서도 이미지 추상화를 Robust하게 수행하기 위한 새로운 프레임워크를 제안하였다. 나아가 DoF 맵을 빠르게 추출해내기 때문에 향후 실시간 이미지/영상 NPR 편집기로까지 확장하여 사용할 수 있게 될 것이다. 또, 이 추상화 알고리즘은 DoF 맵에 의존하는 특징이 있기 때문에 DoF 맵을 인위적으로 모델링하여 NPR 결과를 자유롭게 편집할 수 있도록 하는 기술로 개선할 것이다.

제안한 기법은 DoF 영역을 효율적으로 찾지만, 모션 블러가 들어간 이미지에서는 정확성이 높지 않는 결과를 보였다. Figure 13a에서 보듯이, 모션 블러는 속도의 방향으로 색상이 확산되기 때문에 상호-상관 필터를 적용하여도 그 차이가 크게 나타나지 않는다. 그렇기 때문에 이 방법은 자전거 뿐만 아니라 배경 역시 DoF 영역이라도 추출된다 (Figure 13b 참조). 그렇기에 향후, 이 문제를 해결하기 위한 Multi-scale 합성을 활용한 연구와, 나아가 DoF 영역이 포함된 비디오에서도 추상화 기법이 수행될 수 있도록 하는 프레임워크를 연구할 계획이다.

jkcgs-24-5-1-g13
Figure 13: Failure case.
Download Origianl Figure

참고문헌

[1].

D. DeCarlo, A. Finkelstein, S. Rusinkiewicz, and A. Santella, “Suggestive contours for conveying shape,” ACM Transactions on Graphics (TOG), vol. 22, no. 3, pp. 848-855, 2003.

[2].

R. D. Kalnins, P. L. Davidson, L. Markosian, and A. Finkelstein, “Coherent stylized silhouettes,” in ACM Transactions on Graphics, vol. 22, no. 3, 2003, pp. 856-861.

[3].

M. C. Sousa and P. Prusinkiewicz, “A few good lines: Suggestive drawing of 3d models,” in Computer Graphics Forum, vol. 22, no. 3, 2003, pp. 381-390.

[4].

T. Isenberg, B. Freudenberg, N. Halper, S. Schlechtweg, and T. Strothotte, “A developer’s guide to silhouette algorithms for polygonal models,” IEEE Computer Graphics and Applications, vol. 23, no. 4, pp. 28-37, 2003.

[5].

P. Litwinowicz, “Processing images and video for an impressionist effect,” in Proceedings of the 24th annual conference on Computer graphics and interactive techniques, 1997, pp. 407-414.

[6].

A. Hertzmann, “Painterly rendering with curved brush strokes of multiple sizes,” in Proceedings of the 25th annual conference on Computer graphics and interactive techniques, 1998, pp. 453-60.

[7].

B. Gooch, G. Coombe, and P. Shirley, “Artistic vision: painterly rendering using computer vision techniques,” in Proceedings of the 2nd international symposium on Non-photorealistic animation and rendering, 2002, pp. 83-ff.

[8].

J. Hays and I. Essa, “Image and video based painterly animation,” in Proceedings of the 3rd international symposium on Non-photorealistic animation and rendering, 2004, pp. 113-120.

[9].

M. P. Salisbury, S. E. Anderson, R. Barzel, and D. H. Salesin, “Interactive pen-and-ink illustration,” in Proceedings of the 21st annual conference on Computer graphics and interactive techniques, 1994, pp. 101-108.

[10].

M. P. Salisbury, M. T. Wong, J. F. Hughes, and D. H. Salesin, “Orientable textures for image-based pen-and-ink illustration,” in Proceedings of the 24th annual conference on Computer graphics and interactive techniques, 1997, pp. 401406.

[11].

M. C. Sousa and J. W. Buchanan, “Observational models of graphite pencil materials,” in Computer Graphics Forum, vol. 19, no. 1, 2000, pp. 27-49.

[12].

F. Durand, V. Ostromoukhov, M. Miller, F. Duranleau, and J. Dorsey, “Decoupling strokes and high-level attributes for interactive traditional drawing,” in Rendering Techniques 2001, 2001, pp. 71-82.

[13].

O. Deussen, S. Hiller, C. Van Overveld, and T. Strothotte, “Floating points: A method for computing stipple drawings,” in Computer Graphics Forum, vol. 19, no. 3, 2000, pp. 41-50.

[14].

A. Secord, “Weighted voronoi stippling,” in Proceedings of the 2nd international symposium on Non-photorealistic animation and rendering, 2002, pp. 37-43.

[15].

A. Hausner, “Simulating decorative mosaics,” in Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 2001, pp. 573-580.

[16].

V. Ostromoukhov, “Digital facial engraving,” in Proceedings of the 26th annual conference on Computer graphics and interactive techniques, 1999, pp. 417-424.

[17].

A. W. Klein, P.-P. J. Sloan, A. Finkelstein, and M. F. Cohen, “Stylized video cubes,” in Proceedings of the 2002 ACM SIG-GRAPH/Eurographics symposium on Computer animation, 2002, pp. 15-22.

[18].

J. P. Collomosse and P. M. Hall, “Cubist style rendering from photographs,” IEEE Transactions on Visualization and Computer Graphics, vol. 9, no. 4, pp. 443-453, 2003.

[19].

D. DeCarlo and A. Santella, “Stylization and abstraction of photographs,” in ACM transactions on graphics (TOG), vol. 21, no. 3, 2002, pp. 769-776.

[20].

J. Canny, “A computational approach to edge detection,” IEEE Transactions on pattern analysis and machine intelligence, no. 6, pp. 679-698, 1986.

[21].

D. Comaniciu and P. Meer, “Mean shift: A robust approach toward feature space analysis,” IEEE Transactions on pattern analysis and machine intelligence, vol. 24, no. 5, pp. 603-619, 2002.

[22].

J. Wang, Y. Xu, H.-Y. Shum, and M. F. Cohen, “Video tooning,” ACM Transactions on Graphics, vol. 23, no. 3, pp. 574-583, 2004.

[23].

F. Wen, Q. Luan, L. Liang, Y.-Q. Xu, and H.-Y. Shum, “Color sketch generation,” in Proceedings of the 4th international symposium on Non-photorealistic animation and rendering, 2006, pp. 47-54.

[24].

H. Kang, S. Lee, and C. K. Chui, “Flow-based image abstraction,” IEEE Transactions on Visualization and Computer Graphics, vol. 15, no. 1, pp. 62-76, 2009.

[25].

J. Fischer, D. Bartz, and W. Straber, “Stylized augmented reality for improved immersion,” in Virtual Reality, 2005. Proceedings. VR 2005. IEEE, 2005, pp. 195-202.

[26].

C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Computer Vision, 1998. Sixth International Conference on, 1998, pp. 839-846.

[27].

A. Orzan, A. Bousseau, P. Barla, and J. Thollot, “Structure-preserving manipulation of photographs,” in Proceedings of the 5th international symposium on Non-photorealistic animation and rendering, 2007, pp. 103-110.

[28].

B. Gooch, E. Reinhard, and A. Gooch, “Human facial illustrations: Creation and psychophysical evaluation,” ACM Transaction on Graphics (TOG), vol. 23, no. 1, pp. 27-44, 2004.

[29].

D. Marr and E. Hildreth, “Theory of edge detection,” Proceedings of the Royal Society of London B: Biological Sciences, vol. 207, no. 1167, pp. 187-217, 1980.

[30].

H. Winnemöler, S. C. Olsen, and B. Gooch, “Real-time video abstraction,” in ACM Transactions On Graphics, vol. 25, no. 3, 2006, pp. 1221-1226.

[31].

B. Seo and J. Kim, “Imtoon: Image-based cartoon authoring system using image processing,” Journal of the Korea Computer Graphics Society, vol. 23, no. 2, pp. 11-22, 2017.