직접 볼륨 렌더링을 위한 CNN 기반 TF 색상 매핑

1. 서론

직접 볼륨 렌더링은 볼륨의 표면 연산 없이 2차원 공간에 투영하여 렌더링하는 방식을 말한다. 렌더링 과정은 3차원 공간에 카메라를 배치한 뒤 레이캐스팅과 같은 직접 볼륨 렌더링 기술을 적용하여 직접 볼륨 렌더링 이미지(DVRI)를 획득한다. 이 때 사용자는 볼륨에 색상을 지정하기 위하여 전이함수(TF, transfer function)를 활용하여 복셀에 광학특성을 부여한다.

일반적으로 가장 많이 사용되는 2차원 TF로써 I-GM TF(Intensity-Gradient Magnitude TF)[1]는 볼륨 강도에 대한 히스토그램을 X축으로 볼륨 강도의 기울기 크기에 대한 히스토그램을 Y축으로 구성하여 표현된다. 볼륨 강도는 매질의 특성을 나타내며 매질이 단단할수록 그 값이 증가한다. 기울기 크기는 매질 경계 변화를 나타낸다. 일반적으로 동일한 매질은 균일한 강도를 가지므로 낮은 기울기 크기를 지닌다. 강도 및 기울기 크기의 이러한 속성으로 인해 I-GM TF는 동일한 매질의 강도 범위 내에서 가장 작은 강도와 가장 큰 강도를 연결하는 아치형 패턴이 표현된다. 따라서 I-GM TF를 조작하기 위해 사용자는 아치 세그먼트를 식별하고 재료 경계를 탐색하며 볼륨의 광학 속성을 할당해야 한다. 그러나 간혹 2D TF에서 아치세그먼트가 서로 겹치는 경우가 발생한다. 이런 현상으로 인해 볼륨렌더링에 생소한 사용자는 TF를 조정하여 매질을 분류하기까지 많은 시간이 소요된다.

최근의 TF에 관한 연구는 볼륨데이터로부터 파생된 추가 속성을 활용한 연구가 진행되었다[2][3]. TF에 대한 연구 중 Maciejewski et al.[4]은 볼륨 데이터의 속성 공간(attribute space)을 활용한 반자동 TF 생성을 제안한다. 본 연구에서는 Maciejewski et al.의 연구에서 영감을 받아 속성 공간에서 클러스터링된 TF를 사용하여 DVRI를 획득한 뒤 CNN으로 분류하는 기술을 제안한다.

본 논문은 기존 연구[5]에서 수행한 결과를 바탕으로 색상 추출 방법 및 사용성에 대한 추가 연구를 다루고 있다. Figure 1은 TF 색상 매핑 파이프라인을 보여준다. 볼륨이미지가 아닌 인터넷에서 획득한 이미지를 활용하여 CNN을 학습하고 학습된 이미지의 피쳐를 활용하여 TF에 매핑하는 방법을 제안한다. 본 논문에서는 기존의 색상 매핑 기술을 설명한 뒤 실험 참가자의 렌더링 이미지를 비교하고 타겟이미지를 활용한 TF 색상 선정 방법을 토의한다.

2. 관련연구

직접 볼륨 렌더링(DVR)은 전이 함수(TF)를 이용하여 각 복셀의 색상과 불투명도를 지정하여 렌더링된다. DVR에서 적절한 TF를 설정하면 볼륨 데이터에 대한 이해가 높아지고 시각적 큐가 향상되므로, 볼륨 데이터 도메인에서 적절한 TF를 설정하기 위해 많은 TF 기술이 연구되었다. Drebin et al.[6]는 1D 히스토그램 TF를 가진 직접 볼륨 렌더링 (DVR)을 제안한다. 1D TF는 다양한 시스템에서 사용되는 가장 일반적인 전달 함수이다[2,7,8]. He et al.[9]은 스칼라 강도 값에 따라 복셀을 분류하는 1D TF를 사용한다. Li et al.[10]은 자동차 CT 영상에 1D TF를 적용하여 볼륨 렌더링 분류를 소개한다. 하지만, 특징이 다른 복셀을 분리하려고 할 때 복셀의 강도 범위가 겹치는 경우가 많다. 따라서 1D TF만으로 특징을 구별하고 식별하는 것은 제한적이다[11].

1D TF에 의한 한계를 극복하기 위해, scalar value and gradient magnitude[1], color distance gradient[12], curvature[13,14,15], spatial distance[16], occlustion spectrum[17], view-dependent occlusion[18]을 포함하여 다양한 추가 매개 변수를 사용한 TF가 제안되었다. 고차원 TF를 활용하면 볼륨 특징을 보다 효율적으로 구별하기 때문에 더 나은 볼륨 렌더링 이미지를 얻을 수 있다. 더 많은 매개 변수로 인하여 TF에 변수가 추가 될수록 볼륨 데이터의 TF를 세분화 할 수 있다. 일반적인 다차원 전달 함수 (MDTF)에는 사전 정의 된 확률 분포[19], 재료 경계 식별을 위한 LH 도메인[20], RBF 네트워크를 사용하는 피크 값 검출[21], 비모수적 커널 밀도 추정[22], 통계적 TF[23], attribute space[4] 및 확률적 차원 축소[24]를 활용한 방법이 연구되었다. 다차원 도메인 특성을 활용한 방법은 볼륨 데이터 내에서 특징을 분리 할 가능성을 증가시키고 렌더링 이미지의 시각적 신호를 향상시킨다. 그러나 MDTF는 속성의 수가 증가함에 따라 사용자 상호 작용의 복잡성으로 인해 도메인 특성을 포함하는 적절한 TF를 지정하기 위해 더 많은 노력이 필요하다.

일부 연구는 TF 조작의 편의성을 개선하기 위한 연구가 제안되었다. Castro et al.[25]은 메타 데이터를 1D TF와 결합하여 뼈, 뇌 및 근육을 포함한 고수준 구성 요소를 선택함으로써 TF 분류 기술을 제시한다. Kniss et al.[1]은 MDTF를 위한 일련의 위젯 및 상호 작용 도구를 소개한다. 상호작용에 대한 연구가 진행됨에 따라 다양한 상호 작용 기술을 제안되었다. 상호작용에 연구된 기술은 파라미터화된 프리미티브 세트[26], 히스토그램[27], 다중 특징점 융합[28], 텍스처 매트릭스[29], 해부학적 구조[30], 피쳐 크기 기반 TF[31], 평행 좌표 플롯[32,33,34], WYSIWYG[35], 계층적 변형 덴드로그램[36], 속성 공간 탐색[4] 및 경계의 공간 연결성[37]을 응용한다.

TF를 조작의 편의성을 개선하는 연구가 발표됨에 따라 고차원의 TF를 자동으로 생성하기 위한 방법에 관한 연구도 진행되었다. Fujishiro et al.[38]는 그래프 토폴로지 분석을 활용한 자동화된 TF를 제안한다. Sereda et al.[39]는 LH 도메인 공간과 볼륨의 유사성을 계산하는 방식으로 자동 분류 모델을 제안한다. Pfaffelmoser et al. [40]는 자동으로 선택된 TF에서 표면의 공간 편차로 볼륨 표면의 연속성과 불확실성을 시각화한다. Bramon et al. [41]은 여러 TF를 자동으로 정의하는데 활용하기 위한 정보 이론 기반 가중치 모델을 제시한다. Ma와 Entezari[42]는 셀 기반의 특징 유사성을 이용하여 FOI(Feature of Intensity)를 식별한 뒤, 선택된 특징에 기초하여 TF를 자동으로 생성하는 기술을 제안한다.

3. CNN 기반 TF 색상 매핑

기존연구[5]에서는 I-GM TF의 조작의 한계를 극복하기 위하여 CNN을 기반으로한 자동화된 TF 색상 매핑 기법을 제안한다. 본 장에서는 기존 연구의 내용을 설명한다. Figure 1의 (a)는 TF 색상 매핑과정을 보여준다. 제안되는 기술은 볼륨렌더링에 생소한 사용자가 보다 쉽게 볼륨렌더링에 익숙해 지기 위한 접근법이다. 제안하는 시스템은 인터넷으로부터 수집된 이미지들을 작은 패치로 나누어 CNN모델을 학습한다. 학습된 모델은 TF로부터 생성된 DVRI로 부터 TF를 레이블링하고, 타겟이미지로부터 레이블 색상 선정에 활용된다. 시스템은 연산된 label TF에 색상을 매핑한뒤 렌더링 하여 볼륨을 표현한다.

3.2 이미지 기반 볼륨 TF 색상 매핑

Maciejewski et al.[4]은 볼륨 데이터의 속성 공간(attribute space)을 활용한 반자동 TF 생성을 제안한다. 속성 공간으로 군집화된 TF는 볼륨의 구성요소를 1차 분류 하는 역할을 한다. 본 논문에서는 군집화된 속성공간 TF를 Class-TF로 정의한다. Class-TF는 기존 속성공간 TF에 비해 일부 label의 소실이 발생할 수 있는 한계가 있다. 그럼에도 불구하고 하나의 Class-TF는 수개의 Grid-TF의 집합으로 표현 가능하여 C-DVRIs(Class TF based Direct volume rendering images)로부터 Grid-TF단위의 TF영역을 역추적 할 수 있다는 장점이 있다.

Figure 2는 레이블링된 이미지패치를 이용하여 TF를 레이블링하는 과정을 나타낸다. 하나의 C-DVRI는 훈련된 CNN model에 의해 수 개의 레이블로 분류된다. 시스템은 C-DVRI로부터 분류된 레이블 이미지패치의 위치를 활용하여 Grid-TF를 상의 레이블을 추정한다. Figure 2의 C-DVRI는 클래스4에 해당하는 class-TF로부터 획득한 이미지이다. Class-TF의 클래스4는 100개의 그리드 중 20개의 그리드를 포함하며, 그리드 14는 클래스4에 속한다. C-DVRI는 다수의 Grid의 집합이므로 Class에 속하는 그리드의 볼륨렌더링 이미지 G-DVRI의 구성요소는 C-DVRI에 포함된다. 따라서 Figure 2의 C-DVRI(Class 4)는 가지, 흙, 화분을 모두 표현하는 반면 G-DVRI(Grid 14)는 C-DVRI(Class 4)의 일부분인 가지와 흙에 대한 볼륨을 표현한다. 시스템은 C-DVRI의 레이블링 결과 이용하여 Grid-DVRI로부터 분류된 레이블된 이미지패치의 위치와 동일한 위치의 이미지패치를 추출한다. 시스템은 추출된 그리드패치와 Class-TF의 레이블링된 패치의 구조적 유사도(structural similarity)[43]를 기준으로 레이블별 평균 유사도를 구한다. Figure 2 (a)는 한 시점에서 추출된 C-DVRI와 G-DVRI의 패치를 비교하여 투표 점수를 표현하는 과정을 나타낸다.

Figure 2. (a)TF color mapping pipeline. (b)CNN model. CNN models are trained by sample images collected from the Internet. The trained model labels TFs with DVRI patches and target image patches. The system maps the color to the computed label TF and then renders the volume.

Download Original Figure

Figure 2 (b)는 26개의 시점으로부터 투표점수를 합산하여 TF의 레이블을 확정한다. 레이블 별 색상은 타겟이미지의 레이블 패치의 색상 평균을 이용하여 TF에 매핑한다. 학습된 CNN 모델은 이미지 패치로부터 데이터를 레이블링하는 역할을 하기 때문에 CNN에 입력되는 이미지를 타겟 색상이 포함된 이미지로 변경하면 동일하게 레이블을 획득할 수 있다. 우리는 레이블된 패치를 각 레이블별로 묶은뒤 RGB 색상을 평균 내어 레이블 색상을 정한다. 색상이 할당된 TF는 기존의 DVR 파이프라인과 동일하게 활용된다.

4. 결과 및 색상 추출 방법에 관한 토의

본 논문은 볼륨렌더링에 생소한 초보자에게 적용하여 볼륨렌더러를 활용하기까지의 러닝커브를 줄이는 것을 목표로 한다. 따라서 우리는 사용성 평가를 위하여 볼륨렌더링에 생소한 초보자에게 타겟 이미지를 제공하고 볼륨렌더러를 다루도록 하였다. 실험 참여자는 5명으로 컴퓨터공학 석박사 과정 2명, 학부과정 2명, 비전공자 1명으로 구성되어있다. 기존연구에서는 TF 조작에서의 사용성을 중심으로 수행 시간을 측정하여 비교하였으며 우수한 성능을 보여주었다. 하지만 렌더링을 수행하는 사람마다 색상 선정에서의 어려움이 있음을 확인하였다. Figure 3는 사용자 및 제안하는 CNN모델을 활용한 분재 볼륨 렌더링 이미지를 나타낸다. Figure 3의 표현색상은 각 레이블에 해당하는 볼륨 영역에서의 색상 분포를 나타낸다. 모든 참가자가 동일한 타겟 이미지를 활용하여 렌더링하였음에도 불구하고, 선택한 색상이 서로 다르다. 동일한 색상을 보았어도 각 참가자가 색을 구분하는 능력이 다르기 때문에 표현의 한계가 존재한다고 볼 수 있다. 이 관점에서 제안한 시스템의 색상 추출 기법에 관한 검토가 필요하다. 추출된 색상은 CNN모델에 의해 근사화된 색상이기 때문에 사람에 따라 타겟 이미지의 색상과 다르다고 생각될 수 있다.

Figure 3. Labeled-TF generation using CNN. The system calculates the average structural similarity between the G-DVRI and C-DVRI patches for each label. The representative labels of TFs are obtained by Borda count-based voting.

Download Original Figure

본 논문에서는 더욱 유사한 색상을 추출하기 위하여 k-means clustering을 활용한 색상 추출 기법을 검토한다. 우선 기존 시스템의 색상 추출은 레이블된 패치의 평균 색상을 활용한다. 하지만 패치 이미지에는 추출하고자 하는 색상과 주변 배경 또는 겹쳐진 물체의 색상이 포함된다. 따라서 단순 평균을 활용한 접근법은 패치의 메인 색상이 아닌 다른 색상에 의해 오차가 발생한다. 따라서 메인 색상이 아닌 색상을 필터링하기 위하여 클러스터링을 활용한 추출을 검토한다. 이미지 패치로부터 획득된 색상을 K-means 알고리즘으로 클러스터링한 뒤 각 클러스터의 중심점을 대표 색상으로 설정한다. 따라서 각 클러스터의 중심 색상은 레이블 색상 분포를 추정할 수 있다. Figure 4의 (a)는 K-means 클러스터링의 K를 3으로 설정하였을 때 구분되는 색상을 표현한다. Figure 4의 extraction criteria는 각각 명도, 채도, 색조에 해당하는 색상 기준에 따라 선정된 색을 나타낸다. 색상 선택에 있어서 3개의 색상이 존재할 때 명도, 색조, 채도를 기준으로 중앙값에 해당하는 색상을 선택한다. Figure 4의 (b)는 각 클러스터 및 추출된 색상을 활용한 렌더링 이미지이다. 클러스터링 색상은 타겟이미지와 다소 큰 차이를 보이지만 명도, 채도, 색조를 활용한 필터링 결과는 타겟이미지와 유사한 색상을 표현한다. 비슷한 방법으로 5개의 클러스터가 존재할 때 최대, 최소에 해당하는 색상을 제거한 후 평균 색상으로 구성하면 양극단에 해당하는 색상이 제거되어 보다 노이즈의 영향이 줄어든 색상이 추출 된다. Figure 4의 (c)는 K-means 클러스터링의 K가 5일때의 볼륨렌더링 이미지이다. 명도, 색조, 채도에 의한 색상 추출 기법은 기존연구보다 다양한 선택지를 제공할 수 있으며, 사용자 테스트에서 참가자가 선정한 색상의 범위 안에 포함되는 색감을 보여준다. 또한 K=3으로 설정한 클러스터 보다 K=5로 설정한 클러스터로부터 획득된 색상은 각 레이블의 색상 구별이 쉽다. 평균 색상을 활용한 색상추출은 간단하면서도 충분히 효율적인 렌더링이 가능하지만 이미지 패치에 포함된 노이즈에 많은 영향을 받는다. K-means 클러스터링을 활용한 색상 선정은 클러스터링과 색상 기준에 따라 추가 연산이 필요하지만 이미지 패치 노이즈에 강하며 사용자에 의해 선택할 수 있는 색상 선정이 가능하다.

Figure 4. Comparison of rendering images and colors. All participants selected different colors for the volume.

Download Original Figure

Figure 5. Extracted colors and rendering images using k-means clustering when K is set to 3 and 5. We compare filtered colors using brightness, saturation, and hue.

Download Original Figure

5. 결론 및 향후연구

본 논문은 CNN을 활용하여 자동화된 TF 색상 맵핑 방법을 제시하였다. 제안하는 기술은 렌더링된 이미지 또는 TF만을 학습하는 것이 아닌 실제 이미지를 포함하여 학습하기 때문에 볼륨렌더링에 생소한 사용자의 접근장벽을 낮추는 장점이 있었다. 시스템은 CNN을 활용하여 볼륨 데이터에 알맞은 레이블을 생성하였다. 제안하는 렌더링 파이프라인은 Class-TF를 정의하고 Borda 카운트 점수와 함께 투표 기술을 사용하여 TF에 타겟 이미지의 색상을 매핑한다. 또한 기존의 평균색상을 활용한 색상 추출방법과 K-means 클러스터링을 활용한 색상 추출 방법을 비교하고 장단점을 토의 하였다. 명도, 색조, 채도를 중심으로 색상 필터링을 활용하면 타겟 이미지의 주요 색상을 반영하면서 인지 범위 내의 색감 표현이 가능하다. 우리는 향후 연구로 거리기반의 클러스터링 이외의 DBSCAN, OPTICS, HDBSCAN 과 같은 밀도기반 클러스터링을 활용한 색상 추출을 검토할 예정이다. 또한 많은 학습이 필요한 CNN 모델의 한계점을 극복하기 위한 반자동 레이블링 기술과 협업 레이블링 시스템을 개발할 예정이다. 또한 GAN과 CNN을 융합하여 한 종류의 타겟 이미지만을 레이블링하여 스타일을 맵핑 할 수 있는 반 지도학습 기반 스타일 볼륨 렌더링을 개발할 예정이다.