Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

무릎 MR 영상에서 다중 아틀라스 기반 지역적 가중 투표 및 패치 기반 윤곽선 특징 분류를 통한 반월상 연골 자동 분할

김순빈1https://orcid.org/0000-0001-9641-2517, 김현진1https://orcid.org/0000-0003-0311-7530, 홍헬렌1,*https://orcid.org/0000-0001-5044-7909, 왕준호2
SoonBeen Kim1https://orcid.org/0000-0001-9641-2517, Hyeonjin Kim1https://orcid.org/0000-0003-0311-7530, Helen Hong1,*https://orcid.org/0000-0001-5044-7909, Joon Ho Wang2
1서울여자대학교 소프트웨어융합학과
2성균관대학교 의과대학 삼성서울병원 정형외과
1Department of Software Convergence, Seoul Women’s University
2Department of Orthopedic Surgery, Samsung Medical Center, Sungkyunkwan University School of Medicine
*corresponding author:Helen Hong/Department of Software Convergence, Seoul Women’s University(hlhong@swu.ac.kr)

© Copyright 2018 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 13, 2018 ; Revised: Aug 26, 2018 ; Accepted: Aug 27, 2018

Published Online: Sep 01, 2018

요 약

본 논문에서는 무릎 MR 영상에서 반월상 연골의 자동 위치화, 다중 아틀라스 기반 지역적 가중 투표를 통한 반월상 연골 분할 및 패치 기반 윤곽선 특징 분류를 통한 반월상 연골 자동 분할 방법을 제안한다. 첫째, 뼈와 무릎 관절 연골을 분할한 후 이를 이용하여 반월상 연골의 관심볼륨영역을 자동 위치화한다. 둘째, 반월상 연골의 관심볼륨영역에서 형상 및 밝기값 분포 가중치를 고려한 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할한다. 셋째, 밝기값이 유사한 측부 인대로의 누출을 제거하기 위해 형상 및 거리 가중치를 고려한 패치 기반 윤곽선 특징 분류를 통해 반월상 연골 분할을 개선한다. 제안 방법을 통한 분할 결과와 수동 분할 결과 간 다이스 유사계수는 내측 반월상 연골은 80.13%, 외측 반월상 연골은 80.81%를 보였으며 다중 아틀라스 기반 지역적 가중투표를 통한 분할 방법과 비교하여 내측 및 외측 반월상 연골 각각 7.25%, 1.31% 향상되었다.

Abstract

In this paper, we propose an automatic segmentation method of meniscus in knee MR images by automatic meniscus localization, multi-atlas-based locally-weighted voting, and patch-based edge feature classification. First, after segmenting the bone and knee articular cartilage, the volume of interest of the meniscus is automatically localized. Second, the meniscus is segmented by multi-atlas-based locally-weighted voting taking into account the weights of shape and intensity distribution in the volume of interest of the meniscus. Finally, to remove leakage to the collateral ligaments with similar intensity, meniscus is refined using patch-based edge feature classification considering shape and distance weights. Dice similarity coefficient between proposed method and manual segmentation were 80.13% of medial meniscus and 80.81% for lateral meniscus, and showed better results of 7.25% for medial meniscus and 1.31% for lateral meniscus compared to the multi-atlas-based locally-weighted voting.

Keywords: 무릎 MR 영상; 반월상 연골 분할; 다중 아틀라스 분할; 지역적 가중 투표; 서포트 벡터 머신
Keywords: Knee MR image; Meniscus segmentation; Multi-atlas segmentation; Locally-weighted voting; Support vector machine

1. 서론

반월상 연골(meniscus)은 얇은 C자 모양의 연골로 무릎 안쪽에 위치한 내측 반월상 연골(medial meniscus)과 바깥쪽에 위치한 외측 반월상 연골(lateral meniscus)로 구성되며 대퇴골(femur)과 대퇴부 연골(femoral cartilage)의 하단과 경골(tibia)과 경골 연골(tibial meniscus) 상단 사이에 위치하여 무릎의 하중을 분산시키고 마찰을 줄여 무릎 관절 연골을 보호하는 역할을 한다[1]. 이 때, 반월상 연골이 손상되어 무릎 관절 연골이 변성되고 마모되면서 생기는 무릎 퇴행성관절염(OA: Osteoarthritis)의 조기 진단 및 수술 계획을 위하여 무릎 자기공명(MR: Magnetic Resonance) 영상에서 반월상 연골의 구조적 변화를 확인하고 볼륨을 측정하기 위해 분할이 선행되어야 한다[2]. 그러나 Figure 1과 같이 무릎 MR 영상에서 반월상 연골은 인접한 대퇴골, 경골, 내외측 측부 인대(collateral ligaments)와 밝기값이 유사하여 밝기값 기반 분할 기법 적용 시 유사 밝기값을 가진 주변 영역으로 누출(leakage)이 발생할 뿐 아니라 두께가 얇고 환자마다 전각(anterior horn)과 후각(posterior horn)의 굴곡 차이가 큰 형상을 보여 형상 모델 기반 분할 기법 적용 시 분할 정확도가 낮아지는 한계가 있다.

jkcgs-24-4-29-g1
Figure 1: Characteristics of meniscus in knee MR images. (a) Meniscus in axial view. (b) Meniscus in coronal view. (c) Meniscus in sagittal view. (d) 3D shape of meniscus.
Download Original Figure

무릎 MR 영상에서 반월상 연골을 분할하기 위한 관련연구는 밝기값 기반, 형상 모델 기반, 기계 학습 기반 분할 방법으로 나눌 수 있다. 밝기값 기반 분할 방법의 경우, Swanson[3] 등은 반월상 연골 영역 내에 수동으로 씨앗점(seed point)을 선택한 후 가우시안 혼합 모델(GMM: Gaussian Mixture Model)을 이용하여 임계값을 구하고, 임계치 기법을 통해 반월상 연골을 분할한 후 형태학적 연산(morphological operation)을 통해 분할된 반월상 연골을 개선하는 반자동 분할 방법을 제안하였다. Swamy[4] 등은 히스토그램 평활화(histogram equalization)와 명암비 강화(contrast enhancement)를 수행한 후 임계치 기법을 통해 반월상 연골을 초기 분할하고, 캐니 윤곽선 검출(canny edge detection) 방법을 적용하여 반월상 연골을 분할하였다. 그러나, 밝기값 기반 분할 방법은 반월상 연골과 밝기값이 유사한 인접한 뼈나 내외측 측부 인대로 누출이 발생하여 분할 정확도가 떨어지는 한계가 있다.

형상 모델 기반 분할 방법의 경우, Fripp[5] 등은 반월상 연골 상하단에 있는 뼈와 무릎 관절 연골을 먼저 분할하여 반월상 연골의 위치를 예측하여 관심영역으로 설정한 후, 내외측 반월상 연골을 하나의 반월상 연골로 고려하여 활성형상모델(ASM: Active Shape Model) 적합을 통해 분할하고, 내외측 반월상 연골을 서로 다른 형상으로 구분하여 활성형상모델 적합을 각각 적용하여 최종 분할하는 방법을 제안했다. Kim[6] 등은 반월상 연골 분할을 위해 ASM 적합 시 큰 변형에 대해 최적의 위치로 수렴하는데 한계가 있어 변형이 큰 반월상 연골의 중간형상정보를 생성하여 통계형상모델의 다양한 변형을 생성함으로써 ASM 적합 시 형상 변형이 큰 반월상 연골의 경우에도 강건하게 분할하는 방법을 제안했다. Paproki[7] 등은 반월상 연골 분할을 위해 ASM 적합 시 지역 해(local optima)에 조기 수렴되는 문제를 방지하기 위해 가우시안 피라미드(Gaussian pyramid) 기법을 통해 두 가지 해상도 영상을 생성하여 ASM 적합하는 방법을 제안했다. Kim[8] 등은 뼈와 무릎 관절 연골을 선행 분할한 후 3차원에서의 반월상 연골의 관심 영역을 자동으로 지정하고, 관심 영역에서 다중 아틀라스 기반의 지역적 가중 투표를 통해 반월상 연골을 분할한 후, 형태학적 연산을 이용한 후처리를 통해 반월상 연골을 분할했다. 그러나, 형상 모델 기반 분할 방법은 형상 모델 생성 시 사용되는 훈련 아틀라스의 개수와 형태가 분할 정확도에 영향을 미치며, 환자마다 반월상 연골의 전각과 후각 사이의 굴곡이 변이가 큰 경우 분할 정확도가 낮아질 뿐 아니라 오정합으로 인해 주변 측부 인대로의 분할 누출이 발생하는 한계가 있다.

기계 학습 기반 분할 방법의 경우, Dam[9] 등은 강체 정합(rigid registration) 기반의 다중 아틀라스 분할 방법을 적용하여 뼈, 무릎 관절 연골, 반월상 연골을 초기 분할한 후, 훈련집합 내 각 구조물의 위치정보를 바탕으로 관심볼륨영역(VOI: Volume Of Interest)을 지정하고, 밝기값과 위치 정보를 특징 벡터로 하여 복셀 분류(voxel classification)를 통해 반월상 연골을 분할하였다. Zhang[10] 등은 다중 대조(multi-contrast) MR 영상에서 주변 복셀의 밝기값, 위치, 헤시안 행렬(Hessian matrix)의 고유값 분해 등의 지역적 특징벡터와 대퇴골 및 경골로부터의 유클리디안 거리 등의 기하학 정보를 갖는 특징벡터를 추출하여 Extreme Learning Machine과 Discriminative Random Field를 혼합한 분류 모델을 통해 반월상 연골을 분할하였다. Norman[11] 등은 T1 강조 MR 영상과 이중 에코(DESS: Double-echo steady state) MR 영상에 U-Net 기반의 딥러닝 기법을 적용하여 무릎 관절 연골과 반월상 연골을 분할하였고, Raj[12] 등은 2차원 U-Net 구조를 3차원으로 확장한 모델인 μ-Net 기반으로 무릎 관절 연골과 반월상 연골을 분할하였다. 그러나, 기계 학습 기반 분할 중 특징벡터를 추출하여 분류한 방법은 반월상 연골의 형상이 특이한 경우 훈련 집합으로부터 추출한 특징벡터가 적합하지 않아 분할 정확도가 낮아지고, 딥러닝을 적용한 경우 상대적으로 작은 형상을 가진 반월상 연골 학습 시 클래스 불균형(class imbalance)으로 인해 분할 정확도가 낮아지는 한계가 있다.

본 논문에서는 무릎 MR 영상에서 반월상 연골의 위치를 자동 정의하기 위해 지역적 가중 투표(LWV: Locally-Weighted Voting)를 사용한 다중 아틀라스 분할을 통해 반월상 연골 주변 뼈와 무릎 관절 연골을 분할하여 반월상 연골 영역을 위치화 하고, 환자마다 반월상 연골의 다양한 형상과 밝기값 분포를 고려하기 위해 LWV를 사용한 다중 아틀라스 분할과 밝기값이 유사한 측부 인대로 누출이 발생하는 현상을 제거하기 위해 패치기반 윤곽선 특징 분류를 통해 반월상 연골을 자동 분할하는 방법을 제안한다.

2. 반월상 연골 자동 분할

본 논문에서 제안한 반월상 연골 분할 방법의 개요는 Figure 2와 같다. 먼저 훈련 아틀라스에서 대상 영상과 유사한 아틀라스를 선정하여 뼈와 무릎 관절 연골을 선행 분할한 후[13], 대퇴골 및 대퇴부 연골과 경골 및 경골 연골 사이에 반월상 연골이 위치한다는 해부학 정보를 바탕으로 VOI를 자동 지정한다. 지정된 VOI 내에서 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할한 후, 밝기값이 비슷한 측부인대로의 누출을 제거하기 위해 패치 기반 윤곽선 특징 분류를 통해 반월상 연골 분할을 개선한다.

jkcgs-24-4-29-g2
Figure 2: Overview of proposed meniscus segmentation.
Download Original Figure
2.1 뼈 및 무릎 관절 연골 분할을 통한 반월상 연골 자동 위치화

반월상 연골은 두께가 얇고 작은 형상을 가진 조직으로 뼈, 무릎 관절 연골 등의 무릎 구조물이 포함되어 있는 영상에서 다중 아틀라스 기반 분할을 위해 정합을 수행하는 경우, 뼈와 같이 형상이 큰 조직을 중심으로 정합되어 반월상 연골의 정합 정확도가 낮아지는 한계가 있다. 따라서 본 절에서는 반월상 연골이 대퇴골 및 대퇴부 연골의 하단과 경골 및 경골 연골의 상단에 위치한다는 해부학적 정보를 이용하여 반월상 연골의 VOI를 지정하여 자동 위치화 방법을 제안한다.

첫째, 대상 영상과 유사한 아틀라스를 훈련집합에서 자동으로 선정한다. 이를 위해 무릎 MR 영상에서 뼈 형상 정보를 가장 많이 포함하는 2차원 투영 영상을 생성하기 위해 대상 영상과 훈련 아틀라스에서 시상면 밝기값 평균 투영(SAIP: Sagittal Average Intensity Projection) 영상을 각각 생성한 후, 두 영상 간 2차원 영상 기반 유사 정합과 식 (1)과 같이 정합된 두 투영 영상 간 정규화된 평균 밝기값 차이(NADD: Normalized Average Density Difference)를 계산하여 유사 훈련 아틀라스를 선정한다.

N A D D = 1 N × i = 1 N I t a r g e t i I a t l a s i max ( I t a r g e t )
(1)

이 때, N은 대상 영상의 전체 화소 개수, Itargeti 은 대상 영상의 i번째 화소 밝기값, Iatlasi 는 훈련 아틀라스의 i번째 화소 밝기값, max (Itarget)은 대상 영상에서의 최대 밝기값을 의미한다.

둘째, 대퇴골 및 경골 분할을 위해서 대상 영상과 선별한 훈련 아틀라스 간 3차원 영상 기반 유사 정합을 수행하고, 지역적 가중 투표를 통해 대퇴골 및 경골의 초기 분할 모델을 예측한 후, 분할된 초기 대퇴골 및 경골 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합(affine registration)을 수행하고, 지역적 가중 투표를 통해 대퇴골 및 경골을 최종 분할한다.

대퇴골과 경골의 초기 모델 분할을 위한 지역적 가중 투표는 식 (2)를 통해 아틀라스 유사도 가중치 및 밝기값 유사도 가중치를 고려한다.

B e s t = ar g m a x j i w i m g w int e n s i t y v i j B
(2)

이 때, Best 는 대퇴골 및 경골 초기 모델 마스크, wimg 는 아틀라스 유사도 가중치, wintensity 는 밝기값 유사도 가중치, vijB는 j번째 훈련 아틀라스의 i번째 화소의 대퇴골 및 경골 분할 마스크에 따른 투표 값을 의미한다.

아틀라스 유사도 가중치 wimg는 대상 영상과 훈련 아틀라스 영상 간 3차원 영상 기반 유사 정합을 통한 정합 유사 정도를 나타내는 가중치로 식 (1)을 이용하여 식 (3)과 같이 계산한다.

w i m g = 1 N A D D
(3)

밝기값 유사도 가중치 wintensity 는 대상 영상의 i번째 화소 Itargeti 가 훈련 아틀라스에서 추출한 밝기값 히스토그램 Hatlas 에서 대퇴골 및 경골 영역일 확률 PB을 나타내는 가중치로 식 (4)와 같이 계산한다.

w int e n s i t y = P B ( I t a r g e t i | H a t l a s )
(4)

대퇴골과 경골의 최종 분할을 위한 지역적 가중 투표는 식 (5)를 통해 아틀라스 유사도 가중치 및 밝기값 유사도 가중치를 고려한다.

B s e g = ar g m a x j i w m o d e l w int e n s i t y v i j B
(5)

이 때, Bseg는 대퇴골 및 경골 모델 마스크, wmodel는 아틀라스 유사도 가중치, wintensity 는 밝기값 유사도 가중치, vijB 는 j번째 훈련 아틀라스의 i번째 화소의 대퇴골 및 경골 분할 마스크에 따른 투표 값을 의미한다.

아틀라스 유사도 가중치 wmodel는 대상 영상의 초기 대퇴골 및 경골 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 통해 구한 분할 모델 간 유사 정도를 나타내는 가중치로 식 (6)과 같이 계산하고, 밝기값 유사도 가중치 wintensity 는 식 (4)를 이용하여 계산한다.

w m o d e l = 1 A D D
(6)

이 때, ADD는 식 (7)과 같이 두 모델 간 평균거리차이(ADD: Average Distance Difference)로 계산한다.

A D D = 1 N × i = 1 N D i s t ( I t a r g e t i I a t l a s i ) max ( D i s t )
(7)

이 때, N은 대상 영상의 초기 대퇴골 및 경골 모델의 전체 화소 개수, Itargeti 은 대상 영상 모델의 i번째 화소, Iatlasi 는 훈련 아틀라스 영상 모델의 i번째 화소를 나타낸다. DistItargetiIatlasi 간의 최소 거리를 계산하는 함수이고, max(Dist)는 대상 영상과 훈련 아틀라스 영상의 모델 간 최대거리를 나타낸다.

셋째, 대퇴부 연골과 경골 연골이 각각 대퇴골과 경골에 인접해 있다는 형상 정보를 이용하여 선행 분할한 대퇴골 및 경골의 어파인 변환을 적용해 대퇴부 연골 및 경골 연골을 정렬시킨 후 아틀라스 유사도 가중치, 밝기값 유사도 가중치, 대퇴골 및 경골과 대퇴부 연골 및 경골 연골 사이의 거리 유사도 가중치, 판도 유사도 가중치를 고려한 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할한다.

C = ar g m a x j i w m o d e l w int e n s i t y w d i s t w p l a t e v i j C
(8)

이 때, C는 대퇴부 연골 및 경골 연골 모델 마스크, wmodel는 아틀라스 유사도 가중치, wintensity 는 밝기값 유사도 가중치, wdist 는 뼈-무릎 관절 연골 사이의 거리 유사도 가중치, wplate 는 판도 유사도 가중치, vijC는 j번째 훈련 아틀라스의 i번째 화소의 대퇴부 연골 및 경골 연골 마스크에 따른 투표 값을 나타내고, 아틀라스 유사도 가중치 wmodel는 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 통해 구한 분할 모델 간 유사 정도를 나타내는 가중치로 식 (6)과 같이 계산하고, 밝기값 유사도 가중치 wintensity 는 식 (4)를 이용하여 계산한다.

뼈-무릎 관절 연골 사이의 거리 유사도 가중치 wdist 는 대상 영상의 뼈의 표면에서의 거리와 훈련 아틀라스의 뼈-무릎 관절 연골 평균 거리 차이를 통한 무릎 관절 연골의 범위를 제한하는 가중치로 식 (9)와 같이 계산된다.

w d i s t = e d i s t t a r g e t i d i s t a t l a s B C
(9)

이 때, disttargeti는 대상 영상의 i번째 화소의 뼈 표면에서의 거리, distatlasBC는 훈련 아틀라스의 뼈-무릎 관절 연골 평균 거리를 의미한다.

판도 유사도 가중치 wplate 는 대상 영상과 훈련 아틀라스의 판도의 차이를 통한 무릎 관절 연골 모델 판형의 정도를 판단하는 가중치로 식 (10)과 같이 계산된다.

w d i s t = e p l a t e t a r g e t i p l a t e a t l a s i 2 σ 2
(10)

이 때, platetargeti 는 대상 영상의 i번째 화소의 판도, plateatlasi 는 훈련 아틀라스의 i번째 화소의 판도를 의미하고, σ는 판도 변수로 실험적으로 50으로 산정하였다. 판도는 헤시안 행렬(Hessian matrix)의 고유값 분해를 이용하여 식 (11)과 같이 계산된다.

p l a t e = | λ 1 | × ( 1 | λ 2 | | λ 1 | ) × ( 1 | λ 3 | | λ 1 | )
(11)

이 때, 헤시안 행렬의 고유값은 |λ3| ≤ |λ2| ≤ |λ1|를 만족한다.

넷째, 선행으로 분할한 대퇴골, 경골, 대퇴부 연골, 경골 연골의 정보를 이용하여 반월상 연골의 VOI를 지정하여 자동 위치화 한다. 반월상 연골의 두께는 5mm 내외이고 무릎 관절 연골 사이에 위치한다는 임상적 정보를 바탕으로 내측 반월상 연골의 경우 Figure 3(a)와 같이 무릎 안쪽의 최대 좌표와 영상의 중앙 좌표를 이용하여 VOI의 좌우 크기를 지정하고, 외측 반월상 연골의 경우 Figure 3(b)와 같이 무릎 바깥쪽의 최대 좌표와 영상의 중앙 좌표를 이용하여 VOI의 좌우 크기를 지정한 후, 대퇴부 연골의 최하단 값에서 7mm 하단의 좌표와 경골 연골의 최상단 값에서 7mm 상단의 좌표를 이용하여 내측 및 외측 반월상 연골 각각의 상하 VOI 경계를 지정한다.

jkcgs-24-4-29-g3
Figure 3: Automatic localization of meniscus VOI. (a) Definition VOI width of medial meniscus. (b) Definition VOI width of lateral meniscus. (c) Definition VOI height of medial and lateral meniscus.
Download Original Figure

제안한 반월상 연골 자동 위치화 방법은 뼈와 무릎 관절 연골을 순차적으로 분할함으로써 반월상 연골의 공간적 위치를 자동으로 지정하여 분할 범위를 좁혀 형상이 큰 주변 조직으로의 정합을 방지해 정합 정확도를 개선한다.

2.2 다중 아틀라스 기반 지역적 가중 투표를 통한 반월상 연골 분할

반월상 연골은 밝기값 기반 분할 방법 적용 시 밝기값이 유사한 주변 조직으로 누출이 발생할 수 있고, 형상 모델 기반 분할 방법 적용 시 환자마다 반월상 연골의 형상 변이가 큰 경우 분할 정확도가 낮아지는 한계가 있다. 이를 해결하기 위해 본 절에서는 2.1절에서 자동 위치화한 VOI 내에서 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할한다[8].

첫째, 반월상 연골의 VOI에서 대상 영상과 훈련 아틀라스 간 3차원 영상 기반 유사 정합을 수행한 후 정합된 영상의 유사 정도에 따라 아틀라스 유사도 가중치를 부여하고, 정합된 대상 영상과 훈련 아틀라스 간 밝기값 유사 정도에 따라 밝기값 유사도 가중치를 부여한 지역적 가중 투표를 통해 식 (2)를 이용하여 초기 반월상 연골 모델을 생성한다.

둘째, 반월상 연골의 초기 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 수행한 후 정합된 두 모델 간 유사 정도에 따른 아틀라스 유사도 가중치와 밝기값 유사 정도에 따른 밝기값 유사도 가중치를 고려한 지역적 가중 투표를 통해 식 (5)를 이용하여 반월상 연골 분할을 수행한다.

제안한 반월상 연골 분할 방법은 형상 정보와 밝기값 분포 정보를 이용한 지역적 가중 투표를 통해 환자마다 다양한 형상을 띄는 반월상 연골의 형상 정보를 고려할 수 있고, 반월상 연골의 밝기값 분포를 고려함으로써 정합 오류에도 견고하게 반월상 연골을 분할할 수 있다.

2.3 패치 기반 윤곽선 특징 분류를 통한 반월상 연골 분할 개선

반월상 연골과 측부 인대가 인접한 영역의 경우 밝기값이 유사하여 경계가 불분명해 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할하더라도 측부 인대로 누출이 발생하는 한계점이 있다. 따라서 본 절에서는 2.2절의 반월상 연골 분할 영역에서 측부 인대 부위에 관심 영역(ROI: Region Of Interest)을 지정한 후, 패치 기반의 윤곽선 특징 분류를 통해 측부 인대로 누출이 발생한 영역을 제거하여 반월상 연골의 분할 정확도를 개선한다. 이 때, 불균일한 밝기값을 갖는 반월상 연골의 내부 영역 및 측부 인대의 윤곽선이 반월상 연골의 윤곽선으로 잘못 선택되는 것을 방지하기 위해 관상면(coronal plane)에서 반월상 연골이 삼각형 형상을 보인다는 형상정보를 기반으로 한 형상 가중치와 반월상 연골의 중심에서 가까울수록 반월상 연골의 내부 영역에 위치해 있고 멀어질수록 측부 인대에 위치해 있다는 거리정보를 기반으로 한 거리 가중치를 고려하여 반월상 연골의 윤곽선을 선택한다.

첫째, 훈련 영상의 반월상 연골과 주변 영역에서 3x3 크기의 패치를 생성한 후 생성된 패치 내에서 세로 방향의 소벨 기울기(sobel gradient) 특징 벡터를 추출하여 학습 데이터를 생성해 SVM 분류기를 학습시킨다. 이 때, 선행으로 분할한 반월상 연골 영역에서 내측 반월상 연골의 경우 분할된 영역의 무릎 안쪽의 최대 좌표와 분할된 영역의 중앙 좌표를 이용하여 관심 영역의 좌우 크기를 지정하고, 외측 반월상 연골의 경우 분할된 영역의 무릎 바깥쪽의 최대 좌표와 분할된 영역의 중앙 좌표를 이용하여 관심 영역의 좌우 크기를 지정하며, 분할된 영역의 최상단 좌표와 최하단 좌표를 이용하여 상하 크기를 지정하여 ROI를 지정한다.

둘째, 분할된 반월상 연골 영역의 i번째 화소에서 학습 데이터와 동일한 크기의 패치를 생성하고, 해당 패치 내에서 세로 방향의 소벨 기울기 특징 벡터를 추출하여 테스트 데이터를 생성한 후, SVM 분류기를 통해 해당 화소가 윤곽선일 확률 Pedgei 을 구한다.

셋째, Pedgei 에 반월상 연골의 형상 가중치와 거리 가중치를 적용하여 반월상 연골의 윤곽선일 확률 Pedgei 을 측정한 후 식 (12)와 같이 임계값 보다 큰 경우 윤곽선으로 분류한다. 내측 반월상 연골의 경우 최종 분류된 윤곽선의 무릎 안쪽 누출을 제거하고, 외측 반월상 연골의 경우 최종 분류된 윤곽선의 무릎 바깥쪽 누출을 제거한다.

P e d g e i = w s h a p e i w l o c a t i o n i P e d g e i { e d g e , if P e d g e i Φ n o n e d g e , if P e d g e i < Φ
(12)

이 때, wshapei 은 i번째 화소에서의 형상 가중치, wlocationi 은 i번째 화소에서의 거리 가중치를 의미하고, Φ는 실험적으로 50%로 산정하였다.

Figure 4(a)의 형상 가중치 wshapei 은 반월상 연골이 삼각형 형상을 보인다는 형상 정보를 바탕으로 분할된 반월상 연골에서 측부 인대가 인접하게 되는 중간 영역을 누적하여 2차원의 확률맵을 생성했을 때, 반월상 연골의 내부 영역 및 누출이 발생한 측부 인대 영역의 경우 누적 확률이 높고, 반월상 연골의 윤곽선의 경우 상대적으로 누적 확률이 낮게 되어 반월상 연골 윤곽선의 위치 범위를 형상 정보를 바탕으로 제한하는 가중치로 식 (13)과 같이 계산한다.

jkcgs-24-4-29-g4
Figure 4: Definition of weights. (a) Shape weight (In a 2D probability map, the higher the cumulative probability value, the brighter the intensity value). (b) Distance weight. (Red: segmented meniscus area)
Download Original Figure
w s h a p e i = e 1 P m a p i
(13)

이 때, Pmapi 은 반월상 연골 영역의 누적 확률을 의미하고, 지수함수를 취하여 1∼2.71 사이의 값을 갖게 한다.

Figure 4(b)의 거리 가중치 wlocationi 는 분할된 반월상 연골 영역의 중심점과 i번째 화소의 거리 차이가 클수록 측부 인대에 위치하고 작을수록 반월상 연골의 중심점 주위에 위치하게 되어 반월상 연골 윤곽선의 위치 범위를 거리 정보를 바탕으로 제한하는 가중치로 식 (14)와 같이 계산한다.

w l o c a t i o n i = e x i x c o i x max x c o i
(14)

이 때, xi는 i번째 화소에서의 x좌표, xcoi는 분할된 반월상 연골 영역의 중심점 x좌표, xmax 는 분할된 반월상 연골 영역의 최대 x좌표를 의미하고, 지수함수를 취하여 1∼2.71 사이의 값을 갖게 한다.

제안한 패치 기반 윤곽선 특징 분류 방법은 반월상 연골과 밝기값이 유사한 측부 인대가 인접해 있어 누출이 발생하고, 반월상 연골의 윤곽선이 불분명한 경우, SVM 분류기를 통해 윤곽선 후보군 추출 후, 형상 가중치와 거리 가중치를 고려하여 반월상 연골 영역 내부 및 측부 인대에서 윤곽선이 잘못 선택될 가능성을 제한하여 반월상 연골 윤곽선을 추출하여 측부 인대로의 누출을 방지함으로써 반월상 연골의 분할 정확도를 개선한다.

3. 실험 및 결과

제안 방법의 실험을 위해 Achieva 3.0T Philips Medical System 장비를 통해 촬영된 3차원 양성자밀도(PD: Proton Density) VISTA MR 영상을 사용하였다. 반월상 연골이 손상되지 않은 10명의 무릎 MR 영상에 대해 반월상 연골 분할을 수행하였으며 각 MR 영상은 해상도 512x512, 화소 크기 0.3125mmx0.3125mm, 슬라이스 간격 0.5mm, 230~250장의 관상면 영상으로 이루어져 있다. 실험 결과를 평가하기 위하여 전문가가 반월상 연골을 수동 분할하여 훈련집합과 평가의 실측치(ground truth)로 사용하여 정성적 평가와 정량적 평가를 수행하였고, 다중 아틀라스 기반 지역적 가중 투표를 통한 반월상 연골 분할 결과(Method A) 및 패치 기반 윤곽선 특징 분류를 통한 분할 개선 결과(Method B)를 비교하였다.

Figure 5는 정성적 평가를 위해 비교방법과 제안방법을 적용하여 반월상 연골을 분할한 결과로 수동 분할 결과와 비교하였다. Method A의 경우 Figure 5(c)와 같이 밝기값이 유사한 내측 및 외측 측부 인대로 누출이 발생하는 문제가 있지만 Method B의 경우 Figure 5(d)와 같이 패치 기반 윤곽선 특징 분류를 통해 내외측 측부 인대로 발생한 누출을 제거하여 수동 분할 윤곽선과 유사함을 확인할 수 있다.

jkcgs-24-4-29-g5
Figure 5: Qualitative evaluation of meniscus segmentation results. (a) Original image (b) Bone and cartilage segmentation results (Blue: bone, Red: cartilage) (c) and (d) Meniscus segmentation results using Method A and Method B, respectively (Green: manual segmentation, White: proposed method) (e) 3D color-coded map showing the distance error between the proposed method and manual segmentation
Download Original Figure

정량적 평가를 위해 수동 분할 결과를 실측치로 하여 다이스 유사계수(DSC: Dice Similarity Coefficient), 민감도(sensitivity), 특이도(specificity) 및 정확도(accuracy)를 식 (15)를 통해 측정하여 비교하였다. 다이스 유사계수는 수동 분할 영역과 자동 분할 영역간의 중복률을 계산하였고, 민감도는 수동 분할 영역에서 자동 분할 영역이 존재하는 비율을 계산하였고, 특이도는 수동 분할 영역이 아닌 영역에서 자동 분할 영역이 아닌 영역의 비율을 계산하였으며, 정확도는 수동 분할 영역에서 자동 분할 영역이 존재하고 수동 분할 영역이 아닌 영역에서 자동 분할 영역이 아닌 영역의 비율을 계산하였다.

D S C = 2 T P 2 T P + F N + F P × 100 S e n s i t i v i t y = T P T P + F N × 100 S p e c i f i c i t y = T N T N + F P × 100 A c c u r a c y = T P + T N T P + F P + F N + T N × 100
(15)

이 때, TP는 반월상 연골로 수동 분할한 영역에서 반월상 연골로 자동 분할된 영역이고, FN는 반월상 연골로 수동 분할 한 영역에서 반월상 연골이 아닌 영역으로 자동 분할된 영역이고, FP는 반월상 연골이 아닌 영역으로 수동 분할한 영역에서 반월상 연골로 자동 분할된 영역이고, TN는 반월상 연골이 아닌 영역으로 수동 분할한 영역에서 반월상 연골이 아닌 영역으로 자동 분할된 영역을 의미한다.

Table 1에서 Medthod B를 적용하였을 때 Method A 대비 윤곽선 특징 분류를 통해 밝기값이 유사한 측부 인대로의 누출을 제거하여 내측 반월상 연골의 경우, 다이스 유사계수와 특이도가 각각 7.25%, 1.93% 향상되었고, 외측 반월상 연골의 경우, 다이스 유사계수와 특이도가 각각 1.31%, 0.35% 향상되었다. 이 때, 외측 반월상 연골이 내측 반월상 연골보다 측부 인대로의 누출이 적어 내측 반월상 연골 대비 성능 향상이 작고, 비교 방법의 민감도가 제안 방법보다 내측 반월상 연골에서 2.87%, 외측 반월상 연골에서 0.04% 높은 수치를 보이는 것은 비교 방법인 Method A의 분할 결과가 주변 조직으로 누출이 발생함으로써 생긴 결과이다. 또한, 분할 영역에 비해 분할되지 않은 영역이 넓어 분할 영역에 대한 정확성을 나타내는 다이스 유사계수와 민감도에 비해 분할되지 않은 영역에 대한 정확성을 나타내는 특이도와 정확도가 오분할 영향을 적게 받아 표준편차가 작은 수치를 보인다.

Table 1. Quantitative evaluation of medial and lateral meniscus segmentation results (Bold indicates the best performance of the comparison methods).
Medial meniscus (단위:%)
DSC Sensitivity Specificity Accuracy
Method A 72.87(±7.40) 86.55(±8.78) 96.00(±1.87) 95.18(±1.77)
Method B 80.13(±7.29) 83.68(±8.68) 97.93(±1.38) 96.75(±1.61)
Lateral Meniscus (단위:%)
DSC Sensitivity Specificity Accuracy
Method A 79.50(±7.17) 74.56(±9.71) 98.77(±1.29) 96.89(±1.58)
Method B 80.81(±6.68) 74.52(±9.66) 99.12(±0.74) 97.19(±1.20)
Download Excel Table Download Excel Table

4. 결론

본 논문에서는 무릎 MR 영상에서 뼈와 무릎 관절 연골을 선행 분할한 위치 정보를 이용하여 반월상 연골의 관심 볼륨영역을 자동 위치화하고, 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할한 후 패치 기반 윤곽선 특징 분류를 통해 반월상 연골 분할 결과를 개선하는 방법을 제안했다.

반월상 연골이 대퇴골 및 대퇴부 연골 상단과 경골 및 경골 연골 하단에 위치해있다는 해부학적 정보를 이용하여 반월상 연골의 관심볼륨영역을 자동 위치화함으로써 분할 범위를 반월상 연골 주변으로 좁혀 밝기값이 유사한 주변 조직으로 오정합되는 것을 방지할 수 있었다. 다중 아틀라스를 이용하여 환자마다 다양한 형상을 띄는 반월상 연골의 형상 정보를 고려할 수 있었고, 지역적 가중 투표를 통해 반월상 연골의 형상 정보와 밝기값 분포를 고려하여 정합 오류에 영향을 적게 받음으로써 분할 정확도를 높일 수 있었다. 패치 기반 윤곽선 특징 분류를 통해 반월상 연골의 윤곽선을 검출하여 반월상 연골과 유사한 밝기값을 가진 측부 인대로 누출을 제거할 수 있었다.

실험 결과 비교 방법 대비 제안 방법의 내외측 반월상 연골 분할 결과와 수동 분할 결과 간의 다이스 유사계수는 80.13%, 80.81%를 보였으며, 각각 7.25%, 1.31% 분할 결과 향상을 보였다. 본 제안 방법은 반월상 연골 손상의 조기 진단과 형상 분석에 적용될 수 있다. 향후연구방향으로는 Osteoarthritis Initiative(OAI) 기관에서 제공하는 공개 데이터베이스를 사용하여 제안방법을 기존 방법들과 비교하여 평가하고자 한다.

감사의 글

이 논문은 2017년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (NRF-2017R1A2B3007362)

References

[1].

D. J. Hunter, Y. Q. Zhang, J. B. Niu, X. Tu, S. Amin, M. Clancy, D. T. Felson, "The association of meniscal pathologic changes with cartilage loss in symptomatic knee osteoarthritis," Arthritis & Rheumatism, Vol.54, No.3, pp.795-801, 2006.

[2].

M. Roth, W. Wirth, K. Emmanuel, A. G. Culvenor, F. Eckstein, "The contribution of 3D quantitative meniscal and cartilage measures to variation in normal radiographic joint space width—Data from the Osteoarthritis Initiative healthy reference cohort," European journal of radiology, Vol.87, pp.90-98, 2017.

[3].

M. S. Swanson, J. W. Prescott, T. M. Best, K. Powell, R. D. Jackson, F. Haq, and M. N. Gurcan, "Semi-automated segmentation to assess the lateral meniscus in normal and osteoarthritic knees," Osteoarthritis and cartilage, Vol.18, No.3, pp.344-353, 2010.

[4].

M. S. M. Swamy, and M. S. Holi, "Knee Joint Menisci Visualization and Detection of Tears by Image Processing," Computing, Communication and Applications, 2012 International Conference on. IEEE, pp. 1-5, 2012.

[5].

J. Fripp, P. Bourgeat, C. Engstrom, S. Ourselin, S. Crozier, and O. Salvado, “Automated Segmentation of the Menisci from MR Images,” Biomedical Imaging, pp.210-513, 2009.

[6].

M. Kim, J. Yoo, and H. Hong, "Automatic Segmentation of the meniscus based on Active Shape Model in MR Images through Interpolated Shape Information," Journal of Korean Institute of Information Scientists and Engineers, Vol.16, No.11, pp.1096-1100, 2010.

[7].

A. Paproki, C. Engstrom, S. Chandra, A. Neubert, J. Fripp, and S. Crozier, “Automated segmentation and analysis of normal and osteoarthritic knee menisci from magnetic resonance images - data from the Osteoarthritis Initiative,” Osteoarthritis Cartilage, Vol.22, No.9, pp.1259-1270, 2014.

[8].

S. Kim, H. Kim, H. Hong, J. Wang, “Automatic Segmentation of Meniscus using Position Estimation and Multi-atlas based Locally-weighted Voting in Knee MR Images,” KIISE, Proceedings of the Korea Computer Congress, pp.1412-1414, 2018.

[9].

E. B. Dam, M. Lillholm, J. Marques, and M. Nielsen, "Automatic segmentation of high-and low-field knee MRIs using knee image quantification with data from the osteoarthritis initiative," Journal of Medical imaging, 2015.

[10].

K. Zhang, W. Lu, and P. Marziliano, “The unified extreme learning machines and discriminative random fields for automatic knee cartilage and meniscus segmentation from multi-contrast MR images,” Machine vision and applications, Vol.24, No.7, pp.1459-1472, 2013.

[11].

B. Norman, V. Pedoia, and S. Majumdar., "Use of 2D U-Net Convolutional Neural Networks for Automated Cartilage and Meniscus Segmentation of Knee MR Imaging Data to Determine Relaxometry and Morphometry," Radiology, Ahead of Print, 2018.

[12].

A. Raj, S. Vishwanathan, B. Ajani, K. Krishnan, and H. Agarwal, "Automatic knee cartilage segmentation using fully volumetric convolutional neural networks for evaluation of osteoarthritis," Biomedical Imaging, pp.851-854, 2018.

[13].

H. Kim, H. Kim, H. Lee, H. Hong, “Automatic Segmentation of Femoral Cartilage in Knee MR Images using Multi-atlas-based Locally-weighted Voting,” Journal of Korean Institute of Information Scientists and Engineers, Vol.43, No.8, pp.889-877, 2016.