무릎 MR 영상에서 다중 아틀라스 기반 지역적 가중 투표 및 패치 기반 윤곽선 특징 분류를 통한 반월상 연골 자동 분할

반월상 연골은 두께가 얇고 작은 형상을 가진 조직으로 뼈, 무릎 관절 연골 등의 무릎 구조물이 포함되어 있는 영상에서 다중 아틀라스 기반 분할을 위해 정합을 수행하는 경우, 뼈와 같이 형상이 큰 조직을 중심으로 정합되어 반월상 연골의 정합 정확도가 낮아지는 한계가 있다. 따라서 본 절에서는 반월상 연골이 대퇴골 및 대퇴부 연골의 하단과 경골 및 경골 연골의 상단에 위치한다는 해부학적 정보를 이용하여 반월상 연골의 VOI를 지정하여 자동 위치화 방법을 제안한다.

첫째, 대상 영상과 유사한 아틀라스를 훈련집합에서 자동으로 선정한다. 이를 위해 무릎 MR 영상에서 뼈 형상 정보를 가장 많이 포함하는 2차원 투영 영상을 생성하기 위해 대상 영상과 훈련 아틀라스에서 시상면 밝기값 평균 투영(SAIP: Sagittal Average Intensity Projection) 영상을 각각 생성한 후, 두 영상 간 2차원 영상 기반 유사 정합과 식 (1)과 같이 정합된 두 투영 영상 간 정규화된 평균 밝기값 차이(NADD: Normalized Average Density Difference)를 계산하여 유사 훈련 아틀라스를 선정한다.

이 때, N은 대상 영상의 전체 화소 개수, $I_{t\arg et}^i$ 은 대상 영상의 i번째 화소 밝기값, $I_{atlas}^i$ 는 훈련 아틀라스의 i번째 화소 밝기값, max (I_target)은 대상 영상에서의 최대 밝기값을 의미한다.

둘째, 대퇴골 및 경골 분할을 위해서 대상 영상과 선별한 훈련 아틀라스 간 3차원 영상 기반 유사 정합을 수행하고, 지역적 가중 투표를 통해 대퇴골 및 경골의 초기 분할 모델을 예측한 후, 분할된 초기 대퇴골 및 경골 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합(affine registration)을 수행하고, 지역적 가중 투표를 통해 대퇴골 및 경골을 최종 분할한다.

대퇴골과 경골의 초기 모델 분할을 위한 지역적 가중 투표는 식 (2)를 통해 아틀라스 유사도 가중치 및 밝기값 유사도 가중치를 고려한다.

이 때, B_est 는 대퇴골 및 경골 초기 모델 마스크, w_img 는 아틀라스 유사도 가중치, w_intensity 는 밝기값 유사도 가중치, $v_{ij}^B$는 j번째 훈련 아틀라스의 i번째 화소의 대퇴골 및 경골 분할 마스크에 따른 투표 값을 의미한다.

아틀라스 유사도 가중치 w_img는 대상 영상과 훈련 아틀라스 영상 간 3차원 영상 기반 유사 정합을 통한 정합 유사 정도를 나타내는 가중치로 식 (1)을 이용하여 식 (3)과 같이 계산한다.

밝기값 유사도 가중치 w_intensity 는 대상 영상의 i번째 화소 $I_{t\arg et}^i$ 가 훈련 아틀라스에서 추출한 밝기값 히스토그램 H_atlas 에서 대퇴골 및 경골 영역일 확률 P_B을 나타내는 가중치로 식 (4)와 같이 계산한다.

대퇴골과 경골의 최종 분할을 위한 지역적 가중 투표는 식 (5)를 통해 아틀라스 유사도 가중치 및 밝기값 유사도 가중치를 고려한다.

이 때, B_seg는 대퇴골 및 경골 모델 마스크, w_model는 아틀라스 유사도 가중치, w_intensity 는 밝기값 유사도 가중치, $v_{ij}^B$ 는 j번째 훈련 아틀라스의 i번째 화소의 대퇴골 및 경골 분할 마스크에 따른 투표 값을 의미한다.

아틀라스 유사도 가중치 w_model는 대상 영상의 초기 대퇴골 및 경골 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 통해 구한 분할 모델 간 유사 정도를 나타내는 가중치로 식 (6)과 같이 계산하고, 밝기값 유사도 가중치 w_intensity 는 식 (4)를 이용하여 계산한다.

이 때, ADD는 식 (7)과 같이 두 모델 간 평균거리차이(ADD: Average Distance Difference)로 계산한다.

이 때, N은 대상 영상의 초기 대퇴골 및 경골 모델의 전체 화소 개수, $I_{t\arg et}^i$ 은 대상 영상 모델의 i번째 화소, $I_{atlas}^i$ 는 훈련 아틀라스 영상 모델의 i번째 화소를 나타낸다. Dist 는 $I_{t\arg et}^i$ 과 $I_{atlas}^i$ 간의 최소 거리를 계산하는 함수이고, max(Dist)는 대상 영상과 훈련 아틀라스 영상의 모델 간 최대거리를 나타낸다.

셋째, 대퇴부 연골과 경골 연골이 각각 대퇴골과 경골에 인접해 있다는 형상 정보를 이용하여 선행 분할한 대퇴골 및 경골의 어파인 변환을 적용해 대퇴부 연골 및 경골 연골을 정렬시킨 후 아틀라스 유사도 가중치, 밝기값 유사도 가중치, 대퇴골 및 경골과 대퇴부 연골 및 경골 연골 사이의 거리 유사도 가중치, 판도 유사도 가중치를 고려한 지역적 가중 투표를 통해 대퇴부 연골 및 경골 연골을 분할한다.

이 때, C는 대퇴부 연골 및 경골 연골 모델 마스크, w_model는 아틀라스 유사도 가중치, w_intensity 는 밝기값 유사도 가중치, w_dist 는 뼈-무릎 관절 연골 사이의 거리 유사도 가중치, w_plate 는 판도 유사도 가중치, $v_{ij}^C$는 j번째 훈련 아틀라스의 i번째 화소의 대퇴부 연골 및 경골 연골 마스크에 따른 투표 값을 나타내고, 아틀라스 유사도 가중치 w_model는 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 통해 구한 분할 모델 간 유사 정도를 나타내는 가중치로 식 (6)과 같이 계산하고, 밝기값 유사도 가중치 w_intensity 는 식 (4)를 이용하여 계산한다.

뼈-무릎 관절 연골 사이의 거리 유사도 가중치 w_dist 는 대상 영상의 뼈의 표면에서의 거리와 훈련 아틀라스의 뼈-무릎 관절 연골 평균 거리 차이를 통한 무릎 관절 연골의 범위를 제한하는 가중치로 식 (9)와 같이 계산된다.

이 때, $dis{t}_{t\arg et}^i$는 대상 영상의 i번째 화소의 뼈 표면에서의 거리, $dis{t}_{atlas}^{B-C}$는 훈련 아틀라스의 뼈-무릎 관절 연골 평균 거리를 의미한다.

판도 유사도 가중치 w_plate 는 대상 영상과 훈련 아틀라스의 판도의 차이를 통한 무릎 관절 연골 모델 판형의 정도를 판단하는 가중치로 식 (10)과 같이 계산된다.

이 때, $plat{e}_{t\arg et}^i$ 는 대상 영상의 i번째 화소의 판도, $plat{e}_{atlas}^i$ 는 훈련 아틀라스의 i번째 화소의 판도를 의미하고, σ는 판도 변수로 실험적으로 50으로 산정하였다. 판도는 헤시안 행렬(Hessian matrix)의 고유값 분해를 이용하여 식 (11)과 같이 계산된다.

이 때, 헤시안 행렬의 고유값은 |λ₃| ≤ |λ₂| ≤ |λ₁|를 만족한다.

넷째, 선행으로 분할한 대퇴골, 경골, 대퇴부 연골, 경골 연골의 정보를 이용하여 반월상 연골의 VOI를 지정하여 자동 위치화 한다. 반월상 연골의 두께는 5mm 내외이고 무릎 관절 연골 사이에 위치한다는 임상적 정보를 바탕으로 내측 반월상 연골의 경우 Figure 3(a)와 같이 무릎 안쪽의 최대 좌표와 영상의 중앙 좌표를 이용하여 VOI의 좌우 크기를 지정하고, 외측 반월상 연골의 경우 Figure 3(b)와 같이 무릎 바깥쪽의 최대 좌표와 영상의 중앙 좌표를 이용하여 VOI의 좌우 크기를 지정한 후, 대퇴부 연골의 최하단 값에서 7mm 하단의 좌표와 경골 연골의 최상단 값에서 7mm 상단의 좌표를 이용하여 내측 및 외측 반월상 연골 각각의 상하 VOI 경계를 지정한다.

Figure 3: Automatic localization of meniscus VOI. (a) Definition VOI width of medial meniscus. (b) Definition VOI width of lateral meniscus. (c) Definition VOI height of medial and lateral meniscus.

Download Original Figure

제안한 반월상 연골 자동 위치화 방법은 뼈와 무릎 관절 연골을 순차적으로 분할함으로써 반월상 연골의 공간적 위치를 자동으로 지정하여 분할 범위를 좁혀 형상이 큰 주변 조직으로의 정합을 방지해 정합 정확도를 개선한다.

반월상 연골은 밝기값 기반 분할 방법 적용 시 밝기값이 유사한 주변 조직으로 누출이 발생할 수 있고, 형상 모델 기반 분할 방법 적용 시 환자마다 반월상 연골의 형상 변이가 큰 경우 분할 정확도가 낮아지는 한계가 있다. 이를 해결하기 위해 본 절에서는 2.1절에서 자동 위치화한 VOI 내에서 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할한다[8].

첫째, 반월상 연골의 VOI에서 대상 영상과 훈련 아틀라스 간 3차원 영상 기반 유사 정합을 수행한 후 정합된 영상의 유사 정도에 따라 아틀라스 유사도 가중치를 부여하고, 정합된 대상 영상과 훈련 아틀라스 간 밝기값 유사 정도에 따라 밝기값 유사도 가중치를 부여한 지역적 가중 투표를 통해 식 (2)를 이용하여 초기 반월상 연골 모델을 생성한다.

둘째, 반월상 연골의 초기 분할 모델과 훈련 아틀라스의 분할 모델 간 3차원 모델 기반 어파인 정합을 수행한 후 정합된 두 모델 간 유사 정도에 따른 아틀라스 유사도 가중치와 밝기값 유사 정도에 따른 밝기값 유사도 가중치를 고려한 지역적 가중 투표를 통해 식 (5)를 이용하여 반월상 연골 분할을 수행한다.

제안한 반월상 연골 분할 방법은 형상 정보와 밝기값 분포 정보를 이용한 지역적 가중 투표를 통해 환자마다 다양한 형상을 띄는 반월상 연골의 형상 정보를 고려할 수 있고, 반월상 연골의 밝기값 분포를 고려함으로써 정합 오류에도 견고하게 반월상 연골을 분할할 수 있다.

반월상 연골과 측부 인대가 인접한 영역의 경우 밝기값이 유사하여 경계가 불분명해 다중 아틀라스 기반 지역적 가중 투표를 통해 반월상 연골을 분할하더라도 측부 인대로 누출이 발생하는 한계점이 있다. 따라서 본 절에서는 2.2절의 반월상 연골 분할 영역에서 측부 인대 부위에 관심 영역(ROI: Region Of Interest)을 지정한 후, 패치 기반의 윤곽선 특징 분류를 통해 측부 인대로 누출이 발생한 영역을 제거하여 반월상 연골의 분할 정확도를 개선한다. 이 때, 불균일한 밝기값을 갖는 반월상 연골의 내부 영역 및 측부 인대의 윤곽선이 반월상 연골의 윤곽선으로 잘못 선택되는 것을 방지하기 위해 관상면(coronal plane)에서 반월상 연골이 삼각형 형상을 보인다는 형상정보를 기반으로 한 형상 가중치와 반월상 연골의 중심에서 가까울수록 반월상 연골의 내부 영역에 위치해 있고 멀어질수록 측부 인대에 위치해 있다는 거리정보를 기반으로 한 거리 가중치를 고려하여 반월상 연골의 윤곽선을 선택한다.

첫째, 훈련 영상의 반월상 연골과 주변 영역에서 3x3 크기의 패치를 생성한 후 생성된 패치 내에서 세로 방향의 소벨 기울기(sobel gradient) 특징 벡터를 추출하여 학습 데이터를 생성해 SVM 분류기를 학습시킨다. 이 때, 선행으로 분할한 반월상 연골 영역에서 내측 반월상 연골의 경우 분할된 영역의 무릎 안쪽의 최대 좌표와 분할된 영역의 중앙 좌표를 이용하여 관심 영역의 좌우 크기를 지정하고, 외측 반월상 연골의 경우 분할된 영역의 무릎 바깥쪽의 최대 좌표와 분할된 영역의 중앙 좌표를 이용하여 관심 영역의 좌우 크기를 지정하며, 분할된 영역의 최상단 좌표와 최하단 좌표를 이용하여 상하 크기를 지정하여 ROI를 지정한다.

둘째, 분할된 반월상 연골 영역의 i번째 화소에서 학습 데이터와 동일한 크기의 패치를 생성하고, 해당 패치 내에서 세로 방향의 소벨 기울기 특징 벡터를 추출하여 테스트 데이터를 생성한 후, SVM 분류기를 통해 해당 화소가 윤곽선일 확률 $P_{edge}^i$ 을 구한다.

셋째, $P_{edge}^i$ 에 반월상 연골의 형상 가중치와 거리 가중치를 적용하여 반월상 연골의 윤곽선일 확률 $P_{edge}^i{}^{\prime }$ 을 측정한 후 식 (12)와 같이 임계값 보다 큰 경우 윤곽선으로 분류한다. 내측 반월상 연골의 경우 최종 분류된 윤곽선의 무릎 안쪽 누출을 제거하고, 외측 반월상 연골의 경우 최종 분류된 윤곽선의 무릎 바깥쪽 누출을 제거한다.

이 때, $w_{shape}^i$ 은 i번째 화소에서의 형상 가중치, $w_{location}^i$ 은 i번째 화소에서의 거리 가중치를 의미하고, Φ는 실험적으로 50%로 산정하였다.

Figure 4(a)의 형상 가중치 $w_{shape}^i$ 은 반월상 연골이 삼각형 형상을 보인다는 형상 정보를 바탕으로 분할된 반월상 연골에서 측부 인대가 인접하게 되는 중간 영역을 누적하여 2차원의 확률맵을 생성했을 때, 반월상 연골의 내부 영역 및 누출이 발생한 측부 인대 영역의 경우 누적 확률이 높고, 반월상 연골의 윤곽선의 경우 상대적으로 누적 확률이 낮게 되어 반월상 연골 윤곽선의 위치 범위를 형상 정보를 바탕으로 제한하는 가중치로 식 (13)과 같이 계산한다.

Figure 4: Definition of weights. (a) Shape weight (In a 2D probability map, the higher the cumulative probability value, the brighter the intensity value). (b) Distance weight. (Red: segmented meniscus area)

Download Original Figure

이 때, $P_{map}^i$ 은 반월상 연골 영역의 누적 확률을 의미하고, 지수함수를 취하여 1∼2.71 사이의 값을 갖게 한다.

Figure 4(b)의 거리 가중치 $w_{location}^i$ 는 분할된 반월상 연골 영역의 중심점과 i번째 화소의 거리 차이가 클수록 측부 인대에 위치하고 작을수록 반월상 연골의 중심점 주위에 위치하게 되어 반월상 연골 윤곽선의 위치 범위를 거리 정보를 바탕으로 제한하는 가중치로 식 (14)와 같이 계산한다.

이 때, x_i는 i번째 화소에서의 x좌표, x_coi는 분할된 반월상 연골 영역의 중심점 x좌표, x_max 는 분할된 반월상 연골 영역의 최대 x좌표를 의미하고, 지수함수를 취하여 1∼2.71 사이의 값을 갖게 한다.

제안한 패치 기반 윤곽선 특징 분류 방법은 반월상 연골과 밝기값이 유사한 측부 인대가 인접해 있어 누출이 발생하고, 반월상 연골의 윤곽선이 불분명한 경우, SVM 분류기를 통해 윤곽선 후보군 추출 후, 형상 가중치와 거리 가중치를 고려하여 반월상 연골 영역 내부 및 측부 인대에서 윤곽선이 잘못 선택될 가능성을 제한하여 반월상 연골 윤곽선을 추출하여 측부 인대로의 누출을 방지함으로써 반월상 연골의 분할 정확도를 개선한다.