맥락 정보 조절 및 위양성 분류기를 통한 MRE 영상에서 염증성 장질환 검출

제안된 방법은 FocalNet를 특징 추출 네트워크로 사용하는 Mask R-CNN 기반의 염증 검출과 DRC 학습의 두 단계로 구성된다. 그림 3는 제안 방법을 나타나는 개요도다. 첫 번째 단계에서는 주어진 MRE 영상에서 Mask R-CNN을 활용하여 염증 부위를 검출하고, 바운딩 박스와 마스크를 생성한다. 이 과정에서 FocalNet를 특징 추출 단계에 적용하여 공간적 맥락 정보를 효과적으로 반영한다. 두 번째 단계에서는 생성된 바운딩 박스를 DRC을 통해 위양성 검출을 분류해 제거하고 최종적인 염증 검출 결과를 도출한다.

Figure 3. Overview of Proposed Model.

Download Original Figure

제안 방법의 기반이 되는 Mask R-CNN은 2-stage 객체 탐지 및 분할 모델로, 입력 영상에서 후보 영역을 생성하고 이를 기반으로 객체의 바운딩 박스를 예측한다. 백본을 거쳐 추출된 특징 맵에서 RPN(Region Proposal Network)을 사용해 객체가 존재할 가능성이 높은 후보 영역(Region of Interest, RoI)을 생성하고, 생성된 RoI에 대해 RoIAlign을 사용해 후보 영역의 특징을 고정된 사이즈로 정규화한다. 이후 Fully Connected Layer를 통해 최종 바운딩 박스 좌표를 예측하는 방식으로 동작한다.

기존 ResNet50 [12]은 인접한 영역의 지역적 특징 추출에만 집중하여 주변 영역과의 상호작용 및 관계에 대한 정보를 가지고 있는 전체적인 맥락을 반영하는 데 한계가 있다. 이를 해결하기 위해, 본 연구에서는 ResNet50을 FocalNet로 대체하여 지역적 및 전역적 정보를 효과적으로 학습하도록 설계하였다. FocalNet은 패치 단위로 입력 영상을 임베딩하고, Focal Modulation Block을 반복

적용하는 구조로 이루어져 있다. 이 과정에서 공간 해상도를 점진적으로 줄이며, 계층적 학습 구조를 통해 지역적 특징과 전역적 맥락을 동시에 반영하여 더욱 정교한 특징 표현을 가능하게 한다.

Focal Modulation Block에서 핵심이 되는 부분은 Focal Modulation으로 염증 영역을 강조하는 역할을 한다. 그림 4는 Self-Attention과 Focal Modulation을 비교한 그림이다. Self-Attention [13]은 모든 위치 간의 상호작용에 동일한 가중치를 부여한다. 반면, Focal Modulation은 거리에 따라 가중치를 다르게 적용하여 지역적 정보와 전역적 정보를 통합한다. 이를 통해 중요한 정보에 집중하면서도 계산 효율성을 높이고 맥락 정보를 조절하여 반영할 수 있다.

Figure 4. Self Attention vs Focal Modulation.

Download Original Figure

그림 5는 Focal Modulation의 자세한 구조를 나타낸다. Focal Modulation은 패치 내에서 염증과 관련된 맥락 정보를 선택적으로 강조하고 불필요한 정보는 억제하며 총 3단계로 구성되어 있다. 첫번째 생성(Generation) 단계에서는 입력된 영상을 선형 레이어를 거쳐 채널별로 query(Q(x_i)), gate(G), 초기 특징 맵(Z)으로 분리한다. 두번째 집계(Aggregate) 단계에서는 아래 수식을 통해 각 레벨 l∈{1,2,...,L} 의 현재 레벨의 특징 맵 Z^l을 구한다.

Figure 5. Architecture of Focal Modulation.

Download Original Figure

이때, Z^(l-1)는 이전 레벨의 출력 특징 맵이고, $f_a^l$은 각 레벨에서의 맥락화(contextualization) 함수이다. DWConv는 깊이별 합성곱(Depth-Wise Convolution)을 의미하며, GeLU(Gaussian Error Linear Unit)는 비선형 활성화 함수이다. 깊이별 합성곱에서 사용하는 커널(kernel)의 크기는 레벨이 증가할수록 점진적으로 증가함으로써 작은 커널은 인접한 영역에서 세밀한 지역적 맥락 정보를 얻어내고 큰 커널은 더 넓은 영역에서 대략적인 맥락 정보를 얻어낸다. 마지막 L+1번째 Z^L+1에 대해선 아래 수식 (2)을 통해 전역 평균 풀링(Global Average Pooling)을 수행해 전역 정보를 얻는다.

최종적으로 이 단계에서는 수식 (3)을 통해 통합된 맥락 정보 Z_out를 생성한다.

이때 G^l은 추출된 특징 맵 Z^l에 대응하는 게이트 맵이고, ⊙는 요소별 곱셈(element-wise multiplication) 연산을 나타낸다. 최종적으로 모든 레벨에서 추출된 맥락 정보를 더해주게 된다. 이렇게 얻은 통합된 맥락 정보를 활용해 세 번째 상호작용(Interaction) 단계에서는 수식 (4)를 통해 최종 특징 맵 y_i을 생성한다.

이때 ${\sum }_{l=1}^{L+1}\left(g_i^l\cdot z_i^l\right)$는 수식 (3)에서 집계된 맥락 정보를 의미하며 Q(x_i)는 첫번째 생성 단계에서 만들어진 query를 의미한다. 이러한 과정을 거친 특징 맵은 염증 가능성이 높은 영역이 강조되어 있어 이후 Mask R-CNN의 RPN 단계에서 염증 가능성이 높은 영역에 바운딩 박스를 제안할 수 있도록 하는 효과를 가진다.

FocalNet을 통해 맥락 정보를 고려한 Mask R-CNN에서 예측된 바운딩 박스에는 여전히 혈관, 대변, 액체 등 염증과 유사한 비염증 요소로 인해 위양성이 발생하는 한계가 있다. 이를 해결하기 위해, 예측된 바운딩 박스의 염증 유무를 재확인하고 위양성을 제거하는 DRC를 제안한다.

그림 6은 DRC의 구조를 나타낸다. 이 모델은 염증 및 비염증 영역의 특징을 학습하여 정확성을 높이는 데 중점을 둔다. DRC는 전체 MR 영상 대신 Mask R-CNN에서 추출된 바운딩 박스에 기반한 정방형 패치 영상과 정답 값에 기반한 패치 영상을 입력으로 받는다. ResNet18을 특징 추출기로 사용하여 염증과 5개의 위양성 클래스(대변, 액체, 혈관 및 MRE 영상 관상면에서 장 외부 영역(outlier-bright, outlier-dark))로 구성된 총 6개의 클래스 패치 영상 특징을 학습하고, 완전 연결 계층을 통해 각 클래스로 분류하도록 훈련된다. 분류 결과 위양성 클래스로 판단된 패치는 제거하고, 염증으로 분류된 패치만 최종 결과로 유지한다. 이 과정은 염증과 유사한 비염증 요소로 인해 발생하던 위양성을 효과적으로 제거하며, 최종적으로 탐지 결과의 정확성을 향상시킨다.

Figure 6. Detection Refinement Classifier.

Download Original Figure

본 연구에서는 2016년 3월부터 2018년 12월까지 수집된 크론병 환자 중 활동성 염증이 관찰된 180명과 활동성 염증이 없는 28명으로 구성된 MR 소장 조영술(MRE) 영상을 사용하였다. 활동성 염증이 관찰된 데이터셋은 sMARIA 점수 기준으로 경증(1-8 사이) 환자 105명, 중증(8 이상) 환자 75명에 대해 다양한 상태의 환자들이 포함되어 있다. 모든 MRE 영상은 정맥기(portal phase)에서 촬영된 조영증강 영상으로 해상도는 512×512 화소이며 화소 크기는 각각 0.78mm×0.98mm이고 절편 두께는 3-4mm 범위이다. 염증은 3명의 영상의학과 전문의에 의해 개별적으로 수동 분할하여 레이블링하였으며, 총 16,542장의 영상에 대해 7810개의 바운딩 박스 좌표 데이터를 얻었다. 데이터셋은 학습용 8038장, 검증용 4474장, 테스트용 4030장으로 분할하여 사용했다. 이때 염증과 비염증 슬라이스의 비율은 각 데이터셋 모두 약 1:3로 구성되어 있다.

Mask R-CNN에서 탐지된 바운딩 박스를 활용해 DRC를 위한 별도의 데이터셋을 구축하였다. 바운딩 박스의 긴 변을 기준으로 정사각형 형태의 패치를 추출한 후 224×224 해상도로 조정하여 사용하였다. 학습 데이터는 정답 바운딩 박스와 IoU 점수가 0점인 위양성 박스로 구성되었으며 염증(ground truth, GT) 3937장, 대변 1464장, 혈관 174장, 액체 220장, 장 외부 영역 중 밝은 영역 584장, 장 외부 영역 중 어두운 영역 86장의 총 6개의 클래스로 구별되었다. 추가적으로 테스트 데이터셋 또한 DRC의 성능을 확인하기 위해 학습 데이터와 동일하게 1명의 영상의학과 전문의의 검토하여 클래스 라벨링을 수행하여 별도의 데이터셋을 구성하였다.

본 연구에서는 NVDIA GeForce RTX 4070 Ti와 Python 언어를 사용하여 학습과 평가를 진행했다. FocalNet을 활용한 Mask R-CNN 학습은 mmDetection [14] 프레임워크를 사용하여 MS COCO 데이터 [15]로 사전 훈련된 모델을 초기 가중치로 설정하였다. 최적화를 위해 AdamW 옵티마이저를 사용하였으며 배치 사이즈는 4로 설정하였다. 학습률은 3e-5에서 4e-5로 조정하고 4,5 epoch에서 기존 학습률(learning rate)을 기존의 10분의 1로 감소시켰다. FocalNet의 초기 커널 크기는 9×9로 설정했고, 맥락 추출 단계(Focal level)는 3으로 설정하여 레벨이 증가할 때마다 커널 크기의 가로 및 세로 길이가 2씩 증가하도록 하였다. DRC 학습은 주피터 노트북 환경에서 진행되었으며 ImageNet 1K 데이터셋을 사용하여 사전 훈련된 ResNet18을 사용하였다. 모델을 최적화 하기 위해 AdamW 옵티마이저를 사용했고 배치 사이즈는 8, 학습률은 3e-7로 설정하였다. 또한, 과대적합을 방지하기 위해 조기 종료 방법을 사용하여 검증 손실값이 이전 epoch 검증 손실값보다 10번 낮아지지 않으면 학습을 종료하도록 했다.

DRC 학습 시 혈관과 액체 클래스의 경우 데이터셋의 규모 가 상대적으로 작고 형태가 다양하여 학습이 어려운 문제가 있을 수 있다. 이를 해결하기 위해 상하 Flip 기법을 활용한 데이터 증강을 수행하였으며 클래스 간 불균형 문제를 보완하기 위해 클래스별 데이터셋 수에 반비례하는 클래스 가중치를 적용한 크로스 엔트로피 손실 함수를 사용하였다. 추론 과정에서는 검증 및 테스트 데이터셋에서 Mask R-CNN이 예측한 모든 바운딩 박스를 입력으로 사용하였다.

실험에서는 제안된 방법의 효과를 검증하기 위해 Baseline을 설정하였다. Baseline은 ResNet50을 특징 추출기로 사용하는 Mask R-CNN을 설정하여 기존 성능과 비교할 기준을 마련했다. 또한 DRC의 효과를 평가하기 위해 DRC 적용 여부에 따른 성능을 비교했다. 각 설정에 대해 모델을 학습한 후, 슬라이스 단위 mAP(mean Average Precision), 정밀도(Precision), 재현율(Recall) 등의 지표를 통해 성능을 측정하고 비교하였다. mAP의 경우 위양성 감소를 보다 정확하게 반영하여 평가할 수 있도록 임계값을 초과한 모든 바운딩 박스를 정답으로 인정하도록 설정했다. 또한 정답 바운딩 박스가 없는 슬라이스의 경우는 모든 예측된 바운딩 박스가 위양성으로 AP를 0%으로 설정하고, 예측된 바운딩 박스가 없을 경우 AP를 100%로 설정해 처리하였다.

표 1은 전체 염증 부위에 대해 제안 방법과 기존 방법의 장염증 검출 성능을 비교한 결과를 나타낸다. 기존의 Mask R-CNN은 염증과 유사한 밝기와 형태의 장기나 장 내 염증이 아닌 비염증 영역이 혼동되면서 mAP@10 37.9%, Precision@10 32.2%의 낮은 성능을 기록했다. 반면 제안된 FocalNet은 기존 방법 대비 mAP@10에서 1.7%, Precsion@10에서 2.8% 성능 향상을 기록하였다. 기존 방법보다 FocalNet에서 성능이 개선되는 것은 지역적 특징 정보뿐만 아니라 픽셀 간 장거리 의존성과 전역적 맥락 정보를 통합적으로 반영했기 때문으로 분석된다. 이러한 맥락 정보의 반영은 염증과 비염증 요소 간의 복잡한 차이를 효과적으로 학습할 수 있도록 하여, 기존 ResNet50 기반 방법에서 발생했던 위양성 탐지를 감소시키는 데 기여하였다. 다음으로 DRC를 적용한 모델(ResNet50+DRC)은 mAP@10 49.9%, Precision@10 42.5%, Recall@10 50.2%를 기록하여, ResNet50(Baseline) 대비 각각 12.0%, 10.3%, 7.4% 향상된 성능을 보였다. FocalNet에 DRC를 적용한 최종 제안 방법(FocalNet+DRC)은 mAP@10 52.8%, Precision@10 50.5%, Recall@10 55.4%를 기록하여, FocalNet 단독 모델 대비 각각 13.1%, 15.5%, 12.2% 향상된 성능을 달성하였다. 이러한 성능 향상은 DRC가 바운딩 박스 단위에서 염증과 신호 강도나 형태가 유사한 비염증 영역을 분류하고, 특히 비염증 슬라이스에서 발생하는 위양성을 효과적으로 제거했기 때문이다.

표 2는 DRC를 통해 제거된 위양성 클래스의 비율을 나타냈다. 클래스별 위양성 제거 비율은 각 클래스에 해당하는 바운딩 박스 중 위양성으로 분류되어 제거된 비율로 계산되었다. 대변의 경우 전체 제거율 81.0%와 유사한 비율로 제거되었으나 혈관, 액체와 같은 영역은 60%대로 낮은 제거율을 보였다. 이는 혈관과 액체의 패치 영상 수가 적고 형태가 다양하여 변동성이 심해 DRC가 학습하는데 어려움이 있었던 것으로 분석된다. 그 외 장 외부 영역에서는 90% 이상 높은 제거 성능을 기록하였다. 이는 DRC가 기존 Mask R-CNN에서 발생한 위양성을 감소시키며 최종 탐지 성능을 향상 시키는데 기여했음을 알 수 있다.

그림 7은 각 방법의 결과를 시각화해서 비교한 것이다. 노란색 화살표는 각각 혈관, 액체, 대변, 장 외부 영역 중 밝은 영역, 장 외부 영역 중 어두운 영역을 나타내며 Baseline은 이러한 비염증 요소를 염증으로 잘못 탐지한 바운딩 박스가 많다. FocalNet은 일부 위양성을 줄였지만 여전히 비슷한 신호의 위양성이 검출되었다. 반면 제안된 DRC를 제안한 방법은 노란색 화살표로 표시된 타 장기 위양성을 제거하고 정답 값과 유사한 탐지 결과를 보이는 걸 확인할 수 있다. 이는 DRC가 염증과 유사한 신호를 가진 비염증 요소를 구별하는 학습 과정을 추가적으로 진행하여 모델이 보다 정확하게 염증 부위를 탐지하도록 유도했음을 보여준다. 정답 값이 존재하지 않는 비염증 슬라이스에서도 Baseline와 FocalNet은 다수의 위양성 박스를 생성하며, 신호 강도가 높은 영역을 염증으로 잘못 탐지하는 경향을 보인다. 반면 DRC를 추가한 경우 위양성이 대부분 제거되었으며 불필요한 탐지가 최소화되었다. 이는 DRC가 정답 값이 존재하지 않는 슬라이스에서도 위양성을 효과적으로 제거하여 성능을 개선했음을 보여준다.

Figure 7. False Positive Reduction in Inflammation Detection

Download Original Figure