뉴런 추적 및 딥러닝 기반의 대화형 뉴런 구조 교정 기법

뉴런 추적은 뉴런의 신경 돌기가 어떻게 뻗어나가는지를 추적 하고 이를 통해 뉴런의 표현형을 분석하거나, 뉴런 간의 연결을 조사한다[8, 9, 10]. 이와 달리 뉴런 구조 분리는 단일 뉴런에서 신경세포체, 축삭, 가지돌기와 같은 세부 구조를 분리하는 것을 목표로 한다. 이러한 뉴런 세부 구조 분리는 전자현미경과 같은 고해상도 이미지에서만 수행되어왔는데[11], 최근 이미징 기술 의 향상으로 형광 현미경 이미지에서도 뉴런 세부 구조에 대한 충분한 정보를 얻을 수 있게 되어 구조 분리가 시도되고 있다. Park et al.[3]의 연구에서는 불완전한 구조 레이블만 가지고도 딥 러닝 모델을 효과적으로 훈련시킬 수 있는 손실 함수 제안을 통해 형광 현미경 이미지에서 뉴런 세부 구조를 정밀히 분류하였다. 하 지만, 딥러닝을 기반으로 하는 방법은 훈련 데이터에 영향을 많이 받기 때문에 실제 분석 데이터에 적용시 많은 오류를 포함할 수 있다.

딥러닝과같은자동화 방법을 통해 얻은 뉴런 구조 레이블의 오류 를 확인하고 교정하는 것은 분석가가 수작업으로 수행해야 한다. 기존에는 ImageJ [12], ITK-SNAP[13]과 같은 툴을 통해 오류를 눈으로 확인하고 브러쉬 툴과 같은 기능으로 모든 부분을 일일 이 수정해야 했다. 이러한 작업은 시간이 오래 걸릴 뿐만 아니라 뉴런의 복잡한 구조로 인해 오류를 놓칠 가능성이 크다.

뉴런 추적 결과 교정에 대해서는 기존에액티브 러닝을 통해 적 은 인터랙션으로도 높은 정확도를 얻을 수 있게 한 방법[6]이나 뉴런 구조 분리 결과를 통해 뉴런 추적을 더욱 정확히 할 수 있 게 한 방법[14] 등 여러 연구들이 수행되었다. 하지만, 뉴런 구조 분리 교정에 대한 연구는 수행되어오지 않아 여전히 분석가들이 수작업으로 오류를 수정하고 있다.

기존 뉴런 추적 방법들의 목표는 뉴런의 형태를 구해내는 것이 다 [9, 10]. 이와 달리 우리의 뉴런 추적의 목표는 뉴런 구조 분 리 결과에서 교정이 필요한 부분의 단일 신경돌기를 찾아내는 것이다. 본 연구에서 단일 신경돌기는 분기점 또는 다른 구조로 부터 나와 분기 되기 전까지의 하나의 선 형태의 구조로 정의한 다(Fig. 2c). 이를 위해 우리는 먼저 구조 분리 결과에서 오류가 존재할 가능성이 있는 부분을 찾는다. 예를 들어, 뉴런은 구조적 연속성을 띄기 때문에 구조 분리 결과에서 여러 구조가 섞여 있는 곳은 오류를 포함할 가능성이 크다(Fig. 2d). 오류 예상 부분을 뉴 런 추적 시작점으로 하여 뉴런 추적을 수행한다. 뉴런 추적은 뉴 런 구조 레이블이있는 곳에서는 그리드 탐색 방식으로 추적되고 (Fig. 3), 뉴런 구조 레이블이 없는 부분(이미지 신호가 약해 뉴런 구조 레이블이 조각나 있는 부분)에서는 이미지 신호와 사용자 피드백을 통해 생성된 비용맵(Fig. 4)을 기반으로 최단거리탐색 을 통해 수행된다. 탐색은 분기점, 신경세포체, 또는 신경돌기의 끝을 만날 때까지 수행된다.

Figure 2: Data set used in the experiment - (a) neuron fluorescence microscopy image, (b) pre-segmented neuron structure label through deep learning, (c) single neutire definition of this study, and (d) predicted part of structure segmentation error.

Download Original Figure

Figure 3: Structure-based neuron tracing - (a) structure segmentation error candidate detection, (b) single neurite separation through neuron tracing, (c) structure-based search area setting and neuron tracing process, (d) crossing or branch part detection, (e) visual guide for detected single neurite.

Download Original Figure

Figure 4: User feedback-based cost map for neuron tracing - (a) fragmented structure labels due to low signal, (b) initial cost map, (c) initial tracing result through the initial cost map, (d) user feedbacks to correct neuron tracing results, (e) modified cost map through the user feedbacks, and (f) tracing result through the modified cost map.

Download Original Figure

오류 예상 부분 검출: 오류 예상 부분은 뉴런 추적의 시작점 으로써 두가지 경우가 있다. 첫번째는 한 신경돌기 안에서 여러 뉴런 구조 레이블이 섞여 있는 경우이다(Fig. 3a). 이를 찾기 위해 구조 분리 레이블 이미지에서 현재 픽셀의 레이블이 축삭 또는 가지돌기 이면서 이웃 픽셀의 레이블이 하나라도 다른 레이블 인 픽셀들을 찾는다. 이 픽셀들을 연결 요소 분석을 통해 연결하고, 연결된 픽셀들의 중점을 찾아 오류 예상 부분으로 지정한다.

두번째는 한 신경돌기 전체가 다른 구조로 분류된 경우이다. 이 경우는 위의 방법으로는 찾아낼 수 없기 때문에 해당 신경돌기 위에 사용자가 인터랙션을 통해 뉴런 추적 시작점을 생성하도록 한다.

뉴런 구조 레이블을 통한 뉴런 추적: 뉴런 구조 레이블이 존재 하는 곳에서는 이미지 신호를 기반으로 추적할 필요 없이 구조 레이블 위에서 적절한 방향을 찾아주는 것만으로 뉴런 추적이 가능하다. 이는 현재 추적 지점 주변의 일정 반경을 탐색하여 다 음 추적 지점을 찾는 것으로 수행 할 수 있다(Fig. 3). 먼저 추적 방향과 수직으로 일정 크기의 사각형 형태의 탐색 영역을 지정 한다. 사각형 탐색 영역의 각 변에 위치한 레이블을 연결 요소 분 석을 통해 연결하고 이들의 중점을 다음 추적 지점으로 지정한다 (Fig. 3c). 이때 이미 탐색한 영역에 포함된 연결 요소는 제외한다. 찾아진 다음 추적 지점이 없을 경우 현재 추적 지점으로부터 약한 뉴런 신호에 대한 뉴런 추적이 시작된다. 찾아진 추적 지점의 개수가 한 개 일 경우는 해당 지점으로 이동한다. 만약, 개수가 두 개 이상일 경우 현재 추적 지점이 신경돌기가 여러 갈래로 나뉘는 분기점 또는 여러 신경돌기가 교차하여 지나가는 교차점일 가능성이 크다(Fig. 3d). 찾아진 다음 추적 지점을 포함하여 현재 추적 지점과 연결된 모든 추적 지점들을 검사하여 같은 방향에 위치하는(현재 추적 지점과 연결 추적 지점들을 연결한 선분이 일정 각도 이하일 때) 추적 지점들을 쌍으로 묶는다. 모든 추적 지점이 쌍으로 묶여 있으면 현재 추적 지점은 교차점으로 지정되 며 이전 추적 지점과 쌍으로 묶인 연결 추적 지점으로 이동한다. 만약 추적 지점들이 쌍으로 묶이지 않으면 현재 추적 지점은 분 기점으로 지정되며 현재 신경돌기에 대한 추적을 종료한다. 이 과정을 반복하며 뉴런 추적을 수행한다. 적절한 탐색 영역의 크 기는 데이터의 해상도에 따라 달라질 수 있으며, 본 연구에서는 0.2094 × 0.2094µm²/px 해상도의이미지에 대해한 변의 크기가 21px인 정사각형형태를 탐색 영역으로 사용하였다(Fig. 3b).

약한 뉴런 신호에 대한 뉴런 추적: 뉴런 이미지에서 신호가 약 한 부분은 사전 딥러닝을 통한 뉴런 구조 분리 시 배경으로 처 리되어 레이블이 생성되지 않을 수 있다. 이런 부분으로 인해 한 신경돌기에 포함된 구조들이 여러 조각으로 나타날 수 있다 (Fig. 4a). 이러한 조각들을 연결하고, 소실된 구조 레이블을 복 구하기 위해서는 조각들을 잇는 경로를 찾아야 한다. 이를 위해 뉴런 구조 레이블을 통한 뉴런 추적에서 다음 추적 지점을 찾지 못한 경우 현재 추적 지점을 시작점으로 다른 레이블 조각 까지의 최단거리를 찾아 연결하도록 한다. 최단 경로 탐색 중 가장 먼저 만나는 다른 레이블 조각에 다음 추적 지점을 추가하고 찾은 경 로를 통해 현재 추적 지점과 연결한다. 만약, 일정 거리까지 다른 레이블 조각을 만나지 못하면 현재 추적 지점을 실제 신경돌기의 끝으로 지정하고 추적을 끝낸다.

우리는 효과적인 최단 경로 탐색을 위해 뉴런 구조의 특성과 사용자 피드백을 반영한 새로운 비용맵을 정의하고, 다익스트라 알고리즘(Dijkstra algorithm [15])을 통해 최단 경로를 탐색한다. 먼저 이미지의 각 픽셀을 노드로 지정하고 상하좌우 픽셀과 연결 된 그래프를 생성한다. 각 노드로 이동하기 위한 비용은 이미지 신호와 추적 진행 방향, 사용자 피드백을 통해 정의된다. 뉴런 구 조가 존재할 가능성은 이미지의 신호가 강할수록 크기 때문에, 비용은 신호가 강할수록 작아야 한다. 신호에 의한 비용(C_s)은 아래와 같다.

p는 각 노드, 즉 2차원 이미지의 각 픽셀을 의미한다. I(p)는 p의 이미지 신호 값을 나타낸다. 이미지 신호 값은 가장 어두운 부분(배경)이 0이고, 가장 밝은 부분은 1이다.

또한, 단일 신경돌기에서 구조가 급격히 꺽이는 경우가 거의 없기 때문에 추적 진행 방향은 이전 추적 진행 방향과 유사할 가 능성이 높다. 이전 추적 진행 방향은 현재 추적 지점(tp_c)과 이전 추적 지점(tp_p)을 연결한 방향으로 정의하고, 이와 현재 추적 지 점과 각 노드(p)를 연결한 방향과의 각도 차이를 통해 추적 진행 방향에 의한 비용(C_d)을 정의하였다.

$angle\left(\overrightarrow{a},\overrightarrow{b}\right)$는 $\overrightarrow{a}$와 $\overrightarrow{b}$의 각도 차이를 라디안 단위로 구한다.

마지막으로, 사용자는 두가지 피드백(긍정, 부정)을 통해 각 노 드에 대한 비용을 조절할 수 있다(Fig. 4d). 구조주변의 노이즈로 인해 제대로 된 경로를 찾지 못하거나, 서로 다른 신경돌기가 가 까이 붙어 있어 잘못된 경로가 구해지는 등의 오류가 발생하게 되면 사용자는 부정 피드백을 통해 원하는 노드들의 비용을 증 가시켜 경로를 교정할 수 있다. 또한, 한 신경돌기에 속한 두개의 레이블 조각이 너무 멀이 떨어져 있어서 미쳐 경로를 생성하지 못한 경우 사용자는 긍정 피드백을 통해 원하는 노드들의 비용을 감소시켜 경로를 교정할 수 있다. 이러한 피드백은 브러쉬 툴을 통해 원하는 영역을 색칠함으로써 수행할 수 있다. 사용자 피드백 을 통한 비용(C_u)은 전체 비용에 곱해져서 작용하게 되면 아래와 같다.

이러한 정보들을 통해 생성되는 최종 비용맵(C)은 아래와 같다.

λ는 비용맵에 이미지 신호와 추적 진행 방향의 영향을 조절하 기 위한 파라미터로, 본 연구에서는 0.01로 설정하였다.

이전 추적 과정에서 탐색한 영역의 노드들은 비용을 무한대로 지정하여 다시 탐색하지 않도록 하고, 현재 추적 지점을 시작점 으로 위에 정의한 비용맵을 기반으로 다른 레이블 조각까지의 최단 경로를 찾게된다. 뉴런 구조 레이블을 통한 뉴런 추적과 약한 뉴런 신호에 대한 뉴런 추적이 반복적으로 수행되어 단일 신경돌 기를 구해내게 된다.

뉴런 추적을 통해 단일 신경돌기를 분리해 내면, 앙상블 딥러닝 모델을 통해 해당 신경돌기가 각 구조에 속할 확률을 계산하게 된다(Fig. 5c). 이 확률에 따라 사용자에게 구조 추천 시각적 가이 드가 제공되게 된다(Fig. 5d). 사용자는 시각적 가이드를 참조하 여 해당 신경돌기의 실제 구조를 지정하여 구조 교정을 수행하게 된다(Fig. 5e). 사용자의 이 피드백 인터랙션을 딥러닝 모델이 실 시간으로 학습하게 된다.

Figure 5: Structure correction process through deep learning - (a) generation of structure-based patch through structure label, (b) structure classification result for one patch, (c) ensemble result of structure classification for all patches in a single neurite, (d) visual guide through the structure classification result, and (e) structure correction through user feedback.

Download Original Figure

딥러닝 모델 및 입력 디자인: 확률 계산 및 모델 학습이 대화식 으로 빠른 시간안에 수행되어야 하기 때문에 비교적 단순한 형태 의 딥러닝 모델을 활용해야 한다. 단순한 형태의 딥러닝 모델로 도 높은 정확도의 분류 결과를 얻기 위해 우리는 신경돌기를 각 뉴런 추적 지점에서 지정되었던 탐색 영역을 여러 조각으로 나누 고각 조각에 대한 분류 결과를 앙상블 하였고, 각 조각의 구조를 수직방향으로 회전 및 중앙으로 이동하는 사전 작업을 통해 딥러 닝 모델의 입력을 단순화 하였다(Fig. 5a). 본 연구에서는 딥러닝 모델로써 6겹의 합성곱 신경망(Convolutional Neural Network)을 사용하였고, 딥러닝의 입력으로써는 뉴런 추적 탐색 영역과 같 은 21 × 21px 크기의 뉴런 구조 패치를 사용하였다. 자세한 모델 구조는 Figure 5b에서 확인할 수 있다. 이 딥러닝 모델은 각 뉴 런 구조 패치가 각 구조에 속할 확률을 구하게 되고(Fig. 5b), 한 신경돌기로 부터 생성된 여러개의 뉴런 구조 패치에 대한 결과를 평균 내어 해당 신경돌기가각 구조에 속할 확률을 판단하게 된다 (Fig. 5c).

구조 추천 시각적 가이드 및 사용자 인터랙션: 해당 신경돌기 가 각 구조에 속할 확률이 구해지면 이 확률에 따라 시각적 가 이드의 색상이 결정되고(Fig. 5c), 신경돌기의 테두리에 시각적 가이드가 생성된다(Fig. 5d). 사용자는 시각적 가이드를 통해 오 류가 있는 부분과 해당 부분의 예상 구조를 확인할 수 있고, 해 당 부분에 대한 구조 피드백을 주어 구조 수정을 완료할 수 있다 (Fig. 5e). 또한, 수정 정보는 딥러닝 모델로 전달되어 모델을 훈 련시키게 된다.

제안한 방법을 활용할 수 있게 하기 위한 사용자인터페이스를 디 자인 하였다(Fig. 6). 사용자인터페이스는 데이터 및 작업 과정을 시각적으로 볼 수 있는 이미지 뷰어(Fig. 6a)와 사용자 인터랙션 을 조작하는 컨트롤 패널(Fig. 6b)으로 이루어져 있다.

Figure 6: User interface to effectively utilize the proposed method.

Download Original Figure

사용자가 뉴런 이미지와 딥러닝 등의 자동 방법을 통해 구해 진 뉴런 구조 분리 결과 레이블이 포함된 데이터 세트(Fig. 7a)를 불러오면 뉴런 이미지와 구조 레이블이 블랜딩 되어 보여진다. 또한, 여기에 뉴런 추적 결과와 구조 추천 시각적 가이드가 함 께 보여진다(Fig. 7b). 사용자가 뉴런 추적 결과에서 잘못 추적된 부분을 피드백을 통해 수정하게 되면, 수정된 부분에 대해 구조 추천 시각적 가이드가 다시 생성되어 제공된다(Fig. 7c,d,e). 구조 추천 시각적 가이드에서 사용자가 피드백을 주게 되면 이를 통해 구조 교정이 수행되며 딥러닝 모델을 다시 훈련시켜 전체에 대해 시각적 가이드를 다시 생성하게 된다(Fig. 7c,d). 이러한 과정을 반복하면서 점점 더 정확한 시각적 가이드가 생성되고 빠르고 정 밀한 교정 작업을 수행할 수 있게 된다.

Figure 7: Examples of neuron structure proofreading workflow through the proposed method - (a) input dataset, (b) visual guide through initial neuron tracing and structure classification prediction, (c,d,e) error correction scenarios through user feedback, and (f) corrected result.

Download Original Figure

실험에 사용된 뉴런 이미지는 Lewis et al. [2]의 연구의 방법에 따 라 준비 되었으며, 본 연구에 사용된 모든 데이터는 Kwon lab¹으 로 부터 제공받았다. 본 실험에는 1024 × 1024px크기의 연습용 뉴런 이미지 한장(Fig. 8 - Data set1)과 실험용 뉴런 이미지 두장 (Fig. 2 - Data set2-3)을 사용하였다. 사전 구조 레이블을 위한 딥 러닝 방법으로는 Park et al. [3]의 방법을 사용하였다. Data set1-3 의 사전 구조 레이블에 존재하는 오류를 사전에 수동으로 수정 하여 모범답안을 생성하였으며, Data set1은 11개, Data set2는 29 개, Data set3은 50개의 단일 신경돌기에 오류가 존재했다. 제안 된 방법의 딥러닝 모델(Fig. 5b)의 파라미터를 학습하기 위한 방 법으로 Adam 옵티마이저 [16]가 사용되었다. 실험에는 Intel i7-6700 CPU, 64GB RAM, RTX 2080Ti의 사양을 가진 데스크탑과 1920×1080 해상도의 27인치 모니터 두 개가 활용되었다.

Figure 8: Proofreading results for three data sets - (a) pre-segmented structure labels through deep learning, and (b) corrected labels through the proposed method

Download Original Figure

이미지 데이터에서 구조 분리 결과를 수작업으로 교정해 본 경험 이있고, 뉴런 구조에 대한 사전 지식이 있으며, 컴퓨터를 다루는 것이익숙한 IT 분야 대학생 및 대학원생 6명을 대상으로 실험을 수행하였다. 참가자는 수작업 기반 교정 방법과 제안된 방법을 각각 사용하여 뉴런 이미지의 사전 구조 분리 레이블에서 잘못 된 부분을 교정하는 작업을 수행하였다. 먼저 각 방법의 사용법 을 익히고 Data set1을 교정하는 작업을 수행해 보는 훈련 세션 을 진행하였다. 그 다음 Data set2와 3에 대해서 교정하는 작업을 수행하게 되고 참가자가 교정이 완료됐다고 판단하게 되면 작업 이 종료된다. 각 Data set에 대해 교정 시작부터 참가자의 완료 선언까지 작업 수행 시간으로 측정되었다. 참가자 3명은 수작업 기반 교정 방법을 먼저 사용하였고, 나머지 참가자 3명은 제안 된 방법을 먼저 사용하였다. 뉴런 구조 판단에 대한 참가자들의 주관적 판단을 최소화 하기 위해 참가들에게 모범답안이 제공되 었으며, 참가자들은 모범답안을 참고하여 구조 교정을 수행하였다. 실험이 끝난 후 구조 분리 교정 결과와 모범답안을 비교하여 교정 정확도를 측정하였다. 교정 정확도는 제대로 교정이 수행 된 영역의 픽셀 개수(R_C)와 사전 구조 분리 레이블에 존재하는 전체 오류 영역의 픽셀 개수(R_E)의 비율로 구하는 영역 기반 정 확도 $\left(RbA=\frac{R_C}{R_E}\times 100\%\right)$와, 제대로 교정이 수행된 단일 신경 돌기의 개수(N_C)와 사전 구조 분리 레이블에서 오류가 존재하 는 단일 신경돌기의 개수(N_E)의 비율로 구한 구조 기반 정확도 $\left(SbA=\frac{N_C}{N_E}\times 100\%\right)$로 측정되었다.

Table 1에서 6명의 참가자에 대한 사용자 연구 결과를 볼 수 있다. 수작업 기반 교정 방법에 비해 제안된 방법이 최대 2.27배, 평균 1.27배의작업 속도 향상을 보였다. 영역 기반 정확도(RbA)는 수 작업 기반 교정 방법이 평균 75.52%, 제안된 방법이 평균 76.70% 를 보였고, 구조 기반 정확도(SbA)는 수작업 기반 교정 방법이 평 균 74.58%, 제안된 방법이 평균 75.49%를 보여 두 방법이 비슷한 정확도로 작업을 수행할 수 있음을 보였다. 결과적으로 제안된 방법이 수작업 기반의 방법과 비슷한 정확도로 더 빠르게 작업을 수행할 수 있음을 확인할 수 있다. 이는 픽셀 단위로 수작업으로 교정을 수행하는 것에 비해 뉴런 추적을 통해 단위 신경돌기 단위로 교정을 수행하기 때문에 수행 속도를 높일수 있었던 것으로 보인다.