1. 서론
뇌 소혈관 질환(Cerebral small vessel disease, CSVD)은 노년 계층에게서 매우 흔히 나타나는 신경계 질환의 일종으로 서서히 뇌혈관의 조직을 손상시킴으로써 뇌졸중, 치매 그리고 인지 저하 등 노화로 인해 발생되는 질환의 주요 원인으로 작용하고 있다[1-2]. 하지만, 이처럼 빈번하게 발생하는 주요 질병이지만 정작 이 질병에 대해 알려진 정보는 그리 많지 않다. 그 이유는 CT(Computerized Tomography)나 MRI(MagneticResonanceImaging)를 이용하여 얻은 저해상도의 뇌 이미지 정보만으로는 생체 내에 있는 작은 혈관에 대한 정확한 분석을 하기 매우 어렵기 때문이다[3-5]. 윤호성 등의 연구[27]에서는 뇌를 분석하기 위해 사용된 MR 영상의 해상도는 256×256이고, 단면 이미지의 수는 192장으로 작은 혈관에 대한 분석을 위한 데이터로는 한계가 있다.
Fig.1은 Knife-Edge Scanning Microscope (KESM)로 미국 TexasA&M 대학교의 Brain Networks 연구실에서 개발된 장비이다[6-7]. KESM을 이용하면 작은 장기(organ)의 단면 이미지를 0.6 μm×0.7 μm×1.0 μm의 복셀(voxel) 해상도로 이미지를 얻을 수 있으며, 이렇게 추출된 고 해상도 이미지는 쥐 뇌와 같이 작은 장기의 미세혈관에 대한 정보까지도 포함하게 된다[8].KESM을 활용하여 작은 장기의 조직(tissue)을 분석하기 위해 장기샘플을 준비하고, 샘플의 단면을 자름(cutting)과 동시에 2D 이미지를 추출하고, 추출된 이미지를 활용하여 3D 이미지로 복원 및 수학적으로 분석하는 일련의 과정을 Fig.2와 같이 시간 순서에 따라 그림으로 표현하였다.
Fig. 1. Knife-Edge Scanning Microscope(KESM). (a) Major components of the KESM are shown: (1) high-speed line- scan camera, (2) microscope objective, (3) diamond knife assembly and light collimator, (4) specimen tank (for water immersion imaging), (5) three-axis precision air-bearing stage, (6) white-light microscope illuminator, (7) water pump (in the black) for the removal of sectioned tissue, (8) PC server for stage control andimage acquisition, (9) grantie base, and (10) grantie bridge. (b) An illustration of the principle of operation of the KESM. Adapted from [9].
Fig. 2. KESM tissue imaging workflow. It illustrates the process of obtaining a tissue image using KESM. Adapted from [10].
본 연구에서 사용된 작은 장기는 C57BL/6L 생쥐의 뇌 이미지를 활용하였으며, 뇌혈관에 대한 분석을 위해 인디아 잉크(India-ink)로 염색된 뇌혈관의 이미지를 사용하였다[11]. 인디아 잉크로 염색된 뇌혈관의 이미지는 혈관의 정보도 가지고 있지만, 물리적으로 장기의 단면을 자르면서 이미지를 추출하는 과정에서 원하지 않는 노이즈가 포함되기 때문에 다양한 종류의 이미지 프로세싱 기법이 적용된 사전 작업을 통해서 노이즈를 제거하는 단계를 거쳐야 한다.
또한,1 μm 이하의 고해상도로 이미지를 추출하기 때문에 쥐 뇌와 같은 작은 장기의 단면 이 포함된 이미지 데이터 셋의 크기는 대략 1.5TB 정도로 서브 샘플링(sub-sampling) 단계를 거치지 않으면 이미지를 다루거나 분석하는데 상당한 시간적 제약과 고성능의 컴퓨터를 필요로 하게 된다.
본 논문에서는 인디아 잉크로 뇌혈관이 염색된 C57BL/6L 생쥐의 고해상도 뇌 이미지에서 뇌혈관에 대한 정보를 추출하기 위해 이미지 임계화(imagethreshold) 기법을 활용하여 혈관을 분류하고, 분류된 이미지 정보를 활용하여 뇌혈관의 지름을 측정하며 지름의 크기에 따라 뇌혈관 네트워크를 3D로 재현하고 분석하는 프레임워크(framework)를 제안하고자 한다. 이 프레임워크는 크게 두 단계로 구성되어 있다. 첫 번째 부분은 KESM에서 추출된 뇌의 단면 이미지에서 혈관의 정보만을 얻기 위한 이미지 프로세싱 기법을 언급한다. 두 번째 부분에서는 추출된 뇌혈관 이미지에서 혈관의 지름 크기에 따라 혈관정보를 분류하는 방법에 대해서 기술한다. 이 두 단계를 거치게 되면 쥐 뇌의 혈관 지름크기에 따른 3D혈관 네트워크를 구현할 수 있다.
본 논문의 구성은 다음과 같다.2장에서 본 논문에서 제안하는 프레임워크를 구현하기 위한 디지털 이미지 프로세싱 기법과 혈관 지름 크기별 분류 방법에 대하여 기술하고, 3장에서 제안하는 프레임워크를 적용한 실험결과에 대해서 설명한다. 마지막으로 4장에서는 결론을 맺는다.
2. 제안한 방법
2.1 디지털 이미지 프로세싱
Fig.3은 KESM에서 추출한 쥐 뇌의 이미지 단면으로 짙은 검정색 부분은 인디아 잉크로 염색된 뇌혈관이다. 이 단면 이미지에는 인디아 잉크로 염색된뇌혈관 정보뿐만 아니라 뇌 영역 외부에 일정한 패턴을 보이는 노이즈도 역시 존재하고 있으며, 혈관에 대한 정보만을 추출하기 위해서는 다양한 이미지 프로세싱 기법을 적용하여야 한다. 본 논문에서는 8,560개의 Fig.3과 같은 뇌의 단면 이미지를 활용하였으며, 이때 사용된 이미지 해상도는 7,790 px× 6,050 px 이고, 복셀(voxel)의 해상도는 1.2 & mu;m× 1.4& mu;m× 1.0 μm이다[12].
Fig. 3. A cross section of the mouse brain. The black parts are vascular stained with India ink. Coronal view(↑: Dorsan, ↓: Ventral).
우선 인디아 잉크로 염색된 혈관의 정보를 추출해야 하기 위해 쥐 뇌의 이미지 단면을 이진화(binari-zation) 해야 하고, 이를 위해 최소 임계값(minimum threshold) 기법[13]을 사용하였다. 최소 임계화 기법은 Fig.3과 같은 그레이 스케일의 이미지를 픽셀들의 밝기값(0∼255)에 따른 히스토그램으로 표현하고, 히스토그램에서 두 개의 로컬 최대값이 존재할 때까지 이미지를 부드럽게 만들며, 두 개의 로컬 최대값이 만들어지면 두 로컬 최대값의 중간값을 임계값으로 하여 임계값 보다 밝기값이 큰 픽셀은 흰색으로, 임계값 보다 밝기값이 작은 픽셀은 검은색으로 지정하면 그레이 스케일의 이미지를 Fig.4의 이미지b와 같이 검은색과 흰색만이 존재하는 이진화 된 이미지로 만들 수 있다.
또한,1.5TB 크기의 원본 이미지를 분석하기 위해 2단계에 걸쳐 서브샘플링(sub-sampling) 기법을 적용하였고, 서브샘플링(sub-sampling) 단계에서 손상된 이미지를 제외하고 연속된 이미지를 결합하는 기법을 추가하여 혈관에 대한 자세한 정보를 얻도록 처리하였다[14].Fig.4는 2단계의 서브 샘플링(sub-sampling) 과정과 이미지를 이진화 하는 전체 과정을 표현한 그림이다[14]. 인디아 잉크 데이터 셋을첫 번째 서브샘플링 하는 과정에서 뇌의 단면 이미지는 x,y축으로 50% 크기가 작아진다. 이미지의 크기가 작이진 만큼 z축으로도 단면 이미지의 개수가 50% 줄어야 한다. 최초 8,560개의 단면 이미지에서 우리가 필요로 하는 이미지의 수는 4,280개로 줄어들게 되며, 이 과정에서 단면 이미지별 보유하고 있는 혈관에 대한 정보를 획득하기 위해 두 이미지를 결합(픽셀 밝기값의 평균값 적용)하여 한 이미지로 만들었다. 첫 번째 서브샘플링 과정을 진행하다 보면 Fig. 4의 결합된 이미지 z1과 같이 물리적으로 손상된 이미지가 만들어 질 수 있다. 이러한 이미지는 두 번째 서브 샘플링 과정에서 수동으로 손상된 이미지 z1을 검정색으로 처리된 빈 이미지 e로 교체하는 과정을 통해 손상된 이미지의 정보는 제거되고, 결합된 이미지 z1+1이 가지고 있는 혈관 정보는 검정색으로 처리된 빈 이미지 e와 결합하면서 z1+1의 혈관 정보를 그대로 보유하고 있는 이미지 z2가 만들어진다. 손상되지 않은 이미지는 첫 번째 서브샘플링 과정에서와 같이 두 이미지의 결합이 이루어진다. 결과적으로 본 논문에서는 두 단계의 서브샘플링 기법을 통해 이미지 데이터 셋의 x,y축은 원본 이미지의 25% 크기가 되며, z축으로는 2,140개의 단면 이미지만을 사용하게 된다.
Fig. 4. 2 steps Z axis sub-sampling and binarization process. Image z1 is the average of image of image z and image z+1. Image e is a blank image for replacing bad condition image z1. Image z2 is the average of image e and image z1+1. Image b is the minimum thresholding result of image z2. Coronal view(↑: Dorsan, ↓: Ventral). Adapted from [14].
2.2 혈관 지름 크기에 따른 분류
이번 장에서는 2.1에서 이미지 프로세싱 결과로 얻은 이진화 된 이미지를 활용하여 뇌혈관의 지름 크기에 따라 혈관 정보를 분류하고 분류된 정보를 바탕으로 혈관 크기별로 구조를 분석하였다. 이전에 진행되었던 연구들을 [15-19] 살펴보면 혈관을 크게 미세혈관(capillaries, 지름이 10 μm 이하), 중간크기혈관(medium-sized vessels, 지름이 11∼20 μm), 큰 크기 혈관(지름이 20 μm 이상) 으로 구분한다. Xiong[20] 등이 연구한 논문에서는 쥐 전체 뇌의 정맥과 동맥을 분류하기 위해 지름 크기를 3개 단계(지름이 40 μm 이하, 지름이 40∼90 μm, 지름이 90 μm 이상)로 나누어 분석 하였다. 하지만, 본 논문에서는 이미지의 한 픽셀 당 해상도(4.8 μm×5.6 μm)를 고려하여 쥐 전체 뇌혈관의 크기를 Table1과 같이 4단계로 분류하는 기준을 적용하였다.2.1에서 제안한 2단계서브 샘플링 기법을 적용하면 Fig.3의 뇌 단면 이미지 해상도는 1947×1512 픽셀의 크기가 된다. Fig. 5는 이미지 프로세싱이 끝난 이진화 된 쥐뇌의 단면 이미지를 혈관의 크기에 따라 3단계로 분류하는 과정을 보여주는 예제 그림이다. 이 그림에서는 최소화 임계값(minimumthreshold) 기법을 이용한 결과 이미지에서 혈관의 지름 크기에 따라 이미지를 세 그룹(26±2≤ 지름 <52±4 μm,52±4 & mu;m& le;지름 <78±6 μm, 지름이 78±6 μm 이상)으로 분류한 결과 이미지들을 나타낸다. 본 연구에서는 최소 임계값으로 이진화 된 이미지를 MATLAB[21] 프로그램에서 제공하는 이미지 프로세싱 툴박스(image pro-cessing toolbox)[22-23]에서 혈관 부분의 지름을 측정할 수 있는 기능을 활용하였다. 지름을 측정하기 위해 사용된 플러그 인을 활용하면 이진화 된 단면이미지의 혈관 부분 각각의 영역과 면적의 크기가 같은 원의 지름 크기를 각각 반환해주게 된다. 이 플러그 인을 활용하여 모든 혈관의 지름을 측정한 후4단계로 나눈 기준을 각각 적용하여 해당되는 혈관의 정보만을 남기는 Fig.5에서 보여준 방법을 똑같이 적용하여 결과 이미지들을 분류하였다.
이렇게 혈관의 지름 크기별로 분류된 이미지들을 각각의 저장 공간에 모아놓고,z축을 기준으로 연속된 이미지 사이의 혈관이 서로 연결되어 있으면, 혈관의 중심점(x,y)을 찾아 연결된 혈관 사이의 중심점과 중심점을 서로 연결하여 혈관의 지름 크기별 전체적인 혈관 네트워크 구조를 가시화 하였다[24].
Table 1. Four criteria of the blood vessel diameter (D)* Size of the vessel : Original resolution (4.8 μm × 5.6 μm) applied (4.8 μm or 5.6 μm per 1pixel
Fig. 5. Example of the categorized vessel in the coronal imaging slice according to the diameter size. Binarized image with minimum threshold method. It is classified into three groups depending on the size of the blood vessel diameter. (26±2 ≤ Diameter ≤ 52±4 µm, 52±4 µm < Diameter ≤ 78±6µm, Equal or greater than 78±6 µm).
Fig. 6. Categorized vessels according to diameter size. (a) Capillaries (Diameter ≤ 10.4±0.8 µm). (b) Medium-sized vessels (10.4±0.8 µm < Diameter ≤ 20.8±1.6 µm). (c) Large-sized vessels (part1) (20.8±1.6 µm < Diameter ≤ 41.6±3.2 µm). (d) Large-sized vessels (part2) (Diameter > 41.6±3.2 µm). Transverse plane (↑: Posterior,↓: Anterior).
Fig. 7. Distribution of vessels according to diameter size over the whole mouse brain. (a) Transverse plane (↑: Posterior,↓: Anterior). (b) Sagittal view (←: Anterior, →: Posterior). I categorized blood vessels from capillaries (Diameter ≤ 10.4±0.8 µm) in blue, medium-sized vessels (10.4±0.8 µm < Diameter ≤ 20.8±1.6 µm) in black, large-sized vessels (part1) (20.8±1.6 µm < Diameter ≤ 41.6±3.2 µm) in green, large-sized vessels (part2) (Diameter > 41.6±3.2 µm) in red.
4. 실험 결과
Table1에서 제시한 기준에 따라 혈관 지름 크기별로 분류된 혈관의 네트워크 구조를 명확하게 구분하기 위해 Fig.6과 같이 4가지 색으로 가시화 하였다. 2.2장에서 언급한 것과 같이 z축을 기준으로 연속된 이미지에서 혈관이 서로 연결되어 있으면 그 혈관들의 중심점을 찾고 연결하는 방법을 사용하여 x,y,z의 좌표 정보를 저장하고 있는 VTK(Visualization Toolkit) [25] 파일을 생성하였다. 이렇게 생성된 VTK 파일을 Paraview(데이터 분석 및 가시화 소프트웨어)[26] 프로그램으로 실행하면 Fig.6과 같이 3D 형태로 쥐 전체 뇌혈관의 지름 크기에 따른 네트워크 구조가 완성 된다.
Fig.7은 C57BL/6J 쥐 모델의 전체 뇌혈관 구조를 나타내는 그림으로 Fig.6의 네 가지 결과를 하나로합친 결과를 보여주고 있다.Fig.7(a)는 횡단면을 Fig. 7(b)는 시상면을 도시하고 있으며, 모세혈관(지름이 10.4±0.8 μm 이하)은 파란색, 중간 크기의 혈관(10.4& plusmn; 0.8 μm< 지름 ≤20.8±1.6 μm)은 검은색, 큰 크기의 혈관 부분1(20.8±1.6 μm< 지름 ≤41.6±3.2μm)은 초록색으로 큰 크기의 혈관 부분2(지름 >41.6±3.2 μm)는 빨간색으로 혈관의 네트워크 구조를 구분 하였다.
5. 결론
본 논문에서는 KESM으로부터 얻은 인디아 잉크로 염색된 쥐 전체 뇌의 혈관 이미지 데이터 세트로부터 다양한 디지털 이미지 프로세싱 기법을 적용함으로써 노이즈를 제거하고, 혈관의 정보만을 분류하기 위해 최소화 임계법 기법으로 이미지를 이진화하였다. 이렇게 이진화 된 이미지에서 혈관의 지름 크기에 따라 혈관 정보를 4단계의 기준에 따라 분류하고, 혈관의 크기별 네트워크 구조를 시각화하여 구분하기 위해 각기 다른 4가지 색을 적용하여 쥐의 전체 뇌혈관 네트워크 구조를 분석 하였다. 본 논문에서의 결과는 1 μm 이하의 고해상도에서 모세혈관(지름이 10 μm 이하)에 대한 풍부한 정보를 얻을 수 있으며, 뇌 혈관계 및 주변 대뇌의 구조에 대한 데이터 중심의 정량적 연구에 매우 유용하게 활용될 것으로 기대된다. 향후 연구에서는 제안된 방법보다 더발달된 이미지 임계화 기법을 활용하여 이진화 된 이미지에서 보다 더 풍부한 양의 혈관 정보를 얻을 수 있도록 기법을 적용하고, 결과를 비교 분석 할 것이다.
References
- S. Yulu and J.M. Wardlaw, "Update on Cerebral Small Vessel Disease: A Dynamic Whole-brain Disease," Stroke and Vascular Neurology, Vol. 1, No. 3, pp. 83-92, 2016. https://doi.org/10.1136/svn-2016-000035
- D. Pinter, C. Enzinger, and F. Fazekas, "Cerebral Small Vessel Disease, Cognitive Reserve and Cognitive Dysfunction," Journal of Neurology, Vol. 262, No. 11, pp. 2411-2419, 2015. https://doi.org/10.1007/s00415-015-7776-6
- J.M. Wardlaw, C. Smith, and M. Dichgans, "Mechanisms of Sporadic Cerebral Small Vessel Disease: Insights From Neuroimaging," The Lancet Neurology, Vol. 12, No. 5, pp. 483-497, 2013. https://doi.org/10.1016/S1474-4422(13)70060-7
- J.M. Wardlaw, M.S. Dennis, C.P. Warlow, and P.A. Sandercock, "Imaging Appearance of the Symptomatic Perforating Artery in Patients with Lacunar Infarction: Occlusion or Other Vascular Pathology?," Annals of Neurology, Vol. 50, No. 2, pp. 208-215, 2001. https://doi.org/10.1002/ana.1082
- G.E. Mead, S.C. Lewis, J.M. Wardlaw, M.S. Dennis, and C.P. Warlow, "How Well Does the Oxfordshire Community Stroke Project Classification Predict the Site and Size of the Infarct on Brain Imaging?," Journal of Neurology, Neurosurgery and Psychiatry, Vol. 68, No. 5, pp. 558-562, 2000. https://doi.org/10.1136/jnnp.68.5.558
- B.H. McCormick and D.M. Mayerich, "Three-dimensional Imaging Using Knife-edge Scanning Microscopy," Microscopy and Microanalysis, Vol. 10, No. S02, pp. 1466-1467, 2004. https://doi.org/10.1017/S143192760488070X
- Y. Choe, L.C. Abbott, D. Han, P.S. Huang, J. Keyser, J. Kwon, et al., "Knife-edge Scanning Microscopy: High-throughput Imaging and Analysis of Massive Volumes of Biological Microstructures," High-Throughput Image Reconstruction and Analysis: Intelligent Microscopy Applications, pp. 11-37, 2008.
- Y. Choe, D. Mayerich, J. Kwon, D.E. Miller, J.R. Chung, C. Sung, et al., "Knife-edge Scanning Microscopy for Connectomics Research," Proceeding of The 2011 International J oint Conference on Neural Networks, pp. 2258-2265, 2011.
- Y. Choe, D. Mayerich, J. Kwon, D.E. Miller, C. Sung, J.R. Chung, et al., "Specimen Preparation, Imaging, and Analysis Protocols for Knife-edge Scanning Microscopy," Journal of Visualized Experiments, Vol. 58, No. e3248, pp. 1-11, 2011.
- M.J. Pesavento, C. Miller, K. Pelton, M. Maloof, C.E. Monteith, V. Vemuri, et al., "Knife-edge Scanning Microscopy for Brightfield Multi-cubic Centimeter Analysis of Microvasculature," Microscopy Today, Vol 25, No. 4, pp. 14-21, 2017. https://doi.org/10.1017/S1551929517000645
- D. Mayerich, L. Abbott, and B. McCormick, "Knife-Edge Scanning Microscopy for Imaging and Reconstruction of Three-Dimensional Anatomical Structures of the Mouse Brain," Journal of Microscopy, Vol. 231, No. 1, pp. 134-143, 2008. https://doi.org/10.1111/j.1365-2818.2008.02024.x
- J.R. Chung, C. Sung, D. Mayerich, J. Kwon, D.E. Miller, T. Huffman, et al., "Multiscale Exploration of Mouse Brain Microstructures Using the Knife-edge Scanning Microscope Brain Atlas," Frontiers in Neuroinformatics, Vol 5, Article 29, pp. 1-17, 2011. https://doi.org/10.3389/fninf.2011.00001
- J. Prewitt and M.L. Mendelsohn, "The Analysis of Cell Images," Annals of the New York Academy of Sciences, Vol. 128, No. 1, pp. 1035-1053, 1966.
- J. Lee, W. An, and Y. Choe, "Mapping the Full Vascular Network in the Mouse Brain at Submicrometer Resolution," Proceeding of 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 3309-3312, 2017.
- T.H. Bar and J.R. Wolff, "The Formation of Capillary Basement Membranes during Internal Vascularization of the Rat's Cerebral Cortex," Zeitschrift fur Zellforschung Und Mikroskopische Anatomie, Vol. 133, No. 2, pp. 231-248, 1972. https://doi.org/10.1007/BF00307145
- O. Hunziker, H. Frey, and U. Schulz, "Morphometric Investigations of Capillaries in the Brain Cortex of the Cat," Brain Research, Vol. 65, No. 1, pp. 1-11, 1974. https://doi.org/10.1016/0006-8993(74)90332-1
- M. Mato and S. Ookawara, "A Simple Method for Observation of Capillary Nets in Rat Brain Cortex," Experientia, Vol. 35, No. 4, pp. 501-503, 1979. https://doi.org/10.1007/BF01922731
- N.G. Conradi, J. Engvall, and J.R. Wolff, "Angioarchitectonics of Rat Cerebellar Cortex during Pre-and Postnatal Development," Acta neuropathologica, Vol. 50, No. 2, pp. 131-138, 1980. https://doi.org/10.1007/BF00692863
- H. Michaloudi, C. Batzios, I. Grivas, M. Chiotelli, and G.C. Papadopoulos, "Developmental Changes in the Vascular Network of the Rat Visual Areas 17, 18 and 18a," Brain Research, Vol. 1103, No. 1, pp. 1-12, 2006. https://doi.org/10.1016/j.brainres.2006.05.069
- B. Xiong, A. Li, Y. Lou, S. Chen, B. Long, J. Peng, et al., "Precise Cerebral Vascular Atlas in Stereotaxic Coordinates of Whole Mouse Brain," Frontiers in Neuroanatomy, Vol. 11, Article 128, pp. 1-17, 2017.
- MATLAB Release, The Mathworks Inc., Natick, Massachusetts, United States, 2013.
- R.C. Gonzalez and R.E. Woods, Image Processing Toolbox User's Guide, The Mathworks Inc., Massachusetts, United States, 2000.
- A. Georgantzoglou, J.D. Silva, and R. Jena, "Image Processing with Matlab and GPU," MATLAB Applications for the Practical Engineer , IntechOpen, 2014.
- S. Lim, M.R. Nowak, and Y. Choe, "Automated Neurovascular Tracing and Analysis of the Knife-edge Scanning Microscope Rat Nissl Data Set Using a Computing Cluster," Proceeding of 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 6445-6448, 2016.
- W.J. Schroder, K.M. Martin, and L.S. Avila, VTK User's Guide-VTK File Formats, Kitware, Inc., New York, United States, 2000.
- U. Ayachit, The Paraview Guide: A Parallel Visualization Application, Kitware, Inc., New York, United States, 2015.
- H.S. Yoon, N. Hewage, C.W. Moon, Y.H. Kim, and H.K. Choi, "Design of 3D Visualization Software Tool based on VTK for Manual Brain Segmentation of MRI," Journal of Korea Multimedia Society, Vol. 8, No. 2, pp. 120-127, 2015.