Development of Image-based System for Multiple Fluorescence Imaging Study

다중형광영상 연구를 위한 영상기반 시스템 개발

Abstract

In these days, fluorescent materials such as ICG or 5-ALA is used for the brain surgery. The patients who underwent brain tumor surgery has been increased during last 30 years and the survivorship rate increased 22∼33% in 5 years. Recently, the Fluorescence induction surgery is developed for more safety and improved the resection rate for the glioma in the neurosurgery field. In this study, we proposed fluorescence area detection method for ICG and 5-ALA fluorescence induced surgery using acquired images from image processing. Accuracy was 99.21% from ICG images, and 99.51% from 5-ALA images. Matthews correlation coefficient was 88.67% from ICG images, and 90.49% from 5-ALA images.

1. 서 론

국제암연구센터(IARC)에서 발표한 ‘세계 암 보고서 2014’에 따르면 암 환자의 수가 2008년 1270만명, 2012년에는 1410만명, 2035년에는 2400만명으로 늘어날 것으로 전망하였다[1]. 특히 뇌종양 환자의 경우 최근 30년간 계속 증가를 보이고 있고, 평균 5년 생존율은 22∼33%로 알려져 있다[2].

현재의 암 치료는 암세포를 없애는 데 초점을 맞추고 있어 수술적, 화학적, 방사선방법을 이용한 치료를 수행하고 있으나, 이에 따른 부작용을 겪고 있다[2].

형광영상을 이용한 암 진단 방법은 암세포에 선택적으로 많이 흡수된 광감각제를 적합한 여기광으로 광활성화시켜 형광을 발하도록 하는 방법으로 형광영상은 백색광에서는 보이지 않는 중요한 정보를 제공하나 사용된 광원의 밝기 및 주변 환경에 따라 영상의 품질이 뚜렷하지 못하다는 문제가 있다[3]. 시술자에게 향상된 형광영상을 제공하기 위해서는 별도의 영상처리를 통해 선명도를 극대화 하는 것이 필요하며, 이를 통해 시술자는 원본 영상에서는 잘 보이지 않던 혈관이나 종양의 위치를 쉽게 파악할 수 있다.

본 논문에서 제안하는 영상기반 시스템 개발을 위하여 크게 영상향상(Image Enhancement), 영상정합(Image Registration), 영역분할(Image Segmentation)단계로 영상을 처리하였다. 영상향상을 위한 영상 잡음제거 기술은 현재 많은 상용 시스템들에서 사용되며 대표적인 예로 중간 값 필터(Median Filter), 가우시안 필터(Gaussian Filter), 평균 값 필터(Mean Filter) 등을 이용한 잡음 제거 방법이 있다. 이 중 가우시안 필터는 영상에 블러링(Blurring) 또는 저주파 필터링(Low-Pass Filtering)에서 효과적인 면을 보이나 임펄스 잡음에 거의 효과가 없는 단점이 있으며, 평균 값 필터는 연산 속도가 빠르나 잡음 성분도 평균 계산에 포함하여 출력에 영향을 미친다는 단점이 있다. 이에 비해 중간 값 필터는 연산 속도는 느리나 영상의 경계선 정보를 보존하면서 잡음 제거에 효과적으로 사용할 수 있다. 영역분할은 향상된 영상을 이용한 목표 영역 검출 방법으로 사용되며 형태학적인 방법이나, 경계선 정보, 영상 화소 값을 이용한 영역 분할 방법 등이 사용되고 있다. 영상의 품질, 촬영당시의 환경, 목표조직의 특징에 따라서 적용되는 영역분할 방법은 상이하다. 영상정합은 다른 시간대에서 찍히거나 다른 각도에서 촬영된 두 개 이상의 영상을 덮어씌워(Overlay) 두 영상의 차이나 유사도를 통하여 영상들을 동일한 위치에 정렬하기 위한 방법이다. 영상정합 방법으로 영상 특징 기반 정합방법과 픽셀 밝기 기반 정합 방법 있으며, 의료영상처리(Medical Image Processing)나 컴퓨터비전에서 널리 사용되고 있다[4][5].

형광영상을 얻기 위해 사용되는 형광 염료 중 ICG는 다양한 시술에 널리 사용되는 형광 물질이며 특히 뇌종양 수술에서도 혈관의 위치를 파악하기 위해 널리 사용되고 있다. 그러나 ICG 용액의 초기 농도가 반으로 감소되기까지의 시간이 3∼4분 정도로 짧아 시술 중 필요에 따라 여러 번 주입되는 경우가 많다. 지속시간이 짧은 ICG 형광물질에 염색 된 혈관 영역을 검출하기 위하여 형광 영상을 저장하고 이로부터 필요한 정보를 추출한다. 이 방법으로 화면에 출력되는 형광 영상을 저장하고 이를 영상 처리하여 혈관영역을 검출한다. 필요에 따라 검출된 혈관 영상을 현재 현미경 이미지에 정합하고 화면에 출력되는 영상에 덮어씌워 표시할 수 있다. 이 기술은 여러 형광이미지를 동시에 보는 것과 같은 효과를 주어 시술의 효율성을 높일 수 있다. 5-ALA는 1979년부터 수술을 위한 형광발광물질로 널리 사용되어 왔다. 5-ALA는 부작용이 적은 물질로 환자가 복용하게 되면 환자의 뇌교종과 반응하여 PPIX(Protoporhjyrin IX)라는 물질을 생성한다. 형광성질이 없으나 PPIX에 약 400nm의 빛을 투과하면 635nm의 형광빛을 방사한다. 따라서 이러한 성질을 사용하면 정상 조직과 악성교종을 구분할 수 있다. 기존 연구에 따르면 5-ALA의 사용은 완전 절제 성공률을 약1.4배 증가시키며 절제되지 못한 악성교종의 크기를 1/16으로 줄여 악성교종의 재발 방지에 효과적이다[6,7].

기존의 뇌종양 수술용 현미경들은 단일의 광원과 필터만을 제공하여 오직 하나의 형광 물질만을 사용하며, 복수의 형광 물질을 사용하여 하나의 출력 장치에서 시각화 시켜주는 사례를 찾아 볼 수 없었다. 그러나 시술의 효율성을 높이기 위해서 복수의 형광물질의 사용이 요구되고 있으며 특히 뇌 수술의 경우 정확한 종양의 위치 및 크기 판별을 위해선 5-ALA가 필요하며, 주변 혈관의 위치를 위해선 ICG가 필요하다. 따라서 본 연구에서는 최소의 크기로 쉽게 기존의 수술용 현미경에 부착이 가능한 장치에서 복수의 형광 및 백색 광원과 필터를 통해 얻은 영상을 처리하여 영역을 검출하고 RGB영상에 검출영역을 나타나게 하여 암 검사 시에 도움을 줄 수 있는 영상기반 시스템을 제안한다.

기존 연구에서는 실시간으로 RGB영상과 ICG, 5-ALA 영상을 동시에 시술자에게 보여주는 사례가 없었다. 본 논문에서 제안한 방법은 영상처리 방법을 이용하여 RGB 영상에 ICG로 염색된 혈관영역과 5-ALA로 염색된 종양영역을 동시에 획득하고 실시간으로 영상가시화를 수행하였으며 종양 영역 및 혈관의 위치를 파악하기 위해서 덮어씌우기 방법과 영상정합방법을 수행하였다. 또한 수동으로 조작하여 정합할 수 있는 기능을 제공하여 일부 영상에서 나올 수 있는 정합 오류를 보완하였다.

 

2. 재료

2.1 형광 수술 현미경 시스템

현미경의 시스템은 Fig. 1과 같이 구성된다. 현미경에 ICG와 5-ALA영상을 동시에 획득 가능하도록 빔스플리터 모듈과 필터를 장착하였고, 레이저를 광원으로 사용하였다. 형광영상을 획득하기 위해 CCD카메라를 결합하였다.

Fig. 1.Microscope system. (Getting Multiple Fluorescence Images using Beam Splitter).

형광 현미경에서 사용되는 광원과 필터는 405nm 레이저(5-ALA), 785nm 레이저(ICG) 광원이 사용되었고 628nm 필터(5-ALA). 825nm 필터(ICG)가 사용되었다[8].

2.2 동영상 처리 도구

동영상 처리 도구 개발을 위해 테스트는 Intel(R) Core(TM) i7 3.20GHz CPU, 16GB 성능의 PC가 사용되었고, 주 개발언어는 Microsoft Visual C++.NET(Ver. 2010, Microsoft, Redmond, WA, USA)를 사용하였다[9]. 프로그램 개발 시 사용한 라이브러리는 OpenCV(Ver 2.4.10, Itseez), ITK(Ver 4.7.0, Kitware)가 사용되었다.

 

3. 제안한 방법

3.1 제안한 알고리듬의 개요

본 연구에서 제안하는 시스템은 3대의 카메라가 사용되며 각 카메라는 RGB영상, ICG영상, 5-ALA 영상을 출력한다. Fig. 2에서 5-ALA 영상은 405nm 레이저를 조사하며 628nm 필터를 장착한 RGB 카메라를 사용하여 영상을 얻는다. ICG영상은 785nm 레이저를 조사하며 825nm 필터를 장착한 IR 카메라를 사용하여 영상을 얻는다. ICG 영상에서 혈관 영역을 검출하기 위해서 중간 값 필터(Median filter)를 적용하여 잡음을 제거하였고, 영역을 분할하기 위해 영상 이진화를 수행하였다. 영역 이진화 방법으로는 오츠 이진화(Otsu‘s Threshold)방법을 사용하였다. 5-ALA 영상에서 종양 영역은 붉게 염색되어 나타난다. 종양영역을 검출하기 위해서 RGB영상을 분리하여 붉은 성분에 대한 정보가 있는 R채널을 사용하였다. 이후 수행되는 과정은 ICG 영상처리 과정과 동일하게 중간 값 필터를 적용하고 오츠이진화 방법을 사용하였다. RGB영상은 시술자가 육안으로 보는 영상을 그대로 출력하며, 시술자가 원하는 옵션에 따라 Fig. 2의 마지막 영상처럼 ICG 영상과 5-ALA영상을 RGB영상에 덮어 씌워 표현한다.

Fig. 2.Image process, image registration method overview using the ICG and 5-ALA.

영상 출력 이전에 기준 영상을 사용하여 두 카메라와 RGB 영상과의 정합을 수행하여 영상이 동일하게 위치하도록 정렬한다. 실험 환경에 영향을 받을 수 있는 영상 차이와 이진 영상의 임계 값은 시술자가 실시간으로 수정 가능하도록 구현하였다.

3.2 픽셀 밝기 기반 정합

픽셀 밝기 기반 정합방법(Intensity-Based Registration)은 두 영상의 pixel 값을 직접 비교하는 방식을 사용한다. 특징 기반 정합 방법에 비하여 시간이 오래 걸리지만 분할과정이 간단하거나 과정자체를 생략 가능하며 상대적으로 정확하다는 장점이 있다. 제안하는 도구는 영상 출력 전에 정합과정을 초기에 한 번 수행하기 때문에 상대적으로 정확한 픽셀 밝기 기반 정합 방법을 사용하였다. Fig. 3과 같은 영상 위치 변환은 식(1) 같이 정의된다. RGB 영상을 기준 영상으로 ICG 영상과 5-ALA 영상을 위치 변환하며, 식(2)와 같이 기준영상 A와 비교영상 B의 모든 픽셀 화소 값에 대해서 평균제곱근 편차가 가장 작은 위치에 정렬한다[10].

Fig. 3.Image registration method using intensity value of images.

3.3 영상향상

제안하는 방법은 영상 향상(Image Enhancement)을 위해 가우시안필터 방법이나 평균 값 필터에 비해서 잡음제거에 효과적인 중간 값 필터를 적용하여 카메라에서 출력되는 영상의 잡음을 제거하였다.

중간 값 필터는 이웃한 픽셀의 값들 중 중간 값을 선택하여 상대적으로 주변 픽셀과 명도 차이가 큰 픽셀은 이웃한 픽셀 값으로 전환이 이루어지면서 잡음이 제거된다[11].

3.4 영상분할

영상 분할(Image Segmentation)을 위해 사용되는 이진화 방법인 오츠이진화 방법은 Fig. 4처럼 영상의 히스토그램에서 두 개의 큰 영역에 대한 평균 값과 가중치 값을 계산하여 영역 간의 분산이 최대가 되도록 히스토그램의 분포를 이용하여 임계 값(T)을 찾고 임계 값보다 작은 경우는 0, 임계 값보다 큰 경우는 255로 처리하여 이진화 한다[12]. 이를 이용하여 형광으로 염색된 목표 조직에서 명암도가 밝은 영역을 검출한다.

Fig. 4Histogram-based binary method (T: threshold).

 

4. 실험 결과 및 고찰

Fig. 5(a)는 ICG 염료로 염색된 쥐(Rat)의 복부에 있는 정맥과 모세혈관의 모습을 IR 카메라 영상으로 보여주고 있다. RGB 영상에서는 육안으로 혈관영역의 확인이 어렵지만 형광물질을 사용하여 레이저 광원을 조사하고 필터가 적용된 카메라로 촬영한 영상은 육안으로도 확인이 가능하다. Fig. 5(b)에서 보이는 것처럼 IR영상에 대해 제안한 방법으로 영상처리를 수행하여 혈관의 위치와 형태의 확인이 가능하다.

Fig. 5.ICG Image Processing. (a) IR Image of Vessels in The Abdomen of Mice and (b) Vessel Detection Stained with ICG.

Fig. 6는 5-ALA 염료로 염색된 쥐(rat)의 뇌에 있는 종양을 보여준다. Fig. 6(a)에서 육안으로는 정상적인 뇌와 종양의 구분이 어렵다. 뇌와 종양을 구분하기 위해 형광물질을 사용하여 레이저 광원을 조사하고 필터를 적용한 카메라에서 영상을 얻는다. 다음 5-ALA로 염색된 종양의 영상을 향상 시키고 시술자가 영상을 통해 종양의 위치 및 형태가 확인 가능하도록 Fig. 6(b)처럼 덮어씌워 영상을 출력하였다.

Fig. 6.5-ALA Image Processing. (a) Brain Imaging of Rat and (b) The Direction of The Arrow is in The Brain Tumor Locations.

Fig. 7(a)는 제안한 시스템에서 사용되는 유저 인터페이스 영상이다. 동시에 RGB, ICG, 5-ALA 영상을 출력하며 영상 정합 방법을 이용하여 Fig. 7(b)처럼 덮어씌운 영상을 출력한다.

Fig. 7.User interface using proposed method. (a) Typical video output and (b) overlay video output.(green : ICG, red : 5-ALA).

UV 광원에서 수술을 할 경우 혈관 관측이 어렵기 때문에 혈관을 손상 시킬 수 있는 문제가 발생할 수 있다. Fig. 7(a)는 본 시스템이 UV 광원에서 보여지는 종양영역과 ICG영상에서 검출된 혈관 영역을 동시에 검출이 가능하여 이러한 문제에 대한 보완이 가능함을 보여준다.

본 연구에서 개발한 시스템과 기존 시스템을 비교하기 위해서는 기존의 시스템에서 영상처리를 적용한 데이터가 있어야하지만 기존 시스템은 영상처리없이 ICG나 5-ALA 염료를 이용하여 획득한 원본영상을 그대로 출력하는 시스템이기 때문에 성능 비교를 위한 데이터를 획득할 수가 없었다. 따라서 기존의 데이터와 비교하는 방식이 아닌 사용자가 관측하여 그린 영역과 영상처리를 이용하여 검출한 영역을 비교하였다. 민감도(Sensitivity)는 ICG 영상이 82.67%, 5-ALA 영상이 84.49%이고, 특이도(Specificity)는 두 영상이 99.9%였다. 정확도(Accuracy, ACC)는 ICG 영상이 99.21%, 5-ALA 영상이 99.51%였다. 매튜 상관 계수(Matthews Correlation Coefficient, MCC)는 ICG영상이 88.67%의 정확성을 보였고, 5-ALA 영상이 90.49%의 정확성을 보였다[13].

Table 1.Evaluation results.(compare auto detection to hand drawing)

 

5. 결 론

본 논문에서는 형광 염료를 체내에 주입하여 염색하고, 광학적 필터를 사용하여 얻은 영상에서 잡음을 제거하고 정합하여 원본 영상에 덮어씌워 암의 위치와 크기, 전이 정도 및 혈관의 위치를 동시에 식별할 수 있는 영상처리 도구를 제안하였다. 영상처리도구를 이용한 형광영상 관찰은 육안으로 직접 관찰할 수 없는 영역에 대한 식별이 비교적 더 수월하였다. 하지만 시스템에 장착되어있는 필터나 빛을 조사하는 레이저에 영향을 받아 영상처리를 이용한 검출결과에도 영향을 미칠 수 있다. 이러한 문제를 해결하기 위하여 시술자가 모니터에 출력되는 화면을 확인하여 수동으로 수정할 수 있는 기능을 구현하였으나 향후 이러한 기능을 자동으로 전환하는 연구를 진행할 예정이다. 현재 3대의 카메라를 정렬하는 정합방법은 실시간 처리가 가능한 속도성능이 미비하다. 그렇기 때문에 정합을 한번 수행하며 시술하는 동안 현미경의 위치가 이동할 때 마다 정합과정을 다시 거쳐야하는 불편함이 있다. 실시간 정합을 위해서 실시간 영상 정합방법과 하드웨어 개선을 통해 해결할 예정이다. 앞으로 전임상시험과 임상시험을 진행하여 ICG 염료와 5-ALA 염료에 염색된 종양영역과 혈관영역이 동시에 확인이 가능한 도구에 대한 반복적인 테스트가 필요하다. 또한 기존 종양 검출방법으로 사용하는 CT나 MRI 등의 영상 진단 검사는 종양과 혈관의 정확한 위치정보를 얻는데 한계가 있다. 제안하는 방법은 이러한 한계를 극복하기 위해 형광 염료를 체내에 투여하여 얻어지는 형광 영상을 이용하여 종양 위치 검출 시 목표 조직의 위치와 크기, 전이 정도를 식별할 수 있는 정밀하고 정확한 조직검사가 시행 가능할 것으로 기대한다.