Bio-Cell Image Segmentation based on Deep Learning using Denoising Autoencoder and Graph Cuts

디노이징 오토인코더와 그래프 컷을 이용한 딥러닝 기반 바이오-셀 영상 분할

Abstract

As part of the cell division method, we proposed a method for segmenting images generated by topography microscopes through deep learning-based feature generation and graph segmentation. Hybrid vector shapes preserve the overall shape and boundary information of cells, so most cell shapes can be captured without any post-processing burden. NIH-3T3 and Hela-S3 cells have satisfactory results in cell description preservation. Compared to other deep learning methods, the proposed cell image segmentation method does not require postprocessing. It is also effective in preserving the overall morphology of cells and has shown better results in terms of cell boundary preservation.

1. 서론

세포 분할 연구에서 실시간 세포 영상[1]은 생물학적 과정에서 엄청난 영상을 제공하는데 이것을 ‘현미경 데이터’라고 부른다. 세포 영상의 분할은 연구자들이 영상을 잘 이해하도록 하는 중요한 절차이다. 의료서비스는 공공복지 달성을 위한 중요한 측면 중 하나이다. 대부분의 병원에서는 이전의 의료서비스시스템으로 충분한 표준으로 간주 되어 왔지만 진단프로세스의 시간 지연 감소 및 효율성 개선에서 의료서비스를 향상시킬 수 있는 몇 가지 측면이 있다. 따라서 신뢰성 있고 시간 효율적이며 신속한 진단 시스템이 필요하다.

세포 영상 분할 방법은 기계학습 및 딥러닝 방법과 컴퓨터비전 기반 방법 두 가지로 나눌 수 있다. 기계학습 및 딥러닝 방법에는 인코더/디코더와 패치 기반 방법으로 나뉜다. 컴퓨터비전 기반 방법의 대부분은 필터링 기법과 형태학적 필터 및 유역변환으로 구성된다[2,3]. 이러한 방법의 문제는 세포의 공간정보가 대부분 손실되면서 많은 세포가 병합(연결)되어 공간적 일관성 결여로 영상을 이해하기 어려운 상황이다. 대부분의 전통적인 컴퓨터비전 기반 방법들이 상당히 집약적인 후처리 작업을 요구하게 된다[4,5]. 이러한 방법은 두 가지 주요 결점이 있다. 첫째, 위상차 영상을 사용할 때, 세포 본체와 배경의 화소 간 상관관계가 매우 높다는 점이다. 이러한 상황은 양자 간에 통계적으로 동질적인 현상으로 보여서 차별하기 어려운 문제가 있다. 색 강도 변동에 기초한 세포의 특징을 제대로 포착하지 못한다. 이런 점은 본 연구에서 세포 요소의 얇음을 고려할 때 더 어렵게 된다. 둘째, 대부분의 경계 관련 정보가 손실되기 때문에, 상당한 시간이 소요되는 후처리 작업과 같은 수동 큐레이션[4,5]이 필요하다. 이에 비해 딥러닝은 특징추출부터 패턴까지 모든 과정을 사람의 개입 없이 심층신경망(DNN; Deep Neural Network)을 토대로 학습방식을 구현하는 기술이다. 즉, 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층 (hidden layer)을 포함하는 인공신경망(ANN)을 말한다. 컨볼루션신경망(Convolutional Neural Network : CNN)은 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 최근 CNN[6]을 세포 분할 문제에 대한 객체를 인식할 때[7-9]뿐만 아니라 영상분석을 위한 도구로 널리 채택되고 있다. 이러한 네트워크의 아키텍처는 이미지로 표현되는 이미지나 데이터(2D 또는 3D 표현)를 통해 제공되도록 설계되었기 때문에 CNN을 수용하는 동안에는 패치를 사용하는 것이 필수적이다.

Fig. 1에서 패치기반 분할은 분류 작업과 동일하게 특징추출과 분류로 수행된다. 일반적인 기계학습 방법의 경우는 특징추출에 통계적 특징 즉, 색 강도, 밝기, 공간정보, 질감 정보가 포함된다[10]. 또한 분류 부분에는 SVM의 사용은 신경망 및 많은 분류기를 혼합한 것까지 다양한 분류기를 채택할 수 있다[11]. ANN 또는 K-means 비지도 학습이 포함된다. 패치 기반 분할의 장점은 첫째, 다운샘플링으로 인한 공간정보 손실이 없다. 둘째, 세포 주변의 경계가 잘 보존된다. 단점은 전체적인 정보 측면에서 제한적이고 큰 객체의 경우 정확도가 떨어진다.

Fig. 1. Patch base split structure.

본 연구에서는 디노이징 오토인코더(Denoising autoencoder: DAE)를 채택하여 신경망 기반 특징추출 방법을 제안한다. 원래 패치와 가우시안 차이(DoG), 이미지 그라디언트(수평 및 수직)로 하이브리드 벡터를 생성하고 학습을 위한 입력 벡터를 최종특징(Feature)으로 생성하기 위해 DAE를 사용하여 인코딩한다. DAE에서 생성된 특징(Feature)은 소프트맥스 분류기의 입력으로 사용하여 출력은 첫 번째 분할 마스크를 만드는 데 사용한다. 소프트맥스 레이어로 만든 마스크가 그래프 컷의 입력으로 사용된다. 따라서 그래프 컷[12,13]에 의해 생성된 마스크는 최종 분할 결과를 나타낸다. 본 연구에서 제시한 형태와 경계 부호화 때문에 대다수 세포의 병합을 피하고 전체적인 형태와 크기를 보존함으로써, CNN 기반 방법[14]을 능가하므로, 수동적으로 얇게 하거나 두껍게 할 필요가 없다. 특히 세포가 겹치는 경우, 두꺼운 세포의 모양과 경계가 일부는 병합되기도 한다. 본 연구에서의 결과는 제안된 방법이 기존의 컴퓨터 비전 기반 방법 및 전통적인 기계학습 특징과는 달리, 세포의 공간적 일관성을 확보하고 상당히 우수한 최종 분할을 수행한다는 것을 보여주었다.

2. 제안하는 방법

제안하는 세포 영상 분할 방법은 패치 기반 분할을 사용한다. 분할 방법은 4가지 주요 단계로 Fig. 2와 같이 구성된다. 첫 단계는 특징학습 과정에 반드시 사용되어야 하는 입력 벡터 구성이다. 벡터는 세포의 효과적인 분할에 필요한 모든 정보를 포함하도록 구성된다. 그레이 강도와 공간 정보(중앙 화소와 그 주변)가 포함된 오리지널 패치 영상의 오리지널 화소값과 가우시안 차이에 따른 화소 값을 혼합한다. 이런 과정도 같은 패치 영상을 사용하여 계산한다. 가우시안 차이는 DAE가 세포의 경계와 관련된 통계정보들을 암호화시킨다. 그레디언트는 대비향상 버전의 패치 영상을 사용하여 계산한다. 생성된 하이브리드 벡터[15]는 특징학습 과정을 위해 DAE로 주어진다. 학습된 특징들은 원래의 패치 영상을 최종적으로 표현해준다. 이러한 학습된 특징은 소프트맥스 분류기로 수행되는 지도학습 과정의 입력물로 사용된다. 분류기의 출력물은 각 화소가 배경 또는 세포의 몸체에 속할 확률을 나타낸다. 또한 그래프 분할[12,13]에 근거한 정교화 분할을 제시한다.

Fig. 2. Diagram of the proposed cell image segmentation method.

2.1 하이브리드 벡터 생성

본 논문에서 Fig. 3과 같이 오리지널 패치 영상에서 원시 화소 값을 가져가는 하이브리드 입력 벡터, 가우시안 차이에 따른 원시 화소값, 두 축을 향해 계산된 그레디언트 등 총 4개의 5×5 매트릭스를 가지고 있어 100차원 하이브리드 벡터를 제공한다. 본 논문에서 많은 다른 구조들을 시도했고 마침내 가능한 최고의 대표성을 제공하는 구조를 선택했다. 가장 공정한 재구성을 주는 것이 "좋은" 대표성을 가진 것이다. 패치 크기는 5×5를 적용하면 25차원 벡터를 사용할 수 있다. 선택한 노이즈 버전은 원래의 하이브리드 벡터 원소의 30%(경험적으로 선택된 숫자)를 0으로 설정되어 있다. 100차원 입력 벡터를 가진 DAE의 첫 번째 층(입력층)은 100개의 뉴런을 가지고 있다. 고차원의 특징 생성을 위해 2만개 100차원 입력 벡터가 DAE에 제공된다[15].

Fig. 3. Hybrid vector structure with original patches, Gaussian differences, and gradient blends.

2.2 디노이징 오토인코더(Denoising Autoencoder: DAE)

오토인코더 유형은 다양한 용도로 사용되는 간단한 자동 인코더부터 디노이징 오토인코더는 오리지널 입력 영상에 약간의 노이즈를 추가하여 입력 영상의 손상된 버전을 만든다. 노이즈를 추가하면 입력 영상의 노이즈 오토인코더를 견고하게 만드는 데 도움이 된다. 손상된 영상을 입력으로 하여 오토인코더에 제공되고 오토인코더는 왜곡되지 않은 오리지널 영상을 재구성한다. 오토인코더가 입력 데이터를 기억하는 대신 학습하도록 한다. 인코더-디코더 분할의 장점은 전체 그림을 더 잘 이해할 수 있게 한다. 단점은 인코더의 다운샘플링은 공간정보의 손실을 유발한다. 개체의 경계 손실은 세포 분할에 중요한 역할을 한다. 오토인코더는 특성 추출과 차원을 줄이는 목적으로 사용되는 비지도학습 방법이다. 디노이징 오토인코더는 기존의 오토인코더에 비해 약간 다른 방식으로 작동한다. 신호의 노이즈 버전을 입력해서 원래의 손상되지 않은 버전을 식 (1)에서 재구성하려고 한다.

y = f(Wx_noisy + b)       (1)

여기서 x는 노이즈 버전 x_noisy로 대체된다. 숨겨진 표현 y는 신호의 손상된 버전을 사용하여 계산되지만, 재구성 z가 원래의 손상되지 않은 버전과 충분히 가깝거나 동일한 정도로 파라미터(수치)가 업데이트된다. 노이즈 버전은 다양한 방법으로 생성될 수 있지만, 가장 일반적인 방법은 원래 신호의 일부 요소를 ‘0’으로 무작위 설정하는 것이다. 생성된 하이브리드 입력 벡터에서 무작위로 선택된 요인들을 ‘0’으로 설정했다. 본 연구에서 채택된 비용함수는 다음과 같이 기술된 교차 엔트로피 비용(cross-entropy cost)이다[16].

\(L(x z)=\sum_{i=1}^{N}\left[x_{i} \log z_{i}+\left(1-x_{i}\right) \log \left(1-z_{i}\right)\right]\)       (2)

여기서 N은 총 데이터 수(DAE 교육에 사용된 패치의 총합), x는 손상 버전이 인코더에 주어진 원래의 하이브리드 입력 벡터, z는 등식 디코더의 출력이다.

본 연구에서는 Fig. 4에서 오토 인코더는 인코더(encoder)와 디코더(decoder)로 구성되어 오리지널 픽셀이 벡터를 먼저 구성하고 DAE에 보내어 세포의 모양 및 경계 정보를 학습하고, 학습된 형상을 소프트맥스 분류 레이어로 입력하여 지도학습 과정을 진행한다[17]. 세포에 25×25 패치를 사용, 이 패치는 DAE의 훈련에 상당히 큰 벡터를 제공하여 특성 추출과 차원을 줄이는 목적으로 사용되는 비지도 학습 방법을 진행한다.

Fig. 4. Denoising autoencoder.

2.3 소프트맥스 레이어(Softmax layer)

본 논문에서 첫 번째 과정은 특징 추출과정에 지도되지 않은 학습을 사용하지만, 두 번째 단계인 소프트맥스 분류는 지도학습을 사용한다. 소프트맥스 분류기는 일부 입력을 취하고 주어진 클래스(계층)에 속할 확률을 계산하는 2계층 네트워크이다. 1차 계층은 입력 벡터 x_i를 취하는데, 이는 DAE에서 생성된 특징들로 구성된다. 식 (3)에서 각 뉴런과 연관된 정규화된 확률 y_j는 다음 방정식으로 설명하는 소프트맥스 함수를 사용하여 계산한다.

\(y_{j}=\frac{e^{z_{j}}}{\sum_{j=1}^{N} e^{z_{j}}}\)       (3)

여기서 N은 뉴런의 수로서, 계층(클래스)의 수와 같다. y_j값은 0과 1 사이에 구성되며 입력 x_i가 배경 또는 세포 내부에 속할 확률을 나타낸다.

Fig. 5에서 DAE에서 생성된 최종 기능은 소프트맥스 레이어에 제공한다. 소프트맥스 레이어는 모든 단일 패치(픽셀)를 셀(클래스 1) 또는 배경 (클래스 0)으로 분류한다. 모든 단일 픽셀에 대해 분류기는 두 클래스에 대한 확률을 출력한다(1과 0). 이러한 확률을 사용하여 분할 마스크를 구성한다.

Fig. 5. Create a segmentation mask using softmax layers.

2.4 그래프 분할을 사용한 미세분할

소프트맥스 레이어의 출력은 화소에 할당된 최종레이블을 나타낸다. 이 단계가 끝나면 영상의 모든 화소에 분류 라벨(label)이 있게 된다. 그래프 분할은 그래프에 정의된 전체 함수를 최소화한다. 그래프는 두 개의 출처가 있는데, 실제 두 개의 라벨로 본 연구에 나타나 있다. 노드는 영상의 화소로 표현되어 있다. 최소화할 에너지는 다음의 표준 형태를 취한다.

\(E\left(y_{i} \backslash x_{i}, \lambda\right)=\sum_{i} \psi\left(y_{i} \backslash x_{i}\right)+\lambda \sum_{(i, j) \in E} \phi\left(y_{i}, y_{j} \backslash x_{i}, x_{j}\right)\)       (4)

여기서 E는 노드 사이의 연결 세트를 나타내고, i와 j는 노드 수를 나타낸다. ψ는 단항이라 불리며 화소 i의 실제 라벨 y_i와 예측 x_i 사이의 유사성을 강조한다. 본 논문의 두 클래스에 따르면 y_i는 {0,1}에 속한다. (y_i∈{0,1})이 용어를 다음과 같이 정의한다.

\(\psi\left(y_{i} \mathrm{x}_{\mathrm{i}}\right)=\frac{1}{1+P_{\mathrm{i}}}\)       (5)

여기서 p_i는 화소 i와 연관되고 분류기에 의해 출력될 확률을 나타낸다. 다시 식 (4)에서 ϕ항이라 하여 인접 노드 i와 j의 라벨 간 일관성을 강화시킨다. 대부분의 접근법에서 쌍방향 용어는 강도의 급격한 변화가 있는 경우 감소를 촉진하는 방식으로 정의된다[12]. 본 연구에서 학습된 특징에 통합된 강도 및 특징 정보(단서)들을 이용하여 분류기가 예측한 직접 확률을 바탕으로 절단 방법을 제안한다. 이 용어를 다음과 같이 정의한다.

\(\Phi\left(y_{i}, y_{j} \backslash \mathrm{x}_{\mathrm{i}}, \quad \mathrm{x}_{\mathrm{j}}\right)= \begin{cases}\exp \left(-\frac{\left\|I_{i}-I_{j}\right\|^{2}}{2 \sigma^{2}}\right), & \text { if } y_{i} \neq y_{j} \\ 0, & \text { otherwise }\end{cases}\)       (6)

여기서 i_i와 i_j는 노드 i와 j에 대한 강도이고, σ은 두 확률 간 차이를 증폭하거나 줄이는 상수다. 마지막으로 λ는 단항과 쌍항 사이의 상대적 중요도를 조절하기 위해 사용된다.

본 논문에서 Fig. 6과 같이 배경과 세포 내부에 대해 다른 값을 가진 이진 영상으로 구성된 최종 분할 마스크(segmentation mask)를 구성한다. 소프트맥스 분류기의 이러한 직접 출력은 특히 세포 모양과 윤곽을 보존하여 최종 결과로 활용할 수 있지만, 서로 매우 가까운 세포가 병합될 수 있다는 사실 때문에 정교화시켜야 한다. 본 논문에서 학습된 분류기의 출력을 선행 정보(단서)로 활용하여 그래프 분할을 제안한다[12,13].

Fig. 6. Graph cuts for region segmentation.

3. 실험 결과 및 고찰

3.1 실험에 사용된 데이터

세포의 분할은 의료 영상을 이해하는 데 매우 중요하다. 진단 전에 먼저 세포를 식별하고 위치를 파악한 후, 병리학자는 검사를 시작할 수 있다. 본 논문에서 사용한 데이터와 실제값은 딥셀 프로젝트 사이트에서 제공하는 위상차 이미지를 사용하였다. 박테리아 세포인 E. coli, NIH-3T3와 HeLa-S3의 세포질 분할에 대하여 실험하였다.

Fig. 7. Cells used in the experiment.

3.2 E. coli 박테리아 세포 분할

본 연구에서 제안한 방법을 사용한 결과들을 Fig. 8에서 보여준다. 이 영상의 크기는 186×186이고 100 개 이상의 세포를 포함한다. 그러나 Fig. 8(a)는 오리지널 패치만 포함하는 입력 벡터로 이루어져 있다. 오리지널 영상 화소는 단독으로 사용할 경우 모양에 대한 세부 사항을 포착하지 못한다. 특히 세포의 몸체가 불분명해 보이는 경우(그림에 빨간색으로 표시됨)에는 많은 세포들이 분실되기도 한다. 모든 배경 화소는 잘 인식되지만 모양 정보의 손실은 매우 치명적이다. Fig. 8(b)의 영상을 본 연구의 특징 학습 방법을 사용한 후, 소프트맥스 분류기가 출력한 직접 확률을 사용하여 생성되었다. 본 연구에서 알 수 있듯이, 일부 세포는 병합되고, 또한 일부 배경 화소는 잘못 분류된다.

Fig. 8. E. coli result. (a) original input vector, (b) proposed method (Softmax classifier), (c) proposed method (Softmax classifier + graph segmentation), (d) Dynamic Threshold (Otsu), (e) Texture function + SVM, (f) Unet.

Fig. 8(c)는 그래프 분할의 최종 출력을 나타낸다. 분할 측면에서 최대 변화가 발생한 지역은 빨간색으로 표시되어 있다. 처음에 병합된 세포 원소들은 명확하게 분리되어 있어 세포와 세포의 모양을 전반적으로 이해할 수 있다. Fig. 8(d)~8(f) 에서 전통적인 방법을 사용하여 얻은 결과를 보여준다. 앞에서 논의한 바와 같이, 위상차 영상을 세포의 화소와 배경의 화소 사이의 높은 상관관계 문제를 제기한다. Fig. 8(d)는 묘사된 영상을 Otsu[18]로부터 동적 임계값지정 방법으로부터 얻은 결과를 보여준다. Fig. 8(e) 의 배경 화소 대다수를 오 분류하게 되는 것이다. 게다가 많은 세포들이 병합된다. 기존의 기계학습 방법을 사용한 결과 영상을 임계치 방법과 결합 된 형태학적 및 가장자리 찾기 필터들을 사용하였다. 이 방법은 세포의 가장자리 정보를 가까스로 고려하며 배경 화소의 대부분을 잘 분류한다. 그러나 모양과 경계 정보가 잘 보존되지 않아 거의 모든 세포 원소가 섞이게 된다. 세포의 윤곽들이 명확하지 않다. Fig. 8(f) 영상은 Unet[19]기반으로 한 방법을 사용하여 얻은 것이다. 앞서 언급한 두 가지 컴퓨터비전 기반 방법과는 달리, 이 방식은 배경 화소의 대다수를 인식함으로써 예상한 바와 같이, 서로 너무 가까운 세포사이의 강도 전환의 결여로 기술 보존 측면에서 상당히 심각한 문제를 제기한다. 그 결과는 많은 세포들이 여전히 병합된 상태로 남아있기 때문에, 세포의 모양과 경계와 관련된 세부 사항들을 잘 모를 수도 있다.

3.3 NIH-3TN 세포의 세포질 분할

Fig. 9에서 NIH-3T3 세포의 세포질 분할 결과를 보여준다. 이 경우에도 Hela-S3 세포와 같은 방식으로 수행되었다. Fig. 9의 (a)오리지널 영상과 (b)히스토그램평활화 버전, (c)실제값 (d)최종 결과로 세포가 겹치는 곳에서 세포의 윤곽이 사라지지만, 전반적으로 본 연구의 특징들은 여전히 세포의 모양을 보존하는데 도움을 준다.

Fig. 9. NIH-3TN cell result. (a) original cell image, (b) histogram smoothing, (c) Softmax classifier result, and (d) result using graph cut.

3.4 Hela-S3 세포의 세포질 분할

본 논문에서 Hela-S3 세포는 25×25 패치를 사용했는데 상당히 큰 벡터를 DAE의 훈련에 제공한다[15]. DAE와 소프트맥스 분류기를 교육하기 위해 7 만개 이상의 패치가 생성되었다.

본 연구에서 제안한 방법은 본 논문에서 Hela-S3 세포로 윤곽의 보존이 매우 복잡할 수 있음을 알 수 있다. Fig. 10(a)는 세포의 실제 경계를 나타내는 실제값을 보여준다. Fig. 10(b)에서는 본 연구 방법에 따라 검색된 경계선을 보여준다. Fig. 9에 나타낸 것과 같이, 겹치는 세포가 많지 않은 경우에 Fig. 10(b)에서는 세포의 경계가 잘 보존되어 있다.

Fig. 10. HeLa-S3 cells’boundaries. (a) the ground truth (real boundaries) and (b) the boundaries as outputted by our method.

3.5 평가 및 비교연구

본 논문에서 배경과 세포의 몸체로부터 화소의 수가 불균등함을 알 수 있다. 불균형 데이터 집합과 관련된 편차를 줄이기 위해, 두 클래스에 대해 주어진 화소 수를 무작위로 선택했다. 총 10, 000개의 패치를 클래스별로 샘플링 하여 DAE와 소프트맥스 분류기 교육을 위해 무작위로 수집된 총 20, 000개의 데이터를 제공한다[15]. 분할 결과에 대한 객관적인 평가를 위해 최종 분할 마스크의 ‘주사위 유사도 지수’(DSI)를 계산했다.

\(D S I=2 \frac{\left|A_{G T} \cap A_{s e g}\right|}{\left|A_{G T}\right|+\left|A_{s e g}\right|}\)       (7)

여기서 A_GT는 실제값의 목표 지역을 나타내는 반면, A_seg는 제안된 계획을 사용하는 분할 영역을 가리킨다. 연산자|■|는 주어진 영역의 픽셀 수를 계산한다.

Table 1에서 NIH-3T3의 유사도 지수를 살펴보면 하이브리드 벡터일 때 0.81, 하이브리드벡터+그래프 분할은 0.88, 그래프 분할 관점에서 그래프를 수정하지 않으면 0.81로 낮게 나타났다. 이 세포는 표준편차가 아주 높다. 세포 영상에 겹치는 세포가 오분류교정에 상당한 도움을 줄 수 있는다는 것을 알 수 있다[15]. 또한 E. coli의 경우는 하이브리드 벡터+그래프 분할은 0.94, 표준편차도 0.01로 아주 작다.

Table 1. DSI by segmentation method.

Table 2는 다른 방법들과 객관적 비교연구 한 결과이다. 위상차 영상은 임계값 기반 방법[18]에 적합하지 않다. DSI는 0.62로 나타난다. 기존의 머신러닝 기반 기능에 대해서는 DSI가 0.80을 넘지 않는다. 지도학습기반 임계값[17]방법과 강도 및 질감 기반 특징[10] 모두 상당한 시간이 소요되며 수작업으로 오분류를 바로잡기 위해서는 집중적인 큐레이션(보정)이 필요하다. Unet[19]과 CNN[14] 기반 방법이 DSI 지수가 0.88, 0.91로 탁월한 결과를 보였다. 그러나 CNN방법도 윤곽 보존 측면에서 본 연구의 방법에 비해 부족하다. 형태와 경계 부호화를 통해 제안된 특징학습 접근방식은 어떤 식으로든 후처리 작업이 필요하지 않지만, CNN 기반 방법은 수동 큐레이션(세포 분할)이 여전히 필요하다. 제안한 방법은 DSI 지수가 0.94로 큐레이션 시간이 필요하지 않았다.

Table 2. Comparative table.

1 All the DSI values were evaluated before the post-processing task (not needed for the present work).

Fig. 11에서 CNN[14]과 제안한 방법의 세포 병합 비율을 살펴보면 Hela-S3와 NIH-3T3 세포는 매우 유사한 결과를 보였다. 가장 좋은 결과는 31×31 패치 사이즈(셀의 10%가 병합)로 나왔고, CNN 기반방식은 65x65 패치 사이즈에서 최상의 결과를 보였는데 셀의 약 12%가 병합되었다. 패치 사이즈가 45×45를 넘어서면 제안한 방법의 성능이 현저히 떨어지는 반면 CNN을 기반으로 한 CNN은 여전히 거대한 패치 사이즈에도 세포를 잘 분리한다. 또한 95×95 패치 사이즈에서 병합된 셀은 30%에 불과했다.

Fig. 11. Average proportion of merged cells per method of Hera-s3 and NIH-3T3 cells.

4. 결론

본 논문에서는 위상차현미경 검사를 통해 얻은 박테리아 영상의 분할 방식을 제안했는데, 이러한 세포 영상의 매우 낮은 대비에 의해 제기되는 문제 때문에, 세포의 모양과 경계 정보를 포함하는 하이브리드벡터가 디노이즈 오토인코더를 포함한 딥러닝 기반특징 생성과 함께 제안하였다. 소프트맥스 분류기의 출력은 그래프 분할 방식의 커스터마이징 에너지 기능의 최소화를 위한 사전 정보로 사용된다. 위상 영상의 매우 열악한 대비를 위해 서로 다른 등급에 속하는 화소의 내부 의존성을 포착할 수 있지만, 상당히 유사하다는 사실(배경 및 체세포 화소는 유의한 차이를 나타내지 않음)에 따라 세포의 모양과 경계 관련 단서들을 내장한 하이브리드 벡터는 딥러닝 기반 특징추출을 제안하였다. 분류는 비선형 분류기를 사용하여 수행되며, 그래프 분할 방식에서 사용자 정의 에너지 함수의 최소화를 위한 사전 정보로 분류기 출력으로 사용된다.

본 연구의 방법은 Hela-S3 및 NIH-3T3 세포 영상의 세포질 영역 분할에 대해서도 이 방법을 적용하였다. 세포의 전체적인 형태를 잘 보존되었고 세포가 중복되는 경우 병합된 원소는 세포의 윤곽의 일관성을 저하시키지만, 전체적인 결과는 비슷하다. 패치 사이즈가 45×45 이상일 때 세포의 병합된 비율이 CNN 방법이 우수함을 보였다. 그러나 디노이즈 오토인코더가 적절한 입력을 제공받는 동안 세포의 전체성을 보존하는 데 도움이 될 수 있다는 것을 보여주었다. 그래프 분할 부분은 시각적이고 객관적으로 만족스러운 결과를 주었다. 본 연구 방법이 세포의 전체적인 모양을 보존하는 데 효과적이라는 것을 보여주었다. 또한 기존의 방식과 비교해볼 때, 후처리 작업이 필요하지 않았고 다른 딥러닝 방법과 비교했을 때, 제안한 방식은 세포의 경계 보존 측면에서 더 나은 결과를 보여주었다.

※ This research was supported by by the Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education (2020R1I1A306659411, 2020R1F1A1069 124)”. and the MSIT(Ministry of Science and ICT), Korea, under the ITRC (Information Technology Research Center) support program (IITP-2020 -0-01797) supervised by the IITP(Institute of Information & Communications Technology Planning & Evaluation).