수퍼 샘플링과 보간을 이용한 생물조직 영상의 면적 측정

Area Measurement of Organism Image using Super Sampling and Interpolation

Abstract

This paper proposes a method for extracting tissue cells from an organism image by an electron microscope and getting the whole cell number and the area from the cell. In general, the difference between the cell color and the background is used to extract tissue cell. However, there may be a problem when overlapped cells are seen as a single cell. To solve the problem, we split them by using cell size and curvature. This method has a 99% accuracy rate. To measure the cell area, we compute two areas, the inside and boundary of the cell. The inside is simply calculated by the number of pixels. The cell boundary is obtained by applying super sampling, linear interpolation, and cubic spline interpolation. It improves the error rate, 18%, 19%, and 120% respectively, in comparison to the counting method that counts a pixel area as 1.

1. 서 론

최근 유전자 검사나 자기공명영상(MRI) 등 여러 최신의 기법을 이용한 질병 진단이 빈번히 사용되고 있으나, 아직까지도 현미경 판독으로 결핵균의 존재를 확인하거나 암을 확진하는 등의 의료 진단을 내리고 있다[1]. 하지만, 현미경을 통해 획득된 의료 영상을 사람의 육안으로 관찰하는 것은 주관적이고, 노동 집약적이어서 시간과 정확성 측면에서 한계를 가진다. 특히 빠른 시간 내에 높은 정확도의 정량적 판정이 중요한 결핵균 검사나 골수 세포율 검사, 조직세포 영상에서의 세포 추출과 면적 계산 등은 자동화된 의료영상 처리 기술이 필요하다.

본 논문에서는 이러한 의료영상 처리 분야에서 활용될 수 있도록 자동으로 세포를 추출하고, 추출된 세포의 정확한 면적을 측정하는 방법을 연구하였다. 먼저, 특정 시료로 염색된 세포에 대해서 배경과의 색상차를 이용하여 세포를 추출하였고, 겹쳐진 세포에 대해서는 세포의 크기와 굴곡 여부를 이용하여 분리하였다. 또한, 정확한 세포 면적의 측정을 위해서 외곽선 내부의 화소와 외곽선에 걸쳐진 화소로 구분하여 면적을 측정하였다. 외곽선 내부의 화소는 세포 영역에 온전히 포함되므로 면적을 1로 측정하는 것이 타당하나, 외곽선에 걸쳐진 화소(이하 외곽선 화소로 명명)는 일부만 세포 영역에 포함되므로 면적을 1로 계산하는 것은 정확하지 못하다. 따라서, 외곽선 화소에 대해서는 수퍼 샘플링과 선형 보간, 3차 스플라인 보간을 이용하여 원 영상에 근사한 외곽선을 추정한 후, 정확히 세포영역에 포함되는 부분에 대해서만 면적을 측정하였다. 또한, 미리 출현 가능한 다양한 모양의 외곽선을 탐색하고, 각 경우의 면적을 룩업 테이블로 구성해서 실제 면적을 측정할 때는 빠른 속도로 수행할 수 있도록 하였다.

생물조직 영상에서 세포를 추출하는 것과 같이 영상에서 특정 영역을 추출하기 위한 연구는 비단 의료 영상 처리뿐 아니라 얼굴 인식, 차량 인식, 이동물체 추적 등 다양한 분야에서 지속적으로 이루어지고 있다.

이와 관련된 기존 연구에서는 색상과 위치[2], 차 영상과 색상 분포[3], 평균 이동 알고리즘[4], 윤곽선 추적 알고리즘[5], 오츠 알고리즘[6], 그래프 컷 알고리즘[7] 등을 이용하여 주어진 영상에서 원하는 영역을 추출하였다.

또한, 영상의 면적을 측정하는 기술은 의료영상 뿐만 아니라 생체 응용공학, 위성사진 처리, 일반 산업계의 부품 조립과 검사를 위한 기계 시작 등에서 다양하게 이용되고 있어서 관련 연구가 지속되고 있다.

이와 관련된 연구는 물체의 경계를 판별한 후 그 내부 영역을 구성하는 화소의 수를 세는 방법[8,9]과 분할과 통합 과정을 걸쳐 면적을 계산하는 분할 및 합병 기법[10], 각-거리 그래프를 이용한 면적 측정법[11] 등이 있다. 화소를 세는 방법은 단순하고 빠르게 수행할 수 있다는 장점이 있지만, 물체의 경계선이 불명확할 경우 오차가 크고 노이즈에 약하다는 단점이 있다. 또한, 분할 및 합병 기법은 세분화된 영역의 면적을 측정하여 누적함으로써 구할 수 있는데, 같은 질감을 가진 두 개 이상의 물체가 겹쳐 있을 경우에는 판별이 어렵다.

앞선 방법을 개선한 각-거리 그래프를 이용한 면적 측정 방법은 경계선 내부 영역의 면적을 측정할 경우 노이즈에 의한 영향을 최소화시킬 수 있고, 다양한 형태의 물체가 다수 존재하여도 각 물체의 면적을 측정할 수 있으나, 세분화한 각 영역의 면적을 삼각형으로 고려하여 면적을 측정하였기 때문에 그에 따른 오차가 생긴다. 또한 경계선 내부의 면적 측정에는 효율적이나 경계선이 복잡한 곡선으로 표현되는 물체의 면적 측정 시에는 각-거리의 차수가 늘어나서 계산 복잡도가 증가하게 된다.

본 논문에서는 이러한 기존 연구의 문제점을 고려하여 조직세포 추출과 추출된 세포의 면적을 측정하는 방법을 제안하였고, 다음과 같은 순서로 기술한다.

2장에서는 조직세포 영상으로부터 세포를 추출하는 방법을 설명하고, 3에서는 수퍼 샘플링과 보간을 이용하여 세포의 면적을 측정하는 방법을 설명하며, 4장에서는 실험 결과를 제시하고, 5장에서는 결론을 맺고자 한다.

 

2. 세포 추출

2.1 세포 추출

본 논문에서는 다양한 시료로 염색된 조직세포 영상으로부터 세포를 추출하였다. 특정 시료로 염색된 조직세포는 Fig. 1과 같이 세포의 색과 배경의 색이 서로 다르다.

Fig. 1.Dyed tissue cell by each other different colors.

이러한 특징을 이용하여 주어진 영상에서 사용자가 미리 시료 색상을 선택색으로 지정하고, 배경이나 잡음으로 처리해야 하는 색상을 제외색으로 지정하면 간단히 세포 영상과 배경을 분리할 수 있다. 이렇게 분리된 세포 영상에 대해 외곽선 생성 알고리즘[12]을 적용하여 세포 및 조직을 추출한 결과는 Fig. 2와 같다.

Fig. 2.Extracted tissue cell from whole organism image.

2.2 세포 분리

추출된 세포가 모두 독립적으로 존재한다면 세포의 수를 세거나 면적을 구할 때 아무런 문제가 발생하지 않는다. 그러나 액상에 존재하는 세포인 경우 그 높낮이에 따라 서로 겹치는 경우가 발생하거나 밀접하게 붙어 있는 경우도 발생한다. 이러한 경우에 대해 탐색한 결과를 Fig. 3에 나타내었다.

Fig. 3.Overlapped cells.

세포의 수나 면적을 정확히 구하기 위해서는 Fig. 3과 같이 겹쳐지거나 이어진 세포를 분리해야 한다. 액상에서 촬영하는 세포는 그 크기와 모양이 일정하므로 일단 정상 세포의 크기를 벗어난 세포는 분리의 대상이 된다. 다음으로 겹쳐진 세포는 그 사이에 굴곡이 생성되므로 이 굴곡을 찾기 위해 오목 껍데기(Concave Hull) 존재 여부를 확인하여 분리를 수행하면 된다. 이를 위해서 오목 껍데기를 탐색하는 대표적인 알고리즘인 그라함 스캔[13]을 사용하였다.

 

3. 외곽선 모양을 고려한 세포의 면적 측정

3.1 디지털 영상의 외곽선 화소 특징

Fig. 2와 같이 추출된 세포의 면적을 구하기 위해서 가장 단순한 방법은 세포 영역에 속하는 화소를 모두 누적하여 더하면 된다. 하지만, 컴퓨터에서 처리하기 위해서 변환된 디지털 영상은 일부 손실을 가진다. 특히 물체의 외곽선은 원 영상에서 부드러운 곡선이었다 할지라도 변환된 디지털 영상에서는 화소의 표현 방식에 의해 계단식의 직선으로 표현될 수밖에 없다. 이것은 Fig. 2의 원 세포 영상이 Fig. 4에서 보이고 있듯이 원래의 자연스러운 곡선을 표현하지 못하고 직선화되어 있는 것을 보면 명확하게 알 수 있다. 이렇게 계단식으로 형성된 외곽선은 원영상의 외곽선과 큰 차이를 보이므로 디지털 표현에 의해 형성된 외곽선을 기준으로 모든 화소의 면적을 동일하게 측정하는 것은 타당하지 못하다. 즉, 외곽선 내부의 화소는 당연히 면적을 1로 계산해야 하지만, 외곽선에 해당하는 화소는 이웃 화소와의 연결 모양이 고려된 새로운 외곽선을 생성하여 생성된 외곽선 안쪽에 속하는 화소의 일부 영역만을 면적에 포함시켜야 한다. 제안한 방법대로 적용하면 외곽선 내부의 화소 면적은 1로, 외곽선에 걸치는 화소는 외곽선 모양에 따라 1 이하의 값으로 계산된다. 이것이 원 영상의 면적에 더 근사하게 측정하는 방법이다.

Fig. 4.Contour pixel representation of the digital image.

그러므로, 정확한 면적 측정을 위해서는 원 영상에 근사한 외곽선을 생성해야 하고, 이를 위해서는 해당 외곽선 화소 뿐 아니라 이웃 화소의 값도 알아야 한다. Fig. 5에 8-이웃 화소의 값을 고려하여 외곽선을 탐색한 결과, 가능한 외곽선 모양 중 대표적인 경우를 나타내었다. Fig. 5(a)에서 중앙 화소 T는 면적 측정을 하고자 하는 대상 화소이고, T를 둘러싸고 있는 P1∼P8은 T의 8-이웃 화소이다. 또한 외곽선 화소는 진한 회색으로, 내부 화소는 흐린 회색으로, 배경은 흰색으로 나타냈으며, 화소의 중앙을 통과하는 빨강색 실선은 외곽선을 의미한다. 나머지 Fig. 5(b)∼Fig. 5(e)도 모두 동일하다.

Fig. 5.Connect the outline shape of the pixel.

Fig. 5에서 5개의 대표적인 외곽선을 나타냈지만, 실제로는 회전 각도에 따라 다양한 경우가 존재한다. 예를 들어, Fig. 5(a)와 같은 경우는 이 부류에 속하는 외곽선이 45도 마다 하나씩 총 7개 더 존재한다. 하지만, Fig. 5(a)의 부류에 속하는 모든 경우가 같은 면적을 갖기 때문에 대표 경우 한 가지만 소개하였고, Fig. 5의 나머지 경우도 모두 마찬가지이다. Fig. 6에는 Fig. 5(b)의 부류에 속하는 8가지 경우를 나타내었다.

Fig. 6.Various outlines of the same class according to the rotation.

이와 같이 다양한 형태로 존재하는 외곽선 모양을 고려하여 외곽선 화소의 면적을 정확하게 측정하기 위하여 수퍼 샘플링과 보간을 이용하였다.

3.2 수퍼 샘플링을 이용한 면적 측정

화소의 면적을 정확하게 계산하기 위해서는 외곽선 화소를 작은 단위로 분할해야 하고, 분할된 영역 중 세포 영역에 해당하는 외곽선 내부 부분만을 면적에 포함시켜야 한다. 이러한 경우 화소를 작은 단위로 분할하여 부분 화소로부터 최종적으로 화소 값을 계산해내는 수퍼 샘플링을 적용해 볼 수 있다.

수퍼 샘플링은 예를 들어, 하나의 화소를 묵시적으로 2 × 2 = 4개의 부분 화소로 분할하여 화소 밝기를 계산하되 최종적으로는 이를 평균하여 하나의 화소로 뿌리는 방법이다[14]. Fig. 7에 수퍼 샘플링의 과정을 나타내었다. Fig. 7(a)의 경우, 물체 일부가 화소의 하단에 걸쳐 들어가지만 화소의 정 중앙에서 샘플링이 가해지면 이 화소는 온전히 백색으로 칠해진다.Fig. 7(b)는 2 × 2의 수퍼 샘플링이다. 화소를 개념적으로 4개의 부분 화소로 나누고 각각에서 샘플링하면 아래쪽 2개의 부분 화소가 물체색을 띤다. 따라서 이 화소의 색은 아래의 식 (1)에 의해서 계산되고, Fig. 7(c)과 같은 색을 띠게 된다.

(P: 수퍼 샘플링 결과, fc: 물체색, bc: 배경색, fo: 물체색인 부분 화소의 개수 bo: 배경색인 부분 화소의 개수, n: 부분 화소의 총 개수)

Fig. 7.Super sampling.

수퍼 샘플링은 원래 주어진 화소의 색상 정보를 이용하여 디지털 영상의 안티-에일리어싱(Anti-aliasing)을 위해 사용되지만, 이 방법을 화소의 면적을 구하는 문제에도 적용해 볼 수 있다. Fig. 8은 Fig. 5에서 나타낸 5 가지 종류의 외곽선 화소 T에 대해 6 × 6의 수퍼 샘플링을 적용한 결과이다. 단, Fig. 8(b)는 Fig. 5(a)와 같은 부류이되 45도 회전한 경우이다. 이것은 한 화소를 36개의 부분 화소로 분할하고, 각 부분 화소의 중앙에 샘플링을 적용한 것으로, 빨간색 실선은 이웃 화소와 연결되는 외곽선을 나타낸 것이고, 회색으로 칠해진 부분 화소들은 세포 영역에 속하는 부분으로 면적 측정의 대상이 되는 화소들이다.

Fig. 8.Area measurement by the super sampling.

Fig. 8(a)은 Fig. 5(a)에 대해 수퍼 샘플링을 적용한 결과로서, 외곽선 안쪽에 속하는 18개 부분 화소는 세포 영역으로 결정되고, 외곽선 바깥쪽에 해당하는 18개의 부분 화소는 배경으로 결정된다. 이 때, 세포 영역에 속하는 화소 값은 수퍼 샘플링의 개념에서 물체색에 해당하는 것으로 그 값을 1로 생각할 수 있고, 세포의 배경에 속하는 화소 값은 배경색에 해당되므로 그 값을 0으로 생각할 수 있다. 따라서, 면적은 식(1)에 의해서 (1 × 18 / 36) + (0 × 18 / 36) = 0.5로 계산될 수 있다. Fig. 8(b)도 Fig. 8(a)과 마찬가지로 Fig. 5(a)에 속하는 부류이나 실제로 수퍼 샘플링을 적용해 보면, 면적은 (1 × 21 / 36) + (0 × 15 / 36) = 0.58로 다른 면적을 가짐을 알 수 있다. Fig. 8(c) ∼ Fig. 8(f)도 모두 마찬가지의 방법으로 면적을 계산할 수 있으며, 각 결과를 그림 8에 표기하였다.

이렇게 수퍼 샘플링을 이용하여 외곽선 화소의 면적을 측정하면 무조건 화소의 면적을 1로 측정하는 기존의 화소를 세는 방법(이하 카운팅으로 명명)보다 좀 더 정확한 면적을 구할 수 있다. 하지만, Fig. 8(a)와 Fig. 8(b)는 같은 부류임에도 외곽선의 각도에 따라 면적이 다르게 측정되거나, Fig. 8(b)∼Fig. 8(e)와 같이 외곽선 바깥의 영역도 세포 영역으로 포함되는 문제가 남아있다. 이어지는 3.2절에서는 이러한 문제를 개선하고자, 선형 보간을 이용하여 면적을 계산하는 과정을 설명한다.

3.3 선형 보간을 이용한 면적 측정

수퍼 샘플링을 이용한 방식은 외곽선 화소의 면적을 무조건 1로 측정하는 카운팅 방법보다 좀 더 정확하게 면적을 계산할 수 있으나, 외곽선 바깥 영역도 면적에 포함되는 문제점이 있었다. 이러한 문제를 해결하기 위해서는 선형 보간을 이용하여 정확한 외곽선을 얻어내고, 생성된 외곽선이 중앙 화소 T를 통과하면서 분할되는 영역의 면적을 구하면 된다.

선형 보간은 가장 간단한 형태의 보간법으로써 두 개의 점을 직선으로 연결한다. 개념은 식(2)에 나타내었다.

보간에 있어서 성능을 좌우하는 중요한 요소는 데이터 점들 사이의 간격이다. 즉, 점들 사이의 간격이 좁을수록 더 좋은 근사 값을 얻게 된다. 이것은 간격이 감소함으로써 연속함수를 직선으로 근사시키기가 좋다는 사실에 근거하고 있다[15]. 이러한 이유로 본 논문에서는 중앙 화소 T와 8-이웃 화소의 값을 기준점으로 하되, 가장 좋은 근사 값을 얻을 수 있도록 각 점과 점 사이에 동일한 간격의 1000개의 점을 임의로 설정하고, 선형 보간을 수행하여 그 결과를 Fig. 9에 나타내었다.

Fig. 9.Area measurement by linear interpolation.

Fig. 9에서 정 중앙에 있는 사각형은 면적 측정 대상인 중앙 화소 T이고, T를 둘러싸고 있는 8개의 사각형은 8-이웃 화소를 나타낸 것이다. 또한, 빨강점이 있는 화소들은 외곽선 화소로써 중앙 화소 T와 서로 연결되어, 새로운 외곽선을 형성하게 된다. Fig. 9(a)는 중앙 화소 T의 좌우에 외곽선 화소가 존재함으로 한 일자(一) 모양의 외곽선을 형성하게 된다. 이 외곽선에 의해 중앙 화소 T는 분할되고, 면적은 0.5가 된다. Fig. 9의 나머지도 마찬가지 원리로 면적을 계산한 결과를 나타낸 것이다. 단, Fig. 9(d)와 Fig. 9(f)의 경우는 x 좌표가 동일한 점이 존재하므로 원래의 점을 회전시켜 보간을 수행하고 면적을 측정하였다.

선형 보간을 이용하여 면적을 계산한 결과, 수퍼 샘플링의 한계점이었던 외곽선의 에일리어싱(aliasing) 문제와 외곽선 바깥쪽의 영역까지 면적으로 계산되는 문제를 해결할 수 있었다. 이것은 Fig. 9(b)의 경우를 보면 확실하게 들어난다. 이 경우 수퍼 샘플링의 적용 결과는 0.58이었던데 반해 선형 보간을 적용한 결과는 면적이 0.5로 정확히 계산되고, 에일리어싱(aliasing) 문제도 자연스럽게 해결되었다. 그러나, 선형 보간의 특성상 외곽선은 모두 직선을 연결한 형태로 이루어져 있어 부드러운 곡선으로 이루어진 원영상의 외곽선 모양을 반영할 수 없다. 때문에 원영상과 같이 부드러운 곡선으로 이루어진 외곽선을 얻기 위하여 스플라인 보간을 적용하였고, 그 과정을 3.3절에 설명하였다.

3.4 3차 스플라인 보간을 이용한 면적 측정

본 논문에서 제시한 문제와 같이 n+1개의 데이터 점들을 곡선으로 보간 하기 위해서는 n차 다항식을 사용할 수 있다. 이 곡선은 데이터 값들에 의하여 나타나는 모든 곡률들을 내포한다. 그러나 이들 함수는 절단 오차 및 초과 등으로 인해서 잘못된 결과를 이끌어 내는 경우도 있다. 이를 해결하기 위한 다른 접근법은 데이터 점들의 부분 집합에 저차 다항식을 적용시키는 것이다. 이러한 연결 다항식을 스플라인 함수라고 하며, 데이터 점들을 연결시키는데 사용되는 3차 곡선을 3차 스플라인(cubic spline)이라고 한다[15].

3차 스플라인 보간은 급격히 변화하는 구역에서도 진동을 최소화하여 부드러운 곡선을 제공하며, 우수한 근사 값을 갖는 보간법으로써 세포 영상의 부드러운 외곽선을 추정하는 문제에 적용할 수 있다. 식 (3)에 3차 스플라인 함수를 나타내었으며, 적용 결과를 Fig. 10에 나타내었다.

Fig. 10.Area measurement by cubic spline interpolation.

Fig. 10에서 정 중앙에 있는 사각형은 면적 측정대상인 중앙 화소 T이고, T를 둘러싸고 있는 8개의 사각형은 8-이웃 화소를 나타낸 것이며, 빨강 점은 외곽선 화소를 의미하고, 녹색 선은 3차 스플라인 보간에 의해 형성된 외곽선을 나타낸다. 선형의 외곽선을 형성할 수밖에 없는 Fig. 10(a)와Fig. 10(b)의 경우는 선형 보간의 결과와 같고, 나머지 경우는 모두 부드러운 곡선으로 외곽선이 생성됨을 알 수 있다. 예를 들어, Fig. 10(c)의 경우에서 파랑색 외곽선과 면적은 선형 보간의 결과이고, 녹색 외곽선과 파랑색 면적을 포함한 빨강색 면적은 3차 스플라인의 결과로서, 두 결과 사이에 차이가 존재함을 알 수 있다. Fig. 10(d) ∼Fig. 10(f)도 모두 선형 보간의 결과와 차이를 보이고 있다. 이러한 차이는 3차 스플라인의 결과 생성된 부드러운 외곽선이 원 세포 영상에 더 근사한 값으로 추정할 수 있기 때문에 선형 보간의 오차라 할 수 있다.

 

4. 실험 결과

본 논문에서는 생물조직 영상으로부터 세포를 추출하고, 면적을 계산하는 연구를 수행하였다. 다양한 시료로 염색된 5장의 생물조직 영상들로부터 총 528개의 세포 중 524개를 추출하여 99%의 정확성을 보였다. 이렇게 추출된 세포 영상에 대해 수퍼 샘플링, 선형 보간, 3차 스플라인 보간을 적용하여 원 영상에 근사한 면적을 측정하였다. 외곽선 종류별, 적용 방법별 면적은 Table 1에 나타내었다.

Table 1.Area measurement result of the outline pixel

Table 1에서 1행은 외곽선의 종류를 나타내었고, 1열은 면적 측정 방법을 나타내었다. counting은 외곽선 모양에 무관하게 무조건 화소의 면적을 1로 세는 방법이고, super는 수퍼 샘플링, linear는 선형 보간, spline은 3차 스플라인 보간 방법을 의미한다. 2열에서 s_area는 중앙화소 T가 외곽선에 의해 분할될 때 작은 영역의 면적을 뜻하고, l_area는 큰 영역의 면적을 의미한다.

4가지 방법 중 원 세포 영상의 외곽선과 가장 근사한 외곽선을 생성해 내는 3차 스플라인 보간에 의한 면적 측정 방법이 가장 좋은 결과를 보였고, 이를 기준으로 나머지 방식의 오차율을 측정해 본 결과 평균적으로 카운팅 방법은 120%, 수퍼 샘플링은 19%, 선형 보간은 18%의 오차율을 갖는다. 카운팅 방법에 의해 계산된 세포 면적은 스플라인 보간에 의해 계산된 면적보다 두 배가 넘는 오차를 보인다. 이러한 커다란 오차는 의료 진단을 내리는데 결정적인 오판의 이유가 될 수 있기 때문에 정확한 면적의 측정은 중요한 문제이다. Fig. 11에는 본 논문에서 수행한 일련의 연구 과정인 세포를 추출하고, 추출된 세포에 대해 면적을 측정한 결과를 나타내었다.

Fig. 11.Extraction of the cell and area calculation.

 

5. 결 론

본 논문에서는 조직세포 영상으로부터 세포를 추출하고, 세포의 정확한 면적을 측정하는 방법을 제안하였다. 세포의 추출은 세포 조직의 세포색과 배경색 간의 차이와 외곽선 추출 알고리즘을 이용하여 수행하였으며, 일부 겹쳐진 세포들에 대해서는 정상 세포의 크기와 그라함 스캔 알고리즘을 이용하여 분리하였다. 그 결과 세포 추출은 99%의 정확성을 보였다. 세포의 면적은 수퍼 샘플링, 선형 보간, 3차 스플라인 보간을 이용해서 계산하였는데, 특히, 3차 스플라인 보간은 원영상과 가장 근사한 외곽선을 생성하는 방법으로서 단순히 화소의 수를 세는 방법에 비해 120% 오차율이 향상되었다. 향후 과제로서 외곽선을 생성할 때, 중앙화소 T에 영향을 미치는 정도에 따라 이웃 화소들의 범위를 넓히고, 가중치를 달리하여 적용한다면, 좀 더 발전된 결과를 얻을 수 있을 것으로 예상된다.