Correction of Rotated Region in Medical Images Using SIFT Features

SIFT 특징을 이용한 의료 영상의 회전 영역 보정

Abstract

In this paper, a novel scheme for correcting rotated region in medical images using SIFT(Scale Invariant Feature Transform) algorithm is presented. Using the feature extraction function of SIFT, the rotation angle of rotated object in medical images is calculated as follows. First, keypoints of both reference and rotated medical images are extracted by SIFT. Second, the matching process is performed to the keypoints located at the predetermined ROI(Region Of Interest) at which objects are not cropped or added by rotating the image. Finally, degrees of matched keypoints are calculated and the rotation angle of the rotated object is determined by averaging the difference of the degrees. The simulation results show that the proposed scheme has excellent performance for correcting the rotated region in medical images.

1. 서 론

의료 영상 및 컴퓨터 비전 응용 분야에서 영상에 포함되어 있는 회전 물체의 보정 기법에 관한 연구는 최근 주목받고 있는 영역 중의 하나이다. 의료 영상분야의 경우 환자의 질환 진행 정도를 관찰하기 위해 일정 기간 동안 지속적으로 의료 영상을 촬영하게 된다. 이 때 환자의 자세 또는 촬영 기기의 촬영 각도변화에 따라 회전된 물체 영역이 발생하며, 정확한 영상 진단을 위해서는 회전 영역에 대한 보정이 필요하다. 그리고 컴퓨터 비전 분야에 있어서도 문자 인식, 패턴 인식 등의 과정을 수행하기 위해서는 전처리 과정으로서 회전 영역에 대한 보정이 요구된다. 회전 물체의 보정을 위해 에지 정보 등을 이용하는 공간영역 보정 기법과 함께 라돈 변환(Radon transform), 모젯 변환(Mojette transform) 등을 이용하는 변환영역 보정 기법에 관한 연구 결과들이 제시되고 있다[1-4]. 변환영역 보정 기법들의 기본적인 개념은 다음과 같다. 먼저 기준 영상과 회전 영상에 대해 라돈 변환 또는 모젯 변환 등을 각각 적용한다. 그리고 변환 적용의 결과값인 투영값들을 서로 비교하여 가장 유사한 투영값을 갖는 각도를 계산한다. 그리고 추출된 각도의 차(difference)를 회전 영상의 회전각으로 설정한 후, 회전 행렬을 이용하여 보정한다.

본 논문에서는 이와 같은 SIFT의 특성을 이용하여 회전된 의료 영상을 보정하는 새로운 방법을 제안한다. SIFT는 해리스 검출기(Harris detector), 모라벡 검출기(Moravec detector) 등과 같이 특징점 추출을 통한 물체 인식 기법 중의 하나이다[5-7]. 제안된 방법에서는 먼저 기준 영상과 회전 영상에 대해 각각 SIFT를 수행한 후, 추출된 특징점들에 대한 서술자의 유사성을 고려하여 정합 과정을 수행한다. 정합과정에서는 회전각 보정에 적절하지 않은 영상 중심점 인접 영역과 영상의 회전에 영향을 받는 가장자리 영역을 제외한 나머지 영역을 관심 영역(ROI)으로 설정한다. 그리고 관심 영역 내에 위치한 특징점들중 가장 정합도가 높은 소수의 특징점들의 좌표를 이용하여 각도를 계산하고, 각도 차의 평균값을 회전영상의 회전각으로 활용하여 보정한다. 제안된 방법은 입력 영상에 대한 전처리 과정을 필요로 하지 않으며, 또한 영상의 조명 변화, 회전 등에 거의 영향을 받지 않고 회전각을 추출할 수 있는 장점을 갖는다.

본 논문의 II장에서는 SIFT에 대해 설명하며, III장에서는 SIFT를 활용하여 회전된 의료 영상을 보정하는 제안 방법에 대해 기술한다. 그리고 IV장에서는 제안 방법을 회전된 의료 영상에 적용한 모의실험의 과정과 결과를 나타내며, V장의 결론으로 논문을 맺는다.

 

2. SIFT 개요

SIFT를 이용한 특징점 추출 과정은 특징점 검출(detection) 과정과 기술(description) 과정으로 구분된다[5-8]. 특징점 검출 과정에서는 의료 영상에 대한 스케일 공간(scale space)을 구성하여 가우시안 차분을 계산한 후 이로부터 특징점을 검출하고, 이어서 특징점들에 대한 보정 단계(localization)를 수행한다. 특징점 기술 과정에서는 보정된 특징점들에 대해 방위(orientation)를 계산하고, 이를 기반으로 각 특징점에 대한 서술자를 생성한다.

2.1 스케일 공간 구성

스케일 공간을 구성하는 스케일 영상 L(x,y,σ) 식 (1)과 같이 입력 영상 I(x,y)에 대해 가우시안 연산자 G(x,y,σ)를 컨벌루션하여 구성한다.

식 (1)에서 σ는 스케일 파라미터로서, 가우시안 연산자의 블러링(blurring) 정도를 결정한다. 현 스케일 영상의 스케일 파라미터를 σ라고 할 때 차 상위스케일 영상은 k × σ의 값을 가진다. 일정한 수의 스케일 영상들은 하나의 옥타브(octave)를 형성하며, 차 상위 옥타브는 하위 옥타브의 스케일 영상 크기에 비해 수직 및 수평 방향으로 1/2의 크기를 갖는 스케일 영상으로 구성한다. 일반적으로 스케일 영상과 옥타브의 수는 입력 영상의 크기에 따라 정해진다.

그리고 영상에 포함된 특징점을 추출하기 위해 DoG 연산을 수행한다. DoG 영상 D(x,y,σ)는 식 (2)와 같이 각 옥타브에서 인접한 스케일 영상들 간의 차로부터 계산된다.

2.2 특징점 검출 및 보정

특징점을 추출하는 과정은 DoG 영상에서 특징점 후보로 사용될 극대 및 극소점(maxima/minima)을 검출하는 과정과 극대 및 극소점을 부화소(subpixel) 단위로 보정하는 과정으로 구성된다. 극대 및 극소점을 검출하는 방법은 먼저 DoG 영상의 각 화소에 대해 동일 스케일 영상에서 8개의 이웃 화소들과 상위 및 하위 레벨 스케일 영상에서 각각 9개씩의 이웃화소들을 비교한다. 그리고 현재 처리 중인 화소의 값이 가장 크거나 또는 가장 작은 경우 후보 특징점으로 지정한다.

이어서 후보 특징점들을 부화소 단위로 보정하고 낮은 대비(contrast)를 갖는 후보 특징점들을 제거하기 위한 과정을 수행한다. 임의의 점 X=(x,y,σ)에서 DoG 영상은 2차 테일러 시리즈(Taylor series)를 이용하여 식 (3)과 같이 전개된다.

그리고 에서 극대 또는 극소일 경우, 식 (3)에서 에 대한 미분은 0의 값을 가지게 되어 식 (4) 가 성립하며, 의 크기가 일정한 임계값보다 작은 경우 후보 특징점에서 제외한다.

후보 특징점들 중 에지와 평탄 영역 등 잡음에 민감한 후보 특징점들을 제거하고, Hessian 행렬의 행렬식(determinant)과 자취(trace)의 비(ratio)를 이용하여 주곡률(principle curvature) 영역의 후보 특징점을 최종 특징점으로 선택한다. Hessian 행렬은 식 (5)와 같으며, 행렬식과 자취의 비는 식 (6)과 같다.

식 (6)에서 α와 β각각 고유값(eigenvalue)의 크기가 가장 큰 것과 가장 작은 것을 나타내며, γ=α/β이다.

2.3 특징점 방위 계산

특징점의 방위를 계산하는 과정에서는 특징점을 중심으로 16 × 16 크기 영역의 각 화소에 대해 식 (7)과 (8)을 이용하여 각각 방위 θ(x,y)와 크기 m(x,y)를 계산한다.

그리고 [0°, 360°)의 범위를 갖는 각 화소의 방위를 10°씩의 범위를 갖는 36개의 빈(bin)으로 양자화한 후, 각 빈에 대한 크기 m(x,y)의 누적값을 계산한다.

2.4 특징점 서술자 생성

특징점 방위 계산에 사용된 16 × 16 크기 영역을 16개의 4 × 4 크기 블록으로 분할한 후, 각 블록에 대해 이미 계산된 방위를 8개의 빈으로 다시 양자화를 하여 각 빈에 대한 크기m(x,y)의 누적값을 계산한다. 이와 같은 과정을 통해 각 특징점에 대해 16개의 블록과 각 블록에 대한 8개의 빈으로 구성된 128차원의 특징점 서술자를 생성한다.

 

3. SIFT를 이용한 회전 의료 영상의 보정

본 논문에서 제안하는 회전된 의료 영상에 대한 회전각 보정 과정은 Fig. 1과 같다. 먼저 기준 영상과 회전 영상에 대해 각각 독립적으로 SIFT를 적용하여 특징점 서술자를 추출한다. 그리고 특징점 추출과정에서의 미세한 오차로 인해 큰 값의 각도 추정 오차가 발생할 수 있는 영역을 제외한 나머지 영역을 관심 영역(ROI)으로 설정한 후, 관심 영역에 존재하는 특징점들에 대한 정합을 실행한다. 그리고 서로 정합되는 특징점들의 각도 차이를 회전 영상의 회전각으로 설정하고, 이를 이용하여 회전 영상을 보정한다.

Fig. 1.Process of skew-correction for rotated medical images.

3.1 의료 영상에 대한 SIFT 적용

회전각 측정을 위해 먼저 기준 영상과 회전 영상에 대해 SIFT를 실행한다. 3개의 옥타브와 4개의 스케일 영상으로 구성된 스케일 공간은 Fig. 2와 같다. Fig. 2의 스케일 공간을 구성할 때 사용된 스케일 파라미터 σ는 n번째 옥타브의 첫 번째 스케일 영상에 대해 의 값을 가진다. 그리고 동일 옥타브에서 각 스케일 영상은 이전 스케일 영상에 비해 배씩 증가한 스케일 파라미터를 적용한다.

Fig. 2.Scale space.

Fig. 2의 스케일 공간을 이용하여 구성된 DoG (Difference of Gaussian) 영상은 Fig. 3과 같다. DoG 영상은 LoG(Laplacian of Gaussian) 영상과 거의 유사하며, DoG 연산은 단순히 뺄셈 계산만을 수행하므로 LoG 연산에 비해 계산량이 매우 적은 장점이 있다. 그리고 다수의 옥타브로 구성된 서로 다른 크기의 DoG 영상을 구성함으로써, DoG 영상에서 추출된 특징점들은 영상의 크기 변화에 강인한 특성을 갖는다.

Fig. 3.DoG images.

Fig. 3의 DoG 영상으로부터 추출된 후보 특징점은 Fig. 4 (a)와 같다. 후보 특징점들 중 의 크기가 임계치보다 작거나 평탄 영역 또는 에지 영역에 존재하는 후보 특징점들은 제외된다. 에 대한 임계치를 12로 설정하여 낮은 대비를 갖는 후보 특징점을 제거하고, 또한 식 (6)의 γ값을 11으로 설정하여 평탄 영역과 에지 영역의 후보 특징점을 제거하여 최종적으로 도출된 특징점을 Fig. 4 (b)에 나타내었다.

Fig. 4.(a) Candidates of keypoint (b) Keypoints (+ marked).

본 논문에서는 회전된 의료 영상의 회전각 추출을 위해 기준 영상과 회전 영상에서 서로 정합도가 높은 소수의 특징점만을 사용한다. 이러한 점을 고려하여 에 대한 임계치를 물체 인식 등 일반적인 경우에 비해 높게 설정하였다.

3.2 관심 영역 설정 및 특징점 정합

기준 영상과 회전 영상의 특징점 정합 과정에서 두 영상의 특징점이 완전히 일치하지 않거나 또는 기준 영상(회전 영상)의 특징점이 회전 영상(기준 영상)에서는 발생하지 않는 경우가 있다. 그 이유는 스케일 영상을 생성하기 위해 사용된 블러링 필터와 차 상위 옥타브를 형성하기 위한 샘플링 필터, 특징점 서술자 생성 과정에서 사용된 블록 등이 정사각형 형태의 윈도우를 사용하기 때문이다. 즉 영상이 회전 할 경우 회전된 영상의 화소값은 비가역적 특성을 지닌다. 이와 같이 기준 영상과 회전 영상의 특징점 정합이 완전하지 않을 경우 회전각 측정에 있어서 오차가 발생한다.

특징점의 불일치로 인한 회전각 오차는 특징점의 생성 영역에 따라 회전각 측정에 서로 다른 영향을 미친다. Fig. 5의 예에서 볼 수 있듯이 생성된 특징점이 실제 특징점 위치에서 한 화소만큼 오차를 가지는 경우, 중심점 Xc에서 10 화소 거리에서의 회전각 오차는 약 5.7°인 반면 1 화소 거리에서의 회전각 오차는 45°를 나타낸다.

Fig. 5.Comparison of rotation angle errors due to the location of wrong keypoint(■: correct keypoint, □: wrong keypoint).

이러한 점을 고려하여 본 논문에서는 회전각 추출에 사용되는 관심 영역 R을 식 (9)와 같이 설정하고, 이 영역에 포함된 특징점에 대해서만 특징점 정합을 실행한다. 관심 영역은 영상의 중심점을 중심으로 반지름 r의 원 영역과 영상의 회전에 따라 삭제되거나 추가로 포함되는 영역을 제외한 나머지 영역으로 구성한다. 이와 같은 관심 영역을 Fig. 6에 나타내었다.

Fig. 6.ROI for keypoint matching(white region).

식 (9)에서 P × Q 크기의 영상에 대해 m = min(P/2, Q/2)의 값을 갖는다.

기준 영상과 회전 영상에 대해 관심 영역 내에 존재하는 특징점들의 정합 척도로서 특징점 서술자들 간의 유클리디언(Euclidean) 거리를 사용한다. 기준영상과 회전 영상의 특징점 서술자를 각각 r = (r0,r1,...,rN-1), t = (t0,t1,...,tN-1)로 표기할 때, 두 특징점 서술자 간의 유클리디언 거리 D(r,t)는 식 (10)과 같다.

식 (10)에서 N은 특징점 서술자의 차원을 나타내며, 128의 값을 갖는다. 특징점 서술자에 대한 정합과정을 수행한 후, 서로 정합되는 특징점들에 대한 각도를 계산한다. 기준 영상과 회전 영상에서 서로 정합된 특징점을 Xr = (xr,yr), Xt = (xt,yt)로 각각 표기하고 영상의 중심점을 Xc = (xc,yc)로 나타낼 때, 각 특징점의 각도 θr과 θt는 식 (11)과 같다.

따라서 회전 영상의 회전각 θd = θr - θt로 설정한다. 회전 영상에 대한 회전각 θd가 결정되면, 식 (12)의 회전 행렬 T를 회전 의료 영상에 적용하여 회전각을 보정한다.

 

4. 모의실험 및 분석

4.1 시험 영상 및 모의실험 결과 분석

본 논문에서는 의료 영상 시스템을 통해 획득된 의료 영상의 회전 영역을 SIFT를 이용하여 보정하는 방법을 제안하였다. 제안된 방법의 효율성을 검증하기 위해, 서로 다른 인체 부위를 촬영한 Fig. 7의 의료 영상들에 대해 모의실험하였다[9]. 모의실험의 시험 영상들은 256 × 256 크기의 그레이 스케일 의료영상이다. 모의실험에서는 Fig. 7의 영상을 기준 영상으로 설정한 후, 각 기준 영상들을 -30° ∼ +30°의 범위 내에서 5°씩 회전시킨 총 48개의 회전 영상을 시험 영상으로 사용하였다.

Fig. 7.Test images(source: http://sun.aei.polsl. pl/~rstaros/mednat/index.html).

시험 영상들의 특징점 추출 과정에서 적용된 에 대한 임계치 thr은 Table 1과 같으며, 식 (6)의 γ 값은 모든 시험 영상들에 대해 공통적으로 11로 설정하였다.

Table 1.Threshold values for test images

기준 영상과 시험 영상들 중 15°의 회전각을 갖는 회전 영상에 대해 추출된 특징점은 Fig. 8과 같다.

Fig. 8.Keypoints in reference images(a, c, e, g) and test image rotated by 15°(b, d, f, h)

모의실험에서 적용된 관심 영역은 식 (9)에서 r = 12을 사용하였으며, 영상의 크기가 256 × 256 임을 고려하여 (xc, yc) = (128,128), m = 128의 값을 갖는다. 그리고 시험 영상의 회전각 추출 과정에 있어서, 기준 영상과 시험 영상의 특징점 서술자 중 가장 우수한 정합도를 갖는 5∼7개씩의 특징점에 대해 각도차를 계산한 후, 이들의 평균값을 최종적인 회전각으로 사용하였다. 이론적으로 볼 때 시험 영상의 회전각을 추출하기 위해서는 완전히 일치하는 정합도를 갖는 1개의 특징점 서술자만 있으면 정확한 회전각을 계산할 수 있다. 그러나 의료 영상의 경우 유사한 영상 패턴이 동일 영상 내에서 중복적으로 발생할 수 있고, 이로 인해 서로 동일하거나 유사한 특징점 서술자들이 중복적으로 생성될 수 있는 점 등을 고려하여 회전각 계산에 사용되는 특징점의 수를 증가하였다.

이와 같은 과정으로 각 시험 영상에 대해 최종적으로 계산된 회전각의 측정 오차는 Fig. 9와 같다. Fig. 9에서 볼 수 있는 것처럼, 모든 시험 영상에 있어서 회전각 측정 오차는 1° 미만의 값을 갖는다. 그리고 각 시험 영상별 회전각 측정 오차 절대값의 평균값은 Table 2와 같으며, 전체 평균 0.29°의 오차를 나타내었다. 모의실험을 통해 본 논문에서 제안한 방법이 회전된 의료 영상의 회전각 보정에 매우 효과적임을 볼 수 있었다.

Fig. 9.Calculation error of rotation angle (a) test image 1 (b) test image 2 (c) test image 3 (d) test image 4.

Table 2.Average error in rotation angle calculation

4.2 기존 방법과의 비교

회전각 보정을 위한 기존 방법은 공간영역 기법과 변환영역 기법으로 분류할 수 있다. 공간영역 기법에서는 일반적으로 입력 영상에 대해 에지 추출 및 이진화 과정을 통해 이진 영상을 형성한 후 회전각 추출 알고리즘을 적용한다. 이와 같은 방법의 경우 이진화 과정에서의 임계값에 많은 영향을 받게 되고, 영상의 특징에 따라 에지 영상으로부터 회전각 추출이 쉽지 않을 수도 있다[3]. 즉 인체의 내외부를 촬영한 의료 영상에서는 혈관이나 미세한 근육 및 골(bone) 등에서 정확한 에지 성분을 추출하는 것이 용이하지 않을 수 있다. 또한 흉부, 뇌, 경부 등 촬영부위에 따라, 그리고 CT, MRI, X-ray 등 촬영 방식별로 획득된 영상의 명암도가 서로 다른 특징을 가짐에 따라 이진화 등의 전처리 과정에 일관성을 가지는것이 쉽지 않다.

그리고 모젯 변환, 라돈 변환 등을 이용한 회전각 추출 알고리즘의 경우 서로 다른 회전각을 갖는 의료영상들에 대해 투영 영역의 설정에 대한 고려가 필요하다. 그리고 회전각 추출의 정밀도를 높이기 위해서는 매우 많은 투영 각도에 대해 투영을 함으로써 계산량이 급격히 증가하게 되며, 영상의 회전을 고려한 화소 보간의 정확도를 보장할 수 없다. 최근 발표된 모젯 변환을 이용한 회전각 보정 방법의 경우, 의료영상에 대해 1°씩의 간격으로 투영을 실시한 모의실험 결과 평균 1.75°의 회전각 측정 오차를 나타내었다[3].

본 논문에서 제안한 SIFT를 이용한 회전각 측정방법은 기준 영상과 시험 영상에서 추출된 특징점들의 서술자를 비교하여 서로 정합되는 특징점의 위치를 찾고, 이를 통해 회전각을 계산한다. 따라서 회전각 추출의 정확도와 정밀도를 향상시키기 위한 추가과정이 요구되지 않을 뿐 아니라, 회전각을 매우 정밀하게 추출할 수 있는 장점이 있다.

 

5. 결 론

본 논문에서는 의료 영상 또는 컴퓨터 비전 영상에 포함된 회전 영역을 보정하기 위해 SIFT 특징점을 활용하는 새로운 방법을 제안하였다. 제안된 방법에서는 기준 영상과 회전 영상에 대해 각각 SIFT를 수행하여 특징점들을 생성한 후, 특징점 서술자들의 유사성을 이용하여 특징점 정합 과정을 수행한다. 특히 영상 중심점 인접 영역과 영상의 회전으로 인해 추가되거나 삭제되는 영역을 제외한 나머지 영역을 관심 영역으로 설정하여 정합 과정을 실행한다. 그리고 관심 영역 내의 특징점들 중 가장 정합도가 높은 소수의 특징점 좌표를 이용하여 각도를 계산하고, 각도 차의 평균값을 회전 영상의 회전각으로 활용하여 보정한다.

제안된 기법의 성능을 시험하기 위해 서로 다른 신체 부위를 촬영한 의료 영상들을 대상으로 모의실험하였다. 모의실험에서는 -30° ∼ +30°의 범위 내에서 5°씩 회전된 총 48개의 시험 영상을 사용하였으며, 모의실험 결과 제안된 방식은 평균 0.29°의 회전각 측정 오차를 갖는 우수한 성능을 나타내었다.