Accurate Registration Method of 3D Facial Scan Data and CBCT Data using Distance Map

거리맵을 이용한 3차원 얼굴 스캔 데이터와 CBCT 데이터의 정확한 정합 기법

Abstract

In this paper, we propose a registration method of 3d facial scan data and CBCT data using voxelization and distance map. First, two data sets are initially aligned by exploiting the voxelization of 3D facial scan data and the information of the center of mass. Second, a skin surface is extracted from 3D CBCT data by segmenting air and skin regions. Third, the positional and rotational differences between two images are accurately aligned by performing the rigid registration for the distance minimization of two skin surfaces. Experimental results showed that proposed registration method correctly aligned 3D facial scan data and CBCT data for ten patients. Our registration method might give useful clinical information for the oral surgery planning and the diagnosis of the treatment effects after an oral surgery.

1. 서 론

최근 기능적, 심미적 요인으로 인하여 구강 수술 및 치료를 받는 환자의 수가 급격하게 증가하고 있다. 구강 수술에 대한 치료 계획의 수립이나 구강 수술 후의 치료 효과를 효과적으로 판단하기 위하여 환자 얼굴을 3차원 스캐너로 촬영하고, 동시에 CBCT (cone-beam computed tomography)로 촬영하여 3차원 스캐너 영상에서의 피부 표면과 CBCT 영상에서의 뼈의 위치 및 구조 정보를 통합하여 활용하여야 할 필요성이 증대되고 있다. 이 때, 촬영 시점과 환자의 자세 등이 다른 두 데이터를 의사의 수작업으로 비교하는 것은 비교 정확도 등에 오차의 원인이 될 수 있기 때문에 이 두 데이터들을 자동으로 정합하여 하나의 좌표계로 일치시켜주는 작업이 구강 수술의 정확한 계획 수립이나 치료 효과 판독을 위하여 매우 필수적이다[1,2].

최근 CBCT 영상과 3차원 얼굴 스캔 영상을 융합하려는 다양한 연구가 수행되고 있다. Schendel 등[3]과 Lane 등[4]은 CBCT 데이터와 3차원 얼굴 스캔 데이터의 자동 정합의 장점에 대하여 분석을 하였다. 3차원 얼굴 스캔 데이터는 CBCT 데이터의 오차를 수정할 수 있는 장점이 있다. CBCT 데이터 촬영을 위해서는 5초부터 70초 정도의 시간이 소요되고, 환자의 움직임이 촬영 시간에 비례하여 발생할 소지가 있다. 이러한 움직임이 CBCT 데이터의 오차가 된다. CBCT의 촬영 방향에 따라 발생할 수 있는 해부학적 정보의 손실도 얼굴 스캔 데이터가 보완할 수 있다는 장점이 있다. CBCT 데이터와 3차원 얼굴 스캔 데이터의 정합 및 융합을 통한 3차원 연조직과 경조직의 중첩에는 필연적으로 정합 오차가 발생할 수 밖에 없고, 이 오차를 최소화하는 것이 진단의 정확성을 보장하기 위하여 필요하다[5].

Jayaratne 등[6]은 CBCT 데이터와 3차원 얼굴 스캔 데이터의 반자동 정합 기법을 제안하였다. 첫번째로 CBCT 데이터에서는 피부와 뼈를 각각 추출하였고, 3차원 얼굴 스캔 데이터에서는 피부 전체를 이용하지 않고, 안구주위(periorbital) 영역과 비구순(nasolabial) 영역을 제외한 나머지 영역을 사용하였다. 두번째로 3차원 얼굴 스캔 데이터와 CBCT 데이터를 먼저 수작업으로 정렬을 수행하였다. 세번째로 두 영역에 존재하는 점들의 거리를 최소화하도록 ICP (Iterative Closest Point) 기법[7]을 변형한 기법으로 표면 강체 정합을 수행하였다. 이 방법은 관심 영역의 선택과 초기 정합이 전부 수작업으로 수행되기 때문에 전체 과정에 많은 시간과 노력이 소요되고, 최종 결과의 정확성이 수작업에 크게 의존하게 되는 문제점이 있다.

본 논문에서는 복셀화와 거리맵을 이용한 3차원 얼굴 스캔 데이터와 CBCT 데이터의 정합 기법을 제안한다. 첫번째로 3차원 얼굴 스캔 데이터의 복셀화와 무게 중심 정보를 활용하여 두 데이터의 초기 정합을 수행한다. 두번째로 3차원 CBCT 데이터에서 공기 영역과 피부 영역을 분할하여 피부 표면을 추출한다. 세번째로 이와 같이 추출한 각 영상들의 피부 표면의 거리를 최소화하는 강체 정합을 수행하여 두 영상들 사이의 위치와 자세 차이를 보정한다. 제안 기법은 수작업이 필수적인 Jayaratne 등의 기법[6]과 비교하여 자동으로 추출이 가능한 feature 정보를 사용하기 때문에 수작업이 전혀 필요가 없는 장점이 있고, 거리맵을 이용하여 보다 고속으로 강인한 정합이 가능하였다.

본 논문은 다음과 같은 순서로 구성되어 있다. 2장에서는 본 논문에서 제안한 복셀화와 거리맵을 이용한 강체 정합 기법에 대하여 설명한다. 3장에서는 실험 결과를 기술하고, 4장에서는 결론을 맺는다.

 

2. 복셀화와 거리맵을 이용한 강체 정합 기법

본 논문에서 제안한 3차원 얼굴 스캔 데이터와 CBCT 데이터의 정합 기법은 Fig. 1에서와 같이 세가지 단계로 구성된다. 첫번째로 3차원 얼굴 스캔 데이터의 복셀화와 두 데이터의 초기 정합을 수행한다. 두번째로 3차원 CBCT 데이터에서 공기 영역과 피부 영역을 분할하여 피부 표면을 추출한다. 세번째로 각 영상들의 피부 표면의 거리를 최소화하는 강체 정합을 수행하여 두 영상들 사이의 위치와 자세 차이를 보정한다.

Fig. 1.Flowchart of proposed method.

2.1 3차원 얼굴 스캔 데이터의 복셀화와 초기 정합

먼저 실수의 좌표를 갖는 3차원 점들로 구성된 3차원 얼굴 스캔 데이터를 3차원 CBCT 볼륨 데이터의 좌표계에 투영한다. 이 때, 3차원 얼굴 스캔 데이터의 3차원 점들의 좌표에 가장 가까운 (nearest neighbor) 볼륨 데이터의 좌표가 할당된다. Fig. 2는 이렇게 복셀화한 3차원 얼굴 스캔 데이터를 주변 1복셀 확장 (dilation) 연산[8]을 적용 후 볼륨 렌더링 (volume rendering)한 결과를 원본 3차원 얼굴 스캔 데이터를 표면 렌더링 (surface rendering)한 결과와 중첩한 영상을 보여주고 있고, 그림에서 확인할 수 있듯이 정확하게 복셀화된 것을 확인할 수 있다.

Fig. 2.Voxelization of 3D facial scan data (a) front view (b) diagonal view.

3차원 얼굴 스캔 데이터의 좌표계는 3차원 스캐너의 장치 좌표계로 장치 캘리브레이션(calibration)에 따라서 다양한 범위의 값을 갖기 때문에 단순히 복셀화 만을 사용하여 두 좌표계를 일치시키게 된다면, Fig. 3(a)와 같이 초기 위치에 큰 차이를 보이게 된다. 그 이유는 CBCT 촬영 장비와 3차원 얼굴 스캐너 장비가 각각의 고유의 좌표계로 데이터를 생성하기 때문에 두 좌표계의 차이가 필연적으로 존재하게 된다. 본 논문에서는 3차원 얼굴 스캔 데이터의 무게 중심을 3차원 CBCT 볼륨 데이터의 중심으로 일치시키는 초기 이동 변환을 3차원 얼굴 스캔 데이터에 적용하여 초기 정합을 수행하여 Fig. 3(b)와 같이 초기 위치를 정렬하게 된다.

Fig. 3.The fusion result of initial registration (a) before initial registration (b) after initial registration (c) before initial registration (d) after initial registration.

2.2 3차원 CBCT 데이터에서의 피부 분할

3차원 얼굴 스캔 데이터의 경우 얼굴 피부의 점들로 구성되어 분할 과정이 필요가 없으나 3차원 CBCT 데이터의 경우 얼굴 피부를 포함한 인체의 모든 정보가 저장되어 있어서 3차원 얼굴 스캔 데이터에 대응할 얼굴 피부의 점들을 추출하는 다음과 같은 과정이 필요하다. 3차원 CBCT 데이터의 경우 피부는 외부 공기와 맞닿아 있기 때문에 공기 영역을 검출하여 표면 경계를 추출하면, 바로 그 경계가 피부 표면이 된다. CBCT 영상에서는 −1024HU (Hounsfield Unit) 이상 −670HU이하로 3차원 씨앗점 영역 성장법[8]을 수행하여 Fig. 4의 회색 영역에서와 같이 공기 영역을 추출할 수 있다. 이 때, 씨앗점은 공기 영역이 볼륨 데이터의 경계와 맞닿아 있으므로 볼륨 데이터의 경계점들 중 모서리에 해당하는 점들을 사용한다. Fig. 4에서 회색으로 표시된 추출된 공기 영역에 대해서 소벨 (sobel) 경계 검출기[8]로 경계를 검출하면, 그 경계가 피부가 된다.

Fig. 4.Detection of air region (gary color) (a) axial view (b) sagittal view (c) coronal view.

2.3 표면 정보를 이용한 정합

3차원 얼굴 스캔 데이터와 3차원 CBCT 데이터의 두 피부 표면들 사이의 정합을 위해서는 두 표면에서 대응되는 점들을 파악하고, 점들 사이의 거리를 최소화한다. 본 논문에서는 대응되는 점들을 파악하고, 거리를 계산하는 과정을 챔퍼 거리맵[9]을 이용하여 근사하여 가속화한다. 3차원 CBCT 데이터의 피부 표면을 고정된 영상(fixed image, F)으로 설정하고, 이 표면으로부터 임의의 점까지의 거리가 거리맵을 통하여 근사되고, 3차원 얼굴 스캔 데이터를 움직이는 영상(moving image, M)으로 설정하고, 이 표면의 현재 위치에 해당되는 거리맵 값을 참조하면, 이 값이 움직이는 영상과 고정된 영상들 사이에 대응되는 점들 사이의 최소 거리로 간주될 수 있다. 챔퍼 거리맵은 전체 영상을 인접 거리 정보를 갖고 있는 전방향 매스크(forward mask)와 역방향 매스크(backward mask)로 각각 영상을 순회하면서 생성한다. 제안 기법의 거리맵은 3차원에서 생성되지만, 2차원의 예를 들면, 다음과 같이 생성된다. 전방향 스캔에서는 위에서 아래 방향과 왼쪽에서 오른쪽 방향으로 영상 내의 모든 점 p에 대하여 f1(p)를 다음과 같이 계산한다.

이 식에서 B(p)는 점 p에 바로 인접한 점들 중 스캔 방향에 반대 방향에 위치한 (x, y+1), (x−1, y), (x−1, y+1), (x+1, y+1)로 구성된 점들의 집합을 나타낸다. 역방향 스캔에서는 아래 방향에서 위 방향과 오른쪽에서 왼쪽 방향으로 모든 점 p에 대하여 f2(p)를 다음과 같이 계산한다.

이 식에서 A(p)는 점 p에 바로 인접한 점들 중 스캔 방향에 반대 방향에 위치한 (x, y−1), (x+1, y), (x+1, y−1), (x−1, y−1)로 구성된 점들의 집합을 나타낸다.

이런 방식으로 Fig. 5에서와 같이 피부와 가까운 영역은 검정색의 밝기값을 갖고, 피부에서 멀어질수록 흰색에 가까운 밝기값을 갖는 챔퍼 거리맵이 생성되면, 두 피부 표면들 사이의 평균 거리는 다음과 같이 계산된다.

Fig. 5.Visualization of 3D chamfer distance map (a) axial view (b) sagittal view (c) coronal view.

이 식에서 움직이는 영상 (M)의 점 P가 고정된 영상 (F)의 점 Transform(P)로 변환되고, DistanceMapF(P)는 고정된 영상에서 3차원으로 만들어진 챔퍼 거리맵의 점 P의 위치에서의 거리 값이고, N은 3차원 얼굴 스캔 데이터의 점들의 개수이다.

변환 함수는 이동 변환과 회전 변환으로 이루어진 변환 함수를 사용하고, 변환식은 다음과 같이 결정된다[8].

이 식에서 PF와 CF는 고정된 영상에서의 복셀과 중심의 좌표이고, PM과 CM은 움직이는 영상에서의 복셀과 중심의 좌표이다. 변환 인자의 탐색을 위하여 파웰의 방향 기법[11,12]을 적용하여 빠른 시간 내에 최적의 위치로 수렴하도록 한다. 탐색 순서는 Tx, Ty, Rz, Rx, Ry, Tz이고 일정 횟수를 반복시켜서 식 (4)의 평균 표면 거리를 최소화하도록 탐색하고, 표면 거리의 값에 더 이상 변화가 없으면 종료시킨다.

 

3. 실험 결과

제안 기법에 대한 실험은 Intel Core i7 2.8GHz CPU와 8GB 메모리를 갖는 시스템에서 수행되었다. 제안 기법은 10명의 환자에 대한 3차원 CBCT 영상 데이터와 대응되는 3차원 얼굴 스캔 데이터에 적용이 되었다. 시각적 검사로 정합 후 결과 영상을 3차원 CBCT 데이터는 볼륨 렌더링 기법으로 가시화 하고, 3차원 얼굴 스캔 데이터는 표면 렌더링 기법으로 중첩 가시화를 수행하여 비교하였다. 제안 기법으로 정합을 수행한 후에는 Fig. 6에서와 같이 Fig. 6(a)와 Fig. 6(c)의 정면과 Fig. 6(b)와 Fig. 6(d)의 측면에 대하여 정확하게 위치와 자세가 정렬됨을 3차원 렌더링 결과를 통하여 시각적으로 확인할 수 있었다.

Fig. 6.The fused results between laser scan and skull of final registration (a) front view of patient 1 (b) side view of patient 1 (c) front view of patient 2 (d) side view of patient 2.

두 영상들의 정합의 정확성을 식 (3)의 ASD 유사성 척도를 사용하여 정량적으로 평가하였다. 10명의 환자에 대한 평균 ASD 유사성 척도는 최종 정합 후에 0.59±0.12mm으로 기존에 발표된 논문의 결과인 1.5mm [13]보다 매우 감소하여 정확한 정합 결과를 보여준 것을 확인할 수 있었다. 정합의 정확성을 시각적으로 검토하기 위하여 정합 후 CBCT 영상의 피부를 볼륨 렌더링한 결과와 얼굴 스캔 데이터를 중첩한 결과 Fig. 7에서와 같이 CBCT 영상의 피부와 얼굴 스캔 데이터의 피부가 정확하게 위치와 자세가 정렬됨을 3차원 렌더링 결과를 통하여 시각적으로 확인할 수 있었다.

Fig. 7.The fused results of final registration between laser scan and skin (a) front view of patient 3 (b) side view of patient 3.

Fig. 8에서와 같이 특정 환자에 대한 정합 수렴 과정을 반복 횟수에 대한 ASD의 변화로 그래프로 표시하면, ASD가 반복에 따라서 안정적으로 최적의 위치로 수렴함을 확인할 수 있었다. 제안 기법의 수행 시간은 분할 과정, 초기 정합 과정, 강체 정합 과정을 전부 포함하여 평균 약 6초 정도의 시간이 소요되었다.

Fig 8.Convergence of ASD similarity measure.

제안 기법과 기존 기법[14]을 비교하기 위하여 동일한 데이터 셋에 대하여 강체 정합을 기존 기법[14]으로 수행하였다. Fig. 9(a)는 기존 기법[14]으로 강체 정합한 결과이다. Fig. 9(a)의 결과에서는 얼굴 표면의 일부분은 어느 정도 정합이 되었으나 일부 영역에서는 오정합이 발생한 것을 볼 수 있었고, Fig. 9(b)의 결과에서는 이러한 문제점들이 완벽하게 해결된 것을 확인할 수 있었다. 기존 기법[14]의 10명의 환자에 대한 평균 ASD 유사성 척도는 1.17±0.39mm로 Table 1에서와 같이 제안 기법보다 오차가 큰 것을 확인할 수 있었다. 기존 기법[14]의 실행 시간은 평균적으로 약 4초 정도로 제안 기법에 비하여 조금 빨랐으나 정확성이 중요한 임상 적용에 있어서는 수행 시간이 조금 느리더라도 정확한 정합이 가능한 제안 기법이 더 적합하다고 볼 수 있다.

Fig. 9.The fused results of final registration (a) previous method [14] (b) proposed method.

Table 1.Comparison of registration accuracy

 

4. 결 론

본 논문에서는 복셀화와 거리맵을 이용한 3차원 얼굴 스캔 데이터와 CBCT 데이터의 정합 기법을 제안하였다. 제안 기법은 첫째로 3차원 얼굴 스캔 데이터의 복셀화와 무게 중심 정보를 활용하여 두 데이터의 초기 정합을 수행하였다. 두번째로 3차원 CBCT 데이터에서 공기 영역과 피부 영역을 분할하여 피부 표면을 추출하였다. 세번째로 이와 같이 추출한 각 영상들의 피부 표면의 거리를 최소화하는 강체 정합을 수행하여 두 영상들 사이의 위치와 자세 차이를 보정하였다. 10명의 환자 데이터에 대하여 3차원 얼굴 스캔 데이터와 CBCT 데이터의 정합에 제안 기법을 적용하여 시각적 검사, 정량적 정확성 평가를 통하여 제안 기법의 정확성을 검증하였다. 제안 기법은 구강 수술의 계획의 수립이나 구강 수술 후의 치료 효과를 효과적으로 판단하는 진단 과정에 매우 유용한 임상적 정보를 제공하여 줄 수 있다.