Abstract
Although a non-rigid registration has high demands in clinical practice, it has a high computational complexity and it is very difficult for ensuring the accuracy and robustness of registration. This study proposes a method of applying a non-rigid registration to 3D magnetic resonance images of brain in an unsupervised learning environment by using a deep-learning network. A feature vector between two images is produced through the network by receiving both images from two different patients as inputs and it transforms the target image to match the source image by creating a displacement vector field. The network is designed based on a U-Net shape so that feature vectors that consider all global and local differences between two images can be constructed when performing the registration. As a regularization term is added to a loss function, a transformation result similar to that of a real brain movement can be obtained after the application of trilinear interpolation. This method enables a non-rigid registration with a single-pass deformation by only receiving two arbitrary images as inputs through an unsupervised learning. Therefore, it can perform faster than other non-learning-based registration methods that require iterative optimization processes. Our experiment was performed with 3D magnetic resonance images of 50 human brains, and the measurement result of the dice similarity coefficient confirmed an approximately 16% similarity improvement by using our method after the registration. It also showed a similar performance compared with the non-learning-based method, with about 10,000 times speed increase. The proposed method can be used for non-rigid registration of various kinds of medical image data.
비강체 정합은 임상적 필요성은 높으나 계산 복잡도가 높고, 정합의 정확성 및 강건성을 확보하기 어려운 분야이다. 본 논문은 비지도 학습 환경에서 3차원 뇌 자기공명 영상 데이터에 딥러닝 네트워크를 이용한 비강체 정합 기법을 제안한다. 서로 다른 환자의 두 영상을 입력받아 네트워크를 통하여 두 영상 간의 특징 벡터를 생성하고, 변위 벡터장을 만들어 기준 영상에 맞추어 다른 쪽 영상을 변형시킨다. 네트워크는 U-Net 형태를 기반으로 설계하여 정합 시 두 영상의 전역적, 지역적인 차이를 모두 고려한 특징 벡터를 만들 수 있고, 손실함수에 균일화 항을 추가하여 3차원 선형보간법 적용 후에 실제 뇌의 움직임과 유사한 변형 결과를 얻을 수 있다. 본 방법은 비지도 학습을 통해 임의의 두 영상만을 입력으로 받아 단일 패스 변형으로 비강체 정합을 수행한다. 이는 반복적인 최적화 과정을 거치는 비학습 기반의 정합 방법들보다 빠르게 수행할 수 있다. 실험은 50명의 뇌를 촬영한 3차원 자기공명 영상을 가지고 수행하였고, 정합 전·후의 Dice Similarity Coefficient 측정 결과 평균 0.690으로 정합 전과 비교하여 약 16% 정도의 유사도 향상을 확인하였다. 또한, 비학습 기반 방법과 비교하여 유사한 성능을 보여주면서 약 10,000배 정도의 속도 향상을 보여주었다. 제안 기법은 다양한 종류의 의료 영상 데이터의 비강체 정합에 활용이 가능하다.