MRI Image Super Resolution through Filter Learning Based on Surrounding Gradient Information in 3D Space

3D 공간상에서의 주변 기울기 정보를 기반에 둔 필터 학습을 통한 MRI 영상 초해상화

Abstract

Three-dimensional high-resolution magnetic resonance imaging (MRI) provides fine-level anatomical information for disease diagnosis. However, there is a limitation in obtaining high resolution due to the long scan time for wide spatial coverage. Therefore, in order to obtain a clear high-resolution(HR) image in a wide spatial coverage, a super-resolution technology that converts a low-resolution(LR) MRI image into a high-resolution is required. In this paper, we propose a super-resolution technique through filter learning based on information on the surrounding gradient information in 3D space from 3D MRI images. In the learning step, the gradient features of each voxel are computed through eigen-decomposition from 3D patch. Based on these features, we get the learned filters that minimize the difference of intensity between pairs of LR and HR images for similar features. In test step, the gradient feature of the patch is obtained for each voxel, and the filter is applied by selecting a filter corresponding to the feature closest to it. As a result of learning 100 T1 brain MRI images of HCP which is publicly opened, we showed that the performance improved by up to about 11% compared to the traditional interpolation method.

1. 서론

MRI(magnetic resonance imaging, 자기공명영상)는 인체의 조직을 촬영하는 의료 영상 기술 중하나이다. 자기공명영상을 활용한 체내 인체 촬영으로 인체 기관의 위치를 판별해 종양 등의 물리적인 조직 변형이 있는지 판별할 뿐만 아니라, 조직상으로는 변형이 없더라도 자체적인 성분 파악을 통해 암같은 악성병변을 판별할 수 있어 질병 진단에 매우 유용하다. 인체를 촬영하기 위한 또 다른 방법인 CT (computer tomography, 컴퓨터 단층 촬영)는 X선을 사용하기 때문에 방사능에 노출될 수 있지만, 자기공명영상은 강한 자기장을 활용함으로써 인체에 무해하다는 장점을 가지고 있다.

3차원의 자기공명영상은 3개의 방향으로 바라볼 수 있으며, 각각의 방향에서 본 하나의 2D 슬라이스 이미지를 Fig. 1에 나타내었다. (a)는 사람을 위에서 아래로 바라볼 때의 평면인 횡단면, (b)는 정면에서 바라볼 때의 시상면, (c)는 측면에서 바라볼 때의 전두면의 이미지이다. 이렇게 3개의 평면으로 이루어진 고해상도의 자기공명영상은, 저화질의 자기공명영상에 비해 인체의 구조를 더욱 풍부하게 표현해 질병의 진단하는 데 큰 도움을 준다.

Fig. 1. A brain MRI image from (a) Axial view, (b) Sagittal view, and (c) Coronal view.

그러나 자기공명영상은 촬영 시간이 영상의 품질에 큰 영향을 미친다. 고화질의 자기공명영상을 얻으려면 촬영 시간을 늘려야 하는데, 촬영 시간이 길어질수록 촬영 중의 환자의 움직임, 코일의 간섭 등의 문제가 발생하는 문제점이 있기 때문에 촬영 시간을 늘리는 것은 어렵다.

따라서 저화질의 자기공명영상이 주어졌을 때, 이를 고화질의 영상으로 바꾸는 기술인 초해상화의 필요성이 대두된다. 이를 활용하면, 일단 짧은 촬영 시간으로 저화질의 자기공명영상을 촬영하고, 이를 고화질의 영상으로 변환해, 인체의 구조를 더 선명하게 표현하는데 용이할 것이다.

이와 같은 문제는 단일 영상의 해상도를 높게 만드는 SISR(singleimage super-resolution)에 해당한다. 일반적으로 컴퓨터 비전에서는 단일 영상 초해상화 문제에 대해 보간법을 사용한다. 이는 이미지의 새로 생성된 픽셀의 값을 근처 픽셀값들의 다항함수로 계산하여 추정해서 채워 넣는 방식이다. 이 방식은 시간 복잡도가 매우 적지만, 무늬가 복잡한 고주파수 부분에서 자연스럽게 표현이 되지 않는 단점이 있다.

이를 보완하기 위해 이미지들의 정보를 학습해 이미지를 복원하는 예시 기반 초해상화가 Freeman et al.[1]에 의해 제안되었다. 최근에는 이를 신경망을 이용해 CNN(convolutional neural networks)과 GAN (generative adversarial networks)등을 활용한 초해상화 기법들[2-5]이 제안되었다. 딥러닝에 기반한 방법들은 복원력이 상대적으로 뛰어나고 특징 추출 방법을 학습 과정에서 자동으로 처리해주기 때문에 편리하지만, 학습과 초해상화에 필요한 연산량이 매우 커 비효율적이다. 또한 학습에 필요한 데이터가 매우 많이 필요하지만, 의료 영상 특성상 큰 데이터셋이 존재하지 않는다는 문제점이 있다. 따라서 적은 데이터로도 초해상화를 빠르게 수행할 수 있는 예시기반 기술이 다시 주목을 받고 있다.

예시 기반 학습은 이미지를 외부 데이터베이스를 활용해 저화질 패치에서 고화질 패치로 매핑하는 방법을 학습하는 것으로, 사전 기반 학습이라고도 한다. 예시 기반 학습의 학습 과정에서는 이미지에서 저화질과 고화질 쌍을 가져와 정규화한 뒤, 이미지 사전의 원소로 넣는 방식으로 학습을 수행한다.

ANR(anchored neighborhood regression)[6] 알고리즘은 저화질과 고화질 패치를 사이의 고정 회귀모델로 표현해 희소 사전(sparse dictionary)의 원소로 넣는 방식을 제안하였다. 또한, 이를 선형적인 관계로 변형해 전사 행렬(projection matrix)을 적용함으로써 시간 복잡도를 줄이면서 이미지의 해상도를 높인 성과를 보이며, 전통적인 예시 기반 모델의 문제점 중 하나인 적용 시간을 크게 단축하였다. A+[7] 알고리즘은 ANR의 회귀 모델에 단순 함수[8]의 부분 공간 개념을 도입해 획기적으로 실행 시간과 정확도를 향상시킴을 보였다.

RAISR(rapid and accurate image super resolution)[9]은 이미지를 보간법을 수행했을 때의 픽셀타입(예를 들어, 3x일 때 한 픽셀이 9개의 픽셀로 확장했을 때 위치에 대한 특성)과 패치의 주변 기울기 등의 특성을 통한 필터 선택 방식을 제안하였다. 선택된 특징을 해시 기반으로 매핑해 저화질과 고화질의 값 차이를 최소로 하는 필터를 구해 A+ 대비 최소 10배 실행 시간을 단축하면서 이미지 품질 향상을 이루었다. 또한, 이 효과를 증폭시키기 위한 이미지 샤프닝과 근처 픽셀들에 대한 전후 대소비교를 통해 과한 변형을 감지해 이를 제거하는 이미지 혼합 방식을 제안하였다.

PhSAR(phase stretch anchored regression)[10] 알고리즘은 2D 자기공명영상을 초해상화하기 위해 제안된 알고리즘이다. 이는 PST(phase stretch transform)의 특징을 활용해 눈으로 잘 보이지 않는 고주파 특성을 찾아내어 특징으로 활용하였다. 자기공명영상에서는 PST 특징 분포가 불안정함을 해결하기 위해 일반 이미지에 대해 기울기와 PST 특징을 사용해 학습을 진행한 후, 자기공명영상에 적용하였다.

위처럼, 예시 기반 초해상화 기법에서는 2D 이미지에 대해 특화되어 있다. 그러나 3D 이미지의 경우 앞뒤, 좌우, 위아래 어느 방향에서 보더라도 자연스러운 이미지를 생성해야 한다. 2D 기반 기법에 강제적으로 적용하기 위해서는 3D 물체를 한 축을 기준으로 다수의 2D 평면으로 분할하고, 각각을 초해상화한 뒤 이들을 병합하는 방법을 생각해 볼 수 있다. 하지만 분할된 축을 따라 3D 구조체의 연결이 매끄럽지 않을 뿐만 아니라 그 축에 대해서만 나타나는 3D 특징들이 사라질 수 있다. 따라서 3D 이미지에 특화된 예시 기반 초해상화 기술이 필요하다.

본 논문에서는 3D 공간의 이미지에서 패치들을 추출해, 각 패치들에 대해 그 패치를 표현하는 주변 기울기 특징을 구해 각 특징에 대해 저화질과 고화질의 값의 차이를 최소화하는 필터를 계산하고, 각 복셀에 대해 필터를 적용하는 방식의 초해상화 기법을 제시한다.

이후 본 논문의 구성은 다음과 같다. 2장에서는 본 논문에서 제안하는 패치의 주변 기울기 계산 방법과 필터의 학습 방법을 소개한다. 3장에서는 제안하는 방법이 활용했을 때 이미지 품질이 높아진 정도를 평가하고 4장에서 결론을 맺는다.

2. 방법

2.1 필터 기반 초해상화

필터 기반 초해상화는 이웃 임베딩 접근 방식을 가지는 초해상화 기법이다. 이는 하나의 고화질 이미지 픽셀값이 주변의 저화질 이미지 정보로 근사될 수 있음을 가정한다. I^h∈ℝ^{H_s×W_s×D_s}(H, W, D:가로, 세로, 깊이)을 원본 고화질 이미지, I^l∈ℝ^H×W×D이 s만큼 크기를 줄인 저화질 이미지, I^s∈ℝ^{H_s×W_s×D_s}가 저화질 이미지에서 초해상화를 수행한 이미지라고 하자. 초해상화를 수행한 k번째 복셀의 값 \(\mathrm{I}_{k}^{\boldsymbol{s}}\)은 I^l을 s만큼 크기로 업샘플링한 이미지 \(\mathrm{I}^{1} \uparrow_{s}\)​​의 번째 복셀을 중심으로 하는 패치 ​​\(\left(\mathrm{I}^{1} \uparrow_{s}\right)_{\operatorname{patch}(k)}\)에 패치에 특징에 해당하는 하나의 필터 h_q를 적용한 것으로 표현할 수 있다.

\(\mathrm{I}_{k}^{\mathrm{s}}=\left(\mathrm{I}^{1} \uparrow_{s}\right)_{\mathrm{patch}(k)} \times \boldsymbol{h}_{q}\)       (1)

수식 (1)과 같이 이미지를 초해상화하기 위한 필터를 계산하기 위해서는 패치의 특징을 학습해야 한다. 패치를 학습하고, 필터를 계산하기 위한 과정은 Fig. 2와 같이 크게 4개의 단계로 나누어진다. 처음으로 필터를 학습하기 전에, 각 패치가 어떤 특징에 속하는지에 대한 기준을 정할 필요가 있다. 이 과정에서는 저화질의 각 패치로부터 특징을 계산해 패치의 특징을 잘 나눌 수 있는 값들을 선정한다. 여기서 각각의 패치로부터 특징을 계산하는 방법은 2.2장에 나타내었다. 이 과정이 완료되면, 저화질 패치로부터 선정된 특징을 구별하는 값들을 바탕으로 학습 데이터셋의 저화질 패치에서 추출해낸 각 패치에 대해 특징을 선정한다. 이어서 각 패치는 선정된 특징에 대해 패치를 학습하는 과정을 거친다. 모든 패치에 대해 학습을 완료하면, 마지막으로 각 특징에 대해 저화질과 고화질의 값의 차이를 최소화하는 필터를 계산한다. 패치의 학습 과정과 필터의 계산에 대한 자세한 내용은 2.3장에 서술하였다.

Fig. 2. Flowchart for filter calculation.

2.2 고유값 분해를 통한 3D 특징 추출

하나의 3D 패치에 대해서 기울기에 따라 필터를 선정하고, 그에 맞는 학습을 수행하기 위해서 그 패치에 해당하는 기울기를 고유값 분해를 이용해 계산하게 된다[9,11].

기울기의 특성을 파악하기 위해서는 복셀 주변의 패치의 정보를 활용한다. 저화질 이미지 I^l의 k번째 복셀 \(\mathbf{I}_{k}^{1}\)을 중심으로 가로, 세로, 깊이에 대해 홀수인 \(\sqrt[3]{n}\)​​의 크기를 가진, 총 n개의 값을 가진 정육면체 패치를 구성하고, 각 축에 대한 변화량 g_x, g_y, g_z를 변화량 행렬 G_k로 나타낸다.

\(G_{k}=\left[\begin{array}{ccc} g_{x}^{k_{1}} & g_{y}^{k_{1}} & g_{z}^{k_{1}} \\ g_{x}^{k_{2}} & g_{y}^{k_{2}} & g_{z}^{k_{2}} \\ \vdots & \vdots & \vdots \\ g_{x}^{k_{11}} & g_{y}^{k_{n}} & g_{z}^{k_{n}} \end{array}\right]\)       (2)

G_k의 성분을 분석하기 위해 주성분 분석(principal component analysis, PCA)의 성질을 이용하는 특이값 분해(singular value decomposition, SVD)를 사용할 수 있다. 특이값 분해를 통해 G_k=UΣV^T로 분해했을 때 회전변환행렬 V^T의 오른쪽 고유벡터 v₁는 주요한 패치가 주로 가리키는 방향을 나타낸다. 그리고 특이값 행렬 Σ는 V^T에 대한 크기를 나타내 고유벡터가 어느 정도로 영향을 미치는지 나타낸다. 위의 두 행렬을 사용해 패치의 특징을 나타낼 수 있다. 여기서 한 패치의 기울기 계산 시간의 복잡도를 줄이기 위해 자신의 전치행렬을 곱한 대칭행렬을 도입한다. 또한, \(\mathbf{I}_{k}^{1}\)에 가까운 값들을 강조할 수 있도록 가우시안 대각 행렬 W를 행렬곱 중간에 삽입한다. 결론적으로, G_k^TWG_k의 고유값 λ^k와 첫 번째 고유벡터 v₁^k를 이용해 패치의 기울기와 특성을 구하게 된다.

3차원으로 이루어진 첫 번째 고유벡터의 기울기 특징은 고도각, 방위각으로 나타낼 수 있고, 이는 3D 벡터 v₁에 대해 다음과 같이 정의된다.

\(\theta_{k}=\arccos \left(\boldsymbol{v}_{\mathbf{1}, \boldsymbol{z}}^{k} /\left|\boldsymbol{v}_{\mathbf{1}}^{k}\right|\right)\)       (3)

\(\phi_{k}=\arctan 2\left(\boldsymbol{v}_{\boldsymbol{1}, \boldsymbol{y}}^{k}, \boldsymbol{v}_{\boldsymbol{1}, \boldsymbol{x}}^{k}\right)\)       (4)

또한, 벡터 기울기의 강도를 나타내기 위해 \(\lambda_{1}^{k}\)이용하고, 다른 고유값들과 상관관계, 즉 응집도 μ_k를 다음과 같이 정의한다.

\(\mu_{k}=\frac{\sqrt{\lambda_{1}^{k}}-\sqrt{\lambda_{2}^{k}}-\sqrt{\lambda_{3}^{k}}}{\sqrt{\lambda_{1}^{k}}+\sqrt{\lambda_{2}^{k}}+\sqrt{\lambda_{3}^{k}}}\)       (5)

2.3 패치 클러스터링 및 필터 계산

패치들을 분류한 뒤, 이들을 모아 공통적인 특성을 선형적인 모델로 나타낸다. 위에서 구한 고도각, 방위각, 강도, 응집도를 하나로 양자화한 번호 q로 나타냈을 때, 필터 h_q는 평균 제곱 오차 (Mean Squared Error, MSE)를 최소로 근사하는 해로 나타낼 수 있다.

k번째 복셀을 중심으로 하는 저화질 이미지의 패치 ​\(\left(\mathrm{I}^{1} \uparrow_{s}\right)_{\operatorname{patch}(k)}\)와 고화질 이미지의 k번째 복셀 \(\mathrm{I}_{k}^{\mathrm{h}}\)을 각각의 행으로 표현했을 때 n열에, N_q개의 데이터 수를 행으로 둔 Aq∈ℝ^N_q×n와 b_q∈ℝ^N_q×1로 표현할 수 있다. 여기서 수식 (6)에 따라 평균 제곱 오차를 최소로 하는 h_q를 구해야 한다.

\(h_{\boldsymbol{q}}=\min _{\boldsymbol{h}}\left|\boldsymbol{A}_{\boldsymbol{q}} h-\boldsymbol{b}_{\boldsymbol{q}}\right|_{2}^{2}\)       (6)

수렴된 필터를 구하기 위해서는 충분한 데이터 수 N_q≥10⁶와 패치의 크기 ​​\(\sqrt[3]{n} \geq 11\)가 필요하다. 모든 데이터를 모은 뒤 다음 식을 계산한다고 했을 때, 최소치로 가정하더라도 하나 A_q 행렬을 구하기 위해 필요한 메모리 공간은 약 5GB로 매우 비효율적이다. 이를 해결하기 위해, 패치의 모든 데이터들을 저장하는 대신, 최소자승법을 사용한다. 충분히 메모리에 할당할 만큼 하나의 이미지를 작은 스텝으로 나누어, 각 스텝 당 n_q의 패치를 저장했다고 했을 때, 행렬 \(\boldsymbol{A}_{\boldsymbol{q}}^{\prime} \in \mathbb{R}^{n_{q} \times n}\)와 \(\boldsymbol{b}_{\boldsymbol{q}}^{\prime} \in \mathbb{R}^{n_{q} \times 1}\)를 구성한 뒤 \(A_{\mathbf{q}}^{\prime{T}}\)과의 행렬곱의 결과를 축적하는 방식으로 Q_q∈ℝ^n×n와 V_q∈ℝ^n×1행렬을 구한다. 즉, 각 스텝에 대해 수식 (7)과 (8)로 학습 방법을 단순화한다.

\(Q_{q}+=A_{q}^{\prime T} A_{q}^{\prime}\)       (7)

\(V_{\boldsymbol{q}}+=\boldsymbol{A}_{\boldsymbol{q}}^{{\prime} T} \boldsymbol{b}_{\boldsymbol{q}}^{\prime}\)       (8)

모든 이미지에 대해 학습을 완료한 뒤, 모든 q에 대해 평균 제곱 오차를 최소화하는 필터 h_q를 구한다. 여기서 Q가 양의 준정부호 행렬(positive semidefinite matrix)인 것을 고려해, 효율적인 계산을 위해 켤레기울기법(conjugate gradient method)을 활용해 최소자승법 문제를 해결한다.

테스트 단계에서는 업샘플링을 수행한 저화질 이미지에서 각각의 복셀에 대해 각 복셀을 중심으로 하는 패치를 구성해 특징을 추출해 q를 선정한다. 수식 (1)을 이용해, k번째 복셀에 해당하는 패치를 ​​\(\left(\mathrm{I}^{1} \uparrow_{s}\right)_{\operatorname{patch}(k)}\)에 매칭된 필터 h_q의 선형 조합으로 \(\mathrm{I}_{k}^{s}\)를 계산한다. 이를 모든 복셀에 대해 구하게 되면 초해상화된 이미지가 만들어지게 된다. 이를 정리했을 때, 이 논문에서 제안하는 전체 알고리즘은 Algorithm 1, 2과 같다.

Algorithm 1: Training process

Algorithm 2: Test process

3. 실험

이 논문에서 제안한 초해상화 방법이 얼마나 잘 동작하는지 확인하기 위하여 데이터를 다양한 곱셈인자로 열화시킨 뒤, 제안한 알고리즘을 적용한 이미지와 보간법만 사용한 이미지에 대해 회복 정도를 측정, 비교하는 과정으로 진행되었다.

3.1 실험 세팅

데이터셋. 이 실험을 위한 데이터셋으로 공개적으로 접근할 수 있는 Human Connectome Project (HCP)[12]의 마스킹 및 전처리가 이루어진 T1 자기공명영상을 사용하였다. 사용한 데이터의 수(서브젝트 수)는 총 150개이며, 이는 학습 과정에서 100개, 지표를 산정하기 위해 50개로 나누어 사용하였다.

학습 전처리. 데이터셋에서 제공하는 각 이미지의 크기는 260×311×260이다. 정확한 성능 측정을 위해 고화질 이미지와 보간법을 적용한 저화질 이미지의 크기가 일치하도록 고화질 이미지의 가장자리에 가로, 세로, 높이를 곱셈 인자로 나눈 나머지가 0이 되도록 자른 이미지를 사용하였다. 또한, 자기공명영상의 특성상 이미지가 가지는 값의 최대값이 정해져 있지 않는데, 일부 복셀이 매우 높은 값을 가지고 있어 이를 고려하지 않았을 때 이미지가 어둡게 보이는 현상이 나타난다. 이를 해결하기 위해, 각 영상에서 상위 0.1%에 해당하는 값을 최대값으로 지정해 이미지를 밝게 만들고, 값의 범위를 0에서 1로 표준화해 학습 데이터들이 고른 분포를 가지도록 했다.

저화질 이미지 생성. 고화질 이미지로부터 LR로 이미지의 크기를 줄이고, 다시 늘릴 때에는 tricubic 보간법을 활용하였다. 사용한 데이터가 마스킹 처리가 이루어졌음을 고려해, 보간법을 적용한 저화질 이미지에 고화질 이미지의 마스크를 재적용하였다. 마스킹이 처리된 복셀은 학습에 사용하지 않도록 해 마스크가 학습에 영향을 미치지 않도록 했다.

패치 특징 기준. 패치의 특징에 따라 매칭되는 필터의 개수를 설정해 학습하게 된다. 이 실험에서는 패치의 각도에 대한 기준은 고도각과 방위각에 대해 0°에서 180°까지 22.5°를 기준으로 각각 8개로 나누었고, 강도와 응집도에 대한 기준으로는 각각 3개로 나누어서 총 576개의 필터를 학습하였다. 방위각의 범위는 0°에서 360°까지 나타나지만 기울기에 대한 방향을 원점 대칭으로 나타내 기준을 반으로 줄였다. 강도와 응집도에 대한 기준으로는 학습 단계 이전에 25만개의 패치를 샘플링해 강도와 응집도를 구하고, 이를 정렬한 뒤 같은 비율이 되도록 3등분했을 때의 경계값을 사용하였다. 각 패치의 기울기를 구하기 위한 사용한 패치의 크기는 9³로 설정했으며, 학습하는 필터의 크기는 11³로 설정하였다.

평가 지표. 다른 알고리즘과 비교할 평가 지표로는 PSNR(Peak Signal-to-Noise Ratio)과 SSIM (Structural Similarity Index Measure)을 사용했다. PSNR은 원본 이미지와 비교하고자 하는 이미지의 복셀값별 차이 제곱의 평균이며, SSIM은 패치별로 이미지 강도의 평균과 편차, 구조를 비교한다. 두 지표의 값이 높을수록 좋은 초해상화 기술이라고 볼 수 있다.

실험 환경 및 구현. 알고리즘의 구현은 파이썬 프레임워크에서 행렬 및 배열 계산을 위한 Numpy와컴파일 라이브러리를 활용해 연산 성능을 향상할 수 있는 Numba, 선형대수 연산이 포함된 Scipy, Numpy에 GPU를 활용한 CUDA 환경을 구축한 Cupy 패키지를 사용하였다. 학습 과정에서의 보간법 알고리즘은 scikit-image 패키지를 활용하였다. Q와 V의 계산 과정에는 Nvidia GeForce RTX 2080 Ti 11GB GPU를 사용했으며, 나머지는 Intel Xeon W-2265 3.50GHz CPU를 사용했다. 학습 데이터 100개에서 추출할 수 있는 총 패치 중 1/3을 샘플링하고, 한 이미지 당 3번의 스텝으로 나누었을 때의 총 학습 시간은 약 4시간이고, 그 중 CPU를 활용한 시간이 약 90%를 차지하였다.

3.2 실험 결과

Fig. 3은 2×에서 원본 고화질 이미지와, 저화질 이미지로부터 보간법을 적용한 뒤 필터 사용의 유무에 따른 이미지를 비교한 것이다. 원본 이미지 (a)로부터 저화질 이미지를 생성한 뒤, (b)는 nearest neighbor, (c)에서는 tricubic 보간법을 사용해 이미지의 크기를 확대하였다. 그 뒤 본 논문에서 제안한 방법에 따라 필터를 적용했을 때 (d)의 이미지가 생성된다. 이미지의 전체적인 부분을 비교했을 때, (a)와 비교해서 (b)에서는 백질과 회백질의 경계선이 망가지는 현상이 발생하고, (c)에서는 이미지가 전체적으로 흐려진 것에 반해 (d)는 이러한 경계선을 더 명확하게 복구하고 있는 점을 볼 수 있다. 이는 각 이미지의 횡단면(왼쪽 위), 시상면(왼쪽 아래)에서 강조된 부분을 보았을 때 더 분명히 관찰할 수 있다.

Fig. 3. Visual comparison with interpolation methods in the upscaling factor of 2×. (a) Original HR image, (b)-(c) Interpolated image from downscaled (a), (d) Image recovered using our method.

Table 1은 테스트셋 50개에 대해 초해상화를 수행 후 복원된 이미지에 대해 PSNR, SSIM를 측정하여 정량적 결과를 보여주고 있다. PSNR에서는 본 논문의 초해상화 방법이 tricubic 보간법보다 2×에서 10.77 %증가, 3×에서는 7.72%증가, 4×에서 6.85% 증가했다. SSIM에서는 곱셈 인자에 큰 관계없이 평균 1.8% 증가함을 확인하였다.

Table 1. Intensity quality evaluation with 50 images.

4. 결론

본 논문에서는 3D 이미지 주변의 기하학적 특징을 이용해 패치를 분류해내고 필터를 학습해 적용함으로써 초해상화를 수행하는 방법을 제시하였다. 각각의 복셀은 주변 패치의 정보에 의해 기울기가 어느 방향인지, 얼마만큼 퍼져 있는지 고유값 분해를 통해 알아낼 수 있었고, 해당하는 특징에 맞는 필터를 적용했을 때 정량적, 시각적으로 모두 효과가 있음을 확인할 수 있었다. 이 알고리즘은 각각의 복셀에 대해 고유값을 계산해 필터를 선택해 적용하는 과정으로 진행되어 상대적으로 적은 연산으로도 좋은 결과를 낼 수 있음을 보였다.

이런 기술은 병원과 같은 의료현장에서 신경외과, 영상의학과 의사들에게 더 선명한 고화질의 자기공명영상을 제공한다. 고화질의 자기공명영상을 분석하여 의사들은 저화질의 자기공명영상을 볼 때에는 확실하게 구분하기 힘들었던 병변을 발견할 수 있고, 더욱 정확한 진단을 내릴 수 있을 것이다.

향후에는 제안한 알고리즘을 뇌가 아닌 다른 구조체 자기공명영상에도 적용하는 실험을 진행할 계획이다. 또한, 기울기 대신 텐서의 특징을 활용해서 고도의 3D 기하학 특징을 이용한 초해상화 알고리즘을 연구하고자 한다.