1. 서 론
초고해상도 알고리즘은 하나 혹은 다수의 저해상도 영상으로부터 고해상도 영상을 만들어 내는 기법이다. 대부분의 초고해상도 알고리즘은 같은 장면의 여러 저해상도 영상에 기반을 두어왔지만 본 논문에서는 여러 실험 영상의 도움으로 하나의 저해상도 이미지로부터 고해상도 영상을 복원한다. 이러한 하나의 이미지를 사용한 초고해상도 복원기법의 응용은 최근 실세계에서도 많은 경우 일어나고 있다.
이러한 초고해상도 영상 복원에 대한 요구에 의하여 최근 초고해상도 영상을 얻기 위한 많은 다양한 기법들이 연구되고 있다. 이러한 기법들은 구현방법에 따라, 보간에 기반을 둔 방법, regularization에 기반을 둔 방법, 학습에 기반을 둔 방법 등으로 나눌 수 있는데, 영상 데이터베이스로부터 제공받는 정보를 활용하는 학습 기반 방법 외에 나머지 두 가지 방법은 단일 영상으로부터 고해상도 영상을 복원한다.
보간에 기반을 둔 방법은, 입력 영상을 조정하는 registration 단계를 거친 뒤, 보간하고 그 후에 deblurring 절차를 거친다. 가장 대표적인 예로는 Nearest Neighbor 알고리즘이 있는데, 이 알고리즘은 보간 해야 할 화소를 주변 화소 값과 똑같이 가져감으로써 적은 연산으로 수행될 수 있다는 장점이 있다. 하지만 고주파수 성분을 고려하지 않았기에 전체적으로 blur한 영상을 얻는다. Regularization에 기반을 둔 방법의 기본적인 개념은 고해상도 영상의 사전정보를 포함하는 것이다. 고해상도 영상은 확률 분포의 통계치를 통해 예측되는데, 주로 이것은 저해상도 영상과 사전정보로부터 제공되는 정보를 활용하여 Bayesian 추론에 적용한다. 학습에 기반을 둔 초고해상도 알고리즘은 입력으로 주어진 저해상도 영상의 지역 특징에 기반을 둔 영상 샘플들을 훈련함으로써 얻어지는 정보에 근거하여 고해상도 영상을 복원한다. 학습에 기반을 둔 초고해상도 알고리즘은 off-line 학습 단계와 초고해상도 영상 복원 단계로 크게 나뉘는데, off-line 학습 단계에선 영상 패치들은 ground truth로써 작용하며 영상 획득 모델을 모의실험하기 위해 만들어지는데 사용된다. 이 후, 저해상도 영상 패치와 그에 해당되는 고해상도 영상 패치들과 비교한다. 그리고 가장 잘 부합되는 것을 다양한 방법(예, Nearest distance)으로부터 골라 고해상도 영상을 복원해낸다[1].
본 논문에서는 복합기법을 위하여 적은 복잡도로 영상의 세밀한 영역을 복원해 내는 보간에 기반을 둔 방법과 텍스쳐 복원력이 뛰어난 학습기반 Neighbor Embedding[2] 초고해상도 알고리즘을 제시하였다. 보간에 기반을 둔 방법으로서는 곡선 부-분할 방법[3]을 사용하였는데, 이 기법은 보간 할 화소의 변위 값을, 분리된 두 화소 사이를 연결하는 곡선 2개의 2차 다항식으로 모델링하고, 생성된 두 개의 곡선을 화소의 네 방향의 기울기를 사용하여 각각 다른 가중치 합을 적용하여 영상이 가진 특징을 반영하도록 한 것이다. 특히 영상의 특성에 맞는 가중치를 사용함으로써, 윤곽선 복원력이 크고 연산량이 적은 장점을 지닌다. 하지만 이러한 곡선 부-분할 기법은 윤곽선의 방향성이 복잡한 텍스쳐를 섬세하게 복원해내지 못하는 약점이 있는데, 따라서 이러한 영역에 대해서는 주변 화소와의 기울기를 이용해서 보간하는 방법 대신, 데이터베이스에서 미리 학습된 패치를 사용하는 학습기반의 Neighbor Embedding 학습 보간 기법을 적용한다.
2. 본 론
본 장에서는 비윤곽선 영역에 대해 학습기반 방법인 Neighbor Embedding, 윤곽선 영역에 대해 수행하는 보간기반 곡선 부-분할 방법에 대한 서술로 구성된다. 마지막 절에서는 윤곽선 영역과 비 윤곽선 영역을 나누기 위해 사용하는 알고리즘에 대하여 설명한다.
2.1 비 윤곽선 영역에 대한 Neighbor Embedding 학습 보간
Neighbor Embedding[1] 학습 보간 기법에서는 복수의 후보 저해상도 영상을 Gradient-Feature에 기반을 두어 채택한 후, Least mean square 기법으로 각 후보의 가중치를 정한다. 최종 고해상도 영상은 채택된 후보 저해상도 영상들에 대응되는 고해상도 영상들의 가중 합(weighted sum)을 통해 합성한다. 따라서 Neighbor-Embedding 알고리즘은 다음과 같이 요약할 수 있다.
단계 1. 입력 저해상도 영상 패치 xt에 대하여
(a) K개의 가까운 저해상도 후보 집합 N을 사전 S에서 찾는다. (b) 입력 저해상도 영상 xt와의 에러를 최소화하는 후보 집합 N의 복원 가중치 ω를 계산한다. (c) 저해상도 후보 집합 N에 대응되는 고해상도 영상의 가중합으로 고해상도 영상 패치 yt를 합성한다.
단계 2. 합성된 고해상도 영상 패치들을 중첩(overlap) 시켜 고해상도 영상 y를 복원한다.
단계 1-(a)의 집합N은 특징 벡터(feature vector)간의 유클리드 거리로 찾는다. 단계 1-(b)의 복원 가중치는 다음의 에러 방정식 (1)을 최소화 시키는 벡터로 정한다.
그림 15x5 저해상도 블록 Luminance 값 Fig. 1 5x5 low-resolution block luminance value
Gradient-Feature는 1차, 2차 미분 값 (2), (3)을 취하기 때문에 윤곽선(Edge) 같은 고주파(High-frequency) 성분을 찾는데 적합한 특징이다. 하지만 비윤곽선(Non-Edge) 영역에 속하는 텍스쳐의 경우 패치의 주성분이 고주파가 아니기 때문에 Gradient-Feature를 통해서는 적절한 Neighbor가 찾아지지 않는다. 따라서 이 경우, Gradient-Feature 대신 Norm-Feature를 사용한다. Norm-Feature는 패치의 평균값을 뺀 특징벡터이다. Norm-Feature는 식 (4)와 같이 계산된다. Norm-Feature는 모든 주파수 성분을 고려해 유사한 Neighbor를 찾기 때문에 비윤곽선 영역에서 Gradient-Feature보다 좋은 성능을 발휘한다.
Neighbor-Embedding 기법에서는 가중치의 합이 1 이라는 제약 조건이 있을 뿐, 부호에 대한 제약 조건은 없다[4]. 따라서 Norm-Feature를 사용할 경우 가중치의 크기(norm)로 인한 과증폭(over-amplification)이 발생하는 경우가 생긴다. 따라서, 이런 잡음을 제거하기 위해 가중치의 크기(norm)에 대한 제약을 줄 필요가 있다. 본 논문에서는 가중치의 크기가 정해진 문턱치 보다 클 경우, 각 neighbor 패치에 동일한 가중치를 적용하여 잡음을 제거하였다. 비윤곽선 영역에 대한 학습 보간 순서도는 그림 2와 같다.
그림 2학습 보간 순서도 Fig. 2 Flow chart of example-based super-resolution
2.2 윤곽선 영역에 대한 곡선 부-분할 보간
본 논문에서는 윤곽선 영역에서 영상의 구조적 특징을 주변의 기울기와 기울기를 사용한 가중치를 반영하여 보다 자연스런 윤곽선을 보이는 곡선 부-분할(Curve Sub- Division)[3] 방법을 이용하였다. 곡선 부-분할 알고리즘에서는 분리된 두 화소 사이를 연결하는 곡선 상에서 기울기가 거리에 의해 변하는 것을 반영하기 위해서 실제 분리된 두 점을 지나는 곡선을 기울기와 보간 할 화소와 주변 화소로부터의 거리로 표현되는 다항식으로 모델링하여 보간 할 화소의 변위를 정확히 예측하였다.
고해상도 영상을 P(i,j)라 하였을 때, 보간 해야 할 화소의 위치 p(i,j)을
t∈[0, 1], 로 나타낸다.
여기서, i, j는 각각 영상의 행, 열 vector를 의미하며 wi,j,L과 wi,j + 1,R는 주변의 화소들을 이용한 가중치를 나타낸다. mi,j,L과 mi,j + 1,R()는 pi,j 와 pi,j+1로부터 각각 화소의 거리 t에 따른 변위 값이다. 거리 t에 따라 변위 값에 대한 곡선을 2차 다항식으로 표현하면 다음과 같다.
이때, 영상의 구조적인 특성 또는 지역적으로 화소 간의 상관 관계를 표현하기 위해 가중치 계산을 주변 화소의 영향을 고려해 다음과 같이 계산한다.
즉, 가중치는 (8), (9), (10)과 같이 계산되며 이는 각각 보간 할 화소의 좌, 우 기울기를 고려한 것이다. a는 실험적으로 8을 택하였으며 t = 0.5이다.
a는 가중치의 값을 보정해주는 변수로서 a가 클수록 보간 할 화소의 가중치의 영향은 분리된 두 화소 사이의 기울기보다는 두 화소사이의 기울기를 제외한 보간 할 화소의 주변 화소들의 변화량에 민감해지고 작을수록 분리된 두 화소 사이의 변화량이 가중치에 더 크게 영향을 준다. 대각선 방향의 영상 보간은 수직, 수평 각각의 방향에 대해 모두 계산하면 복잡도가 증가하기에, 두 방향 중 변화량이 작은 쪽을 선택하여 계산한다. 따라서 윤곽선 방향과 가장 근사하게 보간을 수행하게 되어 시각적으로 덜 두드러지는 화소 값을 보간 함으로 눈에 거슬리지 않는 영상을 얻을 수 있게 된다.
2.3 윤곽선/ 비윤곽선 영역 구분 방법
입력 저해상도 지역 패치마다 gradient의 크기 G(11)를 측정해 정해진 문턱치 보다 작을 경우 비윤곽선 패치, 클 경우 윤곽선 패치로 분류한다. 수식에서 Gx는 수평 방향의 1차 미분 값이고, Gy는 수직 방향의 1차 미분 값이다. 각 패치 분류를 마치면 그림 3과 같은 윤곽선지도가 만들어진다. 윤곽선 영역의 일관성을 위하여 비윤곽선 영역 복원은 해당 패치가 비윤곽선 패치이고, 주변에 윤곽선 패치가 없을 경우에만 적용한다. 비윤곽선 영역 복원이 끝나고 남은 영역은 윤곽선 영역으로 분류하고, 곡선 부-분할 윤곽선 기반 보간 기법을 적용한다.
그림 3윤곽선 지도와 입력 저해상도 영상 Fig. 3 Edge map and corresponding low-resolution input image
3. 실험 및 결과 고찰
3.1 실험 시뮬레이션 개요
본 논문의 알고리즘 흐름은 그림 4와 같다. 입력 영상의 윤곽선 영역을 추출한 뒤, 우선적으로 비윤곽선 영역을 NE 기법으로 복원한다. 다음으로 복원되지 않은 윤곽선 영역을 곡선 부-분할을 이용해 복원함으로써 영상 업-스케일링 과정을 마친다. 본 실험에서는 확대 계수를 2로 설정하였고, 128x128 저해상도 영상을 256x256 고해상도 영상으로 업-스케일링 하는 실험을 수행하였다. NE 보간 기법 적용 시의 조건은 다음과 같다. 저해상도 영상 패치의 크기는 3x3으로 설정하였고, 저해상도 영상 패치 간의 중첩 간격은 연산량을 고려해 1pixel로 설정하였다. NE 보간 기법 시 사용된 사전의 패치 수는 19220개다.
그림 4제안 알고리즘 전체적인 흐름 Fig. 4 Flow of proposed algorithm
3.2 실험 결과
실험 결과, 제안 기법은 곡선 부-분할을 통해 에지를 샤프하게 복원할 수 있었고, 텍스쳐 성분의 자세한 정보를 보존 할 수 있었다. 그림 5, 그림 6 실험영상의 빨간색 상자는 윤곽선 영역으로 곡선 부-분할 기법으로 복원된 영역이고, 파란색 상자는 비윤곽선 영역으로 NE(Neighbor Embedding) 기법으로 복원된 영역이다. 그림 5, 그림 6에서 살펴볼 수 있듯이 윤곽선 영역은 곡선 부-분할을 이용해 복원함으로써 Norm-Feature 기반 NE보다 윤곽선이 세밀하게 복원됐음을 관찰할 수 있다. 또한 비윤곽선 영역은 Norm-Feature 기반 NE를 적용함으로써 곡선 부-분할기법의 blurring artifact를 줄이면서 텍스쳐의 세밀함을 복원 할 수 있었다. 표 1에서 보듯이, 제안 기법의 PSNR과 SSIM[5] 수치는 곡선 부-분할기법보다 높고, NE(Norm)보다는 작다. 하지만 HVS(Human Visual System) 관점에서 볼 때, 제안한 복합기법은 중요한 윤곽선과 텍스쳐를 각 기법의 장점들을 혼합해 효과적으로 복원함으로써 주관적인 화질을 효율적으로 개선할 수 있었다.
그림 5실험 결과(1) Fig. 5 Experiment result(1)
그림 6실험 결과(2) Fig. 6 Experiment result(2)
표 1실험 결과 비교 Table 1 Experiment result comparison
4. 결 론
본 논문에서는 곡선 부-분할 보간 기법과 Neighbor-Embedding 학습 보간 기법을 혼합한 초해상도 기법을 제안한다. 곡선 부-분할 보간 기법이 상대적으로 에지 영역 복원에 우수하고, NE(Norm) 기법이 텍스처 영역 복원에 우수하다는 특성을 활용하였다. 복원입력 영상을 윤곽석/비윤곽선 영역으로 구분한 뒤 윤곽선 영역에 대해서는 곡선 부-분할 보간 기법을 적용하고, 비윤곽선 영역에 대해서는 NE(Norm) 기법을 적용하였다. 실험 결과 에지 영역은 곡선 부-분할 기법 수준으로 샤프하게 복원되었고, 텍스처 영역 역시 NE(Norm) 기법 수준으로 세밀하게 복원되었다. 두 기법의 장점들을 혼합함으로써 복원 영상의 주관적인 화질을 개선시킬 수 있었다.