A study on enhancement of heterogeneous noisy image quality for the performance improvement of target detection and tracking

표적 탐지/추적 성능 향상을 위한 불균일 미세 잡음 영상 화질개선 연구

Abstract

Images can be contaminated with different types of noise, for different reasons. The neighborhood averaging and smoothing by image averaging are the classical image processing techniques for noise removal. The classical spatial filtering refers to the aggregate of pixels composing an image and operating directly on these pixels. To reduce or remove effectively noise in image sequences, it usually needs to use noise reduction filter based on space or time domain such as method of spatial or temporal filter. However, the method of spatial filter can generally cause that signals of objects as the target are also blurred. In this paper, we propose temporal filter using the piece-wise quadratic function model and enhancement algorithm of image quality for the performance improvement of target detection and tracking by heterogeneous noise reduction. Image tracking simulation that utilizes real IIR(Imaging Infra-Red) images is employed to evaluate the performance of the proposed image processing algorithm.

1. 서 론

다수의 클러터가 존재하는 영상 추적 환경에서 다양한 밝기를 갖는 불균일 잡음 신호들은 클러터 개수를 증가시키는 원인이 되며 높은 밝기의 잡음에 의해 측정치 추출 과정에서 다수의 잡음 신호가 표적 후보 측정치로 추출됨으로써 탐지 및 추적이나 트랙 관리에 나쁜 영향을 미칠 수 있다. 뿐만 아니라 신호세기가 큰 잡음 신호가 지속적으로 나타나는 경우에는 트랙 초기화에 의해 표적을 포착하기가 불가능해 질 수 있다. 또한 표적 신호와 유사한 특성을 갖는 클러터 신호들이 존재할 수 있기 때문에 표적과 클러터의 변별력 향상을 위해 영상을 확대하여 보다 세밀하게 비교하는 과정이 필요할 것이다. 따라서 본 논문에서는 잡음의 특성을 고려하여 영상에서 잡음을 제거하는 방안과 표적과 클러터 간의 변별력을 향상시키기 위해 영상을 확대하면서도 화질을 잃지 않는 방법을 모색해보고자 한다.

Fig. 1은 영상에 가우시안 잡음을 생성하여 넣은 화면을 캡쳐한 것으로 잡음에 의해 영상에 존재하는 신호가 뚜렷하지 못하고 측정치 추출과정에서 높은 신호세기를 갖는 잡음신호도 함께 추출되어 Fig. 1과 같이 무수히 많은 트랙이 생성될 수 있으며, 이 경우 표적으로 트랙이 초기화되지 못하여 어떤 트랙이 실제 표적인지를 판단하기가 어려워지게 된다.

Fig. 1.Increase of Track by Noise.

Fig. 2는 표적과 유사한 특성을 보이는 잡음 클러터가 존재하는 경우이다. 영상에서 빨간색 원으로 표시한 영역에 존재하는 물체가 표적이고 우측에 노란색 원으로 표시한 영역에 존재하는 물체가 클러터 신호이다. 영상 데이터를 분석해보면 표적보다 클러터의 신호세기가 더 크며 템플릿 정합을 통해 유사도를 비교해보면 유사성이 뚜렷하게 분리되지 못하는 환경이다. Fig. 2에서 우측에 밝게 보이는 물체가 클러터 신호이며 좌측의 표적 신호보다 높은 신호세기를 갖고 매우 작은 크기로 인해 유사도의 차이가 거의 없다.

Fig. 2.Target and Clutter.

이러한 환경에서는 표적으로의 트랙 초기화가 힘들어 표적을 포착하고 추적하기가 힘들어 진다. 이처럼 불균일하게 존재하는 잡음은 표적의 탐지 뿐 만 아니라 추적에도 악영향을 미칠 수 있기 때문에 전처리 과정을 통해 잡음을 걸러내고 클러터와의 변별력을 키운 후 탐지 과정에서 표적 후보 측정치를 추출하고 추적 과정을 수행해야 한다.

본 논문에서 제시하는 불균일 미세잡음은 영상에서 추적의 대상이 되는 표적 후보 신호와는 달리 공간적으로 일정한 신호세기나 크기, 혹은 모양을 갖지 않으며 시간적으로 지속적으로 존재하지 않는 존폐를 반복하는 신호를 의미한다. 따라서 잡음을 제거하는 방법은 두 가지 측면에서 접근할 수 있는데 영상처리 분야에서 흔히 사용되는 공간 영역에서의 잡음 제거 기법과 시간이라는 이점을 지닌 동영상 처리의 특성을 활용한 시간 영역에서의 잡음 제거 기법으로 나눌 수 있다[1].

공간 영역에서의 잡음 제거 기법의 경우에는 영상의 전 영역에 대해 동일한 필터링이 수행되므로 잡음 제거와 함께 표적 정보의 손실을 가져오게 되는 한계성을 보이며, 기존의 시간 영역에서의 잡음 제거 기법의 경우에는 설계변수에 따라 개선 결과가 민감하게 반응하는 단점을 보인다. 본 논문에서는 시간 정보를 활용하여 잡음 제거 뿐만 아니라 표적과 유사한 클러터 신호의 표적과의 변별력 향상을 위해 영상 확대를 통한 화질 개선 방안에 대한 연구를 수행하여 공간영역에서의 잡음 제거의 한계성을 극복하고 기존 시간필터의 단점을 보완하고자 하였다.

본 논문의 구성은 다음과 같다. 2장에서 본 논문의 기본 이론이 되는 잡음제거 기법에 대하여 기술한 다음, 3장에서 제안하는 영상 화질개선 알고리듬을 설명한다. 여기에서는 제안한 알고리듬의 전체적인 개요와 시간영역에서의 잡음제거, 영상 해상도 향상, 그리고 영상 선명화의 순서로 서술하며 각 제안 알고리듬에 대한 실험 결과를 함께 서술한다. 그리고 4장에서는 제안한 알고리듬으로 영상 탐지, 추적 실험을 수행한 결과를 통해 성능을 평가하고 5장에서 결론을 맺는다.

 

2. 기존 이론

2.1 공간영역에서의 잡음제거 기법

동일 시간에서 공간적인 측면에서의 잡음제거를 위한 필터링 기법은 널리 알려져 있다[2]. 공간영역에서의 잡음제거 필터링 기법은 일반적으로 커널을 이용하여 커널 안의 픽셀의 밝기 값을 이용하여 대표 밝기값을 찾아내는 방법을 사용하는데 동일 방법이라도 커널의 크기에 따라 가용 정보량이 늘어남에 의해 흐림효과에 의한 잡음 제거 효과가 커지게 된다.

공간필터링 기법은 Fig. 3과 같이 입력영상에 커널을 씌우는 형태로 커널의 크기나 종류에 따라 필터링 기법이 분류된다. 입력영상에 커널을 씌워 영상의 전영역에 대한 필터링을 수행하여 커널중심의 대표 픽셀의 밝기값을 결정하게 되는데 주변의 정보를 이용하여 중심 픽셀의 밝기를 쇄신함으로써 공간상에서 픽셀을 도드라지게 하거나 흐려지게 하는 필터의 기능을 갖게 된다. 수식적으로는 커널과 입력영상간의 convolution 연산을 수행함으로써 필터링이 수행된다. 대표적인 공간영역에서의 잡음제거 기법으로는 커널 안의 픽셀의 밝기들의 평균을 이용하는 평균값 필터[3,5], 밝기들을 순서대로 나열한 뒤 중간값을 대표 밝기값으로 사용하는 중간값 필터[4-7], 그리고 모폴로지 필터 등이 있다[7].

Fig. 3.Spatial Filtering.

2.2 시간영역에서의 잡음제거 기법

공간영역에서의 잡음제거는 공간필터의 성능에 좌우되는데 영상에 존재하는 표적등의 물체가 잡음제거와 함께 블러링되는 결과를 초래하는 것을 볼 수 있다. 이를 해결할 수 있는 방안으로 영상에서 잡음신호의 존재에 대한 특성을 고려한 시간영역에서의 필터링을 생각해 볼 수 있다. 영상을 시간영역에서 보면 표적 등의 물체(Object)에 반사된 열 신호는 지속적으로 존재하는 반면에 잡음신호의 경우에는 지속적으로 존재하지 않고 존폐를 반복하게 된다. 본절에서는 시간필터를 이용한 잡음제거 기법을 살펴보고자 한다. 정지영상과는 달리 동영상에서는 시간영역의 연관성이 매우 강하기 때문에 신호가 시간영역에서 지속적으로 존재하는지의 여부를 활용하는 방안은 매우 유용한 요소이다. 이처럼 동영상에서의 잡음제거를 위해서는 시간영역 필터(temporal filter)가 적용되어야 한다. 시간영역에서 지속적으로 존재하지 않는 잡음신호의 특성을 적용하기위해서 영상의 전후 시간의 신호들의 존재여부를 판단해야 하는데 시간영역 필터링은 전후 영상간의 움직임 보상을 통해 잡음을 제거하는 움직임 보상 기반 기법(motion compensated method)과 연산량 감소를 위해 움직임 보상을 사용하지 않는 움직임 적응적 기법(motion adaptive method)으로 구분 할 수 있다[8]. 영상에서의 움직임을 탐색하고 보상하는 움직임 보상부의 설계는 전후 시간 영상의 전역적 탐색(full search)을 수행해야 하므로 전처리 과정에서는 보다 간소화된 방안이 강구되어야 할 것이다.

움직임 적응적 기법에 기반을 둔 시간영역 필터는 Fig. 4와 같이 구성된다. 전후 영상에서의 움직임을 보상하는 대신 Fig. 4와 같이 움직임 검출부를 설계함으로써 지속적인 움직임이나 형태가 존재하는 픽셀과 잡음과 같이 불균일하게 존재하는 미세 잡음 신호의 픽셀의 필터링 강도 변수인 α를 결정하게 한다. Fig.과 같은 구성의 시간영역 필터는 식 (1)로 나타낼 수 있다.

Fig. 4.Temporal filter.

식(1)에서 함수 F는 필터링 영상을 의미하고 함수 I는 입력 영상을 의미한다. 변수 x,y,t는 각각 영상 픽셀의 x축, y축, 영상의 현재 시간을 의미하고 T는 필터링 주기를 나타내는데 일반적으로 전후 영상을 다루게 되므로 T=1을 갖는다. 따라서 F(x,y,t–T)는 이전시간에 필터링된 영상을 의미하게 된다. 식에서 알 수 있듯이 현재시간의 시간영역 필터는 현재시간에 입수된 영상과 이전시간에 필터링된 영상의 가중치가 곱해진 합으로 구성되어 있는데 필터의 강도를 제어하는 변수인 α를 어떤 값으로 결정할 것인지가 잡음제거 성능에 영향을 미치게 될 것이다.

Fig. 4에서의 움직임 검출부를 살펴보면 현재시간에 입수된 영상 I(x,y,t)와 이전시간에 필터링된 영상 F(x,y,t–T)을 이용하여 필터 강도 제어 변수인 α를 출력시키는 형태가 된다.

식 (2)에서 함수 M은 해당 픽셀 위치의 움직임을 의미하며 영상에서 움직임을 검출한다는 것은 위 식과 같이 비교하고자하는 두 영상의 각 픽셀의 밝기 변화를 이용하는 것인데 현재영상과 이전시간에 필터링된 영상의 해당 픽셀의 밝기 차, 즉 시간영역에서의 밝기 변화가 큰 픽셀은 움직임이 큰 것으로, 밝기 차가 작은 픽셀은 움직임이 작은 것으로 판단할 수 있다. 움직임이 크다고 판단된 픽셀의 경우 높은 α값을 갖게 되어 식 (1)에서 확인할 수 있듯이 현재 시간에 입수된 영상의 가중치가 높아져 필터링의 강도가 약해지고 움직임이 작다고 판단된 경우에는 작은 α값을 갖게 되어 이전시간에 필터링된 영상의 가중치가 커져 필터링의 강도가 높아지게 될 것이다. 그러나 잡음의 경우 1개 픽셀 크기로 존재하는 경우가 일반적이므로 해당 픽셀의 시간영역에서의 밝기 차만을 이용한다면 움직임이 크다고 판단되어 필터의 강도가 작아져 잡음신호를 제거하기가 힘들어질 것이다. 따라서 움직임을 검출하고자하는 픽셀의 주변 픽셀을 포함한 크기의 움직임을 검출해냄으로써 이러한 문제를 해결할 수 있는데 식 (3)처럼 가우시안 커널을 적용하여 1개 픽셀 이상의 크기를 포함하여 움직임을 판단하게 된다.

식 (3)에서 함수 E는 t시간에서의 (x,y) 위치의 움직임 오차를 나타내며 함수 ω는 가우시안 커널의 (m,n) 위치에서의 가중치가 되고 NS은 가우시안 커널을 구성하는 각 픽셀들의 집합이 된다. 이처럼 가우시안 커널을 적용함으로써 움직임을 판단하고자 하는 픽셀의 인접 픽셀을 포함한 밝기 변화를 검출해냄으로써 1 픽셀 이상의 크기를 가진 물체의 움직임을 판단할 수 있게 되어 잡음과 같이 1 픽셀 크기의 움직임 변화가 심한 미세한 신호는 가우시안 커널에 의해 작은 움직임을 갖는 것으로 판단하게 될 것이다. 전후 시간 동일 픽셀 위치의 밝기 차를 고려하여 움직임 오차를 계산하고 이를 통해 필터 강도 제어변수인 α를 결정할 수 있도록 하기위한 오차함수 E와 α간의 관계를 정의해야 하는데 Fig. 5와 같이 구간 선형 모델(piece-wise linear model)을 이용하여 움직임 오차를 통해 필터 계수를 결정할 수 있다.

Fig. 5.Piece-wise linear model.

Fig. 5에서 Pa, Pb, αa, αb는 설계 변수로써 잡음의 밝기 정도에 따라 실험적으로 판단하여 잡음제거에 효과적으로 결정되어야 한다. 실험적인 데이터를 구축하여 잡음 제거에 효과적인 설계 변수를 찾아야 할 것이다. Fig. 5의 구간 선형 모델을 식으로 표현하면 식 (4)와 같다.

이처럼 현재시간의 입수된 영상과 이전시간의 필터링된 영상을 가지고 시간영역의 전후 밝기 변화를 가우시안 커널을 통해 크기를 가진 움직임을 검출해 낼 수 있고 이를 구간 선형 모델에 적용함으로써 필터 강도 제어 변수인 α를 결정하게 된다. 이로써 영상에서 움직임은 없으나 지속적으로 존재하는 물체의 경우 움직임이 작은 것으로 판단되어 이전시간에 필터링된 영상의 픽셀 밝기 값의 비중이 커지게 되고, 지속적인 움직임이 존재하는 물체의 경우 움직임이 크다고 판단되어 큰 α값을 갖게 됨으로써 현재시간에 입수된 영상의 픽셀 밝기 값이 비중이 커지게 된다. 따라서 물체(object)에 대해서는 최종적으로 필터링이 이루어지고 나면 영상에서 제거되지 않고 지속적으로 존재하게 될 것이다. 그러나 잡음과 같이 미세한 픽셀 크기를 갖는 신호의 경우에는 움직임 검출부에서 가우시안 커널에 의해 움직임이 작은 것으로 판단되어 작은 α값을 갖게 되고 따라서 현재시간에 존재하는 잡음 픽셀의 밝기 비중이 작아지게 되어 제거되는 효과를 볼 수 있게 된다.

 

3. 제안한 방법

3.1 제안한 알고리듬의 개요

본 논문에서는 불균일 미세잡음 신호를 조기에 제거함으로써 표적 탐지, 추적 성능을 향상시키기 위한 영상 화질개선 방안을 제시한다. Fig. 6에 제안하는 영상 화질개선 알고리듬의 전체적인 흐름도를 나타내었다.

Fig. 6.Flowchart for image enhancement algorithm.

먼저, 잡음이 섞인 영상신호가 입력이 되면 이전 영상과의 차이를 통해 영상의 움직임을 검출하여 시간영역필터를 수행한다.. 그리고 각 픽셀이 지니고 있는 필터링 강도 제어변수를 이용하여 균열화를 배제한 해상도 향상을 수행하고 영상 선명화를 통해 최종적으로 잡음을 제거하고 양질의 개선된 화질의 영상을 얻을 수 있다. 본 논문에서는 표적 탐지/추적 성능을 향상시키는데 도움을 주기 위한 영상 화질개선 방안을 기법을 제안한다.

3.2 시간영역에서의 잡음제거 성능 개선

시간영역에서의 필터링 결과가 공간영역의 필터링보다 효과적일 수 있는 이유는 잡음의 특성과 표적의 후보가 될 수 있는 영상에 존재하는 물체의 특성을 분리함으로써 잡음이 아닌 신호는 남기고 잡음신호 위주로 제거할 수 있기 때문에 보다 효율적인 잡음제거의 효과를 볼 수 있다는 것이다. 공간영역에서의 잡음제거의 경우 잡음을 제거하기 위해 사용한 공간필터 커널이 영상의 모든 영역에 동일한 비중으로 적용이 됨으로써 잡음이 아닌 신호까지도 제거되는 결과를 초래할 수 있는 반면 시간영역에서의 잡음제거 필터링의 경우에는 움직임, 즉 영상에서 신호픽셀의 시간적인 존재나 존폐의 차이를 이용함으로써 시간적으로 존폐가 잦은 잡음 신호 위주로 제거시킬 수 있는 효과를 볼 수 있다는 것이다. 하지만 설계변수인 Pa, Pb, αa, αb에 따라 구간 선형 모델의 기울기가 결정되어 성능에 영향을 미치게 되는데 다음 Fig. 7(a)와 같이 기울기 감소에 따라 동일 움직임 오차에 대한 α값의 감소로 인해 잡음제거 성능이 증가하나 Fig. 7(b)처럼 과거값에 대한 의존성이 커져 움직임이 큰 물체의 경우 과거의 잔상이 남게 되는 단점이 있다.

Fig. 7.Characteristic of piece-wise linear model. (a) In case of noise signals, (b) In case of object signals which have big motion.

따라서 본 논문에서는 구간 선형 모델의 한계점을 극복하기 위하여 다음의 구간 2차함수 모델을 제안하여 움직임오차에 따른 필터 가중치의 차이를 크게함으로써 잡음과 움직이는 물체간의 격차를 발생시킬 수 있다.

Fig. 8의 구간 2차함수 모델을 식으로 표현하면 식 (5)와 같다.

Fig. 8.Piece-wise quadratic model.

실험에 사용된 영상은 잡음이 없는 영상이기 때문에 Fig. 9(a)와 같이 1 픽셀 크기의 신호를 영상의 면적의 0.2배의 개수가 위치나 시간적으로 불균일하게 존재하도록 인위적으로 평균이 150이고 분산이 50인 가우시안 분포의 높은 밝기를 갖는 잡음 신호들을 추가하여 이에 대한 제거 성능을 확인해보고자 하였다. 시뮬레이션에서 설계변수로 지정되는 Pa, Pb, αa, αb는 각각 2000, 1000, 0.2, 1.0으로 설정하였으며 움직임 검출부의 가우시안 커널은 가로×세로 3×3 픽셀 크기의 마스크를 사용하였다. 또한 구간 선형 모델과 구간 2차함수 모델을 적용하여 성능을 비교해보았다.

Fig. 9.Noise reduction by temporal filtering. (a) Original noisy image, (b) filtered image by spatial filter, and (c) filtered image by temporal filter.

Fig. 9(b)에서 확인할 수 있듯이 공간영역의 잡음제거는 영상의 전 영역에 대한 필터링이 수행되므로 잡음제거와 함께 물체(Object)도 함께 흐려지는 것을 확인할 수 있다. 반면 시간영역에서의 잡음제거를 수행한 결과 Fig. 9(c)와 같이 Fig. 9(b)의 공간영역 필터링에서와는 달리 물체의 정보가 유지되는 것을 확인할 수 있다.

시간영역 잡음제거 기법에서 기존의 구간 선형 모델과 제안하는 구간 2차함수 모델의 적용 결과를 살펴보면 구간 선형 모델의 경우 Fig. 10(b)에서처럼 움직임이 큰 물체에 대한 잔상이 남는 반면 Fig. 10(c)와 같이 구간 2차함수 모델의 경우에는 이러한 문제점이 향상되는것을 확인할 수 있다. 또한 필터링을 거친 영상에 대하여 특정 밝기 문턱값으로 신호를 검출한 결과 Fig. 11과 같이 구간 2차함수 모델을 적용했을때 잡음제거 성능이 증가하는 것을 확인할 수 있다. Fig. 11은 영상에 가우시안 분포의 신호세기를 갖는 잡음신호를 생성하여 추가한 잡음영상에 대해 밝기 문턱치 50으로 걸러내어 검출한 결과이다. 영상의 픽셀 밝기값은 최소 0에서 최대 255로 스케일링되었다. Fig. 11에서 녹색 실선은 잡음을 추가하지 않은 원 영상에 대한 결과이며, 파란색 실선은 여기에 잡음을 추가한 영상에 대한 신호 검출 결과이다. 그 차이만큼이 추가한 미세잡음에 대한 정보이며, 기존의 구간선형 모델을 적용하여 필터링을 수행한 결과가 검은색 실선으로 나타나고 제안한 구간 2차함수 모델을 적용한 결과가 빨간색 실선으로, 기존의 방식보다 잡음제거 성능이 향상됨을 확인할 수 있다.

Fig. 10.performance by temporal filter model. (a) Original noisy image, (b) Piece-wise linear model, and (c) Piece-wise quadratic model.

Fig. 11.Number of detected signals in image.

3.3 영상 해상도 향상 기법

영상에서 작은 크기를 갖는 표적을 포함한 물체(Object)는 향상의 구분이 불명확하여 표적인지 클러터인지를 구분해내기가 쉽지 않다. 본 절에서는 표적과 클러터의 형상적 변별력을 향상시키기 위한 방안으로써 해상도 향상 기법에 대한 연구를 수행하였다. 앞서 소개한 잡음제거를 위한 시간영역 필터와 함께 구성하면 Fig. 12와 같다.

Fig. 12.Resolution enhancement in time domain.

Fig. 12에서 움직임 검출부에 의해 시간영역 필터계수를 얻어냄으로써 시간영역 필터에 의한 잡음제거가 수행되고 잡음이 제거된, 즉 필터링된 영상과 검출된 움직임 변수를 시간별로 메모리에 저장하여 화질개선에 활용한다.

Fig. 13은 가로, 세로 각각 3배씩, 즉 9배로 영상을 확대시킬 경우의 예를 보여주며 현재시간을 포함하여 9개의 메모리를 할당하게 된다. 해상도 향상을 위해 이처럼 시간적인 픽셀의 값을 이용하는 이유는 공간상의 동일시간의 픽셀의 값을 가지고 영상을 확대할 때 발생할 수 있는 문제점을 해결하기 위해서이다. 동일시간의 픽셀만을 이용하여 영상을 확대시킬 경우, 예를 들어 Fig. 13과 같이 9배 확대하는 경우 한개 픽셀이 9개 픽셀로 확장되는데 현재 픽셀 이외의 8개의 픽셀을 같은 값으로 채워 넣게 되면 Fig. 14와 같이 픽셀간의 이격이 도드라지는 계단화 현상이 발생할 수 있다. 또한 영상에 잡음이 존재하는 경우에는 잡음 또한 확대되어 변별력을 키우는데 있어서 악영향을 미칠 수 도 있다. 따라서 해상도 향상에서는 확대 시의 비어있는 픽셀 공간을 무엇으로 채워넣느냐가 화질 개선을 위한 관건이 된다. 본 논문에서는 빈 공간에 시간에 따른 픽셀을 채워 줌으로써 보다 화질을 개선시킬 수 있는 방안에 대한 연구를 수행하였다. 시간 순으로 빈 공간을 채우게 되면 지속적으로 존재하는 물체는 그대로 도출이 되고 잡음과 같이 존폐를 반복하는 신호까지도 확대되는 문제를 방지하여 보다 개선된 화질의 영상을 얻을 수 있을 것이다. 본 논문에서 영상 확대 시 비어있는 픽셀 공간을 시간 순으로 채우는 방안은 우선 Fig. 15와 같이 도시해 볼 수 있다. 역시 영상 확대의 예로써 가로, 세로 각각 3배씩, 즉 9배로 영상을 확대시킬 경우의 예를 보여준다. 기본적으로 고려할 수 있는 방안으로 Fig. 15(a)처럼 시간 순으로 동일하게 채워나갈 경우에는 공간상의 확대와 다를 바 없으므로 큰 이득을 보기가 어렵다. 하지만 Fig. 15(b)와 같이 시간상으로 인접하도록 픽셀을 채운다면 픽셀간의 이격을 막을 수 있다.

Fig. 13.Pixel in case of resolution enhancement in spatial domain.

Fig. 14.Resolution enhancement in spatial domain.

Fig. 15.Pixel in case of resolution enhancement in temporal domain. (a) Method 1, (b) Method 2.

Fig. 15(b)와 같이 시간 순으로 인접하게 빈 픽셀 공간을 채우게 되면 시간적으로 불연속적으로 존재하는 미세 잡음 신호의 확대를 방지할 수 있으므로 확대 시 양질의 영상을 얻을 수 있다.

Fig. 16은 시간 영역의 데이터를 이용한 경우와 공간상에서의 영상 확대를 수행한 경우의 비교 영상이다. Fig. 16(a) 영상에서 확인할 수 있는 잡음 신호들은 영상에서 지속적으로 존재하지 않고 불연속적으로 존폐를 반복하는 신호이다. Fig. 16(b)와 같이 시간영역 필터를 이용한 잡음제거 이후 완전히 제거되지 않고 남아있는 경우 시간 영역의 데이터를 이용함으로써 잡음 신호의 확대를 막을 수 있으며 이로 인해 보다 개선된 성능의 영상을 얻을 수 있다.

Fig. 16.Resolution enhancement (a) in spatial domain, (b) in temporal domain.

그러나 확대된 영상의 빈 영역에 대해서 시간 순서를 어떻게 배정하느냐에 따라 결과가 달라질 수 있다. 우선적으로 도시한 시간 순으로 인접하게 빈 픽셀 공간을 채우는 방식으로 확대를 수행하게 될 시에 영상에서 물체가 움직이는 경우 Fig. 18(a)와 같이 각 픽셀의 시간차에 의해 확대된 영상에서 픽셀이 찢어져있는 듯이 보이는 균열화 현상이 일어나는 문제가 발생할 수 있다. 이는 물체가 정지해 있다가 움직이게 되면 이전 시간들에 비해 현재 시간의 픽셀 변화가 상대적으로 커지게 되는데 Fig. 17과 같이 현재 시간의 픽셀들이 공간상으로 떨어져 있기 때문에 균열화 현상이 발생하게 되는 것이다.

Fig. 17.Reason of image destruction by motion.

Fig. 18.Solution of image crack by motion. (a) Image destruction by resolution enhancement, (b) Solution of image crack.

이러한 시간차에 의한 균열화 현상을 해결하기 위해서는 움직임이 적용되는 현재 시간의 픽셀의 영향을 고려해주어야 한다. 따라서 Fig. 17의 시간 배열을 그대로 이용하되 각 픽셀을 식 (6)과 같이 현재 시간의 픽셀과 해당 시간 픽셀의 가중치의 합으로써 계산한다면 이전 시간에 존재하지 않던 움직임이 현재 시간에 발생하더라도 현재 시간이 고려가 됨으로써 균열화 현상을 방지할 수 있다. 식 (6)은 시간적으로 움직임의 격차를 보이는 픽셀들에 대한 2차적인 필터링을 통해 물체(Object)의 움직임에 의한 균열화를 완화시킬 수 있는 방안으로 이전시간의 필터링된 픽셀 정보를 이용하여 확대된 영상에 대해서 픽셀간의 움직임 격차를 완화시키기 위한 방안이다. 여기서 가중치는 이미 움직임 검출부를 통해 얻어낸 필터강도 제어변수인 α를 이용할 수 있다. 식 (6)에서 함수 R은 최종 출력 영상을 나타낸다.

Fig. 18은 균열화 현상을 해결한 경우의 영상이며 균열화 현상이 개선되는 것을 확인할 수 있다. 본 절에서는 시간영역의 정보를 활용하여 영상 확대를 통해 해상도를 향상시키는 방법에 대한 연구를 수행하였는데 시간 정보를 이용함으로써 확대 과정에서 잡음 신호가 동시에 확대되는 것을 방지하고 확대 시 발생할 수 있는 문제점을 해결함으로써 보다 양질의 영상을 얻어낼 수 있다.

3.4 영상 선명화 기법

균열화 현상을 해결하고나면 확대된 영상의 선명도를 높이기 위해 영상 선명화(Image Sharpening)를 수행한다. 선명화 처리의 중요한 목적은 한 영상에서 미세하고 세밀한 부분을 강조하거나 흐림화된 부분을 개선하는 것이다. 일반적으로 영상의 흐림화(bluring)에 사용되는 공간필터의 경우 평균필터와 같이 적분과 유사한 형태를 나타내기 때문에 선명화는 이와 반대로 공간상에서의 미분에 의해 이루어질 수 있다. 영상에서 x축과 y축으로의 2차 미분은 식 (7)과 같이 각 축으로의 2차 편미분의 합으로 나타낼 수 있으며 이를 2차원 라플라시안(Laplacian)이라 한다.

이러한 2차원 라플라시안을 공간필터와 유사하게 Fig. 19와 같이 2차원 커널의 형태로 구성해 볼 수 있다. 또한 대각선 방향으로의 2차원 라플라시안 커널은 Fig. 19와 같이 나타낼 수 있다. 상하좌우 방향과 대각선 방향을 모두 고려함으로써 최종적으로 커널의 중심으로부터 인접한 모든 방향, 즉 이웃한 8방향의 라플라시안을 만족시킬 수 있다. 영상의 선명화는 식 (8)과 같이 입력 영상에 대한 라플라시안을 입력 영상에서 빼줌으로써 선명화된 영상을 얻어낼 수 있다.

Fig. 19.Laplacian kernel for image sharpening.

Fig. 19는 영상 선명화를 위한 8방향의 라플라시안 커널을 정리한 것으로 식 8과 같이 입력 영상과의 차를 구함으로써 커널의 중심 픽셀과 인접한 8방향의 밝기 격차를 키움으로써 영상에서 경계 부분을 더욱 도드라지게 한다. 라플라시안은 미분 연산자이기 때문에 그 효과는 영상에서 밝기의 불연속점, 즉 경계면을 강조하고 완만하게 밝기가 변화하는 영역은 중요성을 깎아냄으로써 선명화 효과를 볼 수 있게 되는 것이다.

Fig. 20은 실제 영상에 대한 선명화를 수행한 결과이다. Fig. 20에서 입력 영상은 해상도 향상된 영상으로써 잡음제거와 영상 확대를 거치면서 흐려질 수 있는 경계면을 회복시키는 역할을 하게 된다. 일반적으로 잡음 영상에 대한 선명화는 잡음신호에 대한 증폭을 야기할 수 있는데 불균일 미세잡음에 대해서는 이미 Temporal noise reduction filter에 의해 1차적으로 제거되고, 잔존 잡음에 대해서는 Resolution enhancement에 의해서 2차적인 처리를 통해 개선되므로 선명화에 의한 잡음 증폭은 미비하다.

Fig. 20.Image sharpening. (a) Solution of image destruction, (b) Image sharpening.

본 장에서는 동영상의 이점인 시간 정보를 활용함으로써 공간상의 처리의 한계를 극복할 수 있는 시간 영역에서의 영상 처리 방법을 통해 영상 화질개선을 위한 방안을 제시하였다. 동일 시간에서 공간적인 측면에서의 잡음제거나 영상 확대는 이용 가능한 정보량의 제한으로 인하여 표적과 클러터의 명확한 특성분류가 어려울 수 있다. 하지만 이를 시간영역으로 확장시키면 불균일 잡음 클러터의 존재에 대한 시간적 특성을 고려하여 잡음을 제거하고 영상 화질을 개선시키기가 수월해진다.

 

4. 실험 결과 및 고찰

본 장에서는 본 논문에서 제안하는 영상화질 개선기법에 대한 성능 검증을 위한 시뮬레이션 수행 결과를 서술한다. 먼저 임의로 추가한 잡음이 아닌 실제 불균일 미세잡음으로 해상에서 파도의 태양열 반사에 의한 sea glint가 존재하는 환경에서의 성능을 확인해보았으며, 제안하는 알고리듬이 표적 탐지, 추적에 미치는 영향을 확인하기 위해 영상 화질개선부터 표적 탐지, 추적까지 영상 추적의 전체 단계를 수행하여 성능을 비교 분석해보았다.

4.1 실제 불균일 미세잡음 제거 성능

Fig. 21(a)는 시간영역 필터링을 이용한 미세 잡음인 sea glint 제거 효과를 확인 할 수 있는 영상이다. Fig. 21과 같이 미세한 크기를 갖는 glint가 존재하는 영상에서 glint 잡음이 제거되는 것을 확인할 수 있다. 1 frame에서 해수면에 높은 밝기의 미세한 see glint가 많이 존재하는 것을 볼 수 있는 반면 10 frame에서 캡쳐된 화면처럼 시간이 지남에 따라 잡음이 제거되면서 보다 뚜렷한 영상을 확인할 수 있다.

Fig. 21.Temporal filtering results for reduction of sea glint noise. (a) Original image, (b) Thresholding image.

이 영상을 문턱치로 걸러내어 확인해보면 Fig. 21(b)와 같이 glint 잡음이 제거되는 결과를 명확히 확인할 수 있는데 문턱치는 100으로 설정하였다. 시간이 지남에 따라 하얀색으로 분포하는 높은 신호세기의 glint 잡음이 많이 제거되는 것을 확인할 수 있다.

또한 Fig. 22의 검출신호 개수 비교 그래프를 통해 시간영역 필터를 이용하여 glint 잡음을 제거한 경우 시간이 지남에 따라 미세하지만 높은 밝기를 가진 glint 잡음 신호들의 개수가 감소하는 것을 확인할 수 있다. 그래프에서 검은색 실선은 glint 잡음이 존재하는 원 영상에 대한 문턱치화의 결과이고 빨간색 실선은 시간영역 필터링을 이용하여 glint 잡음을 제거한 경우의 문턱치를 넘는 신호의 개수를 비교한 결과이다. 결과를 통해 확인할 수 있듯이 열상 잡음이나 see glint 등과 같이 영상에서 불균일하게 존재하는, 즉 존폐를 반복하는 미세잡음 신호들은 시간영역에서의 잡음제거 필터링을 거침으로써 제거시킬 수 있을 것이다. 시간영역에서의 필터링을 통해 미세잡음 신호 뿐 만 아니라 미세한 크기와 불규칙적인 움직임을 보이는 see glint와 같은 클러터 신호도 제거할 수 있다는 것을 확인할 수 있다.

Fig. 22.Number of detected signals.

4.2 표적 탐지/추적 연동 시뮬레이션 결과

본 절에서는 추적 필터와 연결하여 영상화질 개선기법과 같은 전처리 과정의 필요성을 살펴보고 추적의 성패에 미치는 영향을 알아보고자 한다. 시뮬레이션에서 추적 필터는 IPDAF(Integrated Probabilistic Data Association Filter)를 사용하고 표적의 탐지, 추적 성능을 향상시키기 위한 표적의 형상 정보를 활용한 JDC(Joint Detection and Classification) 알고리듬이 적용되었다[9,10,11]. 영상 추적 실험은 Fig. 23에서처럼 잡음 뿐만 아니라 표적과 유사한 불균일 클러터가 존재하는 영상에서 영상화질 개선 기법을 통해 표적과 클러터 간의 변별력을 향상시킴으로써 표적 포착과 함께 지속적인 추적이 이루어지는 것을 확인하기 위한 시뮬레이션이다.

Fig. 23.Image tracking in heterogeneous cluttered environment.

Fig. 23에서 흰색 사각형 영역은 ROI(Region Of Interest) 영역, 녹색 사각형은 포착 이전의 다중표적 추적 gate 영역, 빨간색 사각형은 포착 이후 단일 표적 추적 gate 영역을 나타내며 추적 gate 내부의 노란색 사각형 영역은 유사도 비교를 위한 템플릿 영역을 나타낸다. Fig. 23은 전처리 과정 없이 추적을 수행한 영상인데 초기 표적 포착 과정, 즉 트랙 초기화 과정에서 영상에서 표적의 우측에 존재하는 높은 신호세기를 갖는 클러터로 트랙이 초기화 되어 클러터로 포착이 이루어지면서 3000 frame에서 표적과 전혀 다른 곳을 추적하는 것을 확인할 수 있다.

반면에 Fig. 24는 영상화질 개선 기법에 의한 전처리 단계를 적용하여 추적을 수행한 영상이다. 10 frame이후에도 표적을 적확히 포착하여 지속적인 추적을 수행하는 것을 볼 수 있으며 3000 frame에서도 Fig. 23에서와는 달리 표적을 정확히 추적하는 것을 확인할 수 있다.

Fig. 24.Image tracking using image enhancement.

Fig. 25는 영상 표적 추적 시뮬레이션에서 영상화질 개선 기법 적용 유무에 따라 추적의 성패가 달라지는 원인을 분석하기 위한 데이터를 보여준다. Fig. 25에서 빨간색은 표적과 관련된 정보이며 파란색은 클러터에 대한 정보이다. 영상화질 개선 기법을 적용하지 않은 경우 표적과 클러터의 유사도를 살펴보면 구분이 힘든 유사도 분포를 갖는 것을 볼 수 있는데 이로 인하여 표적을 정확히 식별해내기가 불가능해짐으로써 결과적으로 클러터로 포착이 이루어지는 결과를 초래하게 되는 것이다. 반면 영상화질 개선기법을 적용하여 전처리 단계에서 영상의 화질 개선이 수행된다면 Fig. 25(b)에서처럼 표적과 클러터 간의 유사도 변별력이 뚜렷해지는 것을 확인할 수 있다. 이는 표적과 클러터를 구분해내는 FTD(False Track Discrimination) 성능 개선에 긍정적인 영향을 줄 수 있다. 이처럼 표적 탐지와 추적 성능의 향상을 위한 전처리 과정으로 수행되어야 하며 탐지, 추적 기법의 고성능화를 위해서는 가능한 적은 연산량의 전처리가 수행되어야 한다. 본 시뮬레이션에서의 수행시간 비교는 Intel Core2 Quad CPU 2.40GHz의 성능을 가진 PC를 이용하여 가로 세로 128×128 영상에 대한 9배 확대의 시뮬레이션 수행시간을 비교한 것으로 시간영역에서의 필터링과 해상도 개선, 그리고 영상 선명화 단계에 따른 수행시간을 나타내었다. 총 수행시간은 18.6 msec.로써 실시간 처리가 가능할 것으로 보여지지만 잡음 제거 시 설계 변수에 따라 성능 차이가 나타날 수 있으므로 보다 다양한 실제 환경에서의 실험을 통해 데이터를 구축할 필요가 있으며 잡음제거 성능을 좌우하는 부분은 필터링 계수를 결정하게 하는 움직임 검출부가 되는데 움직임 오차와 필터링 계수 간의 관계 또한 중요한 요점이 될 수 있다.

Fig. 25.Correlation between target and clutter. (a) non-enhancement, (b) image enhancement.

 

5. 결 론

본 논문에서는 단일 프레임 영상 화면에 대한 신호처리의 한계성을 극복하고 여러 시간의 이미지 시퀀스 정보를 활용할 수 있는 동영상에 대한 신호처리를 위해 시간 개념을 도입하여 시간 영역에서의 신호처리 기법을 연구함으로써 시간적으로 존폐를 반복하는 잡음 클러터를 제거하여 양질의 표적 후보 측정치를 추출하기 위한 영상 화질개선 기법을 제시하였다. 화질개선은 전후 영상시퀀스를 이용한 움직임검출을 통해 시간영역에서 필터링을 수행하고 이전 영상 픽셀의 히스토리를 이용하여 해상도를 증가시킴으로써 미세한 크기의 잡음신호를 제거할 수 있으며, 영상 선명화를 통해 화질을 개선시킬 수 있다. 영상화질개선을 통해 양질의 표적 후보 측정치가 탐지 단계를 거쳐 추출될 수 있으며 이는 표적 추적에 있어서도 긍정적인 영향을 미치는 것을 시뮬레이션을 통해 확인하였다. 잡음제거 성능을 좌우하는 움직임 오차와 필터링 계수 간의 관계가 중요한 요점이 될 수 있으므로 향후 다양한 실제 환경에서의 실험을 통해 데이터를 구축해나가고자 한다.