Regional Projection Histogram Matching and Linear Regression based Video Stabilization for a Moving Vehicle

영역별 수직 투영 히스토그램 매칭 및 선형 회귀모델 기반의 차량 운행 영상의 안정화 기술 개발

Abstract

Video stabilization is performed to remove unexpected shaky and irregular motion from a video. It is often used as preprocessing for robust feature tracking and matching in video. Typical video stabilization algorithms are developed to compensate motion from surveillance video or outdoor recordings that are captured by a hand-help camera. However, since the vehicle video contains rapid change of motion and local features, typical video stabilization algorithms are hard to be applied as it is. In this paper, we propose a novel approach to compensate shaky and irregular motion in vehicle video using linear regression model and vertical projection histogram matching. Towards this goal, we perform vertical projection histogram matching at each sub region of an input frame, and then we generate linear regression model to extract vertical translation and rotation parameters with estimated regional vertical movement vector. Multiple binarization with sub-region analysis for generating the linear regression model is effective to typical recording environments where occur rapid change of motion and local features. We demonstrated the effectiveness of our approach on blackbox videos and showed that employing the linear regression model achieved robust estimation of motion parameters and generated stabilized video in full automatic manner.

본 논문에서는 블랙박스 혹은 운전석에 장착된 카메라로부터 얻어진 차량 영상에 대한 영역별 수직 투영 히스토그램 매칭 및 선형 회귀분석 모델을 활용한 강건한 차량 운행 동영상의 안정화 기법을 제안한다. 동영상 안정화 기법은 영상의 흔들림 보정 뿐 아니라 동영상 내 강건한 특징점 추적 및 매칭을 위한 이전의 전처리 과정으로 활용된다. 일반적으로 촬영 과정에서 많은 떨림이 포함될 수 있는 야외 CCTV 영상이나 손으로 들고 촬영된 동영상에 대한 흔들림 보정 등에 적용되고 있으나 영상 내 특징점이 지속적으로 변하고 영상의 변화 정도가 매우 심한 차량 운행 동영상에서는 적용된 사례가 드물다. 본 연구에서는 일반적인 비디오 안정화 기술이 적용되기 어려운 차량 운행 동영상에 대하여 흔들림 보정을 위한 동영상 안정화 기법을 제안한다. 제안된 기법은 입력 영상에 대한 영역별 수직 투영 히스토그램 매칭을 수행하고 선형 회귀모델을 통해 영상에 나타나는 수직 및 회전 이동 변환을 선형 근사하여 시간 영역상에서의 입력 영상에 대한 안정화를 수행한다. 제안 방법의 검증을 위해 블랙박스로 촬영된 동영상에 동영상 안정화 기술을 적용하였으며, 운행 중 불규칙한 노면으로 인한 영상의 흔들림이 효과적으로 제거되는 것을 확인할 수 있었다.

Ⅰ. 서 론

동영상 안정화(video stabilization)는 동영상의 흔들림 혹은 떨림을 보정하기 위한 기술로 주로 야외 CCTV나 손으로 들고 촬영된 동영상을 보정하기 위한 기법이다. 동영상 안정화 기법은 영상의 흔들림 보정 뿐 아니라 동영상 처리 기술을 적용하기 위한 전처리 단계로도 효용이 높아 많은 연구가 이루어지고 있다. 대표적인 동영상 안정화 기법으로 특징점 모션 추적 기반의 안정화 기법[1,2,3,4,5,6]과 모션 분석 기반의 안정화 기법[7,8,9, 10 11], 카메라 내부 파라미터 추정을 통한 안정화 기법[12] 등이 널리 활용되고 있다.

특징점 모션 추적 기반의 동영상 안정화를 달성하기 위해 Wang 등은 2D KLT 특징점에 대한 궤적 행렬(trajectory matrix)을 구성하고 필터링된 궤적들에 대한 부분 공간 제약 조건(subspace constraint)을 적용하여 동영상 안정화를 수행하였다[1]. 특징점 모션 추적 기반의 동영상 안정화 기법에서 보다 강건한 특징점 추출을 위해 다수의 연구들이SIFT(Scale Invariant Feature Transform) 기술자를 활용하였으며[2,3,4,5,6], 이 가운데 Battiato 등과 Yang 등은 SIFT 기술자를 파티클 필터와 결합한 강건한 특징점 추적 기반의 동영상 안정화 기법을 제안하였다[3,4]. Liu 등은 추출된 특징점들로부터 얻어진 3차원 카메라 모델의 파라미터 특성과 이미지 워핑을 활용한 동영상 안정화 알고리즘을 개발하였다[6].

특징점 기반의 동영상 안정화 기법과는 다르게 모션 분석 기반의 동영상 안정화 기법은 옵티컬 플로우(optical flow)와 같은 밀집된 모션 추출 알고리즘을 통해 영상 전체에 나타나는 모션을 분석하여 동영상 안정화를 수행하고 있다. 대표적으로 Matsushi 등은 연속된 두 프레임 사이의 기하학적 변환 파라미터로부터 추정된 전역 모션 정보를 활용하여 영상의 안정화를 수행하고, 특정한 국소 영역 간의 추정된 모션 정보를 지역적 모션으로 가정하여 소실된 영상 정보를 복원(inpainting)하는 두 단계로 이루어진 풀 프레임 동영상 안정화 기법을 제안하였다[7]. Chang 등은 기울기 기반의 옵티컬 플로우 벡터에 최소 양절 자승법(Least trimmed squares)을 적용한 단순화 된 어파인 모션 모델을 통한 동영상 안정화 기법을 제안하였고[8], Puglisi 등은 사전 필터링 된 옵티컬 플로우 벡터를 메모리 필터와 결합하는 적응형 움직임 벡터 필터링 기법으로 강건한 모션 추정이 가능한 동영상 안정화를 수행하였다[9]. 이 외에도 Litvin 등은 칼만 필터(Kalman filter)를 적용한 모션 데이터로부터 확률적 모션을 분석 및 추정한 후, 정의되지 않은 외부 영역의 재구성을 위해 모자이킹과 이미지 워핑 기법을 결합하는 확률모델 기반 동영상 안정화 기법[10]을 제안하였고, Wang 등은 추출한 특징점에 대해 RKHS(Reproducing Kernel Hilbert Space) 그래프 매칭을 적용하여 연속된 3D 이미지 사이의 카메라 내부 파라미터를 추정하는 풀 프레임 안정화 기법을 제안하였다[12].

이러한 동영상 안정화 기법은 대체로 사람이나 CCTV에 의해 촬영된 전역 모션이 크지 않은 동영상에서의 흔들림 보정에 활용되었다. 그러나 일반적인 상황에서 촬영된 영상에 비해 차량 내/외부에 장착된 카메라에 의해 취득된 영상은 차량 자체의 움직임에 의한 전역 모션의 발생이 빈번히 일어나며, 영상 내부의 특징점이 지속적으로 매우 급격하게 변화하고, 영상 내의 객체가 카메라로 접근하는 줌 현상에 크게 영향을 받는다. 따라서 이러한 문제점들을 해결하고 차량 영상의 모션을 추정 및 보정할 수 있는 알고리즘이 요구된다.

최근에는 운전자 보조 시스템(driver assistance system)의 일환으로 충돌 예방 시스템(collision avoidance system), 차선 이탈 경고 시스템(lane departure warning system), 보행자 보호 시스템(pedestrian protection system) 등의 다양한 차량 영상처리 어플리케이션 연구가 활발히 진행되고 있으며, 차량 내부에 장착된 카메라를 통해 취득한 영상의 활용을 위한 연구가 큰 부분을 차지하고 있다. 이에 차량에 부착된 카메라에서 취득한 영상의 안정화 기법 연구도 활발히 진행되고 있다[13,14,15,19].

Huang 등은 해리스 특징과 SURF-like 기술자를 결합하여 다양한 차량 응용 영상에서의 동영상 안정화 기법을 제안하였고[13], Hsu 등은 해리스 코너 검출기에 의해 검출된 특징점의 대응을 추적한 호모그래피 행렬(homography matrix)의 일관성을 활용하여 움직이는 차량과 무인 항공기에서 취득된 영상의 강건한 안정화 기법을 제안하였다[14].

차량 내부에서 촬영한 동영상의 경우 불규칙한 노면 등으로 발생하는 프레임 간의 불안정성이 영상 정보 추출 시 발생하는 오차에 크게 기여하게 된다. 이러한 문제점을 해결하기 위해 Liang 등은 영상 내에 존재하는 차선으로부터 추출된 소실점을 기반으로 모션을 추정하는 동영상 안정화 기법을 개발하였다[15]. Grisleri 등은 영상 내의 수평선을 검출하고 고정된 관심 영역의 히스토그램을 추출하여 추출된 히스토그램의 컨볼루션 연산을 통해 수평선의 이동 모션을 추정하는 동영상 안정화 기법을 수행하였다[19]. 제안된 기법[15,19]들은 추출된 소실점과 수평선을 사전정보로 활용함으로써 빠른 시간 내에 동영상 안정화를 달성할 수 있는 장점이 있지만, 사전 정보의 추출이 불가능한 노면이나 도로의 경우 알고리즘의 적용이 불가능하다는 한계점을 가지고 있다. 또한 [19] 에서는 수직 투영 히스토그램 매칭을 통해 수직 방향의 이동 모션만을 추출 하므로 수직 이동변환에 대한 보정만 가능하다는 한계점을 가지고 있다.

본 논문에서는 이러한 문제점을 해결하고 차량 영상에서의 강건한 동영상 안정화를 달성하기 위해 영역별 수직 투영 히스토그램 매칭(vertical projection histogram matching)[18,19] 및 선형 회귀모델(linear regression model) 기반의 동영상 안정화 기법을 제안하였다. 본 논문의 독창성은 다음과 같다. 첫째로, 제안하는 기법은 기존의 방법과는 다르게 사전정보를 요구하지 않으며 빠른 시간 내에 프레임 간 이동 모션을 추정할 수 있다. 둘째로, 수직 방향의 이동 변환과 회전 변환을 동시에 고려한 복합적인 모션을 근사해 낼 수 있다.

본 연구에서는 Grisleri 등의 연구 [19]와 같이 수직 투영 히스토그램 추출 및 매칭 기법을 사용하나 이를 영상의 나눠진 영역별로 적용하였으며, 추출된 수직 이동 변환 벡터에 대한 선형 회귀모델 추정을 기반으로 수직이동 및 회전 변환 파라미터를 추출하였고, 노이즈에 강건한 동영상 안정화를 달성하기 위해 모션 필터링 및 모션 보정을 수행하였다. Fig. 1은 제안된 동영상 안정화 기법의 흐름도를 나타내고 있으며 제안하는 알고리즘은 크게 영역별 모션을 측정하는 1단계와 선형회귀 모델 기반의 모션 추정 및 보정의 2단계로 구성되어있다.

그림 1.제안된 동영상 안정화 기법의 흐름도 Fig. 1. A flow chart of the proposed video stabilization algorithm

본 논문의 구성은 다음과 같다. 2 절에서는 영역별 수직 투영 히스토그램 추출 및 매칭을 통한 특징 추출 기법을 소개하며, 3 절에서는 모션 필터링을 통한 모션 분류, 분류된 특징으로부터 선형 회귀 모델을 활용한 모션 파라미터 추출 및 모션 보정 기법을 서술한다. 4 절에서는 본 제안한 기법의 성능을 실험을 통해서 검증하고, 마지막으로 5 절에서는 본 논문에 대한 결론을 맺는다.

 

Ⅱ. 영역별 수직 투영 히스토그램 매칭

불규칙한 노면에서 촬영된 차량 영상의 경우 수직 방향의 이동(translation)변환과 차량 축을 중심으로 발생하는 회전(rotation)변환을 동시에 고려해야 한다. 일반적으로 차량 영상에서 수평 이동변환의 경우, 영상의 흔들림 보다는 차량의 이동에 의해 발생하기 때문에 수직 방향의 이동 변환만을 고려하였다. 이를 위해 제안된 알고리즘에서는 영상 전체에서의 수직 히스토그램 매칭이 아닌 영역별 수직 투영 히스토그램 매칭을 수행하고, 영역별 수직 투영 히스토그램 매칭을 통해 각 영역에서 얻어지는 수직 이동 변환 벡터를 추출하였다. 2.1 절에서는 수직 투영 히스토그램 매칭 기반의 이동 변환 벡터 추출을 위한 전처리 과정 및 영역 설정에 대해 서술하고, 2.2 절에서는 영역별 수직 투영 히스토그램 추출 및 매칭 기법을 서술한다.

1. 전처리 및 영역 설정

영역별 수직 투영 히스토그램 매칭을 위한 전처리 과정으로 본 연구에서는 너비 m, 높이 n의 입력 프레임(Fig. 2. a) f ∈ℝm × n에 대하여 컬러 공간 변환 및 이진화(binarization)를 수행하였다. 컬러 공간 변환으로는 흑백 변환, 독립된 R, G, B 컬러 채널 총 4가지 변환을 적용하였고(Fig. 2. b, c, d, e), 이진화 변환으로는 DoG(Difference of Gaussian), Sobel, Adaptive thresholding[20], 총 3가지 변환을 적용하였다(Fig. 2. f, g, h). 각 전처리 과정 수행 이후 강건한 수직 방향 이동 변환 벡터 추정을 위해 영역별 수직 히스토그램 추출을 통한 매칭을 수행하였다. 이 때 영상 내 영역의 수 r은 2, 4, 10, 16, 20, 32, 40으로 설정하였다.

그림 2.입력 영상에 대한 전처리 결과. a. 입력 영상 b-e. 컬러 모델 기반의 전처리 결과, f-h. 이진화 기반의 전처리 결과 Fig. 2. Preprocessing result of input image. a. an input image, b-e. preprocessing result based on color model, f-h. preprocessing result based on binarization

2. 수직 투영 히스토그램 추출 및 매칭

입력 영상에 대한 전처리 수행 이후 영상을 r개의 영역으로 나누고 모든 수직 방향의 픽셀 위치에 대한 영역별 수직 히스토그램 H을 추출한다. 입력 동영상 내에 존재하는 s번째 프레임 fs와 s + 1번째 프레임 fs+1에 대해서 전처리 적용 이후 추출된 영역별 수직 투영 히스토그램은 다음과 같이 정의된다.

수직 히스토그램 H(s,j)는 프레임 fs의 j번째 영역에서 추출된 히스토그램을 의미하며, 영상 높이에 해당하는 빈도수 n을 가진다. Fig. 3은 전처리 과정 수행 이후 영역의 분할, 영역별 수직 투영 히스토그램 추출 결과를 나타내고 있다(r = 4).

그림 3.전처리 및 영역 분할, 영역별 히스토그램 추출 결과 (r = 4) Fig. 3. Result of preprocessing, region division and extraction of vertical projection histogram at each sub region (r = 4)

i번째 전처리 과정 수행 이후 j번째 영역에서의 수직 방향 이동 변환 값 vij를 추출하기 위한 가정으로, 임의의 연속된 두 프레임 fs와 fs+1의 수직 방향의 이동 크기는 동일 위치의 영역별 히스토그램 간 최소 오차값을 갖는다고 가정하였다. j번째 영역에서 수직 히스토그램 H(s,j)와 H(s+1,j) 간의 최소 SAD(Sum of Absolute Differences) 값으로 영역 간 수직 방향 이동 값을 추출하였다. 30f/s의 인코딩 비율을 갖는 연속된 두 프레임 사이의 수직 이동 변환값은 실질적으로 20픽셀 이상을 나타내기 어려우므로, SAD 최소값 추출을 위한 히스토그램의 상한 및 하한을 20픽셀로 지정하였으며, 추출 공식은 다음을 따른다.

이때 h(j,k)는 j번째 영역에서 k번째 픽셀 위치에 해당하는 수직 히스토그램의 빈도수를 의미한다.

 

Ⅲ. 모션 파라미터 추출 및 모션 보정

영상에서의 움직임은 전역 모션과 지역 모션으로 구분되며, 영역별 수직 투영 히스토그램 매칭에 의해 추출된 수직 이동 변환 값은 영역 내에서 발생한 지역적 모션을 반영한다. 차량 주행 영상의 경우 차량 자체의 특정한 움직임에 의해 발생하는 전역 모션과 영상의 흔들림에 의해 발생하는 전역 모션이 존재한다. 제안된 알고리즘에서는 영상의 흔들림에 의해 발생하는 전역 모션을 분류하기 위한 모션필터를 제안하고, 필터링 된 모션에 선형 회귀모델을 적용하여 영상에 발생한 모션 파라미터를 추출한 후, 모션 보정을 통한 영상 안정화를 수행하였다. 3.1 절에서는 영상의 흔들림에 의해 발생하는 전역 모션을 분류하기 위한 모션 필터링에 대해 서술하고, 3.2 절에서는 선형 회귀모델을 기반으로 한 모션 파라미터 추출에 대해 서술하며, 3.3 절에서는 최종 추출된 모션 파라미터를 적용한 모션 보정에 대해 서술한다.

1. 수직이동 변환 벡터의 유효성 검증

2절에서 서술한 것과 같이 본 논문에서는 s번째 프레임 fs에 대해 p개의 전처리 과정을 수행한 후, r개의 영역으로 영상을 나눠 영역별 수직 투영 히스토그램 매칭을 수행하였다. 이 때, i번째 전처리 과정을 수행한 후 r개의 영역에서 추출된 수직이동 벡터 vi = [vi1, vi2, ⋯, vir]T 라 하면, 각 프레임에 대해 p개의 전처리 과정을 수행하였을 때 임의의 j번째 영역에서 p개의 수직 방향 이동 변환 벡터가 추출된다.

임의의 j번째 영역에서 추출된 수직 이동 변환 값의 유효성을 검증하기 위해서 j번째 영역에서 모션이 존재하는 이동 변환 값 vij의 개수가 임의의 임계값(threshold) mp보다 큰 경우 j번째 영역에서의 모션이 유효하다고 가정한다. 또한 한 프레임 내에서 유효한 영역 모션의 개수가 임의의 임계값(threshold) mr보다 큰 경우 해당 프레임에서의 선형 근사함수가 유효하다고 가정한다. x=n+fl일때, 반올림 함수 에 의한 임계값 라 하면, 수직 이동 변환 벡터의 유효성 검증은 알고리즘 1을 따른다.

Algorithm 1Motion filtering

2. 선형 회귀모델 기반의 모션 파라미터 추출

2절에서 서술한 것과 같이 i번째 전처리가 적용된 s번째 프레임 fs에 대하여 r개의 영역별 수직 투영 히스토그램 매칭을 수행하였을 때, 총 r의 크기를 갖는 수직 이동 벡터 vi = [vi1, vi2, ⋯, vir]T, vi ∈ℝ1 × r를 추출하게 된다. 임의의 프레임에 대해 총 p개의 전처리 과정을 적용했을 때, 각 전처리 과정에서 추출된 수직 이동 벡터를 요소로 갖는 벡터 y= [v1, v2, ⋯ , vp]T 이고, y∈ℝ1 × rp 를 만족한다. 프레임 간 수직 또는 회전 이동 변환이 나타났을 때, 이상적인 경우 영상 전체에서 추출된 수직 이동 벡터 y의 요소 값들은 선형 관계를 갖게 된다. y의 요소 값들을 특징 벡터로 한 선형 회귀모델로부터 얻어진 근사 함수는 수직 이동 변환과 회전 이동 변환에 대한 복합적인 모션 변환 파라미터를 나타내게 된다.

선형 회귀모델 구축을 위한 근사함수는 알려진 OLS(Ordinary Least Square) 근사 공식을 따르며 추출된 특징 벡터 y를 활용한 대수적 해법은 다음과 같다.

i번째 전처리를 적용하였을 때, 행렬 Xi ∈ℝ2 × r는 나눠진 영역의 픽셀 위치 값을 요소로 가지며, vi는 추출된 각 영역의 수직 이동 변환 값을 요소로 갖는 벡터이다. 총 p개의 전처리를 적용했을 때, 추출된 모든 행렬 Xi를 요소로 갖는 행렬 Q = [X1, ⋯ ,Xp]T 는 Q ∈ℝ2 × rp만족하게 되고, 추출된 모든 벡터 vi를 요소로 갖는 y= [v1, v2, ⋯ , vp]T 이며 y∈ℝ1 × rp를 만족한다. β는 근사된 선형 회귀모델의 계수 값을 요소로 갖는 벡터이며, β0과 β1은 각각 수직 이동 변환과 회전 변환을 근사하기 위한 파라미터로 활용된다.

Fig. 4는 r = 32인 경우 영역별 수직 투영 히스토그램 매칭 이후 얻어진 수직 이동 벡터 y와 그에 따른 선형 회귀 모델에 근거한 근사 함수의 예시를 나타내고 있다. 시각화된 기호(symbol)는 서로 다른 7가지 전처리 방법을 적용하여 각 영역에서 추출된 수직 이동 값이며, 추출된 수직 이동 값을 기반으로 (3)의 OLS 근사 공식에 의해 선형 근사 함수를 추정하여 시각화 하였다. 식 (3)으로 근사된 변환 파라미터 β0과 β1을 활용하여 입력 동영상의 모든 프레임 간의 수직 이동 및 회전 변환 정보를 추출할 수 있으며, 연속된 입력 동영상의 안정화를 달성할 수 있다. Fig. 5는 시간 영역 상에서 연속적인 15프레임에 대해 추출된 영역별 수직 이동 변환 값과 추출된 수직 이동 변환 값을 기반으로 선형회귀 모델을 적용하여 얻어진 근사함수를 나타내고 있다.

그림 4.제안된 7가지 전처리 과정 적용 후 추출된 영역별 수직 이동 변환 값과 그에 따른 선형회귀 모델 (r=32). a. 이동 없음 b. 수직이동변환 c. 수직이동 및 회전이동변환 Fig. 4. Linear regression model based on estimated regional vertical translation values after performing seven kinds of preprocessing (r=32). a. non-motion b. vertical translation motion c. vertical translation and rotation motion

그림 5.연속된 15프레임에서 추출된 선형회귀 모델의 3차원 시각화. 추출된 수직 이동 변환 값은 파란색 점으로, 선형회귀 모델에 의해 추정된 근사 함수는 빨간색 직선으로 시각화 a. r=10, b. r=16, c. r=32 Fig. 5. 3-D visualization of a linear regression model extracted from continuous 15 frames. Extracted vertical translation values are visualized by blue point and approximation function estimated by linear regression model is visualized by red line a. r=10, b. r=16, c. r=32

입력 동영상의 안정화를 위해서는 두 프레임 사이에서 추출된 모션 파라미터 뿐 아니라 전체 시간 영역 상에서 연속적으로 발생하는 누적 모션을 고려해야만 한다. s번째 프레임과 s + 1번째 프레임에 대한 안정화를 달성하기 위해 최종적으로 시간 영역 상에서 누적된 모션 파라미터 를 사용하였다.

3. 모션 복원

차량 주행 영상의 경우 임의의 노면을 따라 주행하기 때문에 특정 모션이 일정한 방향으로 발생하더라도 그에 대한 역 방향으로의 모션이 발생하지 않는다. 또한 영역별 수직 이동 벡터 추출 시 영상에 기대하지 않은 급격한 화면 전환이나 인코딩 잡음 등의 노이즈가 발생할 경우 모션 보정에 반영되어 누적되는 경향이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 임계값 ma 이상의 연속된 프레임에서 모션이 연속적으로 발생하지 않는 경우, 누적된 모션 파라미터를 순차적으로 역보정 하는 기법을 적용하였다. 모션이 발생하지 않은 연속적인 프레임의 누적 수를 a라 할 때, 누적된 모션 파라미터 Bi의 역보정 알고리즘은 알고리즘 2와 같다.

Algorithm 2Motion compensation

 

Ⅳ. 실험결과

본 연구에서는 모션 파라미터 추출에 강건한 파라미터 최적화를 위해 흑백변환, 독립된 R, G, B 컬러채널로의 4가지 컬러 공간 변환과 DoG (Difference of Gaussian), Sobel, Adaptive thresholding 의 3가지 이진화 변환으로 총 7가지 전처리 변환을 적용하였고, 영상 내 프레임의 영역 수 r을 다양한 크기(2, 4, 10, 16, 20, 32, 40) 에서 실험하였다.

모션 파라미터에 대한 유의미한 통계적 분석을 수행하기 위해 모든 특징 및 영역의 크기에서 추출한 모션 파라미터로 행렬 B ∈ℝ7 × 7를 구성한다. 행렬 B의 i번째 행, j번째 열의 요소 Bij = [β0, β1]T는 i번째 특징 추출 기법과 j번째 영역의 크기 설정으로부터 추출된 모션 파라미터를 의미하며, 이때 모션 파라미터의 통계적 파라미터를 다음과 같이 추출하였다.

강건한 모션 파라미터 추출을 위한 특징 선별 및 영역 크기 설정을 위해 부등식 조건 μ-σ ≤ Bij≤ μ+σ 을 지정하여 전처리 변환 방법과 영역 크기에 따른 안정도를 통계적으로 분석 하였다. Fig. 6에서는 10개 프레임에서 주어진 부등식 조건에 따라 추출된 통계량의 예시를 나타내고 있다.

그림 6.연속된 10프레임에서 추출한 모션 파라미터 β0와 β1의 평균 μ와 표준편차 σ의 통계량 추출 및 상한 μ+σ, 하한 μ-σ 분석 결과 Fig. 6. Statistics extraction of mean μ and standard deviation σ of motion parameter β0 and β1 extracted from continuous 10 frames and upper bound μ+σ and lower bound μ-σ analysis result

최종적인 전처리 기법과 영역의 크기 선별을 위해 입력 동영상 내의 연속적인 프레임 [f1,f2, ⋯ , fs]에서 추출된 모션 파라미터 Bij에 대한 부등식 조건 μ-σ ≤ Bij≤ μ+σ을 만족하는 히스토그램을 추출한다. 이때 각 조합에서의 누적 값이 높을수록 해당 분석방법의 모션 파라미터가 확률적으로 잘 근사되었음을 의미한다. Fig. 7은 총 49개의 모션 파라미터 추출 결과에 대해 부등식 조건을 만족하는 프레임수를 누적한 히스토그램을 나타내고 있다. 히스토그램 분석 결과에 따라 효과적인 전처리 기법으로는 gray scale 및 R, G, B 채널과 DoG(Difference of Gaussian)를 선택하였고, 최적화된 영역의 크기 r은 16으로 설정하였다.

그림 7.연속된 300프레임에서 i번째 전처리 및 j번째 영역별 크기에 따른 모션 파라미터 Bij = [β0, β1]에 대해 부등식 조건 μ-σ ≤ Bij≤ μ+σ을 만족하는 프레임 수를 누적한 히스토그램 Fig. 7. Histogram of number of frame satisfying the inequality μ-σ ≤ Bij≤ μ+σ of motion parameter Bij = [β0, β1], extracted by ith preprocessing and jth region size from continuous 300 frames

선별된 전처리 기법과 최적화된 영역의 크기를 적용하여 수직 투영 히스토그램 추출 및 매칭을 수행하고, 추출된 수직 이동 모션을 기반으로 선형 회귀모델 기반의 모션 파라미터를 추출하였다. Fig. 8은 추출된 영역별 모션 파라미터의 시각화 예시를 나타내고 있다.

그림 8.추출된 수직이동 벡터의 시각화 (p=5, r=16), 영역 내 왼쪽에서 오른쪽으로 gray-scale, R, G, B 채널, DoG 적용 후 추출된 수직이동 벡터 Fig. 8. Visualization of vertical translation motion vector (p=5, r=16). From left to right in a region, vertical translation motion vector extracted by gray-scale, R, G, B channel, DoG

모션이 발생하지 않은 프레임 누적 수의 임계값 ma을 5로 지정하여, 5 프레임 이상 모션이 발생하지 않은 경우, 순차적으로 모션 복원을 수행하였다(Algorithm 1,2). Fig. 9는 선별된 전처리 기법 gray scale, R, G, B 채널, DoG (Difference of Gaussian), 최적화된 크기의 영역 r = 16, 프레임 누적 수의 임계값 ma = 5의 조건에서 제안된 알고리즘을 통해 임의의 차량 영상을 보정한 예이다.

그림 9.제안된 알고리즘에 의한 동영상 안정화 결과 (p = 5, r = 16, ma = 5). a. 동영상 안정화 전, b. 동영상 안정화 후 Fig. 9. Result of video stabilization by proposed algorithm (p = 5, r = 16, ma = 5). a. before video stabilization, b. after video stabilization

흑백 변환 전처리 기법, 영역의 크기 r = 16, 프레임 누적 수의 임계값 ma = 5를 적용한 Intel(R) Core(TM)2 Quad CPU Q9400 @ 2.66Ghz의 수행 환경에서 제안 알고리즘의 영상 해상도에 따른 수행시간의 측정 결과는 표 1과 같다.

표 1.제안 동영상 안정화 기법의 해상도에 따른 수행 시간 측정 결과 Table 1. Execution time measurement result of the proposed video stabilization algorithm

너비 m, 높이 n의 입력 프레임 f에 대하여 p개의 전처리 과정을 적용하고, r개의 영역으로 분할하였을 때, 각 프레임에 대해 제안된 동영상 안정화 기법의 복잡도 분석은 표 2와 같고, 이 때 영상의 전체 프레임 수를 l라 하면, 모션 보정의 최악 수행 시간은 O(l) 이다.

표 2.제안 동영상 안정화 기법의 복잡도 분석 Table 2. Complexity analysis of the proposed video stabilization algorithm

 

Ⅴ. 결 론

본 논문에서는 차량 영상에 대한 영역별 수직 투영 히스토그램 매칭과 선형 회귀모델 기반의 동영상 안정화 기법을 제안하였다. 제안하는 기법은 프레임 간 모션 추정에 있어 다른 사전정보를 요구하지 않으며, 빠른 시간 내에 강건한 모션 파라미터를 추정할 수 있다는 장점이 있다. 또한 수직 투영 히스토그램 매칭을 수행할 수 있는 다양한 전처리 알고리즘 적용에 대한 실험으로, 히스토그램 매칭 수행시 상대적으로 강건한 특징 추출 기법 선별에 대한 실험결과를 도출하였다. 또한 선형 회귀모델을 활용한 모션 파라미터 추출을 통해 동영상 안정화를 수행하였으며, 다양한 주행환경에서의 동영상 안정화 수행을 통해 제안하는 기법의 효용성을 검증하였다. 제안하는 알고리즘의 확장을 위해 강건한 모션 파라미터 추출을 위한 잔차 분석(outlier analysis) 수행 및 영상 복원(image inpainting) 기법이 적용된 풀 프레임 동영상 안정화 등을 적용할 수 있을 것으로 기대된다.