에지 기반 가변 가중치 벡터 중앙값 필터를 이용한 움직임 벡터 처리

The Edge-Based Motion Vector Processing Based on Variable Weighted Vector Median Filter

  • 박주현 (전남대학교 전자컴퓨터공학부) ;
  • 김영철 (전남대학교 전자컴퓨터공학부) ;
  • 홍성훈 (전남대학교 전자컴퓨터공학부)
  • 투고 : 2010.04.30
  • 심사 : 2010.10.26
  • 발행 : 2010.11.30

초록

DTV Full HD급이 보편화되면서 LCD(Liquid Crystal Display)의 잔상효과 제거와 격동적인 화면에서의 고화질 구현을 위해 수신 단에서 후처리 과정으로 움직임 보상 기반 프레임 보간(MCFI)이 사용되고 있다. MCFI는 움직임 정보를 이용하여 삽입될 화면을 보간하는데 이러한 움직임 정보를 후처리 없이 바로 사용하는 건 많은 열화 현상 및 보간 된 물체의 구조 변형 결과를 초래한다. 이에 본 논문에서는 움직임 벡터 후처리 가법으로서 에지 방향 정보기반 가변 가중치 벡터 중앙값 필터를 이용하여 움직임 벡터 처리 기법을 제안한다. 제안한 움직임 벡터 처리 가법은 먼저 소벨 마스크와 가중치 최대빈도필터를 통해 에지 정보맵을 생성한다. 그리고 $3{\times}3$ 윈도우 내 움직임 벡터들의 중앙값을 구한 후 그 중앙값과 윈도우 내 움직임 벡터들과의 변위 값을 이용하여 이상치(outlier) 움직임 벡터를 제거한다. 마지막으로 에지 정보맵의 에지방향 연속성과 움직임 벡터와의 공간적 상호 연관성을 고려하여 가중치 벡터 중앙값 필터를 적용한다. 실험 결과 PSNR은 "0.5 ~ 1" dB, 유사성 명가 지표인 SSIM은 "0.4 ~ 0.8" %의 성능 향상을 보였다.

Motion Compensated Frame Interpolation(MCFI) has been used to reduce motion jerkiness for dynamic scenes and motion blurriness for LCD-panel display as post processing for high quality display. However, MCFI that directly uses the motion information often suffers from annoying artifacts such as blockiness, ghost effects, and deformed structures. So in this paper, we propose a novel edge-based adaptively weighted vector median filter as post-processing. At first, the proposed method generates an edge direction map through a sobel mask and a weighted maximum frequent filter. And then, outlier MVs are removed by average of angle difference and replaced by a median MV of $3{\times}3$ window. Finally, weighted vector median filter adjusts the weighting values based on edge direction derived from spatial coherence between the edge direction continuity and motion vector. The results show that the performance of PSNR and SSIM are higher up to 0.5 ~ 1 dB and 0.4 ~ 0.8 %, respectively.

키워드

참고문헌

  1. C.K. Wong and O.C. Au, "Fast motion compensated temporal interpolation for video", Proc. SPIE: Visual Communications and Image Processing '95, pp.1108-1118, May 1995.
  2. B.T. Choi, S.H. Lee, "New Frame Rate Up-Conversion Using Bi-directional Motion Estimation", in IEEE Transaction on Consumer Electronics, Vol.46, No.3, 2000.
  3. Ravi Krishnamurthy, J.W. Woods, "Frame Interpolation and Bidirectional Prediction of Video Using Compactly Encoded Optical-Flow Fields and Label Fields", in IEEE Transaction on Circuits and Systems for Video Technology, Vol.9, No.5, 1999.
  4. Taehyeun Ha and S.J. Lee, "Motion Compensated Frame Interpolation by new Block-based Motion Estimation Algorithm", in IEEE Transaction on Consumer Electronics, Vol.5, No.2, 2004.
  5. Ai-Mei Huang, T. Nguyen, " A Multistage Motion Vector Processing Method for Motion Compensated Frame Interpolation", in IEEE Transaction on Image Processing, Vol.7, No.5, 2008.
  6. E J. Astola, P. Haavisto, and Y. Neuvo, "Vector median filters," Proc. IEEE, Vol.78, pp.678- 689, Apr. 1990. https://doi.org/10.1109/5.54807
  7. L. Alparone, M. Barni, F. Bartolini, and V. Cappellini, "Adaptively weighted vector-media n filters for motion-fields smoothing", Proc. ICASSP, Vol.4, pp.2267-2270, May 1996
  8. G. Dane and T. Q. Nguyen, "Motion vector processing for frame rate up conversion", Proc. ICASSP, Vol.3, pp.309-312 May 2004.
  9. Ai-Mei Huang, Truong Nguyen, "Motion vector processing using bidirectional frame difference in motion compensated frame interpolation", Proc. WoWMoM, pp.1-6, Jun. 2008.
  10. Zhou Wang, Alan Conrad Bovik, "Image quality assessment: From error visibility to structural similarity," IEEE Transactions on Image Processing, Vol.13, No.4, pp.600-612, Apr. 2004. https://doi.org/10.1109/TIP.2003.819861
  11. Q.V. Truong, Y.C. Kim "Classification-based motion vector processing for motion compensated frame interpolation using block boundary distortion metirc", Proc. Vol.2, ICCAE, pp 488-491, Feb. 2010.