Region-adaptive Smear Removal Method Using Optical Black Region for CCD Sensors

광학암흑영역을 이용한 CCD 센서의 영역 적응적 스미어 제거 방식

  • Han, Young-Seok (Institute of TMS Information Technology, Yonsei University) ;
  • Song, Ki-Sun (Institute of TMS Information Technology, Yonsei University) ;
  • Kang, Moon-Gi (Institute of TMS Information Technology, Yonsei University)
  • 한영석 (연세대학교 전기전자공학과 TMS 정보기술사업단) ;
  • 송기선 (연세대학교 전기전자공학과 TMS 정보기술사업단) ;
  • 강문기 (연세대학교 전기전자공학과 TMS 정보기술사업단)
  • Received : 2010.03.11
  • Published : 2010.11.25

Abstract

Smear is a phenomenon that occurs when an extremely strong light source appears in the imaging system with CCD sensor. It occurs due to the signal charge transfer of CCD and appears as bright lines of noise emanating vertically (or horizontally) from the light source. For still images, smear can be reduced by using a mechanical shutter or special drive methods, but these techniques cannot be applied to image sequences. In this paper, we propose a smear removal method that can be applied to imaging systems for not only still images but also image sequences. The proposed method uses the optical black region(OBR) which is a group of pixels located in the boundary of CCD imaging sensors. Although the OBR is not exposed to light, it contains smear information caused by the charge transport. First, noise and the smear signal in the OBR is separated, and noise is removed to correctly estimate smear effect. Then, corrected OBR signal is uniformly subtracted to eliminate smear effect. Also, if saturation is occurred, the current pixel is substituted by weighted summation of neighboring pixels to improve the visual degradation. Experimental results show that the proposed algorithm outperforms the conventional methods.

스미어 현상은 CCD 센서의 전하 전달 과정에 기인한다. 정지 영상에서는 기계적 셔터와 같은 하드웨어적인 구조로 이를 제거하지만, 동영상에서는 수행 시간의 제약 등의 문제로 이러한 방식이 적용될 수 없다. 본 논문에서는 신호처리 관점에서 스미어 현상을 제거하여 정지 영상뿐만 아니라 동영상에도 적용이 가능한 스미어 제거 방식을 제안한다. 제안하는 방식은 CCD 센서의 모서리 부분에 존재하는 화소들의 집단인 광학암흑영역(optical black region)을 이용한다. 광학암흑영역은 실제로 빛의 영향을 받지 않아 상이 맺히지 않지만, 스미어가 발생할 경우 전하 전달에 의하여 스미어 신호가 저장된다. 따라서 제안하는 방식은 스미어 신호를 정확하게 추정하기 위해서 광학암흑영역에 발생한 신호로부터 스미어와 잡음에 의한 영향을 구분하고 잡음은 제거하면서 스미어 신호는 유지하는 과정을 선행하며, 이렇게 처리된 광학암흑영역 신호를 영상 전반에 빼주어 스미어 현상을 제거한다. 또한 스미어 현상에 의해 포화가 발생한 경우는 손실된 원 신호의 정보를 주변의 화소 값으로 대체하여 스미어 현상에 의한 시각적 열화를 개선한다. 실험 결과를 통해 제안하는 방법이 기존 방법에 비해 시각적인 면에서 뛰어난 결과를 보임을 확인할 수 있다.

Keywords

References

  1. E. Choi, J. Choi, and M. Kang, "Super-resolution approach to overcome physical limitations of imaging sensors: An overview", International Journal of Imaging Systems and Technology, Wiley, vol. 14, issue 2, pp. 36-46, Aug. 2004. https://doi.org/10.1002/ima.20006
  2. O. Kazuya, "Image pickup device with mechanical shutter for preventing smear", U.S. Patent 5140426, Aug. 1992.
  3. N. Teranishi and Y. Ishihara, "Smear reduction in the interline CCD image sensor", IEEE Trans. Electron Devices, vol. 34, no. 5, pp. 1052-1056, May 1987. https://doi.org/10.1109/T-ED.1987.23043
  4. E. Oda et al., "Blooming suppression mechanism for an interline CCD image sensor with a vertical overflow drain" in IEDM Tech. Dig., pp. 501, 1983.
  5. S. Ohba, M. Nakai, H. Ando, K. Takahashi, M. Masuda, I. Takemoto, and T. Fujita, "Vertical smear noise model for MOS-type color imager", Electron Devices, IEEE Transactions on Vol. 32, ISSUE 8, pp. 1407-1410, Aug, 1985. https://doi.org/10.1109/T-ED.1985.22137
  6. Y. Toshihico and K. Kazuyuki, "Digital camera comprising smear removal function", U.S. Patent 123828, Nov. 2006.
  7. R. C. Gonzalez and R. E. Woods, "Digital image processing - second edition ", Prentice Hall, pp. 119-123, 123-124, 235-237.
  8. D. T. Kuan, A. A. Sawchuk, T. C. Strand, and P. Chavel, "Adaptive noise smoothing filter for images with signal-dependent noise", IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 7, no. 2, p. 165-177, Mar. 1985.
  9. B. E. Bayer, "Color imaging array", U.S. Patent 3971065, Jul. 1976.