An Efficient Dead Pixel Detection Algorithm Implementation for CMOS Image Sensor

CMOS 이미지 센서에서의 효율적인 불량화소 검출을 위한 알고리듬 및 하드웨어 설계

  • An, Jee-Hoon (Dept. Electrical and Electronic Eng. Yonsei Univ.) ;
  • Shin, Seung-Gi (Dept. Electrical and Electronic Eng. Yonsei Univ.) ;
  • Lee, Won-Jae (Dept. Electrical and Electronic Eng. Yonsei Univ.) ;
  • Kim, Jae-Seok (Dept. Electrical and Electronic Eng. Yonsei Univ.)
  • 안지훈 (연세대학교 전기전자공학과) ;
  • 신성기 (연세대학교 전기전자공학과) ;
  • 이원재 (연세대학교 전기전자공학과) ;
  • 김재석 (연세대학교 전기전자공학과)
  • Published : 2007.04.25

Abstract

This paper proposes a defective pixel detection algorithm and its hardware structure for CCD/CMOS image sensor. In previous algorithms, the characteristics of image have not been considered. Also, some algorithms need quite a time to detect defective pixels. In order to make up for those disadvantages, the proposed defective pixel detection method detects defective pixels efficiently by considering the edges in the image and verifies them using several frames while checking scene-changes. Whenever scene-change is occurred, potentially defective pixels are checked and confirmed whether it is defective or not. Test results showed that the correct detection rate in a frame was increased 6% and the defective pixel verification time was decreased 60%. The proposed algorithm was implemented with verilog HDL. The edge indicator in color interpolation block was reused. Total logic gate count was 5.4k using 0.25um CMOS standard cell library.

본 논문에서는 이미지 센서에서 불량 화소를 자동으로 검출하기 위한 알고리듬을 제안하고, 그에 따른 하드웨어 구조를 제시하였다. 기존에 제안된 방법은 영상의 특징을 고려하지 않고 단순히 주위 화소들 값과의 차이가 일정 이상이면 불량 화소로 간주하였다. 그러나 이러한 방식은 영상에 따라서 불량 화소가 아닌 화소를 불량 화소로 간주하거나, 불량 화소를 정상 화소로 판단하는 일이 발생한다. 이러한 단점을 보완하기 위해 여러 프레임에 걸쳐 확인하는 방법도 제안되었으나, 불량 화소 검출시간이 오래 걸리는 단점이 있다. 이러한 기존 방식의 단점을 해결하기 위해, 제안된 불량 화소 검출 기법은 단일화면 내에서는 경계 영역을 고려하여 불량 화소를 검출하고, 여러 프레임에 걸친 확인 과정을 거치되, 화면 전환 여부를 확인하여 화면 전환이 일어날 때마다 검출된 화소의 불량 화소 여부를 판단하고 확인한다. 실험 결과, 단일 화면 내에서의 검출률은 기존 대비 6% 향상되었고, 100%의 불량화소 검출까지 걸리는 시간은 평균적으로 3배 이상 단축되었다. 본 논문에서 제안된 알고리듬은 하드웨어로 구현되었고, 하드웨어 구현 시 색 보간 블록에서 사용되는 경계 영역 표시자를 그대로 활용함으로써 0.25um 표준 셀 라이브러리를 이용하여 합성했을 때, 5.4K gate의 낮은 복잡도로 구현할 수 있었다.

Keywords

References

  1. J. Adams, K. Parulski and K. Spaulding, Eastman Kodak Company, 'Color Processing in Digital Cameras', IEEE MICRO, pp.20-30, Nov. 1998 https://doi.org/10.1109/40.743681
  2. E. R. Fossum, 'Digital Camera System on a chip', IEEE MICRO MAY- JUNE 1998 https://doi.org/10.1109/40.683047
  3. Weerasinghe C., Wanqing Li, Kharitonenko I., Nilsson M. and Twelves S., 'Novel Color Processing Architecture For Digital Cameras With CMOS Image Sensors', IEEE Transactions on Consumer Electronics Volume 51, No. 4, Nov. 2005 P:1092-1098 https://doi.org/10.1109/TCE.2005.1561829
  4. 박선호, '컬러CCD의 구동회로부터 영상처리보드 설계까지 CCD 카메라와 영상처리 회로설계', 국제테크노 정보 연구소 (International Technology Information Institute), 2003
  5. A. Kumar Garg S. S. Negi, S. Sarkar R. P. Agarwal, 'Design and Development of a High-Performance Third-Generation Hand-Held Thermal Camera', Optical Engineering 459, 096401 September 2006 https://doi.org/10.1117/1.2354039
  6. 민동욱, 서보홍 '불량화소 검출 및 복원이 가능한 카메라폰 및 그 방법(Camera-Phone For Detecting And Restoring Dead Pixel and Method Thereof)', 공개특허 10-2005-0098704, 2005
  7. R. Zhou, X. Chen, F. Liu, J. He, T. Liao, Y. Su, J. Ye, Y. Qin, X. Yi and Z. Hong, 'System-on-chip for Mega-Pixel Digital Camera Processor with Auto Control Functions', ASIC, 2003. Proceedings. 5th International Conference on Volume 2, 21-24 Oct. 2003 Page(s):894 ? 897 Vol.2
  8. 전성천, '이미지 센서에서의 실시간 불량화소 검출 및 보정을 위한 장치(Apparatus For Real-Time Detecting And Correcting Defect Pixels In Image Sensor)', 등록특허 10-0362178
  9. J. M. Lopez-Alonso and J. Alda, 'Bad Pixel Identification By Means Of Principal Components Analysis,' Optical Engineering, Vol. 41, No. 9, pp. 2152-2157, September 2002 https://doi.org/10.1117/1.1497397
  10. C. N. Sabbey, R. G. McMahon, J. R. Levis, and M. J. Irwin, 'Infrared Imaging Data Reduction Software and Techniques,' in Astronomical Data Analysis Software and Systems X, ASP Conference Series, Vol. 238, pp.317-320 (2001)
  11. R. S. Hill, W. B. Landsman, D. Lindler, and R. Shaw, 'Cosmic Ray and Hot Pixel Removal from STIS CCD Images,' in Proc. HST Calibration Workshop, S. Casertano et al., Eds, pp. 120-125, Space Telescope Science Institute (1997)
  12. 안지훈, 이원재, 김재석, '효율적인 불량화소 검출 알고리듬 및 하드웨어 구현', 대한전자공학회 논문지 제43권 SD편 제9호, pp.38-43, 2006