Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Hardware optimized high quality image signal processor for single-chip CMOS Image Sensor

Single-chip CMOS Image Sensor를 위한 하드웨어 최적화된 고화질 Image Signal Processor 설계

  • Lee, Won-Jae (Dept. of Electrical and Electronic Eng., Yonsei Univ.) ;
  • Jung, Yun-Ho (Dept. of Electrical and Electronic Eng., Yonsei Univ.) ;
  • Lee, Seong-Joo (Dept. of Information and Communication Eng., Sejong Univ.) ;
  • Kim, Jae-Seok (Dept. of Electrical and Electronic Eng., Yonsei Univ.)
  • 이원재 (연세대학교 전기전자공학과) ;
  • 정윤호 (연세대학교 전기전자공학과) ;
  • 이성주 (세종대학교 정보통신공학과) ;
  • 김재석 (연세대학교 전기전자공학과)
  • Published : 2007.09.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a VLSI architecture of hardware optimized high quality image signal processor for a Single-chip CMOS Image Sensor(CIS). The Single-chip CIS is usually used for mobile applications, so it has to be implemented as small as possible while maintaining the image quality. Several image processing algorithms are used in ISP to improve captured image quality. Among the several image processing blocks, demosaicing and image filter are the core blocks in ISP. These blocks need line memories, but the number of line memories is limited in a low cost Single-chip CIS. In our design, high quality edge-adaptive and cross channel correlation considered demosaicing algorithm is adopted. To minimize the number of required line memories for image filter, we share the line memories using the characteristics of demosaicing algorithm which consider the cross correlation. Based on the proposed method, we can achieve both high quality and low hardware complexity with a small number of line memories. The proposed method was implemented and verified successfully using verilog HDL and FPGA. It was synthesized to gate-level circuits using 0.25um CMOS standard cell library. The total logic gate count is 37K, and seven and half line memories are used.

본 논문에서는 single-chip CMOS Image Sensor(CIS)용 고화질 image signal processor(ISP)에 최적화된 하드웨어 구조를 제안한다. Single-chip CIS는 CIS와 ISP가 하나의 칩으로 구현된 것으로, 다양한 휴대기기에 사용된다. 휴대기기의 특성상, single-chip CIS용 ISP는 고화질이면서도 저전력을 위해 하드웨어 복잡도를 최소화해야 한다. 영상의 품질 향상을 위해서 다양한 영상 처리 블록들이 ISP에 적용되지만, 그 중에 핵심이면서 하드웨어 복잡도가 가장 큰 블록은 컬러 영상을 만들기 위한 색 보간 블록과 영상을 선명하게 하기 위한 화질 개선 필터 블록이다. 이들 블록은 데이터 처리를 위한 로직 외에도 라인 메모리를 필요로 하기 때문에 ISP의 하드웨어 복잡도의 대부분을 차지한다. 기존 ISP에서는 색 보간과 화질 개선 필터를 독립적으로 수행하였기 때문에 많은 수의 라인 메모리가 필요하였다. 따라서 하드웨어 복잡도를 낮추기 위해서는 낮은 성능의 색보간 알고리즘을 적용하거나, 화질 개선 필터를 사용하지 않아야 했다. 본 논문에서는 화질 개선을 위해 경계 적응적이면서 채널간 상관관계를 고려하는 고화질 색 보간 알고리즘을 적용하였다. 또한 채널 간 상관관계를 고려하는 색 보간 알고리즘의 특성을 이용하여 색 보간 블록과 화질 개선 필터 블록이 라인 메모리를 공유하도록 설계함으로써, 전체 라인 메모리 수를 최소화하는 새로운 구조를 제안한다. 제안된 방법을 적용하면 화질 개선 필터 블록을 위한 추가적인 라인 메모리가 불필요하기 때문에, 고화질과 낮은 복잡도 모두를 만족시킬 수 있다. 제안 방식과 기존 방식의 MSE(Mean Square Error)는 0.37로, 메모리 공유로 인한 화질의 저하는 거의 없었고, 고화질 색 보간 알고리즘을 적용했기 때문에 전체적인 화질은 향상되었다. 제안된 ISP 구조는 Verilog HDL 및 FPGA를 이용하여 실시간으로 구현 검증되었다. 0.25um CMOS 표준 셀 라이브러리를 이용하여 합성하였을 때, 총 게이트 수는 37K개였으며 7.5개의 라인 메모리가 사용되었다.

Keywords

References

  1. Bayer, Bryce E., 'Color imaging array,' U.S. Patent 3,971,065
  2. Keys, Robert. G., 'Cubic Convolution Interpolation for Digital Image Processing' IEEE Trans. on Acoustic, Speech and Signal Processing
  3. R. H. Hibbard, 'Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients,' U.S. Patent 5,382,976
  4. J. E. Adams and J.F.Hamilton Jr., 'Adaptive color plane interpolation in single sensor color electronic camera,' U.S.Patent 5,629,734
  5. B. K. Gunturk, Y. Altunbasak and R. M. Mersereau, 'Color plane interpolation using alternating projections,' IEEE Transactions on Image Processing, vol.11, no.9, 2002
  6. 강문기, 김상현, '채널간 상관관계를 고려한 색상 보간 방법', 대한민국 특허, 10-0637272-0000
  7. 이원재, 이성주, 김재석, '화소 간 상관관계를 이용한 CCD/CMOS 이미지 센서용 색 보간 기법 및 VLSI 설계에 관한 연구,' 대한전자공학회 논문지, 제 43권 SD편 11호, pp. 26-36, 2006년 11월
  8. Yun Ho Jung, Jae Seok Kim, Bong Soo Hur, and Moon Gi Kang, 'Design of Real-Time Image Enhancement Preprocessor for CMOS Image sensor,' IEEE Transactions on Consumer Electronics, Vol. 46, No. 1, Feb 2000, pp. 68-75 https://doi.org/10.1109/30.826383
  9. Kim, H., et al,, 'Digital signal processor with efficient RGB interpolation and histogram accumulation,' IEEE Transactions on Consumer Electronics, 1998, 44, pp. 1389-1395 https://doi.org/10.1109/30.735842
  10. Rongzheng Zhou., et al., 'System-on-chip for mega-pixel digital camera processor with auto control functions,' 2003 5th International Conference on ASIC Proceedings, Vol. 2, 21-24, Oct. 2003, pp. 894-897
  11. Shih-Chang Hsia, Ming-Huei Chen, and Po-Shien Tsai, 'VLSI Implementation of Low-Power High-Quality Color Interpolation Processor for CCD Camera,' IEEE Trans. VLSI Systems, Vol. 14, No. 4, pp 361-369, April 2006 https://doi.org/10.1109/TVLSI.2006.874367
  12. D. Doswald, J. Hafliger, P. Blessing, N. Felber, P. Niederer, and W. Fichtner, 'A 30 frames/s Megapixel real-time CMOS image processor,' IEEE J. Solid-State Circuits, Vol. 35, No. 11, pp. 1732-1743, Nov. 2000 https://doi.org/10.1109/4.881221
  13. http://r0k.us/graphics/kodak/