The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A CMOS Digital Image Sensor with a Feature-Driven Attention Module

특징기반 주의 모듈을 사용하는 CMOS 디지털 이미지 센서

  • 박민철 (한국과학기술연구원 시스템연구부) ;
  • 최경주 (충북대학교 전기전자컴퓨터공학부) ;
  • Published : 2008.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, a CMOS digital image sensor, which consists of A/D conversion, motion estimation circuits, and an attention module for ROI (Region of Interest) detection is presented. The functions of A/D conversion and motion estimation are implemented by $0.6{\mu}m$ CMOS processing circuit as hardware, and the attention module is implemented outside the circuit as software currently. Attention modules are taken to improve limited applications of the smart image sensor. The current smart image sensor responses to the changes of intensity, and uses the integration time to estimate motion. Therefore it is limited in its applications. To make up for inherent property of the sensor from circuit design and extend its applications we decide to introduce perception solutions to the image sensor. Attention modules for still and moving images are employed to achieve such purposes. The suggested approach makes the smart image sensor available with additional functions for such cases that motion estimation or intensity changes are not observed. Experimental result shows the usefulness and extension of the image sensor.

본 논문에서는 A/D 변환기, 모션 예측 회로와 ROI(Region of Interest) 탐지를 위한 주의 모듈로 구성된 CMOS 디지털 이미지 센서를 소개한다. 현재 논문에서 제시하고 있는 이미지 센서의 A/D 변환기와 모션 예측 기능은 하드웨어인 $0.6{\mu}m$의 CMOS 프로세싱 회로(processing circuit)로 구현되어 있으며, ROI 탐지는 주의 모듈로서 소프트웨어로 구현되어 있다. 현재의 이미지 센서는 명암도의 변화에 반응하며, 모션을 예측하기 위해 시간정보를 사용하기 때문에 이미지 센서의 응용분야는 한정되어 있다. 센서라는 본래의 특징을 가지게 하면서 이의 응용분야를 확장하기 위하여 정지영상 및 동영상을 위한 특징기반 주의 모듈을 사용하여 이미지 센서에 인지기능을 부여하고자 한다. 이러한 접근법을 통해 이미지 센서는 모션이 예측되지 않다거나 명암도 변화가 감지되지 않을 경우에도 부가적인 기능을 할 수 있다. 실험결과를 통해 현재 구현된 이미지 센서의 효율성 및 다양한 분야로의 확장가능성을 확인할 수 있었다.

Keywords

References

  1. T. Hamamoto, T. Wakamatsu, N. Inokihara, and K. Aizawa, “Column Parallel A/D Conversion on CMOS Image Sensor,” IEEE CCD and AIS 01, pp.165-168, 2001
  2. T. Hamamoto, T. Wakamatsu, and K. Aizawa, “New method of on-sensor A/D conversion”, IEEE ISCAS'01, Vol. IV, pp.818-821, 2001
  3. H. Kitami, N. Inokihara, and T. Hamamoto, “Design of digital smart image sensor with motion estimation function,” Image Media Processing Symposium, I-2.21, pp.73-74, 2002
  4. S. Narisawa, T. Yamaguchi, H. Kitami, N. Inokihara, and T. Hamamoto, “Smart Image Sensor with Motion Estimation Function by Using Hierarchical Block Matching,” ITE Annual Convention 2003, Vol.20, No.6, 2003
  5. J. Kong , S. Kim, J, Shin and M. Lee, “An Artificial Retina Chip Using Switch-Selective Resistive Network for Intelligent Sensor Systems, LNCS 4115, pp.701-710, 2006 https://doi.org/10.1007/11816102_74
  6. S.Kameda, T.Yagi, “An analog VLSI chip emulating sustained and transient response channels of the vertebrate retina,” IEEE Trans. on Neural Networks, Vol.14, No.5, pp.1405-1412, 2003 https://doi.org/10.1109/TNN.2003.816343
  7. Y.Shih, C.Wu, “A new CMOS pixel structure for lowdark-current and large-array-size still imager applications,” Vol.51, pp.2204-2214, 2004 https://doi.org/10.1109/TCSI.2004.835684
  8. 공재성, 서성호, 김상헌, 신장규, 이민호, “수광 회로와 윤곽검출 회로의 분리를 통한 윤곽 검출용 시각칩의 해상도 향상,” 센서학회지, Vol.15, No.2, pp.112-119, 2006 https://doi.org/10.5369/JSST.2006.15.2.112
  9. 신영식 서상호 도미영 신장규 박재현 김훈, “고감도 이미지센서용 실리콘 나노와이어 MOSFET 광 검출기의 제작,” 센서학회지, Vol.15, No.1, pp.1-6, 2006 https://doi.org/10.5369/JSST.2006.15.1.001
  10. 서성호, 김정환, 공재성, 신장규, “픽셀의 고정 패턴 잡음을 감소시킨 윤곽 검출용 시각칩,” 센서학회지, Vol.14, No.3, pp.191-197, 2005 https://doi.org/10.5369/JSST.2005.14.3.191
  11. A. Yarbus, “Eye Movements and Vision,” Premium Press, New York, 1967
  12. J. Tsotsos, S. Culhane, Y. Winky, L. Yuzhong, N. Davis, and F. Nuflo, “Modeling Visual Attention via Selective Tuning,” Artificial Intelligence, Vol.78, pp.507-545, 1995 https://doi.org/10.1016/0004-3702(95)00025-9
  13. L. Itti and C. Koch, “A saliency-based search mechanism for overt and covert shifts of visual attention,” Vision Research, Vol.40, pp.1489-1506, 2000 https://doi.org/10.1016/S0042-6989(99)00163-7
  14. S. Olivier, K. Yasuo, and C. Gordon, “Development of a Biologically Inspired Real-Time Visual Attention System,” Lecture Notes in Computer Science, Vol.1811, pp.150-159, 2000 https://doi.org/10.1007/3-540-45482-9_15
  15. C. Colby, “The neuroanatomy and neurophysiology of attention,” Journal of Child Neurology, Vol.6, pp.90-118, 1991 https://doi.org/10.1177/088307389100600118
  16. K. Cheoi and Y. Lee, “A Feature-driven Attention Module for an Active Vision System,” Lecture Notes in Computer Science, Vol.2449, pp.583-590, 2002 https://doi.org/10.1007/3-540-45783-6_70
  17. 홍혜민, 조진수, 이일병, “깊이정보를 이용한 선택적 주의 처리기법”, 한국컴퓨터종합학술대회 논문집(B), pp.817-819, 2005
  18. 노상수, 박상범, 한영준, 한헌수, “중요도 특징 지도 변화를 이용한 동영상 Visual Attention Model”, 대한전자공학회 2007년도 하계종합학술대회 논문집(반도체/컴퓨터/시스템 및 제어), 제30권 제1호, pp.935-936, 2007
  19. 류광근, 이상훈, 서일홍, “이동로봇의 물체인식을 위한 질의기반 시각 집중 알고리즘,” 전자공학회논문지-SC, 제44권, 제1호, pp.50-58, 2007