Multiple Camera Based Imaging System with Wide-view and High Resolution and Real-time Image Registration Algorithm

다중 카메라 기반 대영역 고해상도 영상획득 시스템과 실시간 영상 정합 알고리즘

  • 이승현 (경북대학교 IT대학 전자공학부) ;
  • 김민영 (경북대학교 IT대학 전자공학부)
  • Received : 2011.12.03
  • Accepted : 2012.06.25
  • Published : 2012.07.25

Abstract

For high speed visual inspection in semiconductor industries, it is essential to acquire two-dimensional images on regions of interests with a large field of view (FOV) and a high resolution simultaneously. In this paper, an imaging system is newly proposed to achieve high quality image in terms of precision and FOV, which is composed of single lens, a beam splitter, two camera sensors, and stereo image grabbing board. For simultaneously acquired object images from two camera sensors, Zhang's camera calibration method is applied to calibrate each camera first of all. Secondly, to find a mathematical mapping function between two images acquired from different view cameras, the matching matrix from multiview camera geometry is calculated based on their image homography. Through the image homography, two images are finally registered to secure a large inspection FOV. Here the inspection system of using multiple images from multiple cameras need very fast processing unit for real-time image matching. For this purpose, parallel processing hardware and software are utilized, such as Compute Unified Device Architecture (CUDA). As a result, we can obtain a matched image from two separated images in real-time. Finally, the acquired homography is evaluated in term of accuracy through a series of experiments, and the obtained results shows the effectiveness of the proposed system and method.

영상 기반 반도체 검사 장비의 검사 고속화와 검사 정확도를 위해, 넓은 FOV와 고해상도를 동시에 가지는 2차원 영상을 획득하는 것은 검사 장비에 필수적이다. 본 논문에서는 정밀도와 FOV 측면에서 양질의 영상 획득을 위한 새로운 영상획득 시스템을 제안하였다. 제안시스템은 하나의 렌즈와 광분할기, 두 개의 카메라 센서, 스테레오 영상획득 보드로 구성되며, 하나의 렌즈를 통해 입력되는 영상을 두 개의 카메라 센서를 통해 동시에 영상 획득한다. 획득된 영상의 정합을 위해, 첫 번째로 Zhang의 카메라 교정 방법을 적용시켜 각각의 카메라를 교정한다. 두 번째로 다른 카메라에서 획득한 두 영상들 사이의 수학적인 정합 함수를 찾기 위해 각 영상의 호모그래피(homography)를 이용하여, 양측 카메라간의 정합 행렬을 계산한다. 영상 호모그래피를 통해서, 획득된 두 영상은 하나의 최종 검사 영상으로의 통합을 위해 최종적으로 정합될 수 있다. 다중 카메라로부터 입력되는 다중 영상들을 활용하는 제안 검사 시스템은 실시간 영상 정합을 위해 매우 빠른 프로세스 유닛의 도움이 필요하다. 이를 위해 CUDA (Compute Unified Device Architecture)기반 병렬 프로세싱 하드웨어 및 소프트웨어를 활용한다. 두 개의 분할된 영상으로부터 실시간으로 정합된 영상을 얻을 수 있었으며, 마지막으로 연속된 실험을 통해 획득한 호모그래피의 정확도를 확인할 수 있다. 실험으로 얻은 결과들은 제안된 시스템과 방법이 대영역 고해상도 검사영상 획득을 위해 효과적임을 보인다.

Keywords

References

  1. 김경수, 이진학, 나종범, "정밀한 다중센서 영상정합을 위한 통계적 상관성의 증대기법", 전자공학회논문지, 제 42권, 제 4호, 1-12쪽, 2005년 7월
  2. 정용한, 박은수, 김학일, 허욱열, "Planeconverging Belief Propagation을 이용한 고속 스테레오 매칭", 전자공학회 논문지, 제 48권, 제 2호, 88-75쪽, 2011년 3월
  3. Z. Zhang, "A flexible new technique for camera calibration," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, 2000. https://doi.org/10.1109/34.888718
  4. 최학남, 박은수, 김준철, 정용한, 김학일, "GPU를 이용한 고속 영상 보간법 개발," KIEE 2008 CICS 정보 및 제어 학술대회 논문집, pp. 300-301, 2008년 10월
  5. 김성수, 김동헌, 우상규, 임인성, "최적화된 CUDA 소프트웨어 제작을 위한 프로그래밍 기법 분석," 정보과학회논문지 : 컴퓨팅의 실제 및 레터, 제16권, 제7호, pp. 775-787, 2010년 7월.
  6. NVIDIA, NVIDIA CUDA C Best Practices Guide 3.2, 2010.
  7. NVIDIA, NVIDIA CUDA C Programming Guide 3.2, 2010.
  8. R. Chandra et al., Parallel programming in OpenMP, Morgan Kaufmann Publishers, 2000.
  9. R. C. Gonzalez, R. E. Woods and S. L. Eddins, Digital Image Processing Using MATLAB, Gatesmark Publishing, 2009.