Hardware Design of Super Resolution on Human Faces for Improving Face Recognition Performance of Intelligent Video Surveillance Systems

Recently, the rising demand for intelligent video surveillance system leads to high-performance face recognition systems. The solution for low-resolution images acquired by a long-distance camera is required to overcome the distance limits of the existing face recognition systems. For that reason, this paper proposes a hardware design of an image resolution enhancement algorithm for real-time intelligent video surveillance systems. The algorithm is synthesizing a high-resolution face image from an input low-resolution image, with the help of a large collection of other high-resolution face images, called training set. When we checked the performance of the algorithm at 32bit RISC micro-processor, the entire operation took about 25 sec, which is inappropriate for real-time target applications. Based on the result, we implemented the hardware module and verified it using Xilinx Virtex-4 and ARM9-based embedded processor(S3C2440A). The designed hardware can complete the whole operation within 33 msec, so it can deal with 30 frames per second. We expect that the proposed hardware could be one of the solutions not only for real-time processing at the embedded environment, but also for an easy integration with existing face recognition system.

지능형 영상 보안 시스템의 얼굴 인식 성능 향상을 위한 얼굴 영역 초해상도 하드웨어 설계

최근 카메라를 통해 입력된 영상정보로부터 실시간으로 상황을 인지하고 자율 대응할 수 있는 지능형 영상 보안 시스템의 수요가 증가함에 따라, 고성능의 얼굴 인식 시스템이 요구되고 있다. 기존의 얼굴 인식 시스템의 성능 향상을 위해서는 원거리에서 획득된 저해상도 얼굴 영상 처리를 위한 솔루션이 반드시 필요하다. 따라서 본 논문에서는 실시간 감시가 요구되는 지능형 영상 보안 시스템의 얼굴 인식 성능 향상을 위한 저해상도 얼굴 영상 복원 알고리즘을 하드웨어로 구현하였다. 저해상도 얼굴 영상 복원 방법으로는 학습 기반의 초해상도 알고리즘을 사용한다. 해당 알고리즘은 먼저 고해상도 영상으로 구성된 학습 집합에서 주성분 분석(PCA)을 활용하여 복원에 필요한 사전 정보들을 추출하고, 저해상도 영상과의 관계를 모델링하여 가장 적합한 고해상도 얼굴을 복원해내는 것이다. 저해상도 얼굴 영상 복원 알고리즘을 임베디드 프로세서(S3C2440A)를 사용하여 구현하였을 때, 약 25 초의 긴 연산 시간이 소요되었다. 이는 실시간으로 사람을 판별 및 인식하기 위한 지능형 영상 보안 시스템의 구축에는 어려움이 있다. 이를 해결하기 위하여 얼굴 영역 초해상도의 연산을 하드웨어로 구현하고 Xilinx Virtex-4를 이용하여 검증하였다. 약 9MB의 학습 데이터를 사용하였으며, 100 MHz에서 약 30 fps의 속도로 연산이 가능하다. 이러한 학습 기반의 얼굴 영역 초해상도 알고리즘을 단일 하드웨어 IP로 설계함으로써 임베디드 환경에서의 실시간 처리가 가능할 뿐 만 아니라 기존의 다양한 얼굴 검출 시스템과의 통합이 용이하여 얼굴 인식 솔루션을 제공할 수 있을 것으로 판단된다.