FPGA Design of a SURF-based Feature Extractor

This paper explains the hardware structure of SURF(Speeded Up Robust Feature) based feature point extractor and its FPGA verification result. SURF algorithm produces novel scale- and rotation-invariant feature point and descriptor which can be used for object recognition, creation of panorama image, 3D Image restoration. But the feature point extraction processing takes approximately 7,200msec for VGA-resolution in embedded environment using ARM11(667Mhz) processor and 128Mbytes DDR memory, hence its real-time operation is not guaranteed. We analyzed integral image memory access pattern which is a key component of SURF algorithm to reduce memory access and memory usage to operate in c real-time. We assure feature extraction that using a Vertex-5 FPGA gives 60frame/sec of VGA image at 100Mhz.

SURF 알고리즘 기반 특징점 추출기의 FPGA 설계

본 논문에서는 특징점 정합을 통한 객체인식, 파노라마 이미지 생성, 3차원 영상 복원 등에 사용될 수 있는 알고리즘 중 대표적인 SURF 알고리즘 기반 특징점 추출기의 하드웨어 구조 설계 및 FPGA 검증 결과에 대해 기술한다. SURF 알고리즘은 크기와 회전변화에 강한 특징점과 서술자를 생성함으로써 객체인식, 파노라마 이미지 생성, 3차원 영상 복원 등에 활용될 수 있다. 하지만 ARMl1(667Mhz) 프로세서와 128Mbytes의 DDR 메모리를 사용하는 임베디드 환경에서 실험결과 VGA($640{\times}480$) 해상도 C영상의 특정점 추출 처리 시약 7,200msec의 시간이 걸려 실시간 동작이 불가능한 것으로 파악되었다. 본 논문에서는 SURF 알고리즘의 핵심 요소인 적분 이미지 메모리 접근 패턴을 분석하여 메모리 접근 횟수와 메모리 사용량을 줄이는 방법을 이용해 실시간 동작이 가능하도록 하드웨어로 설계하였다. 설계된 하드웨어를 Xilinx(社)의 Vertex-5 FPGA 를 이용하여 검증한 결과 l00Mhz 클록에서 VGA 영상의 특징점 추출시 약 60frame/sec로 동작하여 실시간 응용으로 충분함을 알 수 있다.