Development of an Image Processing Algorithm for Paprika Recognition and Coordinate Information Acquisition using Stereo Vision

Purpose of this study was a development of an image processing algorithm to recognize paprika and acquire it's 3D coordinates from stereo images to precisely control an end-effector of a paprika auto harvester. First, H and S threshold was set using HSI histogram analyze for extracting ROI(region of interest) from raw paprika cultivation images. Next, fundamental matrix of a stereo camera system was calculated to process matching between extracted ROI of corresponding images. Epipolar lines were acquired using F matrix, and $11{\times}11$ mask was used to compare pixels on the line. Distance between extracted corresponding points were calibrated using 3D coordinates of a calibration board. Non linear regression analyze was used to prove relation between each pixel disparity of corresponding points and depth(Z). Finally, the program could calculate horizontal(X), vertical(Y) directional coordinates using stereo camera's geometry. Horizontal directional coordinate's average error was 5.3mm, vertical was 18.8mm, depth was 5.4mm. Most of the error was occurred at 400~450mm of depth and distorted regions of image.

스테레오 영상을 이용한 파프리카 인식 및 좌표 정보 획득 영상처리 알고리즘 개발

본 연구에서는 파프리카 수확기 개발의 일환으로 엔드이펙터의 정확한 제어를 위하여 스테레오 영상으로 파프리카를 인식하고 인식된 파프리카의 공간 좌표를 획득하기 위하여 영상처리 알고리즘을 개발하고자 하였다. 먼저, 색상 정보를 이용하여 파프리카 영상을 추출하기 위하여 히스토그램 분석을 수행하였고 결과에 따른 임계값을 설정하였다. 임계값에 의해 추출된 파프리카 영역에 대해 스테레오 대응을 수행하기 위해 실험에 사용된 스테레오 영상의 F 행렬을 구하였고 이를 이용하여 에피폴라 선을 구하여 대응을 수행하였다. 대응을 수행 할 때는 색상 영상을 이용하여 강조 마스크와 컨벌루션을 통해 중심 픽셀과 수직, 수평방향 이웃 픽셀에 가중치를 적용하여 강조한 후 최소 자승 오차를 갖는 점을 대응점으로 추출하였다. 추출 된 대응 점간의 거리를 스테레오 영상의 기하학적인 관계를 이용하여 실제 거리를 계산하였고, 계산된 거리(Z)값을 이용하여 수평(X), 수직(Y) 방향 공간 좌표를 획득하였다. 그 결과 수평 방향 오차 평균 5.3mm, 수직 방향 오차 평균 18.8mm, 거리 오차 평균 5.4mm로 나타났으며, 거리 400~450mm 구간과 영상의 모서리 부분의 왜곡이 발생하는 부분에서 오차가 다른 구간에 비해 크게 나타나는 것을 확인 할 수 있었다.