Industrial Bin-Picking Applications Using Active 3D Vision System

능동 3D비전을 이용한 산업용 로봇의 빈-피킹 공정기술

Abstract

The use of robots in automated factories requires accurate bin-picking to ensure that objects are correctly identified and selected. In the case of atypical objects with multiple reflections from their surfaces, this is a challenging task. In this paper, we developed a random 3D bin picking system by integrating the low-cost vision system with the robotics system. The vision system identifies the position and posture of candidate parts, then the robot system validates if one of the candidate parts is pickable; if a part is identified as pickable, then the robot will pick up this part and place it accurately in the right location.

1. 서론

제조기업들의 기계 부품의 생산에 있어서, 소재 부품을 가공기에 공급하기 위하여 단위 공정별로 이송을 위한 소재이송 상자라고 불리는 적재함으로 부터 산적된 부품을 하나씩 꺼내는 공정을 랜덤 피킹이라고 부른다. 이 공정을 인간이 작업할 경우에는 무거운 부품을 하루에 수백 개나 꺼내고 넣어야 하는 단순반복적인 중노동이다. 소재의 단순한 이송 및 적재와 같은 반복 작업은 로봇 기반의 자동화에 의한 노동의 경량화가 요구되고 있다.

본 공정의 로봇 기반 자동화 장치로써 진동 등을 이용해 부품을 정렬시켜 꺼내는 부품 피더를 사용하게 된다. 하지만 취급하는 부품의 종류가 많아짐에 따라 해당 부품에 맞게 적용할 수 있는 부품 피더를 설계 및 제작할 필요가 있다. 그리고 해당 부품들이 크고 무거운 부품일 경우에는 대응하기가 어렵다는 문제가 있다. 이에 부품의 종류 변화에 대한 대응이 비교적 쉬운 산업용 로봇을 이용한 랜덤 피킹 기술의 개발이 이루어지고 있다.

산업용 로봇은 미리 교시한 동작을 정확하게 반복하는 동작(티칭 & 플레이백 방식)을 잘하지만 랜덤 피킹에서는 꺼내야 할 부품의 위치·자세가 매번 바뀌기 때문에 단순한 티칭으로는 대응하기 어렵다. 이러한 문제를 해결하기 위하여 센서 등을 이용해 부품의 배치 상태를 파악하고 로봇을 이용하여 그리퍼로 파지하여 이동시키는 피킹 및 플레이스 작업이 요구되고 있다.

본 연구에서는 비교적 저렴한 거리 능동형 화상 카메라를 이용한 화상처리 기술에 의한 부품의 위치·자세 파악과 파지 기구 및 로봇 제어를 위한 시스템 통합 기술을 통해 산업용 로봇에 의한 비정형 형상 부품의 랜덤 피킹 시스템을 구축한 공정을 구현하였다.

2. 로봇기반 랜덤 피킹 시스템

본 연구에서 산업용 로봇에 의한 자동화에 대응한 랜덤 피킹 공정을 Table 1에 제시하였다.

Table 1. Parts specifications

본 공정은 실제로 지역내 기업에서 실재 수작업으로 제조공정이 이루어지고 있는 연구대상으로 제시하였다. 일반적으로는 제조공정에서는 단위 공정별 꺼낸 부품은 가공기에 정확하게 배치할 필요가 있지만, 이 기업에서는 생산라인의 방식에 의해 컨베이어 벨트와 같은 소재 배치 테이블에 올리게 된다.

본 공정에 대한 실험적 시스템 구성은 Fig. 1과 같다. 로봇과 주변장치 일습 외에 거리 화상 카메라와 PC(이하 PC)로 하드웨어를 구성한다. 로봇팔의 선단에는 대상 부품의 꺼내기에 적합한 핸드를 장착하였다.

Fig. 1 Bin-picking system structure

시스템은 PC상의 프로그램과 티칭 플레이백 방식에 의한 로봇 제어기 상의 프로그램(로봇 작업)을 몇 개 제휴시켜 구축하였다. 처리 과정은 Fig. 2와 같이 영상 처리부와 로봇 제어부로 나뉜다.

Fig. 2 Process for image and robot control

화상 처리부에서는 카메라로부터의 거리화상을 PC로 화상처리해 로봇으로 파지하고 취출하는 대상부품의 위치·자세를 요구한다. 복수의 후보를 얻을 경우에는 파지 동작이 용이해지는 기준으로 그 중 하나를 선정하여 로봇 제어부에 제시한다. 이때 위치 및 자세는 거리 화상카메라 좌표계에서 로봇 내부의 좌표계로 변환한다.

로봇 제어부에서는 미리 알려둔 로봇 작업을 실행한다. 우선 “취출 작업”이 제시된 위치·자세에 근거해 꺼냄 동작을 실시한다. 이 작업은 핸드가 파지동작을 완료한 후에 그 상태를 확인해 조건 분기를 실시한다. 파지가 성공하고 있는 경우에는 꺼낸 대상 부품을 소정의 위치에 두기 위한 “배치작업”을, 실패인 경우에는 대기 위치로 돌아가는 “복귀작업”을 기동하게 된다.

3. 영상처리와 시스템 요소기술

부품 파지 및 꺼내기 동작에 필요한 정보를 로봇에게 주기 위해 화상처리 기술의 형상인식에 의해 꺼내기 대상 부품의 위치·자세를 구현하였다. 일반적인 카메라에 의한 컬러 또는 흑백 화상에 대한 형상인식으로는 화면상의 2차원 정보밖에 얻을 수 없다. 대상 부품의 실공간에서의 위치·자세(3차원 정보)를 요구하기 위해서는 별도 거리 센서 등을 준비하거나 스테레오 카메라와 같은 기법에 따라 거리정보를 얻을 필요가 있다.

한편, 최근 저렴한 거리 화상 카메라가 등장하여 이차원 화상의 각 화소에 카메라 위치를 원점으로 한 실거리 정보가 부여된 이른바 거리 화상을 얻는 것이 가능해지고 있다. 거리 화상에 대해서 형상인식을 실시함으로써, 직접 3차원 정보를 요구할 수 있다.

본 연구에서는 Fig. 3과 같은 저가의 거리 화상 카메라로서 ASUS Xtion Pro Live를 적용하였다. 이 카메라에서는 적외선 패턴을 투영하는 방법에 의해 640×480화소의 거리 화상정보를 얻을 수 있다.

Fig. 3 3D camera and setup

형상인식은 대상 부품을 모델화해 거리 화상의 점군과 조합함으로써 실현한다. 거리 화상은 카메라에서 보이는 면의 정보밖에 가지지 않기 때문에 거리 화상으로부터 윤곽 화상을 추출하여 대상 부품 중 특징적인 면과의 조합을 실시하게 된다.

본 실험에 적용한 대상 부품에는 원반형상이라는 특징이 있으므로 윤곽 영상에 대해 원탐색수법에 따라 형상인식을 실시하고 그 위치를 요구한다. 기울어진 자세의 대상 부품은 윤곽화상에서는 타원으로 보이지만 타원 탐색은 현저하게 계산시간을 필요하기 때문에 생략하였다. 검출 정밀도의 저하나 오류의 원인이 되지만 헨드 형상이나 로봇 작업의 기구학적 제어 방법으로 흡수함으로써 시스템으로서의 취출 정밀도를 확보하였다.

인식 실험 결과에 대한 예시를 Fig. 4와 같이 제시하였다. 복수의 꺼내기 후보를 확보한 경우에는 로봇의 파지 동작에 유리하고 표면에 가까운 위치, 그리고 상품 배달 상자 중앙 부근에 있는 것을 우선해서 1개 선택한다. 그리고 다음 방법으로 자세를 구해 Fig. 4(a)에 나타내는 좌표계 형태로 로봇에게 제시할 수 있다.

Fig. 4 Coordinate system indicating the position and posture of parts

4. 파지 실험과 문제해결

파지 및 취출 테스트 시스템의 평가를 위하여 모의 소재를 넣은 플레이트 상자를 준비하고, 대상 부품을 10개 랜덤으로 적재된 상태에서 피킹 테스트를 실시하였다. 실험의 모습을 Fig. 5와 같이 로봇의 초기 상태의 모음과 로봇이 부품을 피킹하는 상태를 각각 나타내었다.

Fig. 5 Robotic systems for bin-picking

초기 로봇 헨드를 홈위치에 위치시키고 테스트 과제에 의해 작업중 정지하는 경우가 있었지만, 모든 대상물을 픽앤플레이스(pick & palce) 작업을 완성할 수 있었다. 픽앤플레이스 동작 5회를 수행하는데 소요 시간은 평균 12초 정도 걸렸고 이 중 화상 처리에 필요로 하는 시간은 1초 미만이다.

화상 처리부가 제시하는 위치 및 자세의 오차에 대해서 기울어진 상태의 대상 부품이나 3D 거리측정 카메라의 정밀도는 나쁜 주변부에서 1~2cm 정도의 차이가 발생하는 경우를 발견하였다. 이 오차를 핸드형상으로 보상할 수 없었던 경우에는 대상 부품의 중심 홀 이외의 위치에서 핸드가 “취출작업”을 실시할 수 있도록 하였다. 해당 부품을 인식하지 못해도 대상 부품이 어긋나 동작이 완료되면 “복귀작업”으로 이동하지만, 로봇 툴 선단에 큰 힘이 가해짐으로 인하여 비상 정 지하는 경우가 발생하였다.

5. 결과

픽앤플레이스 테스트 결과로부터 다음과 같은 보완해야 할 과제가 도출되었다.

5.1 피킹의 어려운 위치 및 자세의 문제

대상 부품의 위치·자세에 따라서는 로봇과 상품 적재 상자의 물리적 간섭을 피할 수 없다. 따라서 로봇이 적재 상자와 충돌하여 정지하는 일이 없도록 사전에 간섭을 판정하고 꺼낼 수 있도록 다른 부품을 선택하거나 적재함에 진동을 가하여 부품들이 재정렬 되도록 할 필요가 있다. 게다가 최종적으로 적재함 내의 대상 부품을 가능한 한 많이 꺼낼 수 있도록 간섭이 발생하지 않는 로봇의 이동궤적과 피킹 방법의 검토가 필요하다.

5.2 영상처리의 정밀도 문제

영상처리의 결과에는 오차나 오인(전혀 잘못된 위치·자세)이 반드시 포함된다. 3D 거리측정 카메라의 정밀도에 의한 문제와 영상처리 알고리즘의 문제를 생각할 수 있다. 이러한 문제는 정밀도 보정 기술이나 고도의 알고리즘에 의해서 개선할 여지는 있지만, 추가적인 비용(처리 시간이나 소프트 웨어 비용)을 필요로 하게 되므로 고려할 필요가 있다. 픽앤플레이스에 실패해도 도중에 정지하지 않고 공정을 계속할 수 있는 시스템이라는 점이 중요하고 로봇에 보상기와 같은 컴플라이언스 디바이스나 서보플로트(로봇의 각 축에 대해 독립적으로 토크를 제어하는 것) 기능을 실장하는 것도 선택사항이 될 수 있다.

본 연구에서는 로봇헨드의 구조 및 제어에 대하여 연구함으로써 저렴한 거리 화상 카메라와 단순한 화상처리 기술에 의한 산업용 로봇을 이용한 랜덤 피킹 시스템을 구축하여 실험적 결과를 제시하였다. 향후 생산라인 정지를 초래하는 라인정지 해소나 연속 가동 시의 과제 확인 등 현장 실장을 위한 연구를 추가적으로 진행 할 예정이다.