Indoor Location and Pose Estimation Algorithm using Artificial Attached Marker

인공 부착 마커를 활용한 실내 위치 및 자세 추정 알고리즘

Abstract

This paper presents a real-time indoor location and pose estimation method that utilizes simple artificial markers and image analysis techniques for the purpose of warehouse automation. The conventional indoor localization methods cannot work robustly in warehouses where severe environmental changes usually occur due to the movement of stocked goods. To overcome this problem, the proposed framework places artificial markers having different interior pattern on the predefined position of the warehouse floor. The proposed algorithm obtains marker candidate regions from a captured image by a simple binarization and labeling procedure. Then it extracts maker interior pattern information from each candidate region in order to decide whether the candidate region is a true marker or not. The extracted interior pattern information and the outer boundary of the marker are used to estimate location and heading angle of the localization system. Experimental results show that the proposed localization method can provide high performance which is almost equivalent to that of the conventional method using an expensive LIDAR sensor and AMCL algorithm.

1. 서 론

최근 전자상거래 분야가 발전하고 이를 목적으로 하는 업체가 늘어남에 따라서 물류창고에서 상품을 빠르고 정확하게 운반하는 데 사용하기 위한 물류용 로봇에 대한 개발과 사용이 활발하게 이루어지고 있다. 위치 인식(Localization)은 이동 로봇을 위한 핵심기술로 로봇이 속한 공간에서의 2차원 좌표와 로봇이 향한 방향정보를 파악하는 것이다[1]. 위치 인식 분야는 크게 실내 위치 인식과 실외 위치 인식 2가지로 나뉠 수 있다. 실외 위치 인식의 경우 GPS(Global Positioning System)[2] 기술을 중심으로 많은 성과가 이루어지고 있지만 실내에서는 GPS 수신이 근원적으로 불가능하고 통상 실외보다 고정밀도의 측위가 요구된다. 따라서 실내 위치 인식을 위해 서는 GPS가 아닌 새로운 측위 기술이 필요하다.

실내 위치 인식 분야는 사용하는 센서의 종류에 따라서 그 방법을 구분할 수 있다. 대표적으로 RF센서를 사용하는 RF 기반의 위치 인식 기술과 카메라를 사용하는 비전 기반 위치 인식 기술이 있다. RF기반의 위치 인식 기술은 삼각 측위 기술을 기반으로 전파 신호를 처리하여 위치 정보를 산출하며, 대표적인 시스템으로는 Cricket[3], Bat[4], RADAR[5] 등이 존재한다. 하지만 RF 기반 위치 인식 기술은 송수신기가 부착된 환경에 따른 전파 고유의 문제점으로 인하여 심각한 성능 저하가 나타나기 때문에 전파 수신에 방해가 되는 장애물이 다수 존재하는 물류창고와 같은 환경에서는 사용이 크게 제한된다. 또한 위치 추정을 위한 전파를 송신하는 부가 장비 부착이 필요한데, 이는 사무실과 같은 천장 높이가 낮은 환경에서는 크게 문제점이 될 수 없으나 천장 높이가 높고 부착 공간 확보가 힘든 창고 환경에서는 큰 단점으로 작용한다. 이와 달리 비전 기반 위치 인식 기술은 별도의 부가장비 없이 카메라만을 사용하여 동작이 가능하며, 카메라를 통해서 들어오는 이미지가 왜곡되지 않는다면 높은 정확도와 정밀성을 가진 위치 인식이 가능하다. 때문에 최근 새로운 실내 위치 추정 방식으로 활발히 연구되고 있다.

비전 기반 위치 인식 기술은 인공 표식의 사용 여부에 따라 인공 표식 위치 추정 기술과 자연 표식 위치 추정 기술로 나뉜다. 자연 표식을 이용한 위치 추정 방법은 자연적으로 존재하는 특징들 중에서 배경과 구분력이 뛰어나며 회전, 크기 변화 등에 강인하고 반복적으로 검출 가능한 특징점들을 이용하여 위치를 추정한다. 자연 표식을 이용하는 경우 특정 표식이 없어도 특징점이 있는 어느 영상에서나 적용될 수 있어 위치의 변화를 나타내는데 이상적인 방법으로 사용할 수 있다. 실제 SIFT(Scale-Invariant Feature Transform)[6,7]나 SURF(Speeded-Up Robust Feature)[8,9]와 같은 알고리즘의 개발로 자연 표식을 이용한 위치 인식 방법들이 많이 활용되는 추세이다. 하지만 위치 추정에 적합한 특징점을 추출하기 위해서는 복잡한 연산과정을 거치기 때문에 위치 추정까지 긴 연산시간이 요구되므로 실시간 위치 인식 시스템에서는 사용하기 부적합하다. 또한 주변 화물의 적재 상태 등으로 인해 환경이 빠르게 바뀌는 물류창고에서는 자연 표식의 급격한 위치 변화로 인해 만족할 수준의 정확도와 정밀도를 확보하기 어렵다. 이에 반해 인공 표식을 이용한 위치 추정 기술의 경우 사용자가 정한 인공 표식을 구동 공간상에 배치하고 이미지 상에 나타난 인공 표식을 이용하여 현재 로봇의 위치를 추정한다. 이와 같은 방법은 미리 약속된 추출하기 쉬운 패턴을 사용하기 때문에 가벼운 전처리과정과 간단한 연산만으로 위치 정보를 산출해 낼 수 있어 위치정보 갱신 주기가 빠르고 실시간성이 보장된다[10]. 또한 인공 표식을 영상으로 획득할 수 있는 모든 위치에 대해서 주변 환경 변화에 영향을 받지 않고 높은 정밀도와 정확도의 위치 인식이 가능하다.

본 논문에서는 웹캠 수준의 저비용 카메라와 일반 프린트로도 제작이 가능한 인공 마커를 활용하여 물류 창고에서 사용 가능한 실시간 위치 인식 알고리즘을 제안한다. 물류 창고는 매우 높은 천장을 가지고 있으며, 주변 물류에 따라서 주변 환경 변화가 심하기 때문에 마커를 바닥에 배치하여 주변 환경에 영향을 받지 않고 위치 추정이 가능하게 하였다. 제안하는 알고리즘에서 마커의 인식과 정보 추출은 일련의 영상 처리과정을 통해서 이루어진다. 물류 창고의 바닥은 단순한 패턴과 일정한 색을 가진 소재로 이루어져있기 때문에 영상 이진화(Binarization)와 레이블링(Labeling)을 통해서 마커와 배경을 쉽게 분리할 수 있다. 이렇게 추출된 마커에 최근접 사각형의 영역을 설정하여 마커의 회전각과 마커의 ID, 로봇의 방위를 산출한다. 로봇의 진행 방향(Heading angle)은 마커의 회전각과 로봇의 방위 정보를 이용하여 산출된다. 이후 이미지 중앙점과 마커 중심점 사이의 관계를 이용하여 지역 좌표를 산출하며, 이에 DB(Data Base)에 저장된 마커의 전역 맵 상의 위치를 더하여 최종적으로 전역 맵 상의 로봇 위치를 구하게 된다. 이러한 과정들은 간단한 영상 처리와 좌표변환으로 이루어지기 때문에 실시간 시스템으로의 구현이 용이하다. 또한 쉽게 제작이 가능한 마커를 이용하고, 저비용의 웹캠을 사용하기 때문에 다른 위치 인식 기술에 비해 비용 및 유지 보수 측면에서 유리하다.

본 논문의 구성은 다음과 같다. 2장에서는 사용되는 마커의 형태 및 구조와 제안하는 위치 추정 알고리즘을 소개한다. 3장에서는 구성한 실험 환경을 소개하고 실내 위치 추정 기술의 하나인 AMCL과 제안하는 위치 추정 알고리즘을 비교하여 제안하는 알고리즘의 성능을 평가한다. 4장에서는 결론을 맺고 향후 연구 방향에 대해 언급한다.

 

2. 제안하는 위치 추정 알고리즘

제안하는 위치 추정 알고리즘은 2가지 가정 하에 동작하게 된다. 첫째, 카메라 평면과 마커 부착 평면은 서로 평행해야 한다. 둘째, 모든 마커는 일정한 방향으로 정렬되어 부착되어 있어야 한다.

본 논문에서 사용한 마커는 Fig. 1과 같이 검은색 사각형을 바탕으로 내부에 StarGazer에서 사용하는 랜드마크와 유사한 흰색 원으로 구성된 패턴 정보를 가지는 형태이다. 마커를 구성하는 검은 사각형은 이미지 배경으로부터 마커가 쉽게 분리 될 수 있도록 해주며, 사각형의 외곽선 정보는 마커의 회전각도와 마커 내부 정보 추출 시 활용된다. 이와 달리 내부에 존재하는 흰색 원들은 사용되는 목적에 따라서 2개의 그룹으로 분류되어진다. Fig. 1 (a)의 그룹 A로 표시된 각 모서리에 존재하는 3개의 원은 모든 마커에 공통적으로 존재하는 부분으로 마커 판별의 기준이 되는 정보로 사용된다. 또한 모든 마커가 일정한 방향으로 정렬되어 부착된 상태이고 카메라가 로봇에 약속된 방향으로 부착되어 있으면, 이미지 상에 나타난 마커 그룹 A에서 원이 존재하지 않는 부분을 통해서 현재 로봇이 기준 전역 좌표계를 기준으로 어느 방향으로 향하고 있는지를 알 수 있다. 제안된 방법은 마커 정보를 추출하는 과정에서 마커를 이미지 좌표축과 평행하게 정렬하게 되는데, 이러한 정렬후에는 마커 그룹 A를 통해서 마커 또는 로봇의 회전 정도를 90°단위로 파악할 수 있으며 Fig. 1 (a)와 같이 총 4가지로 표현된다. 이렇게 마커 정렬 후 얻게 되는 90°단위의 마커 또는 로봇의 회전 정도를 로봇의 방위(θR)라 정의한다. 나머지 원들은 Fig. 1 (b)와 같이 그룹 B를 구성하며 인접한 다른 마커와의 구분을 위한 마커의 ID 정보를 나타낸다. 구체적으로 그룹 2의 흰색 원들은 각각 ID값을 표시하는 12자리 이진수의 특정 비트를 나타낸다. 이러한 마커의 ID는 로봇의 전역 좌표 산출 시 DB에 사전에 저장된 해당 마커의 전역 좌표계상의 위치를 불러오기 위한 인덱스 정보로 사용된다.

Fig. 1.The form and structure of the marker. (a) Inner circles in Group A (b) Inner circles in Group B.

제안하는 위치 추정 알고리즘은 일정한 방향으로 정렬된 마커와 각 마커의 전역(Global) 좌표계 상의 위치를 저장한 마커 DB(Data base) 정보를 이용하여 로봇의 전역 좌표를 추정하게 된다. 로봇 구동 공간에 마커가 일정한 방향으로 정렬되어 있다면, 로봇의 진행방향인 헤딩 앵글(θH)은 Fig. 2에서와 같이 표현 할 수 있다. 이와 더불어 i번째 마커를 중심으로 하며 전역 좌표계 [xG ,yG]에 평행한 가상의 좌표계 [xi ,yi]가 존재한다고 가정할 때, 이 좌표축에 대한 로봇의 좌표(PI)를 지역 좌표라고 정의한다. 이러한 지역 좌표와 마커 DB에 저장된 전역 좌표계 상에서의 i번째 마커의 위치 를 더하면 Fig. 2와 같이 전역 좌표계 상의 로봇 위치를 추정할 수 있다.

Fig. 2.The concept of the proposed algorithm.

Fig. 3은 제안하는 위치 추정 알고리즘의 흐름도이다. 카메라를 통해 획득된 컬러 영상은 밝기 영상으로 변환된 후 이진화 된다. 이렇게 생성된 이진 영상은 일차적으로 마커 후보 영역 검출 시 사용되는데, 여기서 마커 후보 영역이란 레이블링(Labeling)을 통해서 구분된 영역들 중에서 마커일 가능성이 높은 것들을 의미한다. 이후 각 마커 후보 영역에 대한 이차 레이블링을 통해서 마커 내부 흰색 원들의 패턴 정보를 검출하며, 이렇게 검출된 패턴 정보를 이용하여 올바른 마커인지에 대한 판별과 마커의 ID, 지역 좌표, 헤딩 앵글을 산출하게 된다. 마지막으로 마커 DB에 저장된 마커의 전역 맵 상의 위치와 지역 좌표를 이용하여 로봇의 전역 좌표와 헤딩 앵글이 산출되게 된다.

Fig. 3.Flow chart of the proposed localization algorithm.

2.1 전처리 과정

전처리 과정은 영상 배경과 마커 후보 영역을 쉽게 분리하기 위해서 수행하는 과정이다. 물류 창고의 바닥은 단순한 패턴과 색으로 이루어져 있으며, 마커는 검은색과 흰색으로 이루어져 있다. 따라서 카메라를 통해 들어오는 입력 컬러 영상을 밝기 영상으로 변환하고 단순한 이진화 과정을 통해 배경과 마커를 구분할 수 있다. 제안된 위치 추정 기법에서는 오츠 알고리즘[11]을 통해 Fig. 4와 같이 이진화를 수행하여 배경으로부터 마커 후보 영역을 구분한다.

Fig. 4.Binarized image.

2.2 마커 후보 영역 검출

마커 후보 영역 검출은 마커가 존재할 가능성이 높은 영역들을 미리 검출하고, 해당 영역들에 대해서만 이후 과정들을 적용함으로써 불필요한 연산과정을 줄여 연산 시간을 단축하기 위해서 수행하는 과정이다. 먼저 이진 영상에 대한 레이블링을 통해 얻은 각 영역들을 예비 후보 영역이라 정의하고 각 예비후보 영역에 대한 최근접 사각형을 구한다. 최근접 사각형의 가로와 세로 크기 비율을 이용해 불필요한 잡음 영역들을 제거하고 남은 영역들을 마커 후보영역으로 정의한다. 각 마커 후보 영역에 대하여 마커의 회전각도를 검출하고 마커와 이미지 좌표축이 평행하도록 마커 후보영역들을 회전시킨다.

2.2.1 레이블링과 최근접 사각형 검출

제안하는 위치 추정 알고리즘에서는 Fig. 4의 이진화된 영상에서 흰색 영역들에 대하여 레이블링 기법을 적용하여 각각의 영역을 구분한다. 레이블링은 방법에 따라 반복적 알고리즘과 순서적 알고리즘으로 분류할 수 있으며, 본 논문에서는 간단한 반복적 알고리즘을 사용하여 레이블링을 수행하였다[12]. 레이블링 과정에서 영역을 구성하는 픽셀 수가 NL개 이하로 극히 작은 경우 해당 영역은 일차적으로 제외 된다. 이때, 레이블링 결과로 검출되는 영역은 마커를 포함하는 영역일 수도 있지만 부착물이나 사용된 바닥 소재의 패턴 등으로 인하여 잡음 영역일 수도 있다. 때문에 레이블링된 각 영역의 외형적 모양 특성을 이용하여 불필요한 영역들을 추가적으로 제거하게 된다.

레이블링 과정을 수행하면서 얻어진 각 영역의 최대·최소 x, y좌표를 이용하여, Fig. 5와 같이 해당 영역의 픽셀 집단을 모두 포함하는 최근접 사각형 영역을 설정하고 이의 정보를 저장한다[13]. 이때 저장되는 영역 정보는 인덱스(t), 각 영역의 높이, 넓이로 이후 잡음 영역 제거와 같은 과정에서 사용된다. Fig. 6은 NL을 100으로 설정하였을 때 얻어지는 예비 마커 후보 영역에 대하여 최근접 사각형을 표시한 예이다.

Fig. 5Tightest rectangle.

Fig. 6.Labeled region after finding tightest rectangle.

2.2.2 잡음 영역 제거

본 논문에서 잡음 영역이란 예비 마커 후보 영역중에서 마커를 포함하지 않은 영역을 의미한다. 이후 수행하는 과정들은 각 마커 후보 영역에 대해서 수행되기 때문에, 이러한 잡음 영역이 잔류 하는 경우 불필요한 연산 과정과 마커 오검출 가능성이 증가한다. 따라서 Fig. 5의 각 영역의 높이, 넓이 정보를 이용하여 잡음 영역을 제거한다. 카메라와 마커 부착 평면과의 거리가 일정하기 때문에 전체 영상에서 마커가 차지하는 영역의 크기는 항상 특정 범위안에 포함되며, 마커의 형태가 정사각형이기 때문에 최근접 사각형 또한 정사각형에 가까운 형태로 얻어지게 된다. 따라서 식 (1)과 같이 높이와 넓이의 비가 1:1에 가까운 형태가 아닌 영역들은 잡음 영역으로 생각하여 Fig. 7과 같이 제거하게 된다.

Fig. 7.Marker candidate region after removing noise region.

2.2.3 사선 방향 꼭지점 검출

제안하는 위치 추정 알고리즘에서 이후에 설명되는 마커 정보 추출 과정은 마커 후보 영역 상에서의 마커가 이미지 좌표축과 평행한 상태로 정렬된 상태를 가정한다. 따라서 마커를 이미지 좌표축과 평행하게 정렬하기 위해 마커를 구성하는 검은 사각형의 외곽선 정보를 이용해 마커의 회전각도(θM)를 산출해야 한다. 여기서 외곽선 정보는 배경과 마커를 구성하는 검은 사각형 사이의 경계선을 구성하는 점들의 집합을 의미한다. 이러한 외곽선 정보를 얻기 위해 경계 추종 방법을 통해 마커 후보 영역으로부터 검은 사각형의 외곽선 정보를 검출하고, 외곽선을 구성하는 점들의 정보를 저장한다[14]. 이때, Fig. 8과 같이 저장된 외곽선 정보 중에서 최근접 사각형의 좌측 상단에서 가장 가까운 점(PR)을 선택하고, 해당점으로부터 가장 먼 거리(l1)에 위치한 점을 첫 번째 꼭지점(P1)으로 선택한다. 이후 선택된 첫 번째 꼭지점을 기준으로 가장 먼 거리(l2)에 위치한 점을 두번째 꼭지점(P2)으로 선택함으로써 검은 사각형의 사선 방향 꼭지점을 검출하게 된다.

Fig. 8.Diagonal corner detection.

2.2.4 마커의 회전각도 검출 및 마커 후보 영역 회전

마커의 회전각도는 마커 후보 영역 내의 마커와 이미지 좌표축을 평행하게 정렬시킬 때 사용되는 것뿐만 아니라 헤딩 앵글을 구하는 과정에서도 필요한 정보이다. Fig. 9에서와 같이 대각선 과 영상 평면의 y축이 이루는 각을 θ라고 정의하면 θ는 식 (2)를 통해 구할 수 있다. 이때 회전하지 않은 정사각형의 경우 θ는 45°의 값을 가진다. 따라서 마커가 회전된 상황이라면 θ값은 Fig. 9와 같이 45°이외의 값을 가지기 때문에 검출된 사선 방향 꼭지점 정보 P1, P2를 이용하여 마커의 회전각도 θM을 식 (3)에서와 같이 산출할 수 있다. 여기서 θM은 좌측 상단의 꼭지점을 기준으로 반시계 방향으로 마커가 회전한 각도로 정의된다. 이렇게 산출된 마커의 회전각도를 이용하여 마커 후보 영역을 역방향으로 회전시켜 마커와 이미지 좌표축이 평행하도록 정렬시킨 후, 이후의 마커 정보 추출 과정을 수행한다.

Fig. 9Rotation angle of marker. (a) θM > 0 (b) θM < 0.

2.3 마커 정보 추출

마커 정보 추출 과정은 마커와 이미지 좌표축이 평행하도록 정렬된 마커 후보 영역을 이용하여 마커 내부의 정보를 추출하는 과정이다. 우선 마커 후보 영역 내부에 대한 레이블링을 통해서 흰색 원을 검출하고 마커 패턴 정보를 추출한다. 이러한 패턴 정보를 이용해 각각의 마커 후보 영역이 정상적인 마커인지 여부를 판별하고 로봇의 헤딩 앵글과 마커 기준 좌표계에서 로봇의 위치를 지역 좌표로 산출한다.

2.3.1 내부 원 레이블링 및 마커 패턴 정보 추출

마커 내부의 흰색 원은 마커 후보 영역에 대한 레이블링을 수행하여 검출한다. 레이블링은 각 마커 후보 영역에 대해서 수행되며, 레이블링된 각 흰색 원의 중심점에 대한 좌표를 저장한다. 마커 내부 패턴 정보를 얻기 위해 Fig. 10에서와 같이 정렬된 마커를 16개의 블록으로 균등 분할한다. 이때 분할되는 블록의 크기에 해당하는 nx와 ny는 사선 방향 꼭지점 P1과 P2의 좌표에 따라 결정된다. 이후, 각 흰색 원의 중심점 좌표가 분할 영역 내에 존재하는지 여부를 판별하여 흰색 원의 패턴을 산출하고, 산출된 패턴 정보를 이용하여 마커 정보를 추출한다.

Fig. 10.Marker pattern partition.

2.3.2 마커 판별

잡음 영역을 제거한 마커 후보 영역들에는 실제 마커가 포함되지 않은 영역들도 존재할 수 있다. 따라서 마커가 포함된 후보 영역이 가지는 특징을 조건으로 이용하여 각 마커 후보 영역이 실제 마커를 포함한 영역인지 아닌지를 판별하게 된다. 제안된 방법에서는 다음의 2가지 마커 판별 조건을 이용하여 이들 조건을 모두 만족하여야 마커로 판별하고 이후의 처리 과정을 수행한다.

2.3.3 헤딩 앵글 및 지역 좌표 산출

본 논문에서 말하는 헤딩 앵글(θH)이란 Fig. 11에 도시된 바와 같이 전역 좌표계의 yG축과 평행한 i번째 마커 기준 좌표계의 yi축을 기준으로 보았을 때 현재 로봇의 진행 방향을 의미한다. 구체적으로 헤딩 앵글은 yi축을 기준으로 반시계 방향을 +, 시계 방향을 -로 하여 (-180° ∼ 180°]의 범위로 표현한다.

Fig. 11.Heading angle.

바닥에 부착된 마커를 촬영하기 위해 카메라가 이동 로봇의 중심에 설치되어 있고 영상 센서의 y축 방향으로 로봇이 진행한다고 하자. 이때 헤딩 앵글은 이전 과정에서 구한 마커의 회전각도(θM)와 Fig. 1(a)의 그룹 A를 통해서 알 수 있는 로봇의 방위(θR)를 이용하여 아래의 식 (4)와 같이 구할 수 있다.

즉 헤딩 앵글은 입력된 영상에서 마커의 회전각도를 통해 얻을 수 있는데, 마커를 구성하는 점은 사각형의 외곽선이 회전한 각도인 마커의 회전각도와 마커 또는 로봇의 90°단위의 회전 정도를 나타내는 로봇의 방위를 더함으로써 얻어진다. 이러한 헤딩 앵글 정보는 로봇의 자세 추정에 대한 최종 출력 정보로 사용될 뿐만 아니라 로봇의 지역 좌표 산출에도 이용된다.

지역 좌표는 현재 촬영된 영상 상의 마커를 기준으로 로봇의 위치를 표현한 것이다. 이러한 지역 좌표의 산출은 Fig. 12와 같이 마커의 중심점을 기준으로 하는 2개의 좌표계 간의 회전 관계를 이용하여 산출한다. 각 좌표계의 정의는 다음과 같다. 마커 중심점(PM)을 기준으로 하며 전역 좌표축과 평행하도록 정렬된 i번째 마커 기준의 좌표계를 [xi, yi]이라 하고, 마커 중심점을 기준으로 하며 이미지 좌표축과 평행한 좌표계를 [xM, yM]으로 정의한다. 이동 로봇의 위치를 카메라의 중심 위치로 가정할 때, (X'i, Y'i)로 표현되는 지역 좌표는 [xi, yi] 좌표계에서 이미지 중심점(PI)의 좌표를 의미한다. 이러한 이미지 중심점을 [xM, yM] 좌표계에서 (Xi, Yi)로 표현한다면 이는 이미지 중심점의 영상 좌표에서 마커 중심에 대한 영상 좌표를 차감함으로써 간단히 구할 수 있다. 한편 헤딩 앵글은 yi축을 기준으로 표현되기 때문에 실제 영상 상에서는 Fig. 12에서와 같이 표현된다. 따라서 좌표축의 회전 이동 관계에 따라 식 (5)와 같이 지역 좌표를 산출 할 수 있다.

Fig. 12.Local coordinate of image center.

2.4 로봇의 전역 좌표 산출

로봇의 전역 좌표는 식 (6)과 같이 구할 수 있다. 식 (5)를 통해서 산출된 지역 좌표 (X'i, Y'i)픽셀 단위이기 때문에 x, y축 방향에 대한 픽셀당 실제거리 Dx, Dy를 곱해주어 단위 환산을 수행한다. 여기서 Dx, Dy는 식 (7)에서와 같이 x, y방향에 대한 초점거리 fx, fy와 마커가 설치된 지면과 카메라 초점과의 수직거리 d에 의해 결정된다. 이후 DB에 저장된 i번째 마커의 전역 맵 상의 위치 를 더해줌으로써 전역 좌표계 상의 로봇 위치 (XG, YG)가 최종적으로 산출된다.

 

3. 실험 결과

실험에 사용된 로봇은 Fig. 13의 (a)와 같다. 로봇의 폭과 길이는 90cm로 물류 창고에서 물품을 빠르게 운송할 수 있도록 제작되었으며, 최대 속도 6km/h로 운행이 가능하다. 또한 로봇 상단의 상판이 상승하여 물건을 들어 올릴 수 있으며 최대 하중은 500kg이다. 또한, 위치 추정을 위하여 로봇의 내부 중앙의 위치에 바닥을 지향하도록 카메라와 조명이 부착되어 있다. 바닥 마커가 부착된 실내 공간은 실제 물류 창고로 사용되는 곳으로 가로·세로 9.75m 길이의 공간 상에 총 57개의 마커를 부착하여 실험 환경을 구성하였다. 로봇은 Fig. 13(b)의 라인 테이프로 분할된 구역을 움직이며, 정사각형 형태의 구역은 물건이 배치되는 공간이며, 그 외의 공간은 로봇 또는 사람의 이동 공간을 나타낸다. 이에 따라서 마커는 로봇의 주행 경로 상에 일정한 간격으로 배치하였다. 제안된 위치 추정 시스템의 하드웨어 구성은 Table. 1과 같이 요약된다. 실험에 사용된 콘트롤러는 산업용 싱글 보드 NF36-2550 컴퓨터로 동작 속도는 1.86 GHz이다. 또한 사용된 카메라는 Microsoft LifeCam Studio로 일반 시중에 판매중인 웹캠을 사용하였으며, 초점거리는 13, 해상도는 640 × 480으로 설정하였다. 마커의 크기는 카메라와 바닥 사이의 거리를 고려하여 3cm × 3cm 크기로 제작하였으며, 내부 원의 배열은 실험 공간에 마커가 모두 배치 가능한 ID 수를 가지도록 4 × 4 배열로 구성하였다.

Fig. 13.Configuration of experimental system. (a) Autonomous warehose robot (b) Indoor warehouse.

Table 1.Hardware specification for experimental localization system.

먼저 제안된 기법의 위치 추정 성능을 비교 평가하기 위해 로봇에 별도의 LIDAR(LIght Detection And Ranging)[15] 센서를 장착하고 AMCL(Adaptive Monte Carlo Localization)[16] 위치 추정 알고리즘 방법을 이용한 결과를 사용하였다. AMCL은 LIDAR 센서를 이용해 주변의 벽과 적재 환경 등을 미리 스캔하여 지도로 등록하고, 현재 입력된 LIDAR센서 정보를 이용해 로봇의 위치와 자세 정보를 일종의 파티클 필터(particle filter) 알고리즘을 통해 현재 로봇의 위치를 추정하게 된다. 이때 LIDAR 센서의 오차, 등록된 지도와 현재 센서 정보의 불일치 등으로 인하여 AMCL을 이용한 위치 추정치에도 오차가 필연적으로 포함된다. 하지만 실측을 통해 위치를 측정하는 것은 오차가 크고 객관성을 확보할 수 없기에 AMCL을 이용한 위치 추정 결과를 사용하여 전역 좌표계의 중심을 설정하고 각 마커의 위치를 등록하였다.

Fig. 14는 임의의 30개 지점에 대하여 AMCL을 이용한 위치 및 자세 추정 결과를 참값으로 하여 제안된 방법의 위치 및 자세 추정 결과에 대한 에러 정도를 도시한 것이다. Fig. 14 (a)에서와 같이 제안된 위치 추정 기법의 평균 오차는 x축과 y축 방향으로 각각 평균 5.48cm, 3.81cm이고 최대 오차는 13.72cm, 13.74cm 이다. 또 Fig. 14 (b)에서와 같이 헤딩 앵글로 얻어지는 자세 추정에 대한 제안 기법의 오차는 평균 5.14°로 나타났다. 실험 결과에서 특정 지점에서 오차가 크게 발생하는 것을 볼 수 있는데 이는 참값으로 사용되는 AMCL의 자체적인 위치 추정 오차가 크게 나타나기 때문인 것으로 분석된다. 이는 실제 3, 6, 8, 21, 24번 지점의 경우 등록된 지도와 현재 센서 정보의 불일치로 인하여 AMCL의 오차가 크게 나타나는데 이러한 오차와 제안된 위치 추정 기법의 오차가 더해짐으로써 해당 지점의 오차가 크게 나타나는 것으로 분석된다. 또한 헤딩 앵글을 포함한 위치 추정의 오차는 마커 부착 및 DB 제작 시오차를 포함하는 AMCL이 제공하는 정보를 이용해 실험자가 직접 마커를 설치하였기 때문에 정확히 전역 좌표계와 평행하게 마커를 설치하지 못한 것에 기인한 것으로 분석된다. 따라서 마커 부착과 마커 DB 등록을 보다 정밀한 장비를 이용해 수행한다면 발생된 오차를 줄일 수 있을 것으로 예상된다.

Fig. 14.Experimental results. (a) Position error (b) Heading angle error.

AMCL이 제공하는 위치 추정 결과가 오차를 포함 하더라도 제안된 기법의 위치 추정 성능은 창고 물류 관리를 위한 로봇 시스템에서 통상 요구되는 20cm 수준의 위치 추정 정확도를 만족시킨다. 또 제안된 알고리즘은 1.86GHz의 동작 속도를 가진 저사양 산업용 PC에서 평균 0.1초의 처리 속도로 처리될 수 있어 실시간 실내 위치 추정 시스템의 구현을 가능하게 한다. 실제 제안된 방법은 마커를 추가적으로 설치하여야 하는 문제가 있지만 마커를 이용하기 때문에 각 마커의 위치가 정확하게 DB에 등록되어 있다면 LIDAR와 AMCL을 이용하는 방법에 비해 보다 정확한 위치 정보를 제공할 수 있다. 특히 주변의 적재 환경 등이 급변하는 창고와 같은 환경에서 LIDAR와 AMCL을 이용하는 방법의 경우 환경의 변화에 따라 지도를 갱신하거나 위치 추정의 정확도가 떨어질 가능성이 있지만 제안된 기법의 경우 이러한 문제에서 자유롭다. 더불어 제안된 방법은 고가의 LIDAR장비 대신 저사양의 카메라와 간단히 제작할 수 있는 마커를 사용하기 때문에 시스템 구현 비용 측면에서도 유리하다.

 

4. 결 론

실내 공간에서 로봇이 자율 주행하기 위해서는 현재의 위치를 추정하는 기술이 필요하다. 이는 사람이 특정 목적지에 도착하기 위해서 현재 위치를 알아야 하는 것과 같이 실내 자율 주행 로봇에 있어서는 매우 핵심적인 기술이라 할 수 있다. 본 논문에서는 물류 창고에서 사용 가능한 비전 기반의 위치 추정 기술로써 인공 표식을 이용한 실시간 위치 추정 알고리즘을 제안하였다. 제안된 방법은 내부 패턴이 각기 다른 인공 마커들을 미리 약속된 창고 바닥 위치에 부착하여 간단한 이진화와 레이블링을 통해 마커 후보 영역을 검출한다. 그리고 각 마커 후보 영역의 내부 패턴 정보를 추출하여 실제 마커인지를 판별하고, 이러한 패턴 정보와 마커를 감싸는 외곽선 정보를 이용해 이동 로봇의 자세와 위치를 추정한다. 모의실험을 통해 제안된 방법이 물류 관리 로봇 시스템에서 요구되는 위치 추정 정확도와 실시간 처리 성능을 제공할 수 있음을 입증하였다. 제안된 방법은 적재 환경의 변화로 기존 위치 추정 기술이 적용되기 어려운 환경에서 사용가능할 뿐만 아니라 저사양의 카메라와 손쉽게 제작할 수 있는 마커를 사용하여 저비용 시스템으로의 구현이 용이하다. 한편 위치 추정을 위한 모든 기술에서 이동 로봇의 고속 주행 시 센서가 부정확해지고 이에 따라 위치 추정 성능이 저하되는 문제가 발생한다. 따라서 이동 로봇의 주행계 정보를 이용해 고속 주행 시 발생하는 영상 상의 모션 블러를 적응적으로 제거하기 위한 기술을 추후 연구하고자 한다.