A vision based people tracking and following for mobile robots using CAMSHIFT and KLT feature tracker

캠시프트와 KLT특징 추적 알고리즘을 융합한 모바일 로봇의 영상기반 사람추적 및 추종

Abstract

Many mobile robot navigation methods utilize laser scanners, ultrasonic sensors, vision camera, and so on for detecting obstacles and path following. However, human utilizes only vision(e.g. eye) information for navigation. In this paper, we study a mobile robot control method based on only the camera vision. The Gaussian Mixture Model and a shadow removal technology are used to divide the foreground and the background from the camera image. The mobile robot uses a combined CAMSHIFT and KLT feature tracker algorithms based on the information of the foreground to follow a person. The algorithm is verified by experiments where a person is tracked and followed by a robot in a hallway.

P1. 서 론

객체(사람 등)를 검출하고 추적하는 기술은 모바일 로봇 시스템, 자동 감시시스템, 교통 감시시스템, 인간과 로봇간의 상호작용 등 많은 응용 시스템에서 적용되고 있다. 특히 모바일 로봇 분야는 안내 로봇, 간호 로봇, 장보기 로봇 등 미래에 인간이 할 수 있는 일을 대신하거나 보조해 주는 다양한 역할을 수행할 수 있기에 더욱 활발히 연구되고 있다.

본 논문에서는 모바일 로봇 분야 중 인간 친화적 로봇의 기초 단계로 다양한 센서(초음파센서, 레이저센서 등)가 아닌 인간의 눈과 같이 카메라 영상 정보만을 이용하여 사람을 추적하는 알고리즘을 제안한다. 카메라 영상을 활용하는 모바일 로봇은 스스로 주변 환경을 인식하고, 역할을 수행하기 위해 객체 추출 (배경과 객체 분리) 및 추적 알고리즘이 매우 중요하다. 객체 추출 방법의 예로는 두 프레임간의 차이를 이용하는 간단한 차영상 방법[1] 이외에 코드북 방법[2], 가우시안 혼합모델 방법[3], HOG (Histograms of Oriented Gradients) 검출기[4-8], Appearance 기반 검출 방법[9] 등이 있다. 객체를 추적하는 방법은 크게 포인트 추적, 커널 추적으로 나뉜다. 포인트 추적 방법은 결정 방법[10]과 통계적인 방법[11]으로 나뉜다. 커널 추적 방법에는 Mean Shift 알고리즘[12]과 CAMSHIFT (Continuously Adaptive Mean Shift tracking) 알고리즘[13,17], SVM (Support Vector Machine) 알고리즘[14], KLT Feature Tracker 알고리즘[15], SURF (Speeded-up robust feature)[16] 등이 있다.

본 연구에서는 안내 로봇이나 장보기 로봇과 같이 인간을 따라다니며 서비스를 제공하기 위해 추적 및 추종 알고리즘을 제안하고자 한다. 아울러 카메라 영상만을 이용하여 인간 친화적인 로봇을 구현하고자 하였다. 여기서 추적의 사전적 의미는 ‘사물의 자취를 더듬어 감’으로 로봇이 카메라를 이용하여 인간과 로봇의 상대위치를 계속해서 추정하는 것을 뜻하며, 추종의 사전적 의미는 ‘남의 뒤를 따라서 쫓음’으로 인간의 뒤를 일정한 거리를 유지하며 따라갈 수 있도록 로봇이 구동하는 것을 말한다.

로봇비전은 가우시안 혼합 모델 및 배경제거를 이용한 객체 검출 및 커널 기반 추적 알고리즘을 제안하고자 한다. 모바일 로봇의 추적알고리즘은 컬러 정보를 기반으로 객체를 추적하는 CAMSHIFT 알고리즘[7]과 객체의 특징점 이동을 벡터로 나타내어 객체를 추적하는 KLT Feature Tracker 알고리즘[9]을 병합한 융합알고리즘을 이용하였다. CAMSHIFT 알고리즘은 고속 객체 추적이 가능한 장점이 있지만, 조도 변화 및 잡음이 많은 배경에서는 성능이 좋지 못하다는 단점이 있다. KLT Feature Tracker 알고리즘은 특징점을 연속 추적하여 추적하기에 조도 변화 및 잡음에 비교적 강하다는 장점이 있으나, 연산량이 과다하여 고속 추적에는 활용이 어렵다는 단점이 있다. 이에 컬러기반을 통해 영상에서 초기 객체의 크기 및 영역을 설정한 후 영역 내 객체에서 일정 수의 특징점을 추출하여 추적하는 융합알고리즘을 제안한다. 이는 모바일 로봇이 이동함에 생기는 다양한 배경 변화 및 조도변화에 강인한 고속 추적 알고리즘이다.

본 연구의 목표는 객체의 추적 알고리즘을 통해 상대 거리 및 상대 각도를 계산하고 간단 비례 제어 알고리즘을 이용하여 실제 모바일 로봇이 일정한 거리를 유지하며 사람을 추종하는 것이다. 추적 및 추종 알고리즘을 복도 환경에서의 실험을 통해 검증하였다.

본 논문의 구성은 다음과 같다. 2장은 카메라 영상에서 추종하고자 하는 객체를 추출하고, 추적하는 융합알고리즘에 대한 설명으로 객체 인식파트와 객체 추적파트로 세분화하여 기술하였다. 3장은 앞서 인식된 객체를 모바일 로봇이 일정한 간격을 유지하며 추종할 수 있는 제어 로직에 대해 설명과 복도환경에서의 검증에 대해 기술하였다.

 

2. 융합알고리즘

본 눈문에서 제시한 융합알고리즘의 흐름도는 Fig. 1와 같다. 카메라 영상으로부터 초기 배경제거 및 객체 추출을 통해 객체의 영역을 구한 후 카메라 영상만을 이용하여 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 통한 단독 사용하여 객체를 추적하고, 위에서 언급한 두 알고리즘을 병합한 융합알고리즘을 사용하여 객체추적을 수행한다.

Fig. 1.The flow chart for fusion of CAMSHIFT and KLT feature tracker algorithms.

위의 Fig. 1은 객체 인식 파트와 객체 추적 파트로 나뉜다. 객체 인식 파트는 카메라를 통해 획득한 영상을 통해 전경과 배경을 분리하여 객체의 초기 위치와 영역을 계산한다. 객체 추적 파트는 앞서 획득한 초기 위치와 영역을 통해 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 사용하여 객체 추적을 수행한다. 객체 추적 및 추종 시에는 객체 인식 파트는 수행되지 않고, 객체 추적 파트만이 수행된다. 모바일 로봇이 객체 추적 및 추종에 실패했을 경우 초기 객체 인식 파트부터 다시 수행된다.

알고리즘 수행을 위해 사용한 하드웨어는 Pentium(R) dual core CPU E5500 @ 2.80 GHz, RAM 2.0 GB 컴퓨터와 양방향 무선카메라 DRC (Duplex Radio Camera) V1.0.을 사용하였다. 전체 알고리즘의 Loop time은 50ms이다.

2.1 객체 인식 파트

객체를 인식하기 위해서는 배경과 객체를 분리하는 과정이 필요하다. 이에 본 논문에서는 카메라로 일정시간 동안 획득하는 영상을 통해 배경을 학습한 후 객체와 배경을 분리하는 가우시안 혼합모델 방법을 사용하여 객체를 추출하였다. 이 후 가우시안 혼합모델을 통해 획득한 객체의 형상에 그림자제거 및 모폴로지 후처리를 사용하여 추적을 위한 객체의 형상을 획득하였다.

2.1.1 가우시안 혼합모델

본 논문에서 적용한 가우시안 혼합 모델 알고리즘[3]은 가장 일반적인 객체 검출 방법 중 하나이다. 가우시안 혼합 모델 알고리즘의 정의는 다음과 같다.

시간 t에 입력되는 화소값 x에 대한 K차원의 가우시안 혼합 모델 모델링은 가우시안 확률밀도 함수(probability density function)의 선형결합(linear combination)으로 식(1)과 같이 표현할 수 있다. 여기서, K는 가우시안 확률밀도함수의 개수이며, 확률밀도 p(x)는 평균 μ와 분산 Σ로 표현되는 K개의 정규분포 η를 각각의 비율 ω에 따라 식(2)와 같이 가중합(weighted sum)으로 표현한다.

배경이 학습 된 후 객체가 진입 시 배경과 전경의 분리를 위해 아래 식(3)을 이용한다.

식(3)에서 배경 B 는 K 개 중ωk/σk가 큰 순서로 나열했을 때 임계값 T 를 넘는 최소 개수 b개의 분포만으로 이루어지며 이를 배경으로 인식한다. 이에 배경은 0의 밝기 값을 주고, 객체에 대해 255의 밝기값을 주어 객체의 이진화 영상을 획득한다.

아래 Fig. 2는 객체가 포함된 영상과 가우시안 혼합모델을 이용하여 학습할 배경의 모습을 보여주고 있다.

Fig. 2.Camera image (a) Contains object image (b) Background image.

2.1.2 그림자 제거 및 후처리 과정

배경분리를 이용해 찾아낸 영역에는 움직이는 객체와 그 객체의 그림자가 포함되어 있다. 따라서 그림자를 따로 분리하기 위해서 HSV(Hue, Saturation, Value) 칼라평면에서 그림자 영역에서는 색상(Hue)은 거의 변하지 않고, 채도(Saturation)와 명도(Value)만 변하는 특징을 이용한다. 이러한 가정을 기반으로 그림자 영역은 아래 식(4)와 같이 표현된다.

여기서 는 배경 프레임에서의 HSV 성분 값, 는 현재 프레임에서의 HSV 성분 값을 나타낸다. thB1,thB2,thS,thV는 threshold 값들이다. 아래 Fig. 3은 그림자가 포함된 영상과 그림자가 제거된 영상이다.

Fig. 3.Shadow removal before and after image (a) Contains the shadow image (b)Removal the shadow image.

그림자까지 분리 된 전경에 대해 팽창과 침식의 모폴로지 연산을 수행하여 후처리를 수행한다. Fig. 4는 후처리 전후의 영상이다.

Fig. 4.Morphological operations are performed before and after image (a) Before image (b) After image.

2.2 객체 추적 파트

앞서 객체 추출에 의해 획득한 객체의 이진화 영상을 이용하여 추적을 수행한다. 본 논문에서는 객체의 밝기 값을 이용하여 추적하는 CAMSHIFT 알고리즘[7]과 객체의 속도벡터를 이용하여 추적하는 KLT feature tracker 알고리즘[9]을 사용하였다. 또한, 두 알고리즘을 병합한 융합알고리즘을 사용하였다.

2.2.1 CAMSHIFT 알고리즘

CAMSHIFT 알고리즘[7]은 Mean Shift 알고리즘[6]을 매 프레임마다 연속 적용하여 추적 물체나 배경을 적응적으로 재 연산하여 물체의 추적 성공률을 높인 알고리즘이다.

전체 영상에 대한 확률 분포 영상에서 관심영역의 중심과 확률 영상의 중심의 위치를 일치시키기 위해 Mean Shift 알고리즘을 반복 수행한다. 중심 위치를 찾기 위해 아래 식(5)와 식(6)에서와 같이 분포영역에 대한 영차 모멘트와 x와 y에 대한 일차 모멘트를 구한다.

여기서 I(x,y)는 영상의 (x,y)위치에서의 픽셀 값이다. 탐색창의 중심점은 아래의 식(7)과 같이 계산한다.

2.2.2 CAMSHIFT를 이용한 사람추적 실험

아래의 Fig. 5는 CAMSHIFT 알고리즘을 통해 사람을 추적하는 영상이다.

Fig. 5.The results image about CAMSHIFT algorithms performance.

2.2.3 KLT feature tracker 알고리즘

광류 (Optical Flow)란 관찰자 (Observer)의 입장에서 어떠한 물체나 장애물을 바라 보았을 때 발생하는 상대적인 움직임을 말하며 속도벡터로 나타낸다. 본 논문에서는 광류 계산방법 중 하나로서 가장 많이 이용되는 시간적 기울기 방법중 하나인 KLT 특징 추적기법을 이용하였다. KLT feature tracker 알고리즘은 1981년 Lucas와 Kanade에 의해 제안된 Lucas-Kanade 알고리즘을기반으로 하며, 1991년 Tomasi와 Kanade가 제안한 좋은 특징점 추출에 의해 LK 알고리즘보다 성능이 향상된 알고리즘이다. 광류의 추적 알고리즘을 유도하기 위해서 먼저 첫번째 ‘밝기항상성’ 가정을 이용하여 식(8)로 나타낼 수 있다.

식(8)에서 I 는 밝기의 강도를 나타내며, 식 (9)가 의미하는 바는 특정 영역 안의 픽셀들은 시간이 지남에도 그 값이 일정함을 나타낸다. 위의 식을 이용하여 KLT feature tracker

알고리즘[9]에서의 정의와 같이 Taylor Series를 적용하여 정리하면 아래의 식을 얻을 수 있다.

하지만 식(10)을 살펴보면 하나의 방정식에 두개의 변수 (u,v)가 존재하는 것을 알 수 있다. 이를 해결하기 위해 ‘공간 일관성’을 적용하여 최소자승법을 이용하여 광류를 계산한다.

2.2.4 KLT feature tracker 알고리즘을 이용한 사람 추적 실험

위 4.3 의 KLT feature tracker 알고리즘을 이용하여 카메라영상 내의 사람 추적을 수행하였다. 아래 Fig. 6은 객체에 KLT feature tracker 알고리즘을 적용한 영상이다.

Fig. 6.The results image about KLT feature tracker algorithms performance.

Fig. 6의 오른쪽 영상의 경우 객체의 이동 방향과 동일한 방향으로의 광류가 형성된 것을 확인할 수 있다. 광류의 크기는 객체의 움직임이 크거나 객체와의 상대거리가 가까울 때는 크게 나타난다. 하지만 객체의 움직임이 적거나 객체와의 상대거리가 클 경우 광류가 매우 작아 추적에 어려움이 발생하였다.

2.2.5 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘의 융합 필요성

본 연구의 최종 목표는 카메라 영상 정보만을 이용하여 모바일 로봇이 사람을 추종하는 주행 알고리즘 구현에 있다. 이에 선행하여 본 논문에서는 카메라 정보만을 이용한 사람추적 알고리즘을 구현하였다. 아래 Fig. 7은 CAMSHIFT 알고리즘 단독 수행시에 나타난 문제이다.

Fig. 7.The problem with CAMSHIFT algorithms.

실험결과 CAMSHIFT 알고리즘은 칼라 정보를 기반으로 수행되기 때문에 조명에 의한 영향이 크고, KLT feature tracker 알고리즘은 특정의 자세에서의 좋은 특징점을 추출하지 못하는 경우가 발생함에 따라 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 단독으로 사용하여 추적하였을 경우 성능이 저하되는 어려움이 있었다. 이에 두 알고리즘의 단점을 보완하고자 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 융합하여 객체의 칼라 정보와 함께 객체 내의 특징점을 추적하여 추적 성능을 향상시키고자 하였다.

아래 Fig. 8은 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘의 융합알고리즘의 흐름도이다.

Fig. 8.The flow chart of fusion algorithms.

2.2.6 융합알고리즘을 이용한 실험

CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 단독으로 사용하였을 경우에 대한 단점을 보완하기 위해 두 알고리즘을 융합하여 사용하였다. 객체의 색상 정보만이 아닌 객체내의 특징점에 대한 광류를 이용하여 객체 추적을 수행하였다. 아래 Fig. 9는 개선된 알고리즘 수행과정을 나타내는 영상이다.

Fig. 9.The results image about fusion algorithms performance.

배경제거를 통해 객체의 영역을 구한 후 영역 안에서의 특징점을 추출한다. KLT feature tracker 알고리즘 수행을 통해 다음 프레임 영상에서 특징점을 추적한 후 CAMSHIFT 알고리즘을 수행하여 객체의 새로운 영역을 구한다. 구해진 새로운 영역에서 새로운 특징점을 추출한 후 그 다음 프레임의 영상에서 특징점을 추적한다. 이러한 과정을 반복하여 객체의 영역을 추적한다.

기존 CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 단독으로 사용하였을 경우에 객체의 색상이나 움직임 그리고 주변의 조명 변화 등에 의해 객체 추적에 실패하는 경우가 종종 발생하였다. 이에 비해 융합알고리즘을 적용하여 객체를 수행하였을 때 객체의 색상과 속도벡터 두 가지 정보를 함께 사용하였다. 이에 추적 알고리즘을 단독 수행하였을 경우보다 객체 추적에 용이했다.

 

3. 모바일 로봇의 객체 추종

CAMSHIFT 알고리즘[7]과 KLT feature tracker 알고리즘[9]을 융합한 객체 추적 알고리즘을 실제 모바일 로봇을 이용하여 사람 추출 및 추적 그리고 추종하였다. 이에 실험에는 5.1과 같이 제작된 모바일 로봇을 이용하였다.

3.1 실험에 사용된 모바일 로봇

본 연구에서 제안하는 사람 추종 알고리즘을 검증하기 위한 모바일 로봇은 아래 Fig. 10과 같은 형태의 로봇이 사용되었다. 로봇의 크기는 가로 50cm, 세로 40cm, 높이 77cm이며, 약 80cm 높이에 상하 각도 조절이 가능한 하나의 카메라가 장착되어 있다. 이 모바일 로봇의 최대 직진 속도는 약 1.5m/s이다.

Fig. 10.The mobile robot used in the experiment.

3.2 객체추종을 위한 모바일 로봇 제어 알고리즘

객체 추적 알고리즘을 통해 획득한 객체의 영역과 위치를 통해 객체와 로봇간의 상대거리 및 상대각도의 정보 값을 획득한다. 이 때 상대거리(D)는 객체와 모바일 로봇 간의 원하는 거리에 있을 때를 영상의 중심에 위치하도록 조정한 후 획득되는 객체의 Y 좌표와의 차이를 이용하였다. 상대각도는 카메라를 획득하는 영상에서 객체의 X 좌표를 이용하였다. 이러한 정보를 이용하여 아래 식(12), 식(13)과 같은 로봇의 전진방향속도(Vdes)와 회전각속도(wdes)에 관한 서로 다른 제어이득을 사용한 PI 제어 알고리즘을 설계 적용하였다.

여기서 Ddes, θdes는 원하는 상대거리와 상대각도이며, Ddes, θdes는 로봇과 객체간의 계산된 상대거리와 상대각도 값이다. 또한 Vdes와 ωdes는 로봇의 직진속도와 회전각속도를 나타낸다. 본 논문에서는 Ddes, θdes를 0으로 설정하여 수행하였으며, Ddes, θdes는 사용자가 원하는 값으로 변경할 수 있다.

로봇의 실제 직진속도 V와 회전 각속도 ω는 로봇의 좌우바퀴 속도정보로부터 얻는다. 이로부터 실제 원하는 속도와의 오차정보를 되먹임 하는 좌우 바퀴 속도제어를 수행한다.

모바일 로봇에 전송하는 제어 명령인 직진속도와 각속도에 대한 상태는 부드러운 주행을 위해 제어 명령 상태를 Discrete 하게 설계하였다. 먼저 직진속도에 대한 상태는 아래 Table 1과 같이 7가지 상태를 정의하였다.

Table 1.State definitions about velocity

마찬가지로 각속도에 대한 상태는 아래 Table 2와 같이 9가지 상태를 정의하였다.

Table 2.State definitions about Angular velocity

직진 속도와 각속도에 대한 상태를 정의한 후 모바일 로봇의 전송명령을 선택한다. 여기에서 모바일 로봇의 직진 속도의 범위는 -1.5∼+1.5m/s로 제한하였고, 각속도의 범위는 -15∼+15 ˚/s로 제한하였다.

3.3 실제 실험 환경에서의 객체추종 결과

본 논문에서는 실제 추적하고자 하는 객체가 존재하는 학교 복도 상황에서 진행되었다. 모바일 로봇의 객체 추종에 있어 카메라 정보만을 이용하기 때문에 조명의 변화는 객체 추종 성능에 크게 영향이 있다. 조명의 변화에 따라 객체의 색상정보가 변하거나 객체 내의 추적 중인 특징점이 변하게 되기 때문이다. 이에 조명의 변화가 크지 않은 실내 환경에서의 실험을 통해 알고리즘을 검증하였다. 아래 Fig. 11은 모바일 로봇이 사람을 추종하는 영상이다.

Fig. 11.The image of mobile robot tracking an object.

실제 모바일 로봇을 통해 알고리즘을 검증한 결과, 카메라 영상 정보만을 이용하기 때문에 조명의 영향이 매우 크다는 것을 알 수 있었다. 그뿐만 아니라 카메라의 위치가 고정되어 상, 하 각도로만 움직일 수 있고, 좌우로 움직일 수 없도록 설계한 탓에 영상 내에서 객체가 벗어나게 될 경우 객체를 잃어버리는 경우가 발생하였다. 또한 객체와의 근접한 거리에서는 KLT feature tracker 알고리즘 구현에 있어 필요한 특징점의 속도벡터를 구함에 있어 변화량이 매우 큰 경우가 발생하여 객체를 놓치는 경우가 발생하였다.

 

4. 결 론

본 논문에서는 영상 정보로부터 배경제거 및 객체 추출 알고리즘을 수행하여 추적하고자 하는 객체를 분리한 후 추적 알고리즘을 통해 모바일 로봇이 객체를 추적하였다. CAMSHIFT 알고리즘과 KLT feature tracker 알고리즘을 융합하여 영상 내에서 객체의 위치와 영역 정보를 획득했고, 이러한 객체의 영상 내의 위치와 영역 정보를 통해 추종하고자 하는 객체와 모바일 로봇 간의 상대거리와 상대각도 값을 획득하였다. 이 때 모바일 로봇은 사람의 추종에 있어 사람의 진행 방향과 동일 선상 뒤편에서 추종하도록 하였다. 모바일 로봇의 추종을 위한 제어 알고리즘으로는 PI 제어 알고리즘을 이용하여 로봇의 직진속도 및 각속도를 구하였다.

향후 조명 변화의 영향을 줄일 수 있는 연구와 좋은 특징점을 추출할 수 있는 알고리즘 연구가 필요할 것이다. 그뿐만 아니라 카메라의 상, 하로의 움직임외에 좌우로의 움직임이 가능하도록 설계를 수정하여 카메라 영상 내에서 객체가 벗어나지 않도록 할 수 있는 연구도 필요할 것이다.