Pedestrian Counting System based on Average Filter Tracking for Measuring Advertisement Effectiveness of Digital Signage

디지털 사이니지의 광고효과 측정을 위한 평균 필터 추적 기반 유동인구 수 측정 시스템

Abstract

Among modern computer vision and video surveillance systems, the pedestrian counting system is a one of important systems in terms of security, scheduling and advertising. In the field of, pedestrian counting remains a variety of challenges such as changes in illumination, partial occlusion, overlap and people detection. During pedestrian counting process, the biggest problem is occlusion effect in crowded environment. Occlusion and overlap must be resolved for accurate people counting. In this paper, we propose a novel pedestrian counting system which improves existing pedestrian tracking method. Unlike existing pedestrian tracking method, proposed method shows that average filter tracking method can improve tracking performance. Also proposed method improves tracking performance through frame compensation and outlier removal. At the same time, we keep various information of tracking objects. The proposed method improves counting accuracy and reduces error rate about S6 dataset and S7 dataset. Also our system provides real time detection at the rate of 80 fps.

컴퓨터 비전이나 감시영상 시스템에서 유동인구 수 측정은 안전, 스케줄링, 광고효과 측면에서 중요한 과제 중 하나이다. 유동인구 수 측정은 조명변화, 부분적인 폐색, 중첩, 사람검출과 같은 다양한 어려움을 겪고 있다. 가장 큰 문제점은 혼잡한 상황에서 추적되는 객체에 대한 폐색과 중첩이다. 정확한 유동인구 수 측정을 위해 폐색과 중첩은 반드시 해결해야 할 과제이다. 본 논문에서는 기존의 보행자 추적 방법을 개선한 효율적인 유동인구 수 측정 시스템을 제안한다. 기존의 보행자 추적과 달리, 제안된 방법은 평균 필터 추적방법을 적용하여 성능을 향상시킬 수 있음을 보인다. 또한 객체 추적의 성능향상을 위한 프레임 보상, 아웃라이어 제거를 통해서 추적을 개선한다. 그와 동시에 제안된 시스템은 추적된 객체의 다양한 정보를 저장한다. 데이터 셋 S6와 데이터 셋 S7에 대하여 유동인구 수 측정 정확도를 향상시키고 에러율을 줄인다. 또한 제안된 방법은 실시간으로 평균 80fps의 검출을 제공한다.

Ⅰ. 서 론

컴퓨터 비전이나 감시영상 시스템에서 유동인구 수 측정은 보안 및 경제적 측면에서 중요한 과제 중 하나이다. 유동인구 수 측정은 광고효과, 안전, 스케줄링 목적으로서 유용한 정보로 이용될 수 있다. 예를 들어, 다양한 정보를 광고하는 디지털 사이니지 스크린 앞에 몇 명의 사람이 지나가고 어떠한 방향으로 지나가는지에 대한 정보는 광고효율성을 측정하는데 매우 매력적인 요소일 것이다. 디지털 사이니지의 콘텐츠는 유동인구의 환경 정보에 따라 사용자에게 최적의 콘텐츠 서비스를 제공할 수 있을 것이다. 감시영상 시스템에서 유동인구 수 측정은 활발하고 다양한 연구가 진행되고 있다. 그러나 여전히 조명변화 및 부분적인 폐색, 중첩 상황에서의 사람검출과 같은 다양한 어려움을 겪고 있다. 대부분의 유동인구 수 측정에서 가장 큰 문제점은 폐색과 중첩이다. 복잡한 상황에서 정확한 유동인구 수 측정을 위해 폐색과 중첩의 해결은 반드시 고려되어야 한다.

다양한 광고 미디어 서비스를 제공하기 위한 디지털 사이니지는 백화점, 지하철 역사, 공공 장소 등 유동인구가 많은 곳에 공급된다. 이 중 수많은 유동인구를 보장하는 일부 장소와 달리, 대부분의 장소에서는 유동인구의 수가 가변적이며, 광고효과의 측정을 위해 유동인구 수 측정의 필요성이 대두되고 있다. 항상 많은 유동인구가 보장되는 지역이 아닌 장소는 어떠한 시간대에 유동인구가 많은지, 어떠한 방향으로 많은 유동인구가 지나가는지에 대한 정보가 중요하다. 이러한 환경에서 효율적인 디지털 사이니지의 활용을 위해 유동인구 수의 분석에 따른 광고효과 측정을 필요로 하고 있다.

본 논문에서는 광고효과 측정을 위한 유동인구 분석이 필요한 디지털 사이니지 환경을 타겟으로 하며, 부분적인 폐색과 중첩된 상황에서 강인한 객체 추적을 통해 유동인구 수 측정을 할 수 있는 개선된 시스템을 제안한다. 제안된 시스템은 평균 필터 추적방법을 적용하여 객체추적 성능을 향상시킬 수 있음을 보인다. 실험 결과를 통해 평균 필터가 객체 추적을 개선하여 유동인구 수 측정에 미치는 영향을 보여준다. 또한 객체 추적의 성능향상을 위한 프레임 보상 및 아웃라이어 제거를 제안한다. 복잡한 상황에서 추적되는 객체는 반복적으로 폐색되고 중첩된다. 평균 필터를 적용한 추적방법에서 프레임 보상은 검출기에서 검출 하지 못하는 프레임에 대한 객체 보상뿐만 아니라 폐색된 상황에서 효율적으로 객체를 추적하여, 성능을 향상 시킬 수 있다. 또한 검출기에서 검출한 다수의 객체에 대한 아웃라이어 제거를 통해서 최적의 객체 추적을 할 수 있는 개선된 방법을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 유동인구 수 측정 방법에 대한 기술을 소개하고 제안된 시스템에서 사용한 기본 검출기에 대해 간략하게 기술한다. 3장에서는 유동인구 수 측정 시스템의 구현에 대해 살펴보고 제안된 시스템에서의 유동인구 수 측정방법과 객체 정의에 대해 기술한다. 4장에서는 성능 향상을 위한 개선된 알고리즘을 제안한다. 5장에서는 제안된 시스템의 성능을 측정하고 분석한다. 마지막으로 6장에서는 본 논문에 대해 결론을 맺는다.

 

Ⅱ. 배경지식 및 관련연구

1. 유동인구 수 측정 방법

유동인구 수 측정은 목적에 맞게 다양하게 연구되고 발전하였으며, 또한 많은 연구가 진행되면서 감시영상 시스템에서의 중요한 요소가 되었다. 유동인구 수 측정 방법은 크게 보행자 검출 및 추적기반의 방법과 보행자 특징 및 회귀기반의 방법의 두 가지 범주로 나눌 수 있다. <그림 1>는 각각의 방법에 의한 측정 결과를 보여준다.

그림 1.유동인구 수 측정방법 Fig. 1. The method of pedestrian counting

보행자 검출 및 추적기반의 방법은 가장 보편적으로 사용하는 방법 중 하나이다[1,2,3,4,5]. 이 방법은 가장 먼저, 영상에서 각각의 사람을 배경과 분리하고 개별적으로 검출한다. 각각의 검출된 사람이 특정 영역 (Region of interest)에 들어오거나 특정 선 (Line of interest)을 지나가면 그 수를 센다. 보행자 검출 및 추적기반의 방법은 동시에 각각의 사람에 대해서 정확한 위치와 거리를 견적하고 수를 측정할 수 있다. 이는 사람의 크기나, 밀도, 부분적인 폐색, 원근법 등에 대해서 큰 영향을 받지 않고 일반적인 상황에서 강인하게 견적할 수 있다. 하지만 아주 복잡하고 밀집한 환경에 어려움을 가지며, 많은 연산량을 요구한다. 또한 신뢰할 수 있는 검출을 하기 위해서 충분히 높은 해상도의 영상을 필요로 한다.

보행자 특징 및 회귀기반 방법은 영상에서 전체적인 특징 세트 (edge feature, texture feature, interest point, etc.)을 추출하고 회귀분석을 통하여 사람의 수를 세는 방법으로, 보행자 검출 및 추적기반의 방법들과 차이를 보인다[6,7,8,9,10,11,12]. 특징 및 회귀기반 방법은 복잡하고 혼잡한 상황에서 검출 및 추적 기반의 방법보다 강인함을 보인다. 또한 낮은 해상도에서도 강인하게 견적할 수 있다. 하지만 특징 세트를 사용하는 방법은 거리, 밀도와 같이 고려해야 할 부분이 많으며, 검출된 사람에 대한 정확한 위치를 제공하고 않고 또한 특징점과 사람의 수의 관계를 정의하기 쉽지 않다.

2. 기본 검출기

본 논문에서 기본 검출기는 Benenson[13]의 VeryFast를 사용한다. VeryFast는 이전의 결과[14]의 검출 성능을 유지하면서 검출 속도를 크게 개선시켰다. 검출 속도 개선의 핵심적인 기여는 크게 두 가지로 나눌 수 있다. 첫 번째는 이미지 크기 변화가 (image resizing) 없는 object 검출이다. 보통의 검출 방법은 입력 영상에 대한 크기 변화와 특징 계산에 대한 다중시간을 요구한다. 단순한 방식은 보행자 모델의 N개의 크기 변화에 기반한다. 하지만 많은 보행자 모델을 다양한 크기로 트레이닝 시키는 것은 쉽지 않은 일이다. 따라서 object 검출을 위한 전통적인 방식은 하나의 표준이 되는 보행자 모델을 트레이닝 시킨다. 그리고 입력 영상에 대해 N개의 크기 변화를 취한다. 이러한 전통적인 방식은 하나의 보행자 모델에 대한 최적의 크기를 찾아야 하며, 이를 위해 입력 영상에 대한 N번의 크기 변화는 많은 연산량을 요구한다. 이러한 문제를 해결하기 위해 Dallar [14]는 빠른 검출을 위한 FPDW라는 방식을 제안했다. 이는 입력 영상에 대한 N번의 크기 변화를 하는 대신에, N/k번의 크기변화를 한다. 크기변화의 수를 줄임에 따라 전체적인 검출시간 역시 크게 줄었다. VeryFast는 FPDW의 개념을 반대로 이용한다. 입력 영상에 대한 크기 변화 없이 N/k개의 보행자 모델을 트레이닝 시킨다. 즉, 검출 시간에 드는 비용을 트레이닝 시간으로 옮김으로서 검출 속도를 크게 개선했다.

두 번째는 stixels을 이용한 object 검출이다. 이때 깊이 정보 (depth information)는 object 검출에 유용하게 쓰일 수 있다. 기존의 깊이 맵 (depth map)을 사용하는 방식은 연산량이 많아 느리다. 하지만 stixels world model[15]은 빠른 깊이 정보를 얻을 수 있는 방법으로서 object 검출의 속도를 높이는데 사용한다. 이 방식은 완전한 깊이 맵 (depth map)을 계산하지 않고, 스테레오 이미지로부터 빠르게 직접적으로 stixel world model 정보를 견적한다. 이러한 VeryFast 검출기는 스테레오 이미지와 단일 이미지에서 각각 50Hz, 135Hz가 넘는 검출 속도를 보이며, 검출 성능 또한 뛰어남을 보인다. 본 논문에서는 실시간 환경에서 높은 검출률과 뛰어난 검출 속도를 보이는 VeryFast 검출기를 사용했다.

 

Ⅲ. 유동인구 수 측정 시스템의 구현

본 장에서는 유동인구 수 측정 시스템의 구조와 각 구성요소들에 대해 설명하고, 제안된 시스템에서의 유동인구 수 측정 방법에 대해 기술한다. 제안된 시스템은 평균 필터 추적방법과 프레임 보상 및 아웃라이어 제거를 통해서 강인한 객체 추적을 하여 효율적으로 유동인구 수를 측정할 수 있도록 구현되었다.

1. 시스템 구조

<그림 2>는 제안된 유동인구 수 측정 시스템의 전체 흐름도를 나타낸다. 전체 시스템은 객체 추적과 객체 정의 및 측정의 두 부분으로 구성되어 있다. 첫 번째 시스템은 비디오 시퀀스를 입력 받아 객체 추적을 수행한다. 객체 추적의 첫 번째 단계인 객체검출에서, 기본 검출기는 Benenson[13]의 VeryFast 검출기를 사용한다. VeryFast는 단일영상 이미지에서 높은 검출률을 유지하며 50Hz가 넘는 검출속도를 보인다. 또한 스테레오 이미지에서는 100Hz가 넘는 검출속도를 보인다. 기본 검출기는 비디오 시퀀스를 입력 받아 매 프레임 객체를 검출한다. 두 번째 단계인 객체 매칭은 현재 프레임에서 검출된 객체와 이전 프레임에서 검출된 객체를 이용하여 예측된 객체 사이의 교차되는 영역의 비율을 통해 수행된다. 매칭된 객체는 평균 필터적용과 프레임 보상 및 아웃라이어 제거를 통해 다음 객체 매칭에서 객체 간 최적의 매칭을 수행할 수 있게 한다.

그림 2.유동인구 수 측정 시스템 흐름도 Fig. 2. Flow chart of the proposed system

추적된 객체는 최종적으로 객체 정의 및 측정 모듈에서 객체 상태 갱신, 객체 정보 정의를 통해서 유동인구 수를 측정한다. 객체 상태 갱신은 객체가 추적되고 있는지를 판별해 갱신한다. 이때, 추적된 객체가 매칭이 되지 않아 추론되고 있는 상태인지 객체가 영상을 벗어났는지를 판별한다. 추적이 완료된 객체는 객체 정보 정의를 통해 정보를 저장한다. 최종적으로 추적이 완료되고 정의된 객체는 유동인구 수 측정이 진행되는데, 시스템 내에서 정의된 임계점을 만족하는 객체만 객체 카운팅을 하여 불필요한 오검출을 줄인다.

2. 유동인구 수 측정

본 절에서는 객체 정의 및 유동인구 수 측정 방법에 대해 기술한다. 객체 추적에서 매칭된 객체는 객체ID, 입장시간, 입장위치의 정보를 정의한다. 또한 추적이 완료된 객체는 퇴장시간, 퇴장위치, 체류시간, 추적길이를 정의하며 객체의 정보를 저장한다.

객체 정의에서 입장위치와 퇴장위치는 객체를 추적함에 따라 상/하/좌/우 이동방향을 측정할 수 있다. 상/하/좌/우 방향은 영상의 중심을 기준으로 대각선 4등분 지표로 영역을 나눈다. 검출된 객체는 중심좌표를 이용하여 객체의 입장위치와 퇴장위치를 측정한다. 각각의 객체가 영상에서 어느 방향에서 입장했으며 퇴장했는지 정해진 지표를 통해서 분석될 수 있다. <그림 3>는 객체 정의의 이동방향 판별의 결과를 보여주고 있다. 좌측 이미지는 입력 프레임이며, 우측 이미지는 제안된 시스템에서 처리되고 있는 GUI이미지이다. 화면의 흰색 선은 4등분 지표로 나눈 영역을 보여주고 있으며, 사각형 바운딩 박스는 추적되고 있는 객체를 의미한다. 또한 추적되는 객체의 이동경로는 같은 색의 선으로 표시된다.

그림 3.이동방향 판별 결과 Fig. 3. Example tracking result from direction of movement

정의된 객체는 시스템 내에서 정해진 임계치 기준에 의하여 유동인구 수 측정에 사용된다. 제안된 시스템에서 임계치 기준은 추적된 객체의 길이를 비교하여 설정된다. 추적이 완료된 객체는 임계치 기준을 만족하는 길이여야 유동인구 수 측정이 수행된다. 따라서 짧게 추적된 객체를 걸러내어 오검출을 줄이고, 충분한 길이를 추적한 객체를 카운팅 함에 따라 정확도 있는 결과를 얻게 된다.

 

Ⅳ. 성능 향상을 위한 개선 알고리즘

1. 평균필터 추적 개선

객체 매칭에서 기존의 방법은 현재 프레임에서 검출된 객체의 바운딩 박스와 다음 프레임에서 검출된 객체의 바운딩 박스의 교차되는 영역의 비율을 매칭에 사용한다. 그러나 프레임 간에 검출기에서 검출되는 바운딩 박스의 크기가 일정하지 않아 교차되는 영역의 비율 추적방법에 영향을 준다.

따라서 본 논문에서 객체 추적의 객체 매칭을 개선하기 위해 매칭된 객체들에 바운딩 박스의 평균 윈도우 사이즈를 적용한다. 각각 추적된 객체는 이전 객체들의 정보를 가지고 있다. 객체 매칭은 현재 프레임에서 검출된 객체와, 바로 이전 프레임에서 검출된 객체를 통해 예측된 객체와 교차되는 영역의 비율 추적방법을 통해 수행된다. 그러나 같은 객체일지라도 연속적인 프레임에서 검출되는 객체의 바운딩 박스는 장면 (scene)의 변화에 따라 큰 차이를 보일 수 있다. 각각 추적된 객체는 이전 객체들의 정보를 가지고 있다. 평균필터는 이전 객체들의 바운딩 박스를 참고하여 매 프레임 매칭된 객체에 적용한다. 수식 (1)에서 N은 이전 객체들의 총 수이다. pBoundingBox(k)는 이전 객체들의 윈도우 사이즈이다.

이러한 평균값 필터의 적용은 특정한 프레임에서 검출된 객체의 바운딩 박스 영역에 대한 오검출을 개선할 수 있다. 같은 객체 간에 안정적인 바운딩 박스 영역을 제공해야 교차영역 비율 추적방법에서 강인한 추적을 수행할 수 있다. 그러므로 이전 객체들의 평균 윈도우 사이즈를 통한 예측된 객체는 객체 비율 추적방법에 정확도를 높일 수 있다. <그림 4>는 평균필터 추적에 쓰이는 이전 객체들을 보여준다.

그림 4.평균필터 추적에 쓰이는 이전 객체들의 예 Fig 4. Objects of average filter tracking

개선된 평균필터 추적방법은 현재 검출된 객체(Current Object)와 예측된 객체(Expect Object), 이전 객체(Previous Object), 처음 객체(First Object)의 평균 윈도우 사이즈를 적용해 매칭한다.

2. 프레임 보상 및 아웃라이어 제거

복잡한 상황에서 각각 추적되는 객체는 반복적으로 폐색되고 중첩되는 상황이 발생할 것이다. 본 논문에서는 객체 간 중첩 문제를 해결하기 위해 확장된 프레임 보상을 적용한다. <그림 5>는 일반적인 폐색상황을 보여준다.

그림 5.일반적인 폐색상황 Fig. 5. The situation of general occlusion

객체 간 중첩이 발생하면 추적되고 있는 객체는 바로 제거되는 것이 아니라 예측된 객체를 가지고 스킵하는데, 가장 최근에 추적한 객체의 바운딩 박스와 스코어를 할당하며, 최근에 추적한 객체로 예측이 이루어진다. 기존의 방법은 1초 이상 (15 Frame)의 추적된 객체에 대해 1초 (15 Frame)간의 보상 적용이 이루어진다. 이는 복잡한 상황에 맞지 않는 방법이며, 폐색된 상황이나 중첩된 상황에서 1초의 보상 적용은 큰 영향을 주지 않는다. 따라서 확장된 프레임 보상 방법은 추적이 되고 있는 모든 객체에 대해 2초 (30 Frame)의 보상 적용이 이루어진다. 이는 검출기에서 검출하지 못하는 프레임에 대한 객체 보상뿐만 아니라 폐색된 상황에서 강인하게 추적을 할 수 있게 하여 준다.

본 시스템에서 기본 검출기는 매 프레임 객체 검출을 한다. 검출된 객체는 객체 매칭을 통하여 프레임 간 연결된다. 이와 같은 구조에서 객체 검출은 하나의 객체에 대해 다수의 후보를 검출할 수 있다. <그림 6>는 하나의 객체에 다수의 후보가 검출되는 상황을 보여준다.

그림 6.다수의 후보 검출 예 Fig 6. Example of detected object by the detector

검출기에서 검출된 모든 객체에 대해 객체 매칭이 적용되면 교차되는 영역 비율 추적방법은 좋지 않은 후보와 객체 매칭을 할 수 있는 가능성을 갖게된다. 따라서 다음 프레임에서 객체 매칭에 영향을 줄 수 있다. 본 논문에서는 다음 프레임에서 최적의 객체 매칭이 이루어질 수 있게 객체 매칭에 영향을 주는 아웃라이어를 제거한다. 검출기에서 검출된 객체는 각각 객체마다 객체에 대한 스코어를 부여한다. 이때 낮은 스코어를 갖는 객체를 제거 후 다음 객체 매칭을 수행한다.

 

Ⅴ. 실험 결과 및 분석

유동인구 수 측정 시스템의 평가는 자체적으로 수집한 유동인구 검출 영상들을 이용하여 측정하였다. 실험에 사용된 데이터 셋 S6, S7는 무작위로 돌아다니는 유동인구 영상이며, S7는 S6보다 좀 더 복잡환 유동인구 환경을 가진다. 데이터 셋의 프레임 크기는 640x480이며, S6는 총 4975 프레임, 데이터 셋 S7는 총 6126 프레임을 가진다. 유동인구의 실측 수와 견적된 수를 비교하기 위하여, Mean Absolute Error (MAE)와 Mean Relative Error (MRE)를 계산한다.

식 (1), (2)에서 N은 비디오 시퀀스의 총 프레임 수이며, E(i)와 G(i)는 i 번째 프레임에서 견적된 유동인구 수와 실측 유동인구 수이다. MAE는 실측 유동인구 수와 견적된 유동인구 수에 대한 에러율을 비교하는데 매우 유용하다. 그러나 실측 유동인구의 크기에 대한 상대적인 에러율을 구하는데는 한계가 있다. 따라서 상대적인 에러율을 비교할 수 있는 MRE까지 비교한다.

1. 평균 필터 적용에 따른 성능 측정

먼저 다양한 평균 윈도우 사이즈 적용에 따른 성능을 측정, 확인 하였다. v1의 평균필터는 현재 검출된 객체 (Current Object)와 처음 객체 (First Object)를 기반으로 한다. v2의 평균필터는 현재 검출된 객체와 예측된 객체 (Expect Object)를 기반으로 한다. v3의 평균필터는 현재 검출된 객체, 바로 이전의 객체 (Previous Object)와 처음 객체를 기반으로 한다. v4는 현재 검출된 객체, 예측된 객체와 처음 객체를 기반으로 한다. v1, v2, v3와 v4는 프레임 보상과 아웃라이어 제거를 적용하지 않는다. 또한 실험에서 비교하는 VeryFast는 기본 검출기로서 마찬가지로 평균 필터, 프레임 보상과 아웃라이어 제거를 적용하지 않는다.

<그림 7>과 <그림 8>은 데이터 셋 S6와 S7에 대한 평균 필터를 적용한 시스템의 성능을 비교한 결과이다. 그래프의 가로축은 비디오 시퀀스의 프레임 번호이며, 세로축은 누적카운트이다. 평균 필터를 적용한 v1, v2, v3, v4는 VeryFast보다 더 좋은 성능을 보이는 것을 볼 수 있다. 예측된 객체를 사용한 v2와 v4가 전반적으로 성능이 좋게 나타난다. 객체 매칭을 할 때 현재 검출된 객체와 예측된 객체를 사용하기 때문에 예측된 객체의 바운딩 박스를 적용하는 것이 성능 향상에 도움을 주는 것으로 나타난다. 데이터 셋 S7는 데이터 셋 S6보다 복잡한 환경을 보이기 때문에 실측 유동인구 수와 더 큰 차이를 보인다. 제안된 시스템은 데이터 셋 S6, S7에서 안정적이고 전반적으로 성능이 높게 나온 v4의 평균 필터를 적용한다.

그림 7.데이터 셋 S6에 대한 평균필터 별 누적카운트 성능 비교 Fig. 7. Counting results of average filter compare to Benenson method in dataset S6

그림 8.데이터 셋 S7에 대한 평균필터 별 누적카운트 성능 비교 Fig. 8. Counting results of average filter compare to Benenson method in dataset S7

2. 프레임보상 및 아웃라이어 제거에 따른 성능 측정

<그림 9>와 <그림 10>는 데이터 셋 S6에 대하여 제안된 시스템의 개선된 성능 결과를 보여준다. 제안된 시스템은 v4의 버전에 대해서 프레임 보상 및 아웃라이어 제거를 적용한다. <그림 9>는 실측 유동인구 수, VeryFast, v4 그리고 제안된 시스템의 누적카운트 결과를 비교한다. 프레임 보상과 아웃라이어 제거를 적용한 제안된 시스템은 VeryFast와 v4보다 성능이 크게 향상됨을 보여준다. 3000 프레임 초반까지는 실측 유동인구 수와 거의 일치하는 결과를 보인다.

그림 9.데이터 셋 S6에 대한 제안된 시스템의 누적카운트 성능 비교 Fig. 9. Counting results of proposed method compare to other methods in dataset S6

그림 10.데이터 셋 S6에 대한 제안된 시스템의 MRE 성능 비교 Fig. 10. Relative error of proposed method compare to other methods in dataset S6

<그림 10>에서 볼 수 있듯이 데이터 셋 S6에 대하여 VeryFast는 15.8%, v4는 10.9%, 제안된 시스템은 3.1%로 에러율이 크게 줄어든다. 검출기에서 검출하지 못하는 빈 프레임에 대한 보상과 폐색된 상황이나 중첩된 상황에서 모든 객체에 대한 객체 보상이 객체추적을 강인하게 하여 더 좋은 성능을 보였다. 또한 다음 프레임에서 최적의 객체 매칭을 할 수 있게 좋지 않은 후보의 객체를 제거함에 따라 성능이 크게 향상되었다.

<그림 11>와 <그림 12>는 데이터 셋 S7에 대하여 제안된 시스템의 성능을 보여준다. <그림 11> 역시 실측 유동인구 수와 VeryFast, v4, 제안된 시스템 등 모두 3가지 방식의 누적카운트를 비교한다. 실험결과에 의하면, 제안된 방식은 VeryFast와 v4에서 세지 못하는 객체를 추적함에 따라 실측 유동인구 수와 더 가까운 결과를 보이는 것을 볼 수 있다. <그림 12>에서 볼 수 있듯이 VeryFast보다 16.9%p, v4보다 7.3%p씩 에러율을 줄이며 더 강인한 객체추적을 보인다. <표 1>와 <표 2>는 지금까지 데이터 셋 S6와 S7에 대하여 측정한 MRE와 MAE에 대한 수치를 보여준다. 평균 필터를 적용한 v1, v2, v3, v4는 VeryFast보다 MRE, MAE를 줄이며 객체 추적의 성능 향상에 도움을 주는 것을 보여준다. 데이터 셋 S6에서 예측된 객체, 현재 객체와 처음 객체 등 세 개의 객체의 평균 윈도우 사이즈를 적용한 v4의 에러율이 낮아진 것을 볼 수 있으며, 데이터 셋 S7에서도 예측된 객체와 현재 객체의 평균 윈도우 사이즈를 적용한 v2와 v4의 에러율이 크게 낮아진 것을 볼 수 있다. 제안된 시스템은 데이터 셋 S6에 대하여 VeryFast보다 MRE와 MAE를 크게 줄이며 개선된 성능을 보여준다. 또한 S7에 대하여 MRE는 16.9%p, MAE는 12.1 등 에러율을 크게 줄인다. 최종적으로 제안된 시스템은 데이터 셋 S6에 대하여 MRE 3.1%, MAE 1.50을 보이며, 데이터 셋 S7에 대하여 MRE 9.8%, MAE 4.50의 에러율을 보이며 크게 향상된 결과를 보여준다.

그림 11.데이터 셋 S7에 대한 제안된 시스템의 누적카운트 성능 비교 Fig. 11. Counting results of proposed method compare to other methods in dataset S7

그림 12.데이터 셋 S7에 대한 제안된 시스템의 MRE 성능 비교 Fig. 12. Relative error of proposed method compare to other methods in dataset S7

표 1.데이터 셋 S6에 대한 MRE와 MAE 성능 측정 Table 1. Counting performance of proposed method compare to other methods in dataset S6

표 2.데이터 셋 S7에 대한 MRE와 MAE 성능 측정 Table 2. Counting performance of proposed method compare to other methods in dataset S7

 

Ⅵ. 결론 및 향후계획

본 논문에서는 폐색과 중첩된 상황에서 강인한 객체 추적을 통해 유동인구 수 측정을 실시간으로 할 수 있는 시스템을 제안했다. 이때 객체의 추적을 위하여, 검출된 객체의 바운딩 박스 영역을 검출하고, 연속된 두 프레임간의 교차영역의 비율에 근거하여 같은 객체임을 판단하고 추적을 하게 된다. 그러나 이때 같은 객체일지라도 장면 (scene)의 변화에 따라 바운딩 박스의 크기가 큰 차이를 보이며, 안정적인 바운딩 박스 영역을 제공하지 못함으로 인하여 추적 성능이 저하되는 경향이 있다. 이때, 소수의 프레임들에서 검출된 객체들의 평균 윈도우 사이즈를 제공하는 평균 필터를 이용함으로서 객체 매칭률을 향상시킬 수 있음을 보였다. 또한 평균 필터는 객체 매칭을 할 때 현재 검출된 객체와 예측된 객체를 사용하기 때문에 예측된 객체의 바운딩 박스를 적용하는 것이 성능 향상을 높일 수 있음을 보였다. 또한 폐색된 상황에서 강인하게 추적할 수 있는 프레임 보상과 검출기에서 검출한 다수의 객체후보에 대한 아웃라이어 제거를 통해 성능을 높이고 에러율을 크게 줄일 수 있음을 보였다.

그림 13.제안된 시스템의 검출 및 추적 Fig. 13. Detection and Tracking of the proposed system

또한 본 논문에서 제안한 시스템은 추적된 객체에 대하여 다양한 정보를 정의하고 강인한 객체 추적을 통하여 유동인구 수를 측정한다. 평균 검출속도는 초당 80프레임을 보이며, 실시간 환경에서 효율적으로 유동인구 수를 측정할 수 있다.

이러한 연구를 통하여 검출되는 객체의 바운딩 박스에 간단한 평균필터를 적용하여 성능의 향상을 가져올 수 있음을 보였으나, 평균필터에 입력으로 제공되는 프레임의 선택 방법에 따라 또한 성능의 차이를 가져옴을 확인 할 수 있었다. 따라서 어떠한 평균필터를 적용하는 것이 가장 이상적인 성능의 향상을 가져오는 지는 추후 다양한 방법으로 적용하고 실험하여야 할 과제이다.