Object Tracking Framework of Video Surveillance System based on Non-overlapping Multi-camera

비겹침 다중 IP 카메라 기반 영상감시시스템의 객체추적 프레임워크

Abstract

Growing efforts and interests of security techniques in a diverse surveillance environment, the intelligent surveillance system, which is capable of automatically detecting and tracking target objects in multi-cameras environment, is actively developing in a security community. In this paper, we propose an effective visual surveillance system that is avaliable to track objects continuously in multiple non-overlapped cameras. The proposed object tracking scheme consists of object tracking module and tracking management module, which are based on hand-off scheme and protocol. The object tracking module, runs on IP camera, provides object tracking information generation, object tracking information distribution and similarity comparison function. On the other hand, the tracking management module, runs on video control server, provides realtime object tracking reception, object tracking information retrieval and IP camera control functions. The proposed object tracking scheme allows comprehensive framework that can be used in a diverse range of application, because it doesn't rely on the particular surveillance system or object tracking techniques.

다양한 감시 환경에서의 보안의 중요성이 대두됨에 따라 여러 대의 카메라로 움직이는 물체를 연속적으로 추적하는 시스템에 대한 연구가 활발히 진행되고 있다. 본 논문은 물체를 연속적으로 추적하기 위해 비겹침 다중 카메라 기반의 영삼감시시스템을 제안한다. 제안된 다중 IP 카메라 기반 객체추적 기술은 장치 간 hand-off 기술 및 프로토콜을 바탕으로 객체추적 모듈과 추적관리 모듈로 구성된다. 객체추적 모듈은 IP 카메라에서 실행되며 객체추적 정보 생성, 객체추적 정보 공유, 객체추적 정보를 이용한 객체 검색 및 모듈 내 설정 기능을 제공하고, 추적관리 모듈은 영상관제 서버에서 실행되며 객체추적 정보 실시간 수신, 객체추적 정보 검색, IP 카메라 컨트롤 기능을 제공한다. 본 논문에서 제안한 객체추적 기술은 다양한 감시 환경과 기술 방법에 의존하지 않는 범용적 프레임워크를 제안한다.

I. 서론

현대 사회로 발전하면서 사회적 안전 외에도 개인의 재산과 안전에 대한 관심이 증대되고 있으며, 보호의 대상이 개인의 정보에서 개인 신변으로 확대됨에 따라 주요 시설물, 관공서, 학교, 기업, 가정에 이르기 까지 보안의 중요성 및 적용 범위가 확대, 증가하고 있다. 특히, 최근에는 아동 성범죄 및 유괴 등 강력 사건의 증대로 우범지대 및 범법자에 대한 사후 관리는 물론 위험 상황의 사전 예방에 관한 관리 체계 개선을 요구하는 목소리도 커지고 있다.

CCTV로부터 얻은 영상의 해석을 전적으로 사람에게 의존하였던 기존의 수동적인 감시 시스템은 최근 컴퓨터의 처리 능력 향상 및 컴퓨터 비전 기술의 발전에 따라 감시 대상을 자동적으로 인식하고 추적할 수 있는 지능형 영상 감시 시스템으로 진화되어 개발되고 있다.

초기에 개발된 지능형 영상 감시 시스템들은 대부분 다수의 카메라를 동시에 다룰 수 있는 능력을 가지고 있지만, 각 카메라 영상의 처리는 완전히 독립적으로 이루어져 카메라 간의 연동을 고려하지 않은 채 개발 되었다. 이후, 다수의 카메라로 넓은 지역을 감시하는 광역 감시의 필요성이 대두되면서 특정 객체를 추적하는 다중 카메라 간의 연동 기술들이 제안되었다. 다중 카메라 간 연동 기술이란 [그림 1]과 같이 카메라 A에 의해 추적 중인 물체가 카메라 B의 감시 영역으로 진입하였을 때 카메라 B에서 물체를 이어서 추적하는 것을 의미한다. 그러나 지금까지의 연동 기술은 겹침(overlapping) [1~6] 영역을 가지는 두 대의 카메라를 기반으로 주로 제안 되었으며, 제안된 카메라 보정 기법들은 빛과 조명의 영향으로 설치 환경에 제약을 가지고 있어 그것을 보정하고 보완하기 위한 연구가 꾸준히 진행되고 있다.

[그림 1] 다중 카메라 간 객체 추적을 위한 연동 프레임 워크

이와 더불어 최근에는 카메라의 설치와 유지비용의 이유로 실내/외의 넓은 영역을 감시하는 시스템으로 비겹침 (non-overlapping) [3,7~14] 영역을 가지는 카메라 구성을 요구하고 있다. 비겹침 영역 기반 카메라는 시각적으로 겹침이 없어 동일 객체를 구분하는데 어려움을 가지며, 이는 제한된 시야 내 개별 카메라에서의 추적은 가능하지만 추적된 정보가 다른 카메라에 자동적으로 전달되어 종합적인 추적을 수행하는 데에는 한계를 가진다.

따라서 특정 감시요원 없이 자동적으로 침입자를 식별하고, 감시카메라에서 식별된 침입자를 비겹침 영역을 가지는 여러 대의 감시카메라 상에서도 지속적으로 추적한다. 또한, 언제, 어디서나 사용자에게 보안영역에 대한 감시 결과를 전달하여 사용자에게 편의와 신뢰를 제공할 수 있는 새로운 감시시스템의 개발이 절실히 필요하다.

본 논문에서는 비겹침 다중 카메라 기반 영상감시 시스템을 위한 객체추적 프레임워크를 제안한다. 2장에서는 다중 IP 카메라에서의 객체 추적과 관련된 연구들을 소개하고, 3장에서는 영상감시시스템 내 장치간 상호 연동을 통한 실시간 객체추적 방법을 설명한다. 4장에서는 제안된 프레임워크를 위한 장치 간 연동 프로토콜을 서술하고, 마지막 5장에서는 결론을 맺는다.

II. 관련 연구

지능형 영상감시시스템은 영상 시퀀스에서 움직이는 물체를 탐지하고 스스로 판별할 수 있는 기술을 가지며 다수의 감시 카메라 환경에서 자동적인 객체 식별 및 추적 기술이 필수적인 기능이라 할 수 있다. 최근 수십 년 동안 카메라를 이용하여 실내/외 환경에서 움직이는 객체를 식별하고, 추적하는 방법은 여러 가지 환경과 방법들을 기반으로 제안되었다. 첫 번째는 대표적인 환경적 요소로서 카메라 설치 환경이 실내/외를 고려하는 장소로서, 빛과 조명에 의한 영향이 객체 식별 기술에서는 최소화해야 한다. 또한, 추적 범위가 좁은 실내일 경우는 생체 정보가 중요하지만 넓은 지역에서는 생체 정보 외에 추적 대상의 움직임의 방향 및 속도, 위치 등의 추가 정보가 고려되어야 한다. 두 번째는 고정된 카메라를 사용하는지 능동적으로 움직이는 카메라를 사용하는지에 따라 장치 간 추적 시나리오를 명확히 제시해야 하며, 세 번째는 시스템 내 카메라 구성이 단일 카메라인가 다중 카메라인가를 판단해야한다. 단일 카메라의 경우 카메라가 획득 할 수 있는 시각적 범위는 한정적이라서 사람의 움직임이나 행동 패턴을 추적하기보다 객체 인식에 중점을 둬야 하는 반면, 2대 이상의 카메라를 이용하는 방법은 보다 광범위한 지역에서 객체 추적 및 행동 패턴분석을 하기에 용이하다. 마지막으로 다중 카메라는 카메라들의 시각적 범위가 겹치는가에 따라서 겹침 카메라와 비겹침 카메라로 나뉜다. 겹침 카메라는 다양한 각도에서 객체의 움직임과 동작을 추적할 수 있어 3차원 모션을 만드는데 유리한 반면, 비겹침 카메라는 넓은 시야의 확보가 용이하여 넓은 지역에 걸쳐 장시간 동안 사람의 움직임의 방향, 경로나 움직임의 패턴을 추적하는 영상감시시스템 분야에서 많이 사용된다.

기존의 객체 추적 기법들은 단일 카메라를 기반으로 연구가 이루어졌지만 최근에는 여러 분야에서 다수의 카메라를 이용한 추적 기술에 관심을 가지고 활발히 연구를 진행하고 있다. 특히, 영상감시시스템은 광역 감시의 비용 문제를 해결하고자 겹침 카메라보다 비겹침 카메라를 대상으로 하는 감시시스템 설계에 가중치를 부여하고 있다.

기존의 겹침 기반의 객체추적 기술들은 두 대이상의 카메라가 동일한 영역을 통해 색상과 같은 객체의 특징 정보를 공유할 수 있어 단순 색상 평균[7], 색상 히스토그램[8], BTF(Brightness Transfer Functions)[9]를 사용하여 쉽게 동일 객체를 인식하고 추적할 수 있었다. 하지만 객체 정보를 공유할 수 없는 비겹침 카메라에서 이들 기법들은 빛의 양과 객체의 자세 변화 등에 의해 동일 객체 식별에 어려움을 가진다. 따라서 비겹침 카메라 기반의 연구들은 색상 뿐 아니라 시간-공간 정보의 학습(training) 단계를 통해 학습한 후 확률 정보를 이용해 추적하는 기술[10]로 진화해가고 있다. 하지만 위와 같은 기존 방식은 카메라 공간상, 시간상에 대한 미리 약속된 대응(corresponding) 관계를 설계하여 추적 대상의 정보를 공유함으로써 계산의 복잡도가 높고, 학습을 위한 학습 시간을 따로 제공해야함으로 계산 복잡도가 낮은 실시간 응용에 적합하지 않은 한계를 가진다. 또한, 비겹침 카메라 기반 추적 기술은 개별 카메라에서의 추적된 결과를 다른 카메라가 알 수 있는 방법이 제시되지 않아 현 카메라에서 추적 대상이 인식되었다 하더라도 현 카메라에서 사라진 추적 대상이 어느 카메라로 이동하였으며, 이동한 위치가 어디인가에 대한 고려가 미비하였다. 더불어, 기존 논문들은 장소, 특정 이벤트, 장치 종류, 객체 타입 등에 의존하는 특정환경에 제한된 기술들을 제안해 왔다. 이들은 실/내외, 낮/밤, 공적장소/사적장소에 법용적으로 사용되는데 어려움을 갖는다. 따라서 환경에 의존하지 않고 적용될 수 있는 프레임워크 제안이 절실히 요구된다.

III. 비겹침 다중 IP 카메라 기반 객체추적 프레임워크

본 논문에서는 넓은 지역에서 다수의 카메라를 이용하여 폭넓은 시야를 확보하고, 여러 대의 카메라들이 서로 다른 지역을 감시하도록 함과 동시에 한 카메라에서 자동적으로 인식되어 추적된 객체를 여러 카메라에 걸쳐서 자동적으로 추적할 수 있는 영상감시시스템의 객체추적 프레임워크 및 장치 간 연동 프로토콜을 제안한다.

3.1 기능 정의 및 구조

본 제안 프레임워크는 영상감시시스템을 구성하는 비겹침 다중 IP 카메라들과 영상관제 서버의 상호 연동을 통한 실시간 객체추적 방법을 제시한다. 우선, 비겹침 다중 IP 카메라 기반의 실시간 객체추적을 위해 요구되는 주요 기능들은 다음과 같다.

∙ 실시간으로 수집되는 영상으로부터 이벤트의 원인이 되는 객체의 특징 정보(ex. 색상, 이동속도, 방향 등)를 객체 메타데이터로 생성하는 기능

∙ 추적 객체의 이동시, IP 카메라가 객체 메타데이터를 이웃 IP 카메라에게 전달하는 기능

∙ 이웃 IP 카메라로부터 수신한 메타데이터를 이용하여 실시간으로 수집되는 영상 데이터 에서 추적 객체를 찾아내는 기능

∙ 추적 객체를 발견한 IP 카메라가 객체 메타데이터 및 객체추적 상황(경로) 정보를 영상관제 서버에게 전달하는 기능

∙ 영상관제 서버가 IP 카메라로부터 수신한 객체 메타데이터 및 객체추적 상황 정보를 기록하고 저장하는 기능

∙ 영상관제 서버가 저장한 객체추적 상황 정보를 관리자가 조회할 수 있는 기능

∙ 영상관제 서버에서 IP 카메라를 설정 및 조회할 수 있는 기능

이와 같이 비겹침 다중 IP 카메라를 위한 객체추적 블록은 IP 카메라에서 영상인식 블록과 함께 동작하는 객체추적 모듈(Object Tracking Module, OTM)과 영상관제 서버에서 보안 정책 및 GUI를 기반으로 하는 추적관리 모듈(Tracking Management Module, TTM)로 나뉠 수 있다. 이때, 영상인식 블록은 지속적으로 배경 영상을 인식 및 분리하고 관리하기 위한 배경 모델링과 관심 있는 영역에서 객체를 검출하고 추적하기 위한 객체 검출 및 추적 모듈, 그리고 이벤트(ex. 위험행위, 재난상황 등)를 탐지하고 휴먼 정보를 추출하는 이벤트 탐지 및 휴먼 프로파일링 기능을 제공한다. 본 논문은 위와 같은 상황을 가정 하에 객체추적 기능만을 상세히 설명한다. [그림 2]는 비겹침 다중 IP 카메라 기반 객체추적 블록의 구조 및 연결 블록들을 보여준다.

[그림 2] 객체추적 블록의 구조 및 타 블록과의 연결 관계

3.2 객체추적 모듈 (Object Tracking Module, OTM)

객체추적 모듈은 영상감시시스템의 IP 카메라에서 동작하며

∙ 특정 이벤트 발생 시, 영상으로부터 이벤트의 원인이 되는 객체의 특징을 추출하여 객체 메타데이터를 생성하고 객체 추적 상황 정보를 실시간으로 보안관제 서버에게 통보하는 기능

∙ 특정 이벤트 발생을 인지한 IP 카메라로부터 이벤트의 원인이 되는 객체가 사라졌을 때, 주변 IP 카메라로 객체 메타데이터를 분배하는 기능

∙ 주변 IP 카메라로부터 객체 메타데이터를 수신하였을 때, 수신한 객체 메타데이터와 실시간으로 수집한 영상 내 객체와의 유사도를 비교하는 기능

을 제공한다.

위와 같은 기능들을 처리하기 위해 객체추적 모듈(OTM)은 이벤트 처리 유닛(Event Processing Unit, OEPU), 메시지 처리 유닛(Message Process Unit, OMPU) 및 DB 관리 유닛(DB Management Unit, ODMU)으로 나뉘어 구성된다. OEPU는 영상인식 블록과 인터페이스를 가지며, 영상인식 블록의 요청을 처리하는 기능을 제공한다. OMPU는 네트워크를 통한 메시지를 처리하는 기능을 제공하며, ODMU은 객체추적 모듈에서 사용할 DB를 관리하는 기능을 제공한다. 이때 OTM 내 DB는 객체 메타데이터 정보를 저장하는 Object DB와 이웃 IP 카메라 정보를 저장하는 Camera DB로 구성된다. Managed Device Application은 IP 카메라들을 제어하기 위해 영상관제 서버로부터 수신한 메시지 및 객체 추적을 위해 이웃 IP 카메라로부터 수신한 메시지를 처리하기 위해 OMPU을 호출한다. [그림 3]은 객체추적 모듈의 구조 및 자료 흐름도를 보여준다.

[그림 3] 객체추적 모듈의 구조 및 자료 흐름도

다음은 객체추적 모듈을 구성하는 Unit들을 기반으로 동작 별 처리 과정을 설명한다.

3.2.1 이벤트 발생에 의한 객체추적 정보 생성

IP 카메라가 실시간으로 수집되는 영상정보 속에서 특정 이벤트 발생을 인식하였을 경우 객체 메타데이터와 객체추적 상황 정보의 생성 및 처리 과정은 [그림 4]와 같다.

[그림 4] 이벤트 발생에 의한 객체 객체추적 정보의 생성 및 처리 과정

영상인식 블록은 이벤트 발생을 인식한 영상 정보 속에서 이벤트의 원인이 되는 객체를 검출하고 검출한 객체로부터 객체의 특징 정보를 추출하여 새로운 객체에 대한 메타데이터를 생성한다. 이때, 생성된 객체 메타데이터는 OEPU를 통해 ODMU로부터 새로운 객체의 식별정보인 Object ID를 부여받는다.

Object ID 및 특징 정보를 포함하는 객체 메타데이터는 객체추적 모듈의 OEPU로 전달되고, ODMU를 통해 동일한 Object ID가 존재하지 않음을 확인한 후 Object DB에 저장된다. 더불어, OEPU는 영상을 수집하는 IP 카메라 정보, 객체 출현 시간 등을 포함시켜 객체추적 상황 정보를 생성하고 이를 객체 메타데이터와 함께 OMPU를 통해 영상관제 서버에게 전송함으로써 이벤트 발생을 알린다.

또한, 영상인식 블록은 이벤트의 원인이 되는 객체로부터 추가 특징 정보를 추출하여 OEPU으로 전달할 수 있고, ODMU를 통해 Object DB에 저장된 기존 객체의 특징 정보를 업데이트 할 수 있다.

영상인식 블록은 추적하고자 하는 객체가 사라졌을 경우, 사라진 객체의 식별자를 OEPU에게 전달하고, OEPU는 전달받은 식별자를 이용하여 Object DB에 저장된 기존 객체의 특징 정보(ex. 사라진 시간 등)를 업데이트 한 뒤 이를 영상관제 서버에게 알리고 이웃 IP 카메라에게 추적중인 객체 메타데이터를 전송한다.

3.2.2 IP 카메라 간 객체추적 정보 공유

IP 카메라가 객체 메타데이터를 이웃 IP 카메라로부터 수신하였을 경우 처리 과정은 [그림 5]와 같다. 먼저, IP 카메라는 추적하고자 하는 객체 특징 정보인 메타데이터를 이웃 IP 카메라로부터 수신한다. 네트워크를 통해 수신된 메시지는 OMPU로 전달되고, OMPU은 전달받은 메시지로부터 추적하고자 하는 객체 특징 정보인 메타데이터를 추출한 뒤, ODMU를 통해 그 정보를 Object DB에 저장한다. 뿐만 아니라, 영상관제 서버의 관리자 또는 사용자가 특정 객체를 검색하고자 한다면, 관리자에 의해 지정된 객체 특징 정보를 메타데이터로 생성하여 IP 카메라들에게 전송함으로써 이웃 IP 카메라 뿐 아니라 영상관제 서버로부터 메타데이터를 수신할 수도 있다.

[그림 5] 이웃 IP 카메라로부터 메타데이터 수신 처리 과정

3.2.3 객체추적 정보를 이용한 객체 검색

IP 카메라에서 실시간으로 인식된 영상 내 객체 특징 정보와 Object DB에 저장된 객체 특징 정보를 비교하여 동일 객체를 추적하는 과정은 [그림 6]과 같다.

[그림 6] 동일 객체를 검색하고 추적하는 과정​​​​​​​

(1) 영상인식 블록은 객체추적 모듈 내의 OEPU를 통해 Object DB에 저장된 추적 객체 메타데이터의 존재 유무를 확인한다. 이때, 객체추적 모듈의 Object DB에 저장된 객체 메타데이터가 존재하지 않는다면, 영상인식 블록은 객체추적을 위해 실시간으로 수집되는 영상정보 속에서 객체를 검출한 뒤, 검출 객체로부터 객체의 특징 정보 추출과정을 생략하여 IP 카메라의 자원(resource) 사용에 대한 효율을 높인다.

(2) 반면, 객체추적 모듈의 Object DB에 추적 객체 메타데이터가 존재한다면, 영상인식 블록은 실시간으로 수집되는 영상 정보 속에서 객체를 검출한 뒤, 검출한 객체의 특징 정보를 객체추적 모듈의 OEPU로 전달하고, OEPU는 전달받은 객체의 특징 정보와 Object DB에 저장된 모든 추적 객체의 특징 정보(메타데이터)의 유사도를 비교한다. 이때, 두 객체 간 유사도 비교 방법은 색상, 이동속도, 방향 정보 등을 이용한다.

(3) 객체추적 모듈의 Object DB에 하나 이상의 추적 객체 메타데이터는 존재하지만 지능형 영상인식 블록으로부터 전달받은 객체 특징 정보와의 유사도 비교에서 일치하는 객체 메타데이터가 없다면 추적 객체가 없는 것으로 판단하여 영상인식 블록으로부터 새로운 객체가 검출될 때까지 대기한다.

(4) 반면, 객체추적 모듈의 Object DB에 추적 객체 메타데이터가 존재하고 지능형 영상인식 블록으로부터 전달받은 객체 특징 정보와 Object DB에 저장된 객체 메타데이터의 유사도가 일치할 경우, OEPU는 이를 OMPU을 영상관제 서버에게 알리고 영상인식 블록에게는 객체 식별자 정보(object ID)를 전달한다. 이후, 추적 객체가 IP 카메라로부터 사라지면 3.2.1절의 Step(4)와 같이 동작한다.

3.2.4 영상관제 서버로부터 이웃 IP 카메라 정보 수신

[그림 7]에서와 같이 IP 카메라는 이웃 IP 카메라가 새롭게 설치되거나 제거되면 객체 메타데이터 분배를 위해 새로운 이웃 IP 카메라에 대한 정보를 영상관제 서버로부터 수신한다. 네트워크를 통해 수신된 메시지는 OMPU으로 전달되고, OMPU은 전달된 메시지로부터 IP 카메라의 호스트 이름 및 IP 주소 등을 추출한 뒤, ODMU을 통해 Camera DB에 저장한다.

[그림 7] 영상관제 서버로부터 이웃 IP 카메라 정보 수신 처리 과정​​​​​​​

3.3 추적관리 모듈(Tracking Management Module, TMM)

추적관리 모듈(TMM)은 영상감시시스템의 영상관제 서버에서 동작하며, 객체추적 블록의 시스템 간 연동을 위한 필수 기능으로

∙ IP 카메라로부터 이벤트 발생, 객체 메타데이터 및 객체추적 상황 정보를 실시간으로 수신하여 DB에 저장하고 관리하는 기능

과 시스템 관리의 편의를 제공하기 위한 부가 기능으로

∙ 영상관제 서버(TMM)에 저장된 객체추적 정보를 검색 및 관리하는 기능

∙ 각 IP 카메라(OTM)에 저장된 객체추적 정보와 이웃 카메라 정보를 검색 및 설정하는 기능

등을 제공한다.

위와 같은 기능들을 처리하기 위해 추적관리 모듈(TMM)은 쿼리 처리 유닛(Query Processing Unit, TQPU), 메시지 처리 유닛(Message Process Unit, TMPU) 및 DB 관리 유닛(DB Management Unit, TDMU)으로 나뉘어 구성된다. TQPU는 영상 보안정책 블록(VSPB)과 인터페이스를 가지며 관리자에 의해 주어진 조건에 따라 객체추적 정보 또는 이웃 IP 카메라 정보를 영상관제 서버 또는 IP 카메라에게 검색 및 관리하도록 요청하는 기능을 제공한다. TMPU는 IP 카메라로부터 수신되고 Management Device Application을 통해 전달되는 실시간 객체추적 정보인 Trap 메시지를 처리하는 기능과 IP 카메라와 직접적으로 Request-Response(RR) 메시지를 송/수신하는 기능을 제공한다. TDMU는 영상관제 서버의 TMM에서 사용하는 DB에 접근하여 데이터를 검색 및 관리하는 기능을 제공한다. 더불어, Management Device Application은 영상감시시스템 내 IP 카메라들로부터 네트워크를 통해 실시간 Trap 메시지를 수신하는 기능을 제공하며, 수신된 메시지로부터 추출된 데이터를 처리하기 위해 TMM 내 TMPU를 호출한다. 그리고 VSPB은 관리자가 접근할 수 있는 GUI 및 정책설정 기능을 제공하고 TMM 모듈의 TQPU를 호출한다. [그림 8]은 추적관리 모듈의 구조 및 자료 흐름도를 보여준다.

[그림 8] 추적관리 모듈의 구조 및 자료 흐름도​​​​​​​

다음은 추적관리 모듈을 구성하는 유닛들을 기반으로 동작 별 처리 과정을 설명한다.

3.3.1 IP 카메라로부터 객체추적 정보 실시간 수신

IP 카메라로부터 객체추적 정보를 수신하였을 경우 처리 과정은 [그림 9]와 같다.

[그림 9] IP 카메라로부터 객체추적 정보 수신 처리 과정​​​​​​​

(1) 영상관제 서버는 IP 카메라로부터 이벤트 발생, 객체 메타데이터 및 객체추적 상황 정보를 실시간으로 수신한다. 네트워크를 통해 실시간 수신된 객체추적 정보는 TMPU로 전달되고, TMPU은 전달받은 메시지로부터 객체추적 정보에서 Object ID를 추출한다.

(2) TMPU은 추출된 Object ID가 새로운 객체인지 기존에 추적중인 객체인지를 TDMU 통해 확인하고, DB 내 동일 Object ID의 존재여부에 따라 메시지를 처리한다. TMPU은 Object ID가 새로운 객체이면 TDMU에게 새로운 객체 정보의 저장을 요청한다.

(3) 반면, 이미 동일한 Object ID가 TMM의 DB에 존재하면 수신된 정보는 기존의 추적중인 객체 또는 사라진 객체 정보로 인식되어 TMPU은 TDMU에게 객체 추적 정보를 TMM의 DB에 추가 저장 또는 업데이트 하도록 요청한다.

(4) 더불어, Object ID가 새로운 객체이면 이벤트 알람과 함께 객체 메타데이터 및 객체추적 상황 정보를 VSPB에게 전달하고, Object ID가 기존에 추적중인 객체이면 객체 메타데이터 및 객체추적 상황 정보만을 VSPB에게 전달한다.

3.3.2 TMM의 DB에 저장되어 있는 객체추적 정보의 조회 및 관리

관리자 요청에 의해 TMM의 DB에 저장되어 있는 객체추적 정보를 조회 및 관리하고자 할 경우 처리 과정은 [그림 10]과 같다.

[그림 10] TMM 내 DB에 저장된 정보 조회 및 관리 과정​​​​​​​

영상관제 서버의 관리자는 VSPB을 통해 전체 또는 추적하고자 하는 Object ID를 선택하고 TQPU에게 객체추적 정보를 요청한다. TQPU은 TDMU을 통해 TMM의 DB에 저장되어 있는 모든 객체추적 정보 또는 해당 Object ID에 관한 객체추적 정보의 검색을 요청하고 결과를 수신한 후, VSPB에게 전달한다.

마찬가지로 객체추적 정보의 삭제를 요청할 경우, 관리자는 VSPB 통해 삭제하고자 하는 Object ID를 하나 이상 선택하고 TQPU에게 삭제를 요청하여 처리한다.

3.3.3 특정 IP 카메라가 저장하고 있는 정보 검색 및 관리

관리자가 VSPB를 통해 특정 IP 카메라에게 IP 카메라가 저장하고 있는 추적 객체 메타데이터 또는 이웃 IP 카메라 정보의 검색 및 관리(추가, 삭제)를 요청할 경우 처리 과정은 [그림 11]과 같다.

[그림 11] 영상관제 서버에서 특정 IP 카메라 DB에 저장된 정보 조회 및 관리 과정​​​​​​​

관리자가 VSPB를 통해 특정 IP 카메라를 선택하고 요청 메시지를 생성하면, 선택된 IP 카메라의 IP 주소 및 요청 메시지는 TQPU에게 전달되고, TQPU은 TMPU을 통해 IP 주소에 해당하는 IP 카메라에게 데이터 요청 메시지를 전송한다. 요청 데이터는 IP 카메라에 저장되어 있는 추적중인 객체 메타데이터 또는 이웃 IP 카메라 정보로, 이들의 검색 및 관리에 해당하는 추가 또는 삭제 요청을 TQPU를 통해 전달한다.

요청 메시지를 IP 카메라에게 전송 후, TMPU는요청 메시지의 결과를 수신하기 위해, 설정된 응답 대기 시간 동안 기다리고, IP 카메라는 요청에 따라 각 데이터를 IP 카메라 내 DB에서 검색, 추가 또는 삭제를 처리하여 응답 메시지를 생성 후 영상관제 서버에게 전송한다.

영상관제 서버는 설정 시간 내에 IP 카메라로부터 응답 메시지가 도착한다면 TMPU에게 전달하여 전송결과 및 처리 결과를 VSPB에게 전달하고, 설정 시간 내에 응답이 없으면 TMPU를 통해 VSPB에게 전송실패를 알린다.

IV. 비겹침 다중 IP 카메라 기반 객체추적을 위한 장치 간 연동 프로토콜

다중 IP 카메라 기반 객체 추적 블록의 장치 간 연동 프로토콜은 Transport Layer 중 UDP 상에서 동작하는 비동기식 request/response 메시지 프로토콜로 영상관제 서버와 IP 카메라, IP 카메라와 IP 카메라 간 메시지 전달을 위해 사용된다.

객체 추적 블록의 장치 간 연동 프로토콜은 5개의 메시지 타입

∙ get_request

∙ get_response

∙ get_request

∙ get_response

∙ trap

을 정의하고 있으며, [그림 12]는 객체추적 블록 내 장비 간 교환되는 메시지 타입들을 보여준다.

[그림 12] 객체추적 블록 내 장비 간 교환 메시지 타입​​​​​​​

객체 추적 블록의 연동 프로토콜에서 사용하는 메시지는 UDP datagram으로 캡슐화(encapsul ation) 되고 메시지 포맷은 [그림 13]과 같다.

[그림 13] 객체추적을 위한 장치 간 연동 프로토콜의 메시지 포맷​​​​​​​

4.1 get_request/get_response message

get_request/get_response message는 영상관제 서버의 추적관리 모듈(TMM)이 특정 IP 카메라의 객체추적 모듈(OTM)에게 IP 카메라가 저장하고 있는 모든 또는 특정의 객체 메타데이터 또는 이웃 IP 카메라 정보의 조회를 요청하고 응답하는 메시지이다.

get_request/get_response message를 구성하는 헤더와 데이터 정보는 다음과 같다.

∙ get_request message

※ Request ID

- [4]: Object ID를 가지는 특정 객체추적 정보조회

- [5]: 모든 객체추적 정보 조회

- [9]: Camera ID를 가지는 특정 이웃 IP 카메라 정보 조회

- [10]: 모든 이웃 IP 카메라 정보 조회

∙ get_response message

- 특정 객체 추적 정보 요청에 대한 응답

- 모든 객체 추적 정보 요청에 대한 응답

- 특정 이웃 카메라 정보 요청에 대한 응답

- 모든 이웃 카메라 정보 요청에 대한 응답

4.2 set_request/set_response message

set_request/set_response message는 영상관제 서버의 추적관리 모듈(TMM)이 특정 IP 카메라의 객체추적 모듈(OTM)에게 IP 카메라가 저장하고 있는 객체 메타데이터 또는 이웃 IP 카메라 정보를 설정 (추가 및 삭제) 하도록 요청하고, 설정 결과를 응답하는 메시지이다.

set_request/set_response message를 구성하는 헤더와 데이터 정보는 다음과 같다.

∙ set_request message

- 객체추적 정보 추가 요청

- 이웃 IP 카메라 정보 추가 요청

- 데이터 삭제 요청

※ Request ID

- [2]: Object ID를 가지는 특정 객체추적 정보 삭제

- [3]: 모든 객체추적 정보 삭제

- [7]: Camera ID를 가지는 특정 이웃 IP 카메라 정보 삭제

- [8]: 모든 이웃 IP 카메라 정보 삭제

∙ set_response message

※ Error status

- 0: Return Success

- 1: Return Error

- 2: Return Entry_Exist

4.3 trap message

∙ IP 카메라에서 영상관제 서버에게 전송되는 객체 추적 정보

이벤트 발생 시점 및 추적중인 객체가 특정 IP 카메라에서 인식되거나 사라졌을 때, IP 카메라의 OTM이 영상관제 서버의 TMM에게 추적중인 객체의 객체 메타데이터 및 객체추적 상황 정보를 실시간으로 통보하는 메시지로, 메시지 구조는 다음과 같다.

- 이벤트 발생 시점

- 특정 IP 카메라에서 추적객체를 인식한 시점

- 특정 IP 카메라에서 추적객체가 사라진 시점

∙ IP 카메라에서 이웃 IP 카메라에게 분배되는 객체추적 정보

IP 카메라의 OTM이 이웃 IP 카메라의 OTM에게 추적하고 있는 객체가 사라졌을 때 보내는 메시지로서, 추적하고자 하는 객체의 객체 메타데이터를 포함하는 메시지 구조는 다음과 같다.

V. 결론

본 논문은 겹치는 영역 없이 서로 다른 환경에 설치된 다중 IP 카메라를 기반으로 객체를 추적하는 영상감시시스템을 제안하였다. 제안된 다중 IP 카메라 기반 객체추적 기술은 IP 카메라에서 실행되며 객체추적 정보 생성, 객체추적 정보 공유, 객체추적 정보를 이용한 객체 검색 및 모듈 내 설정 기능을 제공하는 객체추적 모듈(OTM)과 영상관제 서버에서 실행되며 객체추적 정보 실시간 수신, 객체추적 정보 검색, IP 카메라 컨트롤 기능을 제공하는 추적관리 모듈(TMM)로 나누어 제안되었다. 제안된 객체추적 프레임워크는 비겹침 IP 카메라 환경에서 효율적인 연동구조를 제안하고, 제안된 객체추적 모듈(OTM)은 HSV 색공간을 이용한 객체 검색 기법과 같이 경량화된 알고리즘을 적용하여 IP 카메라에서 수행될 수 있도록 제안될 수 있다. 하지만 여전히 빛과 조명의 영향으로 동일 객체를 구분하는데 한계를 가지고 있어 색상을 이용한 유사도 검색 기법의 깊이 있는 연구가 향후 요구된다. 더불어, 단일 IP 카메라상에 존재하는 다수 객체의 겹침 문제를 해결하고 정확도를 가지고를 추적할 수 있는 단일 카메라에서의 기능 제시 및 감시 시스템의 특성을 보안해줄 수 있는 보안성 문제가 향후 함께 연구될 예정이다.