Unauthorized person tracking system in video using CNN-LSTM based location positioning

Abstract

In this paper, we propose a system that uses image data and beacon data to classify authorized and unauthorized perosn who are allowed to enter a group facility. The image data collected through the IP camera uses YOLOv4 to extract a person object, and collects beacon signal data (UUID, RSSI) through an application to compose a fingerprinting-based radio map. Beacon extracts user location data after CNN-LSTM-based learning in order to improve location accuracy by supplementing signal instability. As a result of this paper, it showed an accuracy of 93.47%. In the future, it can be expected to fusion with the access authentication process such as QR code that has been used due to the COVID-19, track people who haven't through the authentication process.

본 논문에서는 영상 데이터, 비콘 데이터의 결합을 통해 집단시설에서 출입이 허용된 승인자와 비승인자를 구분하는 시스템을 제안한다. IP 카메라를 통해 수집된 영상 데이터는 YOLOv4를 사용하여 사람 객체를 추출하고, 애플리케이션을 통해 비콘의 신호 데이터(UUID, RSSI)를 수집하여 핑거프린팅 기반의 라디오 맵을 구성한다. 비콘은 신호의 불안전성을 보완해 위치 파악의 정확도를 향상하기 위하여 CNN-LSTM 기반의 학습을 진행한 후 사용자 위치 데이터를 추출한다. 이후 도출된 위치 데이터와 사람 객체가 추출된 영상 데이터를 매핑해 실시간으로 비승인자를 추적한다. 본 논문의 결과로 93.47%의 정확도를 보였으며, 향후 코로나19로 사용이 증가한 QR코드 등의 출입 인증 절차와 융합해 인증 절차를 거치지 않은 사람을 추적하는 확장성까지 기대할 수 있다.

I. Introduction

집단시설은 학교, 사업장, 청소년 · 가족시설, 어린이집, 유치원, 사회복지시설, 산후조리원, 의료기관 등의 시설을 의미한다[1]. 이러한 시설에서는 출입과 이용을 허가받은 승인자, 출입을 허가받지 않은 외부인인 비승인자를 구분한다. 이를 통해 비승인자의 시설 접근을 통제하여 무분별한 시설물 사용과 승인자들의 안전을 확보하고 있다.

이러한 시설의 대표적인 접근통제(Access Control) 방법 중 하나는 CCTV와 같은 감시 카메라 사용이 있다[2]. 카메라에서 송출되는 영상 데이터를 사람이 모니터링하여 비승인 자의 접근을 감시하는 것이 일반적인 방법이다. 최근에는 인공지능을 사용한 객체 추적, 객체 인식, 얼굴 인식 등의 영상 인식 기술이 발전하면서 감시 카메라 모니터링 작업의 효율성이 개선되었다.

그러나 카메라의 사각지대, 화질저하와 마스크, 모자 등을 이용해 얼굴을 가리는 인식 저해요소로 인해 단순히 영상을 기반으로 하여 객체를 인식하는 방법은 비승인 자를 정확하게 식별하는 데 한계가 있다[3]. 따라서 기존 영상인식 기법에 비콘 위치 측위를 더함으로써 인식 저해요소로 인한 비승인자 식별의 한계점을 보완하고자 한다.

위치 측위 분야에서 사용되고 있는 비콘은 저전력 블루투스 (BLE : Bluetooth Low Energy, 이하 BLE) 기술을 사용함으로써 장기간 전력이 유지되며, 범용 고유 식별자 (UUID : Universally Unique IDentifier, 이하 UUID) 와수신 신호 강도 (RSSI : Receiver Signal Strength Indicator, 이하 RSSI) 데이터를 송출한다. 따라서 스마트폰과 같은 수신기를 통해 UUID로 비콘을 특정할 수 있으며, RSSI 값으로 거리를 측정할 수 있다[4]. 하지만 비콘은 신호간섭, 날씨, 주변 환경에 의한 신호 난반사 등에 영향을 받기 때문에 실외 환경에서는 송출 신호가 불규칙한 단점이 있다. 이로 인해 전처리, 인공지능 학습 등을 거치지 않고 수신기와 비콘을 통한 단순 위치 측위는 정확도와 신뢰성 측면에서 한계를 보인다[5].

본 논문에서는 다양한 방해 요소로 인해 송출 신호가 불규칙하여 한계성이 명확했던 기존의 비콘 위치 측위를 딥러닝을 통해 RSSI 값을 학습시켜 위치 측위의 신뢰성을 높인다. 최종적으로 비승인자 추적 및 식별의 정확도를 향상하고자 한다.

II. Related works

2.1 Object recognition & tracking

CCTV와 같은 감시 카메라 사용이 증가하면서, 효율적인 감시 카메라 모니터링을 위해 인공지능을 이용한 객체 인식, 객체 추적 등의 연구가 제안되었다[6].

객체 인식은 인공지능에 다양한 객체를 학습시켜 특징점 추출(Feature extraction)을 사용해 특정 객체를 인식 및 탐지하는 방법이다. 이를 감시 시스템의 적용했을 때, 무기 사진을 학습시켜 영상 데이터에서 사람이 휴대하고 있는 무기를 인식하는 인공지능 모델이 연구되었다[7]. 또한, 특징점 추출을 이용해 사람의 얼굴을 인식하는 연구가 제안되었다[8]. 대표적으로 대학교에서 해당 강의를 듣는 학생의 얼굴을 식별하여 출결을 진행하는 연구가 제안되었다[9]. 최근에는 코로나19로 인해 마스크 사용이 증가하면서 마스크를 쓴 얼굴을 인식하는 연구가 진행되고 있다 [10]. 하지만 객체 인식의 경우, 인식 과정이 끝난 객체를 추적하지 않아 해당 객체가 카메라에서 사라질 경우, 객체를 재인식해야 하는 한계성이 있다.

객체 추적은 영상에서 움직이는 객체를 탐지하고 해당 객체를 추적하는 방법이다. 최근에는 다중의 객체를 탐지하여 추적하는 연구가 제안되고 있다[11]. 하지만 객체 인식이나 객체 추적의 경우 사람, 사물 등의 큰 범주의 객체만을 인식하거나 추적하기 때문에 승인자와 비승인 자를 구분하고 추적하는 것은 한계가 있다. 따라서 기존 영상처리 위주의 한계를 개선하기 위해 비콘 위치 측위를 추가하여 승인자, 비승인자를 구분하고 추적하고자 한다.

2.2 Location positioning using beacon

비콘을 사용하여 위치를 측위 하는 방법에는 아래의 Fig. 1과 같이 삼변측량(Trilateration)과 핑거프린팅 (Fingerprinting)이 제안되고 있다[5].

Fig. 1. Location positioning method using beacon

삼변측량은 3개 이상의 수신기를 설치하여 비콘이 송출하는 RSSI 신호에 따라, 수신기와 비콘 사이의 추정 거리를 기반으로 비콘의 위치를 특정하는 기법이다[12]. 하지만 삼변측량의 경우 다수의 수신기를 설치하여야 하며, 승인자가 비콘을 휴대하고 있어야 하는 단점이 있다.

핑거프린팅은 일정한 간격으로 비콘을 설치하고, UUID 값에 따라 세션이라는 구역으로 나눠 위치를 측위 하는 기법이다. 위와 같은 방법으로 실내 공간을 세션 단위로 나눠, 그리드를 구성한 것을 라디오맵(Radio map)이라고 한다[13]. 스마트폰이나 수신기를 사용하여 비콘에서 송출하는 UUID, RSSI를 수신받은 값에 따라 라디오맵을 기반으로 현재 사용자가 위치한 세션을 특정함으로써 사용자의 위치를 파악한다[14]. 이는 여러 개의 단말기를 사용하지 않고, 승인자의 스마트폰을 이용해 위치 측위를 할 수 있다는 이점이 있다. 하지만 장애물, 전파 간섭등의 영향을 많이 받는 비콘의 특성상 두 기법만으로는 위치 측위의 정확성에 한계가 있다.

이를 보완하기 위해 최근에는 기계학습 또는 딥러닝을 사용하여 위치 측위 정확도를 향상하는 연구가 제안되고 있다[15]. 정해진 위치마다 설치된 비콘에서 송출하는 RSSI 값을 수신받고 해당 데이터를 딥러닝 학습시켜 위치를 예측하는 것이다[5, 16, 17, 18]. Table 1은 최근 3년간 제안된 논문에서 사용한 인공지능 모델과 해당 연구에서 사용한 비콘의 개수를 기술한다.

Table 1. Summary of studies on beacon location positioning

DL : Deep learning / ML : Machine learning

하지만 제안된 연구들은 시계열 적인 특성이 반영되지 않은 한계가 있다. 시간에 따라 변동하는 RSSI의 특성상 순환 신경망 (RNN:Recurrent Neural Network, 이하 RNN) 기반의 방법을 사용하면 위치 측위의 신뢰성과 정확도를 증가시킬 수 있다. 따라서, 본 논문에서는 움직이는 승인자로부터 수집된 비콘 데이터를 합성곱 신경망 (CNN:Convolutional Neural Network, 이하 CNN)과 RNN 기반의 시계열적 특성을 반영할 수 있는 장단기 메모리 (LSTM:Long-Short Term Memory, 이하 LSTM) 의 하이브리드 모델을 사용하여 비콘의 RSSI값을 보정한다. 이후 향상된 위치 측위 결과를 통해 비승인자를 식별하고자 한다.

III. Unauthorized person tracking system

본 논문에서 제안하는 비승인자 추적 시스템의 구성도는 Fig. 2와 같다. IP 카메라를 이용해 영상 데이터를 수집하고, 비콘 데이터를 수집하여 사용자 위치 측위를 진행한다. 이후 수집된 영상 데이터를 바탕으로 사용자 객체 인지 과정을 진행한다. 사용자 위치 측위에서는 정확도 향상을 위해 CNN-LSTM 기반 딥러닝 학습을 진행하였으며, 사용자 객체 인지 과정에서는 YOLO(You Only Look Once)v4를 사용하였다. 이후 도출된 데이터의 결합과정을 진행한다.

Fig. 2. Unauthorized person tracking system overview

3.1 Person recognition using video data

IP 카메라를 이용해 수집된 영상 데이터는 서버 내 데이터베이스에 저장된 후, YOLOv4를 이용해 사람 객체만을 인식하게 된다. YOLO는 객체 탐지 및 추적에서 사용되는 딥러닝 알고리즘으로 단일 신경망으로 구성되어 연산 시간이 빠르다는 장점이 있으며, 실시간으로 객체를 탐지 및 추적할 수 있다[19]. 일반적인 YOLO는 33만 개의 사진으로 구성된 COCO 데이터 셋을 기반으로 객체를 탐지하지만, 본 논문에서는 승인자, 비승인자의 구분을 위해 사람객체만을 인식하도록 하였다.

3.2 Location positioning using beacon

사용자의 스마트폰 애플리케이션을 이용해 비콘의 UUID와 RSSI 값을 받는다. 수집된 데이터들은 구축된 서버의 데이터베이스에 저장되며 핑거프린팅 기법을 기반으로 한 사용자 위치 측위를 위해 라디오맵을 구성하게 된다. 구성된 라디오맵의 구조는 각 세션에 따른 비콘들의 UUID와 RSSI 값들로 구성되어 있다.

비콘은 저전력으로 이용할 수 있는 장점 때문에 반영구적으로 사용할 수 있는 기기이지만 외부 환경의 영향을 많이 받기 때문에 RSSI 신호의 값이 불안정하다는 단점이 있다. 이를 보완하기 위해 본 논문에서는 인공지능의 딥러닝 학습을 이용해 비콘의 불안정한 RSSI 신호의 값을 보정하고 오차를 줄이는 방법을 사용하였다. 학습에 사용된 모델은 CNN-LSTM 모델을 사용하였다. CNN을 이용해각 세션의 특징을 추출하고 LSTM은 센서 데이터의 시계 열적 특성뿐만이 아닌 각 세션에 배치되어있는 비콘들의시계열적 특성을 반영하고자 하였다. 학습에 사용된 CNN-LSTM은 1-Dimension으로 진행하였으며, 구조는 아래 Fig. 3과 같다.

Fig. 3. CNN-LSTM model architecture

따라서 본 논문에서는 CNN-LSTM 학습 모델을 기반으로 하여 비콘 데이터를 이용해 사용자 위치 측위를 진행하고자 한다.

3.3. Dividing session in video and mapping

IP 카메라를 통해 수집된 영상 데이터는 촬영 각도가 고정되어 있으며, 사용자 위치 데이터와 동기화를 진행해야 한다. 이를 위해서는 영상 내에서 각 세션에 맞게 영역을 분할 하는 과정을 거친다.

영상 내에서 분할된 세션은 일정 거리마다 배치된 비콘의 신호 값에 따라 지정되기 때문에 비콘의 개수만큼 화면 내에서 세션이 지정된다.

영상 내에서 가로축과 세로축의 길이를 실제 거리에 맞게 계산하여 배치된 비콘의 간격 거리에 따라 세션을 분할하게 된다. 분할된 세션의 예시는 아래 Fig. 4와 같다.

Fig. 4. Divided session image

이후 영상 데이터에서 YOLOv4를 사용해 검출된 사용자의 객체가 분할된 세션에 진입하게 되면 스마트폰 애플리케이션을 통해 위치를 보내고 있지 않은 사용자는 비승인 자로 처리되어 영상 내에서 실시간 추적을 진행하게 된다.

IV. Experiment

4.1 Data collection

본 연구에서 실험을 위해 사용된 하드웨어의 정보는 Table 2와 같다. 영상 데이터는 IP 카메라를 이용해 고정된 각도에서 수집되고, 비콘 데이터는 스마트폰 애플리케이션을 이용해 UUID와 RSSI 값이 수집된다. 수집된 데이터들은 구축된 서버의 데이터베이스에 저장되며, 비콘의수집 주기는 1초에 1번씩 진행하고 각 비콘 간의 간격은 3m로 고정되어 있다. 수집된 화면에서 각 비콘의 UUID와실시간 RSSI값을 확인할 수 있다.

Table 2. Hardware information

Fig. 5. Application UI for data collection

4.2 Image processing using YOLOv4

수집된 영상 데이터에 YOLOv4를 사용하여 프레임에서의 영상 처리를 진행한다. 이때 데이터셋은 일반적으로 COCO 데이터셋을 사용하며, 사람 객체만이 아닌 사물에 대한 객체들도 모두 인식을 하게 된다. 이를 해결하기 위해서 YOLOv4가 적용된 환경에 사람 객체에 대한 이미지를 2,000장을 학습시켜 사람 객체에 대한 가중치를 도출하는 작업을 진행한다. 이후 가중치에 따라 학습한 데이터를 기반으로 저장된 영상 데이터에서 사람 객체만을 인식하여 ROI(Region of Interest)를 그린다. 아래의 Fig. 6에서 (a)는 기존 YOLOv4가 인식하는 객체의 ROI이며, (b) 는 가중치 학습을 통해 사람 객체만 인식하여 ROI를 그린 모습이다.

Fig. 6. Person class extraction using YOLOv4

4.3 Location data extraction

스마트폰 애플리케이션을 통해 데이터베이스에 저장된비콘의 데이터는 핑거프린팅 기법을 기반으로 라디오 맵을 구성하고, 이후 정확도 향상을 위해 딥러닝 학습을 진행하게 된다.

딥러닝 학습에 적합한 모델을 선정하기 위해 동일한 데이터셋에 CNN, LSTM 그리고 CNN-LSTM 모델을 학습 시켜 어떤 모델이 성능이 우수한지 검증 과정을 진행하였으며, 이때 검증 기준은 손실률과 정확도를 기준으로 하였다. 학습 결과 검증 그래프는 아래 Fig. 7과 같으며, 각 모델의 테스트 데이터에 대한 손실률과 정확도는 Table 3과 같다.

Fig. 7. Validation graph for each models

Table 3. Loss and accuracy comparison for test data of each model

검증 결과에서 보이듯, CNN-LSTM 모델이 검증 손실률과 정확도에서 성능이 우수한 모습을 나타내고 있다. 아래 Table 4는 최근 3년간 비콘을 이용해 위치 정확도를 나타낸 연구들의 정확도와 비콘 개수를 비교한 표이다. 기존 연구들은 대부분 실내환경에서 연구가 진행되었으며, 실외에서 연구를 진행하더라도 외부 환경의 영향 때문에 비교적 정확도가 낮은 결과를 보였다. 그러나, 본 연구에서 제안된 방법으로 진행하였을 때 정확도가 93.47%로, 기존 실내에서 진행된 연구들보다 향상됨을 확인하였다. 이는 CNN-LSTM 모델 기반의 위치 측위 방법이 비콘의불안정한 RSSI 값을 선행연구보다 높은 성능으로 보완할 수 있다는 점에서 의미가 있다.

Table 4. Prediction accuracy of studies on beacon location positioning

4.4 Unauthorized person tracking

고정된 영상 데이터에서 추출된 사람 객체와 CNN-LSTM 학습 모델을 통해 측위된 사용자 위치 데이터를 병합하기 위해, 그림 Fig. 8과 같이 실험환경에서 배치한 비콘의 위치 좌표를 구하여 영상 데이터 내에서 세션을 분할 한다.

Fig. 8. Beacons coordinate values

이후 사람 객체만 추출된 영상 데이터와 비콘 데이터를 통한 사용자 위치 정보의 매핑 과정을 진행한다. Fig. 9와 같이 데이터베이스에 저장되어있는 사용자의 비콘 데이터, 분할된 세션, YOLOv4를 이용하여 그려진 ROI를 통해 영상 데이터에서 사용자의 좌표값을 반환할 수 있다.

Fig. 9. Process of mapping user object and location

반환된 좌표값을 통하여 특정 세션에 사용자가 존재할 경우, 이를 승인자로 처리되어 해당 데이터를 기반으로 나머지 사람으로 검출된 오브젝트에 대해서 비승인자로 처리되어 추적을 진행한다. 이후 침입자 알림(Intruder Alert)이라는 경고문구가 띄워지며 비승인자의 시설 침입을 알리게 된다.

Fig. 10. Unauthorized person tracking

V. Conclusions

본 논문에서는 영상 데이터, 비콘 데이터의 결합을 통해 집단시설에서 시설의 출입이 허용된 승인자와 비승인 자를 구분하는 시스템을 제안하였다. IP 카메라를 통해 데이터베이스에 저장된 영상 데이터에서 YOLOv4를 사용하여 사람 객체만을 식별하는 과정을 진행한다. 비콘 데이터의 경우, 애플리케이션을 통해 데이터를 수집한 후 핑거프린팅 기법을 적용하여 비콘의 UUID 값을 기준으로 세션을 구분한다. 저장된 값들은 CNN-LSTM 모델을 거쳐 해당 값에 따른 세션을 예측하게 된다. 실험 결과를 통해 제안된 CNN-LSTM 모델이 기존 실내에서 진행된 연구보다 높은 위치 측위 정확도를 보였으며, 실외에서 불안정한 비콘 RSSI값을 보완할 수 있음을 확인했다는 점에서 의미가 있다. 최종적으로 매핑 과정을 거쳐 해당 세션에 있는 승인자의 데이터를 기반으로 비승인자를 추적한다.

본 연구에서 제안한 방법은 다양한 집단시설에서 비승인 자를 추적하는 데 사용될 수 있다. 또한, 최근 코로나19 로 인해 사용이 증가하고 있는 QR코드 인증 체계와 결합하여 인증자와 미인증자를 식별하는 시스템으로의 확장을 기대할 수 있다.