DOI QR코드

DOI QR Code

Behavior Recognition of Moving Object based on Multi-Fusion Network

다중 융합 네트워크 기반 이동 객체 행동 인식

  • Kim, Jinah (Dept. of Computer Science and Engineering, Hoseo University) ;
  • Moon, Nammee (Dept. of Computer Science and Engineering, Hoseo University)
  • 김진아 (호서대학교 컴퓨터공학과) ;
  • 문남미 (호서대학교 컴퓨터공학과)
  • Published : 2022.05.17

Abstract

단일 데이터로부터의 이동 객체에 대한 행동 인식 연구는 데이터 수집 과정에서 발생하는 노이즈의 영향을 크게 받는다. 본 논문은 영상 데이터와 센서 데이터를 이용하여 다중 융합 네트워크 기반 이동 객체 행동 인식 방법을 제안한다. 영상으로부터 객체가 감지된 영역의 추출과 센서 데이터의 이상치 제거 및 결측치 보간을 통해 전처리된 데이터들을 융합하여 시퀀스를 생성한다. 생성된 시퀀스는 CNN(Convolutional Neural Networks)과 LSTM(Long Short Term Memory)기반 다중 융합 네트워크 모델을 통해 시계열에 따른 행동 특징들을 추출하고, 깊은 FC(Fully Connected) 계층을 통해 특징들을 융합하여 행동을 예측한다. 본 연구에서 제시된 방법은 사람을 포함한 동물, 로봇 등의 다양한 객체에 적용될 수 있다.

Keywords

Acknowledgement

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2021R1A2C2011966).