Background subtraction using LSTM and spatial recurrent neural network

장단기 기억 신경망과 공간적 순환 신경망을 이용한 배경차분

  • Choo, Sungkwon (INMC, School of Electrical and Computer Engineering, Seoul National University) ;
  • Cho, Nam Ik (INMC, School of Electrical and Computer Engineering, Seoul National University)
  • 추성권 (서울대학교 전기정보공학부 뉴미디어통신공동연구소) ;
  • 조남익 (서울대학교 전기정보공학부 뉴미디어통신공동연구소)
  • Published : 2016.11.04

Abstract

본 논문에서는 순환 신경망을 이용하여 동영상에서의 배경과 전경을 구분하는 알고리즘을 제안한다. 순환 신경망은 일련의 순차적인 입력에 대해서 내부의 루프(loop)를 통해 이전 입력에 의한 정보를 지속할 수 있도록 구성되는 신경망을 말한다. 순환 신경망의 여러 구조들 가운데, 우리는 장기적인 관계에도 반응할 수 있도록 장단기 기억 신경망(Long short-term memory networks, LSTM)을 사용했다. 그리고 동영상에서의 시간적인 연결 뿐 아니라 공간적인 연관성도 배경과 전경을 판단하는 것에 영향을 미치기 때문에, 공간적 순환 신경망을 적용하여 내부 신경망(hidden layer)들의 정보가 공간적으로 전달될 수 있도록 신경망을 구성하였다. 제안하는 알고리즘은 기본적인 배경차분 동영상에 대해 기존 알고리즘들과 비교할만한 결과를 보인다.

Keywords