Efficient Memory Update Module for Video Object Segmentation

동영상 물체 분할을 위한 효율적인 메모리 업데이트 모듈

Most deep learning-based video object segmentation methods perform the segmentation with past prediction information stored in external memory. In general, the more past information is stored in the memory, the better results can be obtained by accumulating evidence for various changes in the objects of interest. However, all information cannot be stored in the memory due to hardware limitations, resulting in performance degradation. In this paper, we propose a method of storing new information in the external memory without additional memory allocation. Specifically, after calculating the attention score between the existing memory and the information to be newly stored, new information is added to the corresponding memory according to each score. In this way, the method works robustly because the attention mechanism reflects the object changes well without using additional memory. In addition, the update rate is adaptively determined according to the accumulated number of matches in the memory so that the frequently updated samples store more information to maintain reliable information.

최근 대부분의 딥러닝 기반 동영상 물체 분할 방법들에서는 외부 메모리에 과거 예측 정보를 저장한 상태에서 알고리즘 수행을 하며, 일반적으로 메모리에 많은 과거 정보를 저장할수록 관심 물체의 다양한 변화에 대한 근거들이 축적되어 좋은 결과를 얻을 수 있다. 하지만 하드웨어의 제한으로 인해 메모리에 모든 정보를 저장할 수 없어 이에 따른 성능 하락이 발생한다. 본 논문에서는 저장되지 않는 정보들을 기존의 메모리에 추가적인 메모리 할당 없이 저장하는 방법을 제안한다. 구체적으로, 기존 메모리와 새로 저장할 정보들과의 어텐션 점수를 계산한 후에, 각 점수에 따라 해당 메모리에 새 정보를 더한다. 이 방법으로 물체 형체의 변화에 대한 정보가 반영되어 물체 변화에 대한 강인성이 높아져서 분할 성능이 유지됨을 확인할 수 있었다. 또한, 메모리의 누적 매칭 횟수에 따라 적응적으로 업데이트 비율을 결정하여, 업데이트가 많이 되는 샘플들은 과거의 정보를 더 기억하여 신뢰성 있는 정보를 유지할 수 있게 하였다.