Bayesian Network based Automatic Summarization of Photos using User's Context on Mobile Device and Image Annotation

모바일기기 사용자의 컨텍스트와 이미지 주석을 이용한 베이지안 네트워크기반 사진 자동요약

모바일기기에 탑재되어있는 디지털 카메라의 성능이 향상됨에 따라 이를 이용한 사진의 촬영 및 수집이 용이해졌으며, 따라서 사용자 로그정보를 이용하여 방대한 양의 사진을 분석하거나 브라우징해주는 방법들이 연구되고 있다. 본 논문에서는 모바일기기의 불확실한 로그정보와 사진 주석정보를 베이지안 네트워크로 모델링하여 사용자가 겪은 이벤트들을 추론하고 사용자의 일과를 요약해주는 방법을 제안한다. 우선 사진들을 시간과 위치정보에 따라 분할하여 사진그룹목록을 생성하고, 이를 모바일기기에 입력되어있는 사용자의 일정목록과 합하여 임시이벤트목록을 생성한다. 그 뒤 베이지안 네트워크를 이용하여 각 이벤트를 인식하고 이를 가장 잘 나타내는 사진을 선택한다. 제안하는 방법은 선택된 사진들을 나열하여 사진다이어리형식으로 사용자의 일과를 요약하여주며, 이때 특정 이벤트와 매치되는 사진이 없을 경우 미리 정의되어있는 만화 컷을 대신 사용하여 내용이 매끄럽게 이어지도록 하였다.