Acknowledgement
이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No.171115245, 인명 구조용 드론을 위한 영상/음성 인지 기술 고도화)
Proceedings of the Korean Society of Broadcast Engineers Conference (한국방송∙미디어공학회:학술대회논문집)
- 2022.11a
- /
- Pages.136-138
- /
- 2022
Noise Robust Baseball Event Detection with Multimodal Information
멀티모달 정보를 이용한 잡음에 강인한 야구 이벤트 시점 검출 방법
- Young-Ik Kim (Speech AI Lab, NCSOFT) ;
- Hyun Jo Jung (Vision AI Lab, NCSOFT) ;
- Minsoo Na (Speech AI Lab, NCSOFT) ;
- Younghyun Lee (Vision AI Lab, NCSOFT) ;
- Joonsoo Lee (Vision AI Lab, NCSOFT)
- 김영익 (Speech AI Lab, 엔씨소프트) ;
- 정현조 (Vision AI Lab, 엔씨소프트) ;
- 나민수 (Speech AI Lab, 엔씨소프트) ;
- 이영현 (Vision AI Lab, 엔씨소프트) ;
- 이준수 (Vision AI Lab, 엔씨소프트)
- Published : 2022.11.18
Abstract
스포츠 방송/미디어 데이터에서 특정 이벤트 시점을 효율적으로 검출하는 방법은 정보 검색이나 하이라이트, 요약 등을 위해 중요한 기술이다. 이 논문에서는, 야구 중계 방송 데이터에서 투구에 대한 타격 및 포구 이벤트 시점을 강인하게 검출하는 방법으로, 음향 및 영상 정보를 융합하는 방법에 대해 제안한다. 음향 정보에 기반한 이벤트 검출 방법은 계산이 용이하고 정확도가 높은 반면, 영상 정보의 도움 없이는 모호성을 해결하기 힘든 경우가 많이 발생한다. 특히 야구 중계 데이터의 경우, 투수의 투구 시점에 대한 영상 정보를 활용하여 타격 및 포구 이벤트 검출의 정확도를 보다 향상시킬 수 있다. 이 논문에서는 음향 기반의 딥러닝 이벤트 시점 검출 모델과 영상 기반의 보정 방법을 제안하고, 실제 KBO 야구 중계 방송 데이터에 적용한 사례와 실험 결과에 대해 기술한다.
Keywords