Acknowledgement
본 연구는 과학기술정보통신부 및 정보통신기획평가원의 정보통신·방송 연구개발사업의 일환으로 수행하였음. [IITP-2021-0-01816, 메타버스 자율트윈 핵심기술 연구]
Proceedings of the Korean Society of Broadcast Engineers Conference (한국방송∙미디어공학회:학술대회논문집)
- 2022.11a
- /
- Pages.211-213
- /
- 2022
Korean Lip Reading System Using MobileNet
MobileNet을 이용한 한국어 입모양 인식 시스템
- Won-Jong Lee (Seoul National University Of Science And Technology) ;
- Joo-Ah Kim (Seoul National University Of Science And Technology) ;
- Seo-Won Son (Seoul National University Of Science And Technology) ;
- Dong Ho Kim (Seoul National University Of Science And Technology)
- Published : 2022.11.18
Abstract
Lip Reading(독순술(讀脣術)) 이란 입술의 움직임을 보고 상대방이 무슨 말을 하는지 알아내는 기술이다. 본 논문에서는 MBC, SBS 뉴스 클로징 영상에서 쓰이는 문장 10개를 데이터로 사용하고 CNN(Convolutional Neural Network) 아키텍처 중 모바일 기기에서 동작을 목표로 한 MobileNet을 모델로 이용하여 발화자의 입모양을 통해 문장 인식 연구를 진행한 결과를 제시한다. 본 연구는 MobileNet과 LSTM을 활용하여 한국어 입모양을 인식하는데 목적이 있다. 본 연구에서는 뉴스 클로징 영상을 프레임 단위로 잘라 실험 문장 10개를 수집하여 데이터셋(Dataset)을 만들고 발화한 입력 영상으로부터 입술 인식과 검출을 한 후, 전처리 과정을 수행한다. 이후 MobileNet과 LSTM을 이용하여 뉴스 클로징 문장을 발화하는 입모양을 학습 시킨 후 정확도를 알아보는 실험을 진행하였다.
Keywords