청각장애인의 의사소통 접근성 향상을 위하여 AI 를 활용한 애플리케이션 개발

Improving Communication Access for the Hearing Impaired through AI

  • 양세진 (한국폴리텍대학교 성남캠퍼스 인공지능소프트웨어과) ;
  • 오소연 (한국폴리텍대학교 성남캠퍼스 인공지능소프트웨어과) ;
  • 전보경 (한국폴리텍대학교 성남캠퍼스 인공지능소프트웨어과) ;
  • 하원호 (한국폴리텍대학교 성남캠퍼스 인공지능소프트웨어과) ;
  • 이지유 (한국폴리텍대학교 성남캠퍼스 인공지능소프트웨어과)
  • SeJin Yang (Dept. of, Artificial Intelligence Software, Korea Polytechnics) ;
  • SoYeon Oh (Dept. of, Artificial Intelligence Software, Korea Polytechnics) ;
  • BoKyeong Jeon (Dept. of, Artificial Intelligence Software, Korea Polytechnics) ;
  • WonHo Ha (Dept. of, Artificial Intelligence Software, Korea Polytechnics) ;
  • JiYoo Lee (Dept. of, Artificial Intelligence Software, Korea Polytechnics)
  • 발행 : 2024.10.31

초록

본 논문은 청각장애인들이 음성 언어 중심의 사회에서 겪는 의사소통 제한을 해소하기 위해 제안되었다. 이를 위해 수어 인식, 입모양 탐지, 음성 인식 모델을 통해 추출된 데이터를 텍스트로 변환하여 접근성을 향상시키는 시스템을 개발하였다. 이 시스템은 청각장애인의 원활한 의사소통을 지원하고 사회적 참여를 증진하는 것을 목표로 한다.

키워드

과제정보

본 논문은 과학기술정보통신부 대학디지털교육역량강화 사업의 지원을 통해 수행한 ICT 멘토링 프로젝트 결과물입니다.

참고문헌

  1. 정은. (2002). 중증장애인의 의사소통에 대한 이해. 특수교육학연구, 37(3), 75-94
  2. Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever, "Robust Speech Recognition via Large-Scale Weak Supervision " . arXiv:2212.04356, 2022
  3. Triantafyllos Afouras, Joon Son Chung, Andrew Zisserman, "Deep Lip Reading: a comparison of models and an online application", Visual Geometry Group, Department of Engineering Science, University of Oxford, UK, arXiv:1806.06053, 2018
  4. Jeongkyun Park, Jung-Wook Hwang, Kwanghee Choi, Seung-Hyeon Lee, Jun Hwan Ahn, Rae-Hong Park, Hyung-Min Park, "OLKAVS: An Open Large-Scale Korean Audio-Visual Speech Dataset", ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 10.1109/ICASSP48485.2024.10446901, 2024
  5. Sang-Ki Ko, Chang Jo Kim, Hyedong Jung, Choongsang Cho, "Neural Sign Language Translation based on Human Keypoint Estimation": Korea Electronics Technology Institute 22 Dawangpangyo-ro 712 beon-gil, Seongnam-Si, Gyeonggi-do 13488, South Korea