A Design of Sign Language-Text Translation System Using Deep Learning Vedio Recognition

딥러닝 영상인식을 이용한 수화-텍스트 번역 시스템 설계

  • Lee, JongMyeong (Dept. of Aeronautical Software Engineering, Kyungwoon University) ;
  • Kim, Kang-Gyoo (Dept. of Aeronautical Software Engineering, Kyungwoon University) ;
  • Yoo, Seoyeon (Dept. of Aeronautical Software Engineering, Kyungwoon University) ;
  • Lee, SeungGeon (Dept. of Aeronautical Software Engineering, Kyungwoon University) ;
  • Chun, Seunghyun (Dept. of Aeronautical Software Engineering, Kyungwoon University) ;
  • Beak, JeongYoon (Dept. of Aeronautical Software Engineering, Kyungwoon University) ;
  • Ha, Ok-Kyoon (Dept. of Aeronautical Software Engineering, Kyungwoon University)
  • 이종명 (경운대학교 항공소프트웨어공학과) ;
  • 김강규 (경운대학교 항공소프트웨어공학과) ;
  • 유서연 (경운대학교 항공소프트웨어공학과) ;
  • 이승건 (경운대학교 항공소프트웨어공학과) ;
  • 천승현 (경운대학교 항공소프트웨어공학과) ;
  • 백정윤 (경운대학교 항공소프트웨어공학과) ;
  • 하옥균 (경운대학교 항공소프트웨어공학과)
  • Published : 2022.07.13

Abstract

본 논문에서는 청각장애인의 사회참여성 증진 및 사회적 차별감소를 목적으로 딥러닝 영상인식 기반으로 MediaPipe 기술을 활용한 수화-텍스트 번역시스템을 설계한다. 제시하는 시스템은 실시간으로 수집된 수화 사용자의 영상정보를 통해 동작과 표정을 인식하여 텍스트로 번역함으로써 장애인과 비장애인의 원활한 의사소통 서비스를 제공하는 것을 주 목적으로한다. 향후 개선된 수화 인식 및 문장 조합을 통해 일상에서 청각장애인과 일반인의 자유로운 커뮤니케이션을 제공하는 서비스로 확장하고자한다.

Keywords