한국정보처리학회:학술대회논문집 (Annual Conference of KIPS)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

chatGPT를 활용한 AI음성 수화 번역 서비스

AI voice sign language translation service using chatGPT

  • 김가희 (성신여자대학교 AI융합학부) ;
  • 김지현 (성신여자대학교 AI융합학부) ;
  • 김채민 (성신여자대학교 AI융합학부) ;
  • 김민재 (서울과학기술대학교 컴퓨터공학과) ;
  • 박명수 (경기대학교 컴퓨터공학부)
  • Ga-Hee Kim (Dept. of AI Convergence, Sung-shin Women's University) ;
  • Ji-Hyeon Kim (Dept. of AI Convergence, Sung-shin Women's University) ;
  • Chae-Min Kim (Dept. of AI Convergence, Sung-shin Women's University) ;
  • Min-Jae Kim (Dept. of Computer Engineering, Seoul National University of Science and Technology) ;
  • Myeong-Soo Park (Dept. of Computer Engineering, Kyong-Gi University)
  • 발행 : 2024.10.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 연구는 농인의 언어권 보장을 위한 한국어-한국수어 번역 프로그램의 필요성을 제기하고 있다. 이를 위해 KoBART 모델을 활용하여 한국어 텍스트를 한국수어로 효과적으로 변환한다. ControlNet을 통해 수어 영상에서 손의 위치와 제스처를 정밀하게 추출하여 Stable Diffusion 모델을 제공함으로써 고해상도의 아바타 영상을 생성한다. 이러한 기술을 바탕으로 개발된 애플리케이션은 사용자가 음성을 입력하면 이를 텍스트로 변환하고, 변환된 텍스트에 대응하는 수어 영상을 순차적으로 재생하여 농인의 의사소통을 보다 원활하게 지원한다.

키워드

과제정보

본 논문은 과학기술정보통신부 대학디지털교육역량강화 사업의 지원을 통해 수행한 ICT멘토링 프로젝트 결과물입니다.

참고문헌

  1. 구다훈, "생성요약의 사실 불일치 문제 개선을 위한 관련성과 중복성을 고려한 손실 함수 기반의 KoBART 모델", 한국정보기술학회논문지, 제20권, 제12호, 2022년
  2. 이민아, "KoBERT, KoGPT-2, KoBART 활용 및 하이퍼파라미터 최적화를 진행한 리뷰 감성분석 애플리케이션 구현", 디지털콘텐츠학회논문지, 제24권, 제11호, 2023 년도
  3. Lvmin Zhang, Anyi Rao, Maneesh Agrawala, "Adding Conditional Control to Text-to-Image Diffusion Models," arXiv preprint arXiv:2302.05543, 2023.
  4. Rombach et al., High-Resolution Image Synthesis With Latent Diffusion Models, CVPR 2022