• 제목/요약/키워드: sign language translation

검색결과 36건 처리시간 0.023초

모션 인식을 이용한 수화 번역 웨어러블 기기 (Sign Language Translation Wearable Device Using Motion Recognition)

  • 이준영;강현수;김성준;손준호;유동준;박양우
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.453-454
    • /
    • 2023
  • 현재 선천적인 청각장애인이나 언어 장애가 있는 사람은 다른 사람과의 대화에 많은 불편을 겪고 있다. 매장을 이용하기 어려움은 물론 언어전달 능력이 떨어지기 때문에 간단한 의사소통을 통한 서로 간의 교류 또한 불편함을 감수해야 한다. 현재는 따로 디스플레이가 내장된 장치를 이용하여 지정된 장소에서 수화를 번역해야 하는 불편함을 해당 문제 해결을 위해 본 연구에서는 딥러닝을 적용하여 수화를 인식하고 번역하여 디스플레이에 텍스트를 출력해주는 시스템을 개발하였다. AI 프레임워크 MediaPipe와 SVM 알고리즘을 라즈베리파이에 적용하여 구현하였다. 개발한 시스템은 제스처에 대한 번역 결과를 제공한다. 기존의 지정된 장소가 아닌 대화가 필요한 모든 장소에서 번역이 가능하도록 개선하여 청각장애인과 언어장애가 있는 사람들과 소통의 불편함을 줄일 수 있을 것으로 기대할 수 있다.

  • PDF

웹기반 청각장애인용 수화 웹페이지 제작 시스템 (Web-based Text-To-Sign Language Translating System)

  • 박성욱;왕보현
    • 한국지능시스템학회논문지
    • /
    • 제24권3호
    • /
    • pp.265-270
    • /
    • 2014
  • 소리가 잘 들리지 않는 청각장애인은 소리를 표시하는 글자를 익히고 복잡한 개념을 전달하는 글을 이해하는 데 어려움이 많다. 그래서 자연스럽게 표정, 몸짓, 손짓으로 의사를 전달하는 수화가 청각장애인들의 주요 의사소통수단으로 자리잡아왔지만 사회에서는 글과 말이 주요 정보전달 수단으로 이용되고 있어 청각장애인이 정보에 접근하고 지식을 넓혀 직업을 갖는데 큰 어려움이 있다. 특히 근래에 인터넷이 보편화됨에 따라 정상인의 정보 습득량은 크게 늘었지만, 글로 표현된 인터넷을 이해하기 어려운 청각장인들은 인터넷 정보에 접근하는데 어려움이 많다. 본 연구에서는 청각장애인을 위한 수화 웹페이지를 제작할 수 있는 수화 웹페이지 제작시스템을 개발하였다. 수화 웹페이지 제작 시스템은 청각장애인용 수화 웹페이지 제작자가 통상적인 인터넷 사용에 필요한 하드웨어 및 소프트웨어 환경만 갖추면 운영할 수 있도록 웹기반으로 개발하였다. 수화용 웹 페이지 제작자는 게시판 형태의 인터페이스를 이용하여 변역하고자하는 문장을 서버에 전송할 수 있다. 서버는 수신된 문장을 수화로 번역하여 3D 아바타 기반의 수화 그래픽 애니메이션을 랜더링한다. 수화 그래픽 애니메이션은 MP4 형식의 동영상으로 변환되며, 스트리밍 서버의 저장소에 보관된다. 저장된 수화 동영상의 이름과 주소는 수화 웹페이지 제작자가 처음 문장을 입력하였던 게시판에 표시되도록 하여 향후 청각장애인용 웹 페이지를 제작할 때 활용할 수 있도록 하였다. 또한 본 연구에서는 웹페이지 제작자가 공공기관의 웹페이지를 제작할 수 있도록, 이들 기관에서 현재 사용된 글들을 수화로 번역할 때 필요한 수화 단어를 수화 웹페이지 제작 시스템의 수화 사전에 추가하였다. 수화 단어를 추가함으로써 웹기반 수화 웹페이지 제작 시스템이 공공부문에 보다 더 많이 활용될 수 있을 것이다.

한국어 어휘의미망을 이용한 자동 수화 번역 시스템의 개발 (Development of Automatic Sign Language Translation System using Korean WordNet)

  • 김민호;최성기;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1358-1361
    • /
    • 2013
  • 한국어와 한국 수화 간 자동 번역을 위해서는 한국어-한국 수화 대역어 사전이 필요하지만, 현재 한국 수화 사전으로 가장 공신력 있는 한국 수화 사전은 등재 어휘 수가 약 12,000개에 불과하다. 이 때문에 한국어를 한국 수화로 자동 번역을 할 때 대치어가 없어 완벽하게 번역이 되지 않는다. 본 연구에서는 한국 수화 사전의 미등재어로 말미암은 번역률 저하를 최소화하고자 한국어 어휘의미망의 동의어와 상 하위어 정보를 이용한다. 또한, 자동 번역에서 빈번하게 발생하는 어의 중의성 문제도 한국어 어휘의미망의 정보를 이용하여 어의 중의성 해소 규칙을 일반화한다.

MediaPipe를 활용한 수어 번역 시스템 개발 (Sign Language Translation System Development Using MediaPipe)

  • 김경민;송미화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.684-686
    • /
    • 2022
  • 다양한 언어로 소통하고 있는 우리는 다른 언어와 교류하기 위해 번역, 통역의 존재가 필수가 되기도 한다. 하지만 음성언어를 사용하지 않는 즉, 손으로 언어를 표현하는 수어를 번역하는 통역의 존재는 아직 실현되지 않았다. 이에 본 논문에서는 MediaPipe와 OpenCV 라이브러리를 이용하여 손의 형태를 인식하고 CNN 알고리즘을 통한 텍스트 데이터화 하여 수어 동작을 학습시켜 이를 번역시켜주는 시스템을 연구한다. 이를 통해 공공기관을 이용함에 불편함을 줄이고, 농인의 의사를 보다 빠르게 파악할 수 있도록 도와주는 번역 시스템 제작하는 것에 목적이 있다.

청각 장애인을 위한 수어 영상-자연어 번역 서비스 및 모바일 어플리케이션 구현 (Developing a mobile application serving sign-language to text translation for the deaf)

  • 조수민;조성연;신소연;이지항
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.1012-1015
    • /
    • 2021
  • Covid-19 로 인한 마스크 착용이 청각장애인들의 소통을 더 어렵게 하는 바, 제 3 자의 도움 없이 쌍방향 소통을 가능하게 하는 서비스의 필요성이 커지고 있다. 이에 본 논문은 소통의 어려움을 겪는 청각장애인과 비청각장애인을 위한 쌍방향 소통 서비스에 대한 연구와 개발 과정, 기대 효과를 담는다. 서비스는 GRU-CNN 하이브리드 아키텍처를 사용하여 데이터셋을 영상 공간 정보와 시간 정보를 포함한 프레임으로 분할하는 영상 분류 기법과 같은 딥 러닝 알고리즘을 통해 수어 영상을 분류한다. 해당 연구는 "눈속말" 모바일 어플리케이션으로 제작 중이며 음성을 인식하여 수어영상과 텍스트로 번역결과를 제공하는 청각장애인 버전과 카메라를 통해 들어온 수어 영상을 텍스트로 변환하여 음성과 함께 제공하는 비청각장애인 버전 두 가지로 나누어 구현한다. 청각장애인과 비장애인의 쌍방향 소통을 위한 서비스는 청각장애인이 사회로 나아가기 위한 가장 기본적인 관문으로서의 역할을 할 것이며 사회 참여를 돕고 소통이라는 장벽을 넘어서는 발돋움이 될 것이라 예측된다.

한국판 농인 문화적응 척도 개발 및 타당화 연구 (Development and Validation Study for Korean Version of Deaf Acculturation Scale)

  • 음영지;박지은;손선주;엄진섭;손진훈
    • 한국사회복지학
    • /
    • 제66권3호
    • /
    • pp.55-73
    • /
    • 2014
  • 본 연구의 목적은 한국판 농인 문화적응 척도를 개발하는 것이다. Maxwell-McCaw와 Zea(2011)의 농인 문화적응 척도(Deaf Acculturation Scale)를 국내 농인에 적절하게 번안하여 예비문항을 만들었다. 척도는 농문화적응과 청인문화적응, 두 가지 하위척도로 구분하여 농인들의 문화적응을 측정하도록 구성되었다. 최종적으로 농문화적응 하위척도 25문항, 청인문화적응 하위척도 25문항으로 구성된 한국판 농인 문화적응 척도가 개발되었다. 농문화적응 하위척도 4개의 요인, 청인문화적응 하위척도 5개의 요인으로 구성되었다. 개발된 척도의 내적 일관성 계수인 Cronbach's ${\alpha}$는 농문화적응 하위척도가 .93이었고, 청인문화적응 하위척도가 .93로 높은 값을 보였다. 선행연구를 통해 농문화적응과 관련이 있다고 판단된 연령, 청각장애 시기와 장애 급수와의 상관분석을 통해 공존타당도를 검증하였으며, 집단 자아존중감 척도(Collective Self-Esteem Scale)와의 상관분석으로 구성타당도를 검증하였다. 논의에는 본 연구의 의의 및 제한점과 후속 연구 방향을 제시하였다.

  • PDF