DOI QR코드

DOI QR Code

Web-based Text-To-Sign Language Translating System

웹기반 청각장애인용 수화 웹페이지 제작 시스템

  • Park, Sung-Wook (Department of Electronic Engineering, Gangneung-Wonju National University) ;
  • Wang, Bo-Hyeun (Department of Electronic Engineering, Gangneung-Wonju National University)
  • 박성욱 (강릉원주대학교 전자공학과) ;
  • 왕보현 (강릉원주대학교 전자공학과)
  • Received : 2013.12.30
  • Accepted : 2014.02.05
  • Published : 2014.06.25

Abstract

Hearing-impaired people have difficulty in hearing, so it is also hard for them to learn letters that represent sound and text that conveys complex and abstract concepts. Therefore it has been natural choice for the hearing-impaired people to use sign language for communication, which employes facial expression, and hands and body motion. However, the major communication methods in daily life are text and speech, which are big obstacles for the hearing-impaired people to access information, to learn and make intellectual activities, and to get jobs. As delivering information via internet become common the hearing-impaired people are experiencing more difficulty in accessing information since internet represents information mostly in text forms. This intensifies unbalance of information accessibility. This paper reports web-based text-to-sign language translating system that helps web designer to use sign language in web page design. Since the system is web-based, if web designers are equipped with common computing environment for internet browsing, they can use the system. The web-based text-to-sign language system takes the format of bulletin board as user interface. When web designers write paragraphs and post them through the bulletin board to the translating server, the server translates the incoming text to sign language, animates with 3D avatar and records the animation in a MP4 file. The file addresses are fetched by the bulletin board and it enables web designers embed the translated sign language file into their web pages by using HTML5 or Javascript. Also we analyzed text used by web pages of public services, then figured out new words to the translating system, and added to improve translation. This addition is expected to encourage wide and easy acceptance of web pages for hearing-impaired people to public services.

소리가 잘 들리지 않는 청각장애인은 소리를 표시하는 글자를 익히고 복잡한 개념을 전달하는 글을 이해하는 데 어려움이 많다. 그래서 자연스럽게 표정, 몸짓, 손짓으로 의사를 전달하는 수화가 청각장애인들의 주요 의사소통수단으로 자리잡아왔지만 사회에서는 글과 말이 주요 정보전달 수단으로 이용되고 있어 청각장애인이 정보에 접근하고 지식을 넓혀 직업을 갖는데 큰 어려움이 있다. 특히 근래에 인터넷이 보편화됨에 따라 정상인의 정보 습득량은 크게 늘었지만, 글로 표현된 인터넷을 이해하기 어려운 청각장인들은 인터넷 정보에 접근하는데 어려움이 많다. 본 연구에서는 청각장애인을 위한 수화 웹페이지를 제작할 수 있는 수화 웹페이지 제작시스템을 개발하였다. 수화 웹페이지 제작 시스템은 청각장애인용 수화 웹페이지 제작자가 통상적인 인터넷 사용에 필요한 하드웨어 및 소프트웨어 환경만 갖추면 운영할 수 있도록 웹기반으로 개발하였다. 수화용 웹 페이지 제작자는 게시판 형태의 인터페이스를 이용하여 변역하고자하는 문장을 서버에 전송할 수 있다. 서버는 수신된 문장을 수화로 번역하여 3D 아바타 기반의 수화 그래픽 애니메이션을 랜더링한다. 수화 그래픽 애니메이션은 MP4 형식의 동영상으로 변환되며, 스트리밍 서버의 저장소에 보관된다. 저장된 수화 동영상의 이름과 주소는 수화 웹페이지 제작자가 처음 문장을 입력하였던 게시판에 표시되도록 하여 향후 청각장애인용 웹 페이지를 제작할 때 활용할 수 있도록 하였다. 또한 본 연구에서는 웹페이지 제작자가 공공기관의 웹페이지를 제작할 수 있도록, 이들 기관에서 현재 사용된 글들을 수화로 번역할 때 필요한 수화 단어를 수화 웹페이지 제작 시스템의 수화 사전에 추가하였다. 수화 단어를 추가함으로써 웹기반 수화 웹페이지 제작 시스템이 공공부문에 보다 더 많이 활용될 수 있을 것이다.

Keywords

References

  1. Research Center for Special Education and Rehabilitation, Principals of Special Education, Publishing Department of Daegu University, 2003
  2. Hee-il Bang, "The hearing impaired can't read books?", Oct. 25, 2013, Available: http://blog.naver.com/ba4130/140199635023 [Accessed: Nov. 15, 2013]
  3. Oliver Sacks, Seeing Voices, Wylie Agency LTD,, 1990
  4. The Seoul Disabled Family Support Center, "Sign language, persuing the equivalent legal position as an official language", June 21 2013, Available: http://dfscenter.welfare.seoul.kr/control/news/NewsContent.jsp?pageNo=11&newsNo=153, [Accessed: June 18, 2014]
  5. Korea Differently Abled Federation, "5 neglection forced to endure as an hearing impaired", Available: http://www.kodaf.kr/m/new/view.asp?bbs_id=19479&board_id=5&page= [Accessed: Dec. 22, 2013]
  6. Kukinews, "Web access of the disabled still 'disabled'${\cdots}$ inconvenient, even reported investigation fizzled out", July 25, 2013, Available: http://news.kukinews.com/article/view.asp?page=1&gCode=kmi&arcid=0007400735&cp=nv, [Accessed: Nov 15, 2013]
  7. "The Tessa Project", Available: http://www.visicast.cmp.uea.ac.uk/Tessa.htm, [Accessed: Nov. 15, 2013]
  8. Hirohiko Sagawa, "Technology for Sign Language Animation(Hitachi)", presentation at Visualization of Sound Seminar, Feb. 27 2009, Available: http://www.fun.ac.jp/-kawagoe/sagawa.pdf [Accessed: Nov. 15, 2013]
  9. Young-Joon Oh, Hyo Young Jang, Jin Woo Jung, Kwang Hyun Park, Dae Jin Kim, Zeung Nam Bien, "Soft Sign Language Expression Method of 3D Avatar," The KIPS Transactions: Part B, Vol. 14-B, No. 2, p107-118, April 2007 https://doi.org/10.3745/KIPSTB.2007.14-B.2.107
  10. Hyoyoung Jang, Young-Joon Oh, Sung-Hoon Jung, Kwang-Hyun Park, Zeungnam Bien, "Development of a Korean Sign Language Message Board in Workplace for Deaf People", HCI 2007 proceedings, pp. 393-398, Feb. 2007
  11. Sangcheol Kim, Kwang-Hyun Park, Zeungnam Bien, Hyeonggeun Yoo, "METHOD AND SYSTEMFORWORD SENSE DISAMBIGUATION, AND SYSTEM FOR SIGN LANGUAGE TRANSLATION USING THE SAME," Korean Intellectual Property Office, July 17, 2013
  12. RED5, Available: http://www.red5.org [Accessed: Dec. 20, 2013]
  13. JWPlayer, Available: http://www.jwplayer.com/ [Accessed: Dec. 20, 2013]
  14. Flowplayer, Available: http://flowplayer.org/ [Accessed: Dec. 20, 2013]
  15. PageRank, Available: http://en.wikipedia.org/wiki/PageRank, [Accessed: Dec. 22, 2013]
  16. Page Rank Checker, Available: http://www.prchecker.info/check_page_rank.php [Accessed:. Dec. 22, 2013]
  17. Young-Joon Oh, Kwang-Hyun Park, Zeungnam Bien, "Improvement of Sign Word Dictionary for Korean Sign Language Avatar," Proceedings of Korea Computer Congress 2007, Vol. 34, No. 1(C), pp. 167-170, 2007

Cited by

  1. Design and Implementation of Finger Language Translation System using Raspberry Pi and Leap Motion vol.19, pp.9, 2015, https://doi.org/10.6109/jkiice.2015.19.9.2006