• Journal of the Korean Institute of Intelligent Systems
• /
• v.20 no.3
• /
• pp.348-355
• /
• 2010

In spite of development in speech recognition technology, speech recognition under noisy environment is still a difficult task. To solve this problem, Researchers has been proposed different methods where they have been used visual information except audio information for visual speech recognition. However, visual information also has visual noises as well as the noises of audio information, and this visual noises cause degradation in visual speech recognition. Therefore, it is one the field of interest how to extract visual features parameter for enhancing visual speech recognition performance. In this paper, we propose a method for visual feature parameter extraction based on image-base approach for enhancing recognition performance of the HMM based visual speech recognizer. For experiments, we have constructed Audio-visual database which is consisted with 105 speackers and each speaker has uttered 62 words. We have applied histogram matching, lip folding, RASTA filtering, Liner Mask, DCT and PCA. The experimental results show that the recognition performance of our proposed method enhanced at about 21% than the baseline method.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.07a
• /
• pp.339-340
• /
• 2015

시각장애인은 주변 인지 장애로 정보 습득이 어렵고, 공간 정보 습득에 있어서 제약이 있는 신체조건으로 이동에 불편을 겪는다. 또한 특정 상황에서 적절한 분위기를 인지하고 그에 맞는 대응을 하기가 어렵다. IoT 시대에 맞춰 홈 네트워크 시스템이 널리 보급되어지는 추세이지만, 여전히 시각장애인이 사용하기에는 많은 어려움이 있고, 불편을 호소하는 게 현실이다. 본 논문에서는 이러한 시각장애인을 위해 스마트폰을 이용해 음성으로 집안의 사물을 원격 제어하는 구글 음성인식 홈 리모트 컨트롤 시스템을 제안한다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.17 no.5
• /
• pp.873-882
• /
• 2022

In this paper, we studied the voice recognition system kiosk for convenience, thinking that the kiosk widely used in modern society should compensate for the inconvenience of using by the visually impaired. Using ultrasonic sensor and PIR(Passive Infrared), it recognizes the visually impaired within the range of 80cm-40cm, introduces the kiosk through the MP3 module and induces them to come closer. Also, when the visually impaired within 40cm is recognized, the product description and order are guided through the MP3 module. A recording-based data voice recognition system and a kiosk that outputs desired items through servo motors were studied. A kiosk for the convenience of the visually impaired was manufactured through operation and optimization experiments of PIR, ultrasonic, voice recognition, and shock sensor for the manufactured voice recognition kiosk. Finally, it was confirmed that security can be strengthened by using shock sensors and emergency bells to enhance security.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.994-995
• /
• 2023

일상생활에서도 불편함을 겪는 시각 장애인들을 위해 기초적인 생활을 보완할 수 있는 음성인식 다용도 계량기를 개발하고자 하였다. 본 제품은 API를 통해 저울의 측정값을 한국어 음성으로 변환하여 출력하는 음성 저울과 음성인식을 통해 슬라이드 포트로 정수기를 제어하는 작동 기기로 구성되어 있다. 현재 음성인식 다용도 계량기 개발을 완료했으며, Web, APP 등의 개선 방안을 연구 및 적용하는 중에 있다. 본 계량기를 통하여 시각장애인·시력저하자의 일상생활 및 삶의 질 향상뿐만 아니라 병원 등의 공공시설 개선에도 도움을 줄 수 있을 것으로 기대된다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.19 no.4
• /
• pp.478-484
• /
• 2009

Automatic speech recognition(ASR) is attractive technique in trend these day that seek convenient life. Although many approaches have been proposed for ASR but the performance is still not good in noisy environment. Now-a-days in the state of art in speech recognition, ASR uses not only the audio information but also the visual information. In this paper, We present a novel lip detection method for visual speech recognition in mobile environment. In order to apply visual information to speech recognition, we need to extract exact lip regions. Because eye-detection is more easy than lip-detection, we firstly detect positions of left and right eyes, then locate lip region roughly. After that we apply K-means clustering technique to devide that region into groups, than two lip corners and lip center are detected by choosing biggest one among clustered groups. Finally, we have shown the effectiveness of the proposed method through the experiments based on samsung AVSR database.

• Journal of KIISE:Software and Applications
• /
• v.31 no.4
• /
• pp.403-410
• /
• 2004

Bimodal speech recognition systems have been proposed for enhancing recognition rate of ASR under noisy environments. Visual feature extraction is very important to develop these systems. To extract visual features, it is necessary to detect exact lip position. This paper proposed the method that detects a lip position using color similarity model and SVM. Face/Lip color distribution is teamed and the initial lip position is found by using that. The exact lip position is detected by scanning neighbor area with SVM. By experiments, it is shown that this method detects lip position exactly and fast.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1995.06a
• /
• pp.283-284
• /
• 1995

삼성종합기술원의 음성 인식, 합성 분야의 음성 데이터 베이스 구축 현황과 향후 연구 방향에 대하여 기술한다. 삼성종합기술원에서는 1989년 한국어 문음 변환기술 개발을 시작하여 그 동안 남성음, 여성음 합성 시스템을 발표하였고, 최근에는 시각장애자용 컴퓨터를 개발하여 전국 13개 시각 장애자 학교에 기정한 바 있다. 음성 인식 분야는 100 단어 내외으 소용량 화자 종속 시스템을 개발하여 키폰용 음성인식 다이얼 장치를 실용화하였다. 약 5년여에 걸친 연구 결과 자체적으로 구축하게 된 음성 DB는 크게 남, 여 합성용 DB와 인식용 DB로 요약할 수 있다. 이러한 경험을 바탕으로 향후 국내외 대학, 연구소 등과 공동연구를 통해 상품화 수준의 문음 변환기술과 대용량, 화자독립 음성인식 시스템을 개발하고자 한다. 궁극적으로는 휴대용 통역기의 요소 기술을 확보하여 제한된 영역에서 자동 통역기를 상품화하는데 이바지할 계획이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.976-977
• /
• 2023

본 논문은 시각장애인 안내견이 부족한 상황 개선과 시각장애인에게 안전하고 자유로운 이동을 제공해주는 "시각장애인의 안전한 이동을 도와주는 지능형 카트"를 제안한다. 주요 특징은 다음과 같다. 첫째, 지문 인식 센서를 활용해 지문 등록 후 본인 인증을 하고 압력 센서를 활용해 카트 손잡이를 잡았을 경우에만 카트가 출발하도록 한다. 둘째, 라이다, 카메라를 이용하여 자율 주행 한다. 셋째, 음성인식 통해 목적지 설정, 속도 조절, 경고 알림 기능을 제공한다. 넷째, 짐칸을 설치하여 음성인식으로 여닫을 수 있도록 한다. 다섯째, 앱을 통해 카트 운전 모드를 변경할 수 있다.

• 한국디지털정책학회:학술대회논문집
• /
• 2005.06a
• /
• pp.497-503
• /
• 2005

본 연구의 목표는 시각장애인을 위해 음성 인식, 음성 합성 기술을 이용하여 일반인과 마찬가지로 개인의 특성에 맞는 홈페이지를 구축하게 하는 웹 사이트 자동 생성 툴을 개발하는 것이며, 음성매일, 개인 일정, 주소록, 북마크 등을 생성 할 수 있는 개인정보관리기능은 물론 개인 맞춤 정보 생성 기능을 제공하며, 시각장애인들이 원하는 정보를 스스로 제공하여 일반인과 공유함으로써 의사소통의 통로 역할을 담당 할 수 있게 한다. 웹 사이트 자동 생성 툴에서는 기본적인 명령어를 음성인식으로 처리할 수 있게 지원하며 음성출력이 지원되는 TTS를 추가적으로 제공한다. 본 연구개발을 통해 시각장애인들이 사회적 소외감을 없애며 정보화 시대에 동등한 위치에서 생활 할 수 있도록 하는 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.474-477
• /
• 2012

현대사회는 시각장애인에 대한 복지가 부족하다. 예를 들어 유도블럭의 홰손, 지폐의 점자처리의 모호함 등 시각장애인을 위해 만들어진 복지조차 사용하기 어려운게 현실이다. 그래서 우리는 무선카메라와 Window Phone을 이용하여 상기 불편함을 해소하기 위하여 이 프로젝트를 시작하였다. Guide Line Detection은 앞을 못 보는 시각장애인에게 무선카메라에 보이는 영상에서 유도블럭을 찾아 시각장애인과의 거리를 음성으로 알려준다. Bill Recognition은 지폐를 인식하여 음성으로 알려준다. 길 안내 기능은 길을 찾아가지 못하는 시각장애인에게 특정 지점마다 길 안내정보를 등록하고, 등록된 정보는 시각장애인이 실시간으로 길 안내를 받을 수 있다. 음성인식은 기기를 사용하기 힘든 시각장애인들에 대한 접근성을 높이기 위해 WinPhone Application이 제공하는 모든 기능을 흔들기와 음성만으로 사용할 수 있도록 제공한다. 무선카메라의 화질과 Window Phone의 GPS 불규칙적인 오차 때문에 많은 시행착오가 있었지만 무선카메라는 웹 캠으로, GPS오차는 BingMap API의 GPS 가상 좌표로 대체하여 프로젝트를 마칠 수 있었다.