머신러닝을 이용한 시각장애인 도로 횡단 보조 임베디드 시스템 개발

Development of Street Crossing Assistive Embedded System for the Visually-Impaired Using Machine Learning Algorithm

  • 오선택 (한동대학교 기계제어공학부) ;
  • 정기동 (한동대학교 기계제어공학부) ;
  • 김호민 (서울대학교 기계항공공학부 우주항공공학과) ;
  • 김영근 (한동대학교 기계제어공학부)
  • 투고 : 2019.01.14
  • 심사 : 2019.05.09
  • 발행 : 2019.05.31

초록

본 연구는 시각장애인들이 도로를 안전하게 횡단할 수 있도록 신호등 인식 및 음성안내를 제공해주는 임베디드 시스템의 설계를 제안한다. 시각장애인에게 독립보행은 큰 어려움으로 작용하고 있으며, 독립보행의 제한은 그들의 삶의 질을 저하시키는 요인으로 작용하고 있다. 도로횡단에서의 신호등 인식과 도로 및 차로의 구분 불가는 시각장애인의 독립보행을 방해하는 가장 큰 요인 중 하나이다. 본 연구에서 제안하는 스마트기기는 안경에 달린 초소형 카메라로 GPU 보드에 탑재된 머신러닝 알고리즘을 이용하여 보행자 신호등을 검출 및 인식하며, 음성 안내를 유저에게 전달해준다. 휴대성을 위하여, 기기는 충분한 배터리 수명과 함께 소형 및 가볍게 디자인되었다. 또한, 안경 다리에는 외부 소리를 막지 않으면서 음성 안내를 전달해주는 골전도 스피커가 부착되어 있다. 본 연구에서 제안하는 스마트기기는 실험을 통하여 보행자 신호의 초록 신호에 대하여 87.0%의 검출율(recall)과 100%의 정확도(precision)를 가지며, 빨간 신호에 대하여, 94.4%의 검출율(recall) 값과 97.1%의 정확도(precision)를 가지는 것으로 유효성을 확인하였다.

In this study, a smart assistive device is designed to recognize pedestrian signal and to provide audio instructions for visually impaired people in crossing streets safely. Walking alone is one of the biggest challenges to the visually impaired and it deteriorates their life quality. The proposed device has a camera attached on a pair of glasses which can detect traffic lights, recognize pedestrian signals in real-time using a machine learning algorithm on GPU board and provide audio instructions to the user. For the portability, the dimension of the device is designed to be compact and light but with sufficient battery life. The embedded processor of device is wired to the small camera which is attached on a pair of glasses. Also, on inner part of the leg of the glasses, a bone-conduction speaker is installed which can give audio instructions without blocking external sounds for safety reason. The performance of the proposed device was validated with experiments and it showed 87.0% recall and 100% precision for detecting pedestrian green light, and 94.4% recall and 97.1% precision for detecting pedestrian red light.

키워드

참고문헌

  1. 경시연. 시각장애인의 문제 및 욕구 파악을 위한 면접 조사 결과 보고서. 경북시각장애인연합회. pp. 25-27. 2009.
  2. 전자통신연구원. 시각장애인 보행편의를 위한 요구사항 분석 연구. 한국시각장애인연합회. pp. 32-36. 2015.
  3. David, D. Z., Jessy, D. D. and Robert, J. G. The $Argus^{(R)}$ II retinal prosthesis system: An overview. 2013 IEEE International Conference on Multimedia and Expo Workshops. ICMEW. pp. 1-6. 2013.
  4. Stronks, H. C., Mitchell, E. B., Nau, A. C. and Barnes, N. Visual task performance in the blind with the BrainPort V100 Vision Aid. Expert Review of Medical Devices. 13(10). pp. 919-931. 2016. https://doi.org/10.1080/17434440.2016.1237287
  5. Tapu, R., Mocanu, B., Bursuc, A. and Zaharia, T. A Smartphone-based Obstacle Detection and Classification System for Assisting Visually Impaired People. The IEEE International Conference on Computer Vision Workshops. ICCV. pp. 444-451. 2013.
  6. 유용재, 오세영, 최승문. FeetNavi: 시각 장애인의 길찾기를 위한 족부 진동 피드백 시스템. HCI2017 학술대회 발표논문집. 한국HCI학회. pp. 269-271. 2017.
  7. 김래현, 박세형, 이수용, 조현철, 하성도. 초음파 및 가속도 센서를 이용한 시각장애인용 보행보조 장치의 성능 개선. 정보과학회논문지 : 소프트웨어 및 응용. 36(4). 정보과학회. pp. 291-297. 2009.
  8. 이진희, 임석현, 이은석, 신병석. 초음파 센서와 GPS를 연동한 시각장애인 실외 보행지원 시스템. 정보과학회논문지 : 소프트웨어 및 응용 36(6). 정보과학회. pp. 462-470. 2009.
  9. Ultracane. https://www.ultracane.com April 23. 2017.
  10. Wayfindr. https://www.wayfindr.net April 23. 2017.
  11. Orcam. https://www.orcam.com/en April 23. 2017.
  12. Aipoly. https://www.aipoly.com April 23. 2017.
  13. Joseph, R., Santosh, D., Ross, G. and Ali, F. You Only Look Once: Unified, Real-Time Object Detection. 2016 IEEE Conference on 2016 June. Computer Vision and Pattern Recognition (CVPR). pp. 779-788. 2016.
  14. Florian, W., Martin, F. and Oliver, A. WISEglass: Smart eyeglasses recognising context. Proceedings of the 10th EAI International Conference on Body Area Networks. ICST (Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering). pp. 11-17. 2015.