The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Object Detection Algorithm for Explaining Products to the Visually Impaired

시각장애인에게 상품을 안내하기 위한 객체 식별 알고리즘

  • 박동연 (숙명여자대학교 IT공학과) ;
  • 임순범 (숙명여자대학교 IT공학과)
  • Received : 2022.06.30
  • Accepted : 2022.09.08
  • Published : 2022.10.28
Download PDF
⟨ Previous Next ⟩

Abstract

Visually impaired people have very difficulty using retail stores due to the absence of braille information on products and any other support system. In this paper, we propose a basic algorithm for a system that recognizes products in retail stores and explains them as a voice. First, the deep learning model detects hand objects and product objects in the input image. Then, it finds a product object that most overlapping hand object by comparing the coordinate information of each detected object. We determine that this is a product selected by the user, and the system read the nutritional information of the product as Text-To-Speech. As a result of the evaluation, we confirmed a high performance of the learning model. The proposed algorithm can be actively used to build a system that supports the use of retail stores for the visually impaired.

시각장애인들은 상품들에 대한 점자 정보와 지원 시스템의 부재로 인해 소매점을 이용하는데 어려움을 겪고 있다. 그에 따라 본 연구에서는 소매점 내 상품을 인식하고, 이를 음성으로 해설하는 시스템의 기본 알고리즘을 제안한다. 우선, 딥러닝 모델이 입력 이미지에서 손 객체와 상품 객체를 감지한다. 그리고 각 객체의 좌표 정보를 계산하여 손 객체와 가장 많이 겹치는 상품 객체를 찾는다. 그 상품을 사용자가 선택한 상품이라고 판단한 뒤, 해당 상품의 대한 영양 정보를 Text-To-Speech를 사용하여 읽어준다. 평가 결과, 학습 모델의 성능이 높은 것을 확인하였다. 본 알고리즘은 시각장애인의 소매점 이용을 지원하는 시스템 구축에 적극적으로 활용될 수 있을 것이다.

Keywords

Acknowledgement

이 논문은 2022년도 정부재원(과학기술정보통신부 여대학원생 공학연구팀제 지원사업)으로 과학기술정보통신부와 한국여성과학기술인육성재단의 지원을 받아 연구되었습니다.

References

  1. 2021년 12월, 2021년 주요 유통사별 매출 추이, 한국산업통상자원부, 2022.
  2. https://www.jnilbo.com/view/media/view?code=2022041711264849598.html
  3. https://news.mt.co.kr/photonews/graphicNewsList.html?id=2021010709573328767.html
  4. 배민경, 서현아, 이영우, "OCR 기반 시각장애인을 위한 편의점 음료 구입 보조 시스템," 한국콘텐츠학회종합학술대회 논문집, pp.11-12, 2021.
  5. BeYerage, 시각장애인을 위한 편의점 음료 안내 서비스, 공개SW 개발자대회 결과보고서, 2021.
  6. 오세랑, 배영철, "YOLO v3 기반의 시각장애인을 위한 유도 블록 인식 알고리즘," 한국지능시스템학회 논문지, 제31권 제1호, pp.60-67, 2021.
  7. 김재훈, 김수종, 이다예, 전민건, 김재현, 전수빈, 서동만, "시각장애인을 위한 인공지능 기반 전방 물체 탐지," 한국정보과학회 학술발표논문집, pp.1978-1980, 2021.
  8. 최경민, 김민영, 황수영, 오유군, 임덕신, "시각장애인의 안전한 요리를 위한 주방 비전 센싱 시스템," 대한인간공학회 학술대회논문집, pp.355-356, 2021.
  9. https://github.com/DyeonPark/Product-Detect ion-for-Visually-Impaired
  10. https://github.com/cansik/yolo-hand-detection
  11. T. Simon, H. Joo, I. Matthews, and Y. Sheikh, "Hand Keypoint Detection in Single Images using Multiview Bootstrapping," Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pp.1145-1153, 2017.
  12. S. Bambach, S. Lee, D. J. Crandall, and C. Yu, "Lending a hand: Detecting Hands and Recognizing Activities in Complex Egocentric Interactions," Proceeding of IEEE International Conference of Computer Vission, pp.1949-1957, 2015.
  13. C. Y. Wang, H. Y. Mark Liao, P. Y. Chen, and J. W. Hsieh, "Enriching variety of layer-wise learning information by gradient combination," Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019.
  14. https://aihub.or.kr/aidata/34145
  15. https://roboflow.com/
  16. X. Zhu, S. Lyu, X. Wang, and Q. Zhao, "TPH-YOLOv5: Improved YOLOv5 based on Transformer Prediction Head for Object Detection on Drone-Captured Scenarios," Proceedings of the IEEE/CVF International Conference on Computer Vision, pp.2778-2788, 2021.
  17. D. S. Berry, "Developments in the AST Library," Astronomical Data Analysis Software and Systems XVII, Vol.394, pp.635-637, 2008.
  18. S. Virtue and A. Vidal-Puig, "GTTs and ITTs in mice: simple tests, complex answers," Nature Metabolism, Vol.3, No.7, pp.883-886, 2021. https://doi.org/10.1038/s42255-021-00414-7