Automatic Notification System of Expiration Date Based on YOLO and OCR algorithm for Blind Person

시각 장애우를 위한 YOLO와 OCR 알고리즘 기반의 유통기한 자동 알림 시스템

  • Kim, Min-Soo (Dept. of Computer Engineering, Dongseo University) ;
  • Moon, Mi-kyung (Dept. of Software, College of Software Convergence, Dongseo University) ;
  • Han, Chang-hee (Dept. of Software, College of Software Convergence, Dongseo University)
  • 김민수 (동서대학교 컴퓨터공학부) ;
  • 문미경 (동서대학교 소프트웨어융합대학 소프트웨어학과) ;
  • 한창희 (동서대학교 소프트웨어융합대학 소프트웨어학과)
  • Published : 2021.07.14

Abstract

본 논문에서는 시각 장애우의 식품 안전성 증진을 위해 광학 문자 인식 (optical character recognition, OCR) 및 실시간 객체 인식 (you only look once, YOLO) 알고리즘에 기반한 식품의 유통기한 자동 알림 시스템을 제안한다. 제안하는 시스템은 1) 스마트폰 카메라를 통해 실시간으로 입력되는 영상에서 YOLO 알고리즘을 활용하여 유통기한으로 예측되는 이미지 영역을 검출하고, 2) 검출된 영역에서 OCR 알고리즘을 활용하여 유통기한 데이터를 추출하며, 3) 최종 추출된 유통기한 데이터를 음성으로 변환하여 시각 장애우에게 전달한다. 개발된 시스템은 유통기한 정보를 추출해서 사용자에게 전달하기까지 평균 약 7초 이내의 빠른 응답 속도를 보였으며, 62.8%의 객체 인식 정확도와 93.6%의 문자 인식 정확도를 보였다. 이러한 결과들은 제안하는 시스템을 시각 장애우들이 실용적으로 활용할 수 있다는 가능성을 보여준다.

Keywords

Acknowledgement

본 연구는 2021년 과학기술정보통신부 및 정보통신기획평가원의 SW중심대학사업의 연구결과로 수행되었음(2019-0-01817).