Deep-Learning-based smartphone application for automatic recognition of ingredients on curved containers

곡면 용기에 표시된 성분표 자동 인식을 위한 인공지능 기반 스마트폰 애플리케이션

Consumers should look at the ingredients of cosmetics or food for their health and purchase them after checking whether they contain allergy-causing ingredients. Therefore, this paper aimed to develop an artificial intelligence-based smartphone application for automatically recognizing the ingredients displayed on a curved container and delivering it to consumers in an easy-to-understand manner. The app needs to allow consumers to immediately comprehend the restricted ingredients by recognizing the ingredients' words in the cropped image. Two major issues should be solved during the development process: First, although there were flat containers for cosmetics or food, most were curved containers. Thus, it was necessary to recognize the ingredient table displayed on the curved containers. Second, since the ingredients' words were displayed on the curved surface, the transformed or line-changed words also needed to be recognized. The proposed new methods were enough to solve the above two problems. The application developed through various tests verified that there was no problem recognizing the ingredients' words contained in a cylindrical curved container.

소비자는 본인의 건강을 위해서 화장품 및 식품의 성분을 보고 알레르기 유발이나, 주의 성분이 포함되어 있는지 여부를 확인 후 구매를 해야 하지만, 실상은 포장지나 패키징 용기에서 표기가 작고 상세 성분 표기를 찾기 어려우며 바쁜 일상 가운데 일일이 확인하는 과정이 소홀해지기 쉽다. 이에 본 논문은 소비자에게 용기에 부착된 성분을 보다 알기 쉽게 전달하도록 곡면 용기에 표시된 배합 성분표를 자동으로 인식하기 위한 인공지능 기반 스마트폰 애플리케이션을 제안한다. 제안한 스마트폰 기반 성분표 자동인식 어플리케이션은 곡면 용기에 표시된 성분표를 인식할 수 있도록 텍스트 추출 후 원근변환을 통해 인식을 정확도 95% 달성하였다. 또한, 성분명이 곡면에 표시되기 때문에 변형되거나 길이가 길어서 줄 바꿈이 있는 텍스트를 위해 텍스트영역의 경계영역과 위치를 계산하여 처리하였다. 이를 통해 제안한 스마트폰 어플리케이션은 내장된 카메라를 통해 용기에 부착된 성분표 영상을 획득한 뒤, 성분과 관련된 텍스트를 발견하고 인식하여 배합제한성분 정보를 추출하도록 하였다. 마지막으로 다양한 테스트를 통하여 개발한 애플리케이션으로 원통형 곡면 용기에 담긴 화장품의 성분표 인식에 문제가 없다는 것을 검증하였다.