Development of Intelligent OCR Technology to Utilize Document Image Data

문서 이미지 데이터 활용을 위한 지능형 OCR 기술 개발

  • Kim, Sangjun (Department of Computer Engineering, Catholic University of Pusan) ;
  • Yu, Donghui (Department of Computer Engineering, Catholic University of Pusan) ;
  • Hwang, Soyoung (Department of Computer Engineering, Catholic University of Pusan) ;
  • Kim, Minho (Department of Computer Engineering, Catholic University of Pusan)
  • Published : 2022.05.26

Abstract

In the era of so-called digital transformation today, the need for the construction and utilization of big data in various fields has increased. Today, a lot of data is produced and stored in a digital device and media-friendly manner, but the production and storage of data for a long time in the past has been dominated by print books. Therefore, the need for Optical Character Recognition (OCR) technology to utilize the vast amount of print books accumulated for a long time as big data was also required in line with the need for big data. In this study, a system for digitizing the structure and content of a document object inside a scanned book image is proposed. The proposal system largely consists of the following three steps. 1) Recognition of area information by document objects (table, equation, picture, text body) in scanned book image. 2) OCR processing for each area of the text body-table-formula module according to recognized document object areas. 3) The processed document informations gather up and returned to the JSON format. The model proposed in this study uses an open-source project that additional learning and improvement. Intelligent OCR proposed as a system in this study showed commercial OCR software-level performance in processing four types of document objects(table, equation, image, text body).

오늘날 소위 디지털 전환시대를 맞아, 많은 부분에서 빅데이터의 구축과 활용에 대한 필요성이 높아졌다. 오늘날에 많은 데이터가 디지털기기, 미디어 친화적으로 생산 및 보관되는 것과 달리, 과거 오랜 기간 데이터의 생산 및 보관은 활자 인쇄도서가 주를 이루었다. 따라서 오랜 기간 축적되어온 방대한 활자 인쇄도서를 빅데이터로써 활용하기 위한 광학 문자 판독(OCR: Optical Character Recognition) 기술의 필요성 역시 빅데이터의 필요성에 맞추어 함께 요구되었다. 본 연구에서는 도서 스캔 이미지의 정보를 각 문서 객체별로 세분화하여 그 구조와 내용을 디지털화하는 시스템을 제안한다. 제안 시스템은 크게 1) 문서객체(표, 수식, 그림, 본문)의 영역정보를 인식. 2)인식된 객체의 영역정보를 각각 표 처리, 수식 처리, 텍스트 처리 모듈로 OCR. 3) OCR로 처리된 문서 정보를 JSON형식으로 종합하여 반환하는 세 단계로 구성된다. 본 연구에서 제안하는 모델은 이러한 단계를 수행함에 있어 오픈소스로 공개된 프로젝트를 활용하되, 본 시스템의 목표에 맞추어 추가적인 학습과 개량을 거쳤다. 본 연구에서 제안한 지능형 OCR 시스템은 문서 이미지 내 4종(표, 수식, 이미지, 텍스트)의 객체인식과 처리에 있어 상용 소프트웨어 수준의 성능을 확인할 수 있었다.

Keywords

Acknowledgement

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2021R1G1A1014389).