OCR 기반의 개인 처방전 관리 시스템

A Personal Prescription Management System Employing Optical Character Recognition Technique

Abstract

본 논문에서는 모바일 단말을 이용한 광학문자인식(OCR) 기반의 개인 처방전 관리 시스템을 구현하였다. 이 시스템은 사용자 개인처방전의 정보들을 자동으로 인식하여 입력할 수 있는 기술이다. 또한, 문자 인식률을 높이기 위하여 기존의 시스템에 전처리과정을 추가함으로써 성능개선을 하였다. 본 시스템을 이용한 그 응용 예로써 개인 처방전 관리 시스템, 알람 서비스, 의약정보 등을 구현하였다.

We have implemented a personal prescription management system which enables resource-limited mobile device to utilize the optical character recognition technique. The system enables us to automatically detect and recognize the text in the personal prescription by using a optical character recognition technique. We improved the recognition rate over a pre-processing in order to improve the character recognition rate of the original method. The examples such as a personal prescription management service, alarm service, and drug information service with mobile devices have been demonstrated by using the our system.

Ⅰ. 서 론

현재 환자들은 병원에서 특정 질병으로 인해 진료를 받은 후, 발급된 종이처방전을 환자가 직접 약국에 제출하거나 일부 중대형병원을 중심으로 키오스크 등을 활용한 전자처방전 방식이 보편적으로 이용되고 있다.

가장 많이 이용되고 있는 종이처방전의 경우, 약국에서 환자의 보험정보를 확인하고 처방전을 수작업으로 재입력함에 따라 환자의 대기시간이 늘어나고, 일부 의료기관에서는 처방전을 환자용 발행 없이 약국용으로만 1부를 발행하고 있어 환자의 알 권리 제한 및 민원제기가 빈번한 실정이다. 또, 환자가 하나 이상의 질병으로 동시에 치료를 받는 경우 약품의 중복 처방 및 과다처방도 끊임없이 문제점으로 지적되어 오고 있다.

본 논문에서는 모바일 단말을 이용한 광학문자인식(OCR) 기반의 개인 처방전 관리 시스템을 통해 환자 개인의 의약 정보 제공, 약 복용에 따른 주의사항, 도움이 될 만한 영양성분을 제공함으로써 환자의 의약품 복용에 있어 안전성을 한층 높이고, 환자의 개인처방전 관리를 충족시킬 수 있다. 또한, 병원에서 발급받은 종이처방전을 기존의 2D 바코드 대신 모바일 단말에서 스캔 시 문자인식을 통하여 처방전 데이터를 자동입력 및 관리하는 시스템이다. 문자인식을 통해 수작업 입력에 따른 불편을 제거하여 환자 편의를 향상시킬 수 있다.

 

Ⅱ. 본 론

약국 제출용으로 사용되는 종이처방전의 경우, 환자 개인의 처방 약품정보 및 질병이력 등을 별도로 제공하지 못한다. 이 문제를 해결하기 위해 본 논문에서는 개인 처방전을 개인이 자동으로 등록/관리할 수 있도록 시스템을 구현하고, 그 응용 모델로써 복용알람 서비스, 의약정보 서비스, 개인 질병 이력관리 서비스 등을 구현하였다. 또한, 기존의 OCR 엔진은 원본 이미지의 밝기, 명암, 왜곡에 따라 인식률의 변화가 매우 심한 단점이 있다[2].

따라서, 본 시스템에서는 원본 이미지에 대한 전처리 과정을 통해 기존 Tesseract-OCR의 인식률에 비해 성능개선을 하였다.

2.1. 구성

본 논문에서 제안된 OCR 기반의 개인 처방전 관리시스템의 전체 구성도는 그림 1과 같이 크게 네 부분으로 구성된다. 종이처방전의 문자를 인식하기 위해 촬영하는 부분, 촬영된 이미지에서 자동으로 문자를 인식하여 등록하는 부분, 등록된 데이터를 통해 서비스를 이용하는 부분, 그리고 의약품 정보를 가져오는 데이터베이스 부분으로 이루어진다.

그림 1.OCR 기반의 개인 처방전 관리 시스템 전체 구성도 Fig. 1 Configurations of the personal prescription management system with OCR technique

2.2. 동작원리

먼저 사용자가 개인 처방전을 휴대단말을 통하여 촬영하게 되면, OCR을 통해 관리에 필요한 정보를 자동으로 인식 및 등록하게 된다. 개인처방전 관리를 위해 필요한 정보에는 환자정보, 진료 정보, 약품 코드 등이 있다. 이때 인식된 약품 코드는 DB를 통하여 매칭된 의약품 정보를 가져오게 된다.

본 논문에서 제안된 개인 처방전 관리 시스템의 서비스로는 복용알람 서비스, 의약정보 서비스, 개인 질병 이력관리 등이 있다. 복용알람 서비스는 사용자의 생활패턴에 맞게 복용 알림 설정이 가능한 서비스이며, 의약정보 서비스는 약효 군별로 의약정보를 DB를 통해 제공해 주는 서비스이다.

개인 질병 이력관리 서비스는 과거 처방전의 내용과 비교하여 병원 방문 및 개인 질병에 대한 통계자료를 제공해 주는 서비스이다.

 

Ⅲ. 시스템 구현 결과

본 논문에서 제안한 시스템에서 개인 처방전 정보를 자동으로 입력하기 위해 Google에서 제공하는 오픈소스인 Tesseract-OCR 엔진을 사용하였다[1].

Tesseract OCR 엔진은 유일하게 한글인식을 지원하지만, 원본 이미지의 밝기, 명암, 왜곡에 따라 인식률의 변화가 매우 심한 단점이 있다. 따라서, 본 시스템에서는 원본 이미지에 대한 전처리 과정을 통해 기존 Tesseract-OCR의 인식률에 비해 향상된 결과를 보였다.

3.1. 실험 조건

실험은 광학문자 인식을 위해 표 1과 같이 원본 이미지를 전처리 과정 없이 문자를 인식한 경우와 이미지 전처리 과정을 추가하여 인식한 경우로 나뉜다. 광학문자의 인식률을 높이기 위한 전처리 과정은 원본이미지에 대한 히스토그램, 이진화 작업, LPF 적용, 수평선 제거 순으로 수행하였다[3-5].

표 1.실험조건 Table. 1 The experimental conditions

3.2. 실험 방식

그림 2는 문자 인식률을 높이기 위한 전처리 과정을 보여준다. 그림 2(a)는 원본 이미지를 나타내며, 그림 2(b)는 히스토그램 과정을 수행한 이미지를 보여준다. 기존의 Tesseract-OCR은 원본 이미지의 명암에 매우 취약함으로 히스토그램 과정을 통해 보완할 수 있다. 히스토그램 과정은 어둡게 촬영된 영상의 히스토그램을 조절하여 명암 분포가 빈약한 영상을 균일하게 만들어 줌으로써 영상의 밝기 분포를 재분배하여 명암 대비를 최대화 할 수 있다.

그림 2.원본 이미지에 대한 전처리 과정 (a) 원본 이미지 (b) 히스토그램 이미지 (c) 이진화 이미지 (d) LPF와 에지 이미지 Fig. 2 Detection procedure of the code number (a) Original Personal Prescription Image (b) Histogram Image (c) Binary Image (d) LPF and Edge Image

그림 2(c)는 원본이미지에서 배경과 글자간의 원활한 분리를 위해 이진화 작업을 수행한다. 캡쳐된 원본 이미지에는 픽셀의 밝기 값이 0~255 사이에 골고루 존재하게 되어 문자를 인식하는데 어려움이 존재한다.

따라서, 픽셀의 밝기 값을 0아니면 255의 두 값으로 변환하는 이진화 작업을 통해 배경과 문자간의 분리가 가능해 진다. 이진화 작업을 거친 이미지에는 불필요한 노이즈가 포함되어 있어, 노이즈 제거를 위한 LPF를 적용하였다.

그림 2(c)와 같이 기존의 종이 처방전 포맷에는 수평선이 포함되어 있다. 이러한 수평선은 문자인식에 불필요한 영향을 줌으로 반드시 제거할 필요가 있다. 본 논문에서는 수평선 제거를 위해 Prewitt 연산 대신 Sobel 연산을 사용하였다.

Prewitt 연산은 수직과 수평의 에지 검출에 강하지만 대각선 에지에 대해서는 검출하지 못하는 치명적인 단점이 있다. 따라서, 원영상에는 다양한 곡선도 존재함으로 Prewitt 연산 보다는 Sobel 연산을 이용하여 수평선을 제거 하였다.

일반적으로 에지(경계선) 검출은 이웃한 두 영역의 차이를 미분 계산으로 가능하다. 미분 개념을 효과적으로 표현하기 위한 방법으로 회선 기법을 활용한다. 가로와 세로 두 방향에 대한 경계선을 모두 구하기 위해, 두 개의 회선 마스크를 적용하고 합성하는 방식을 이용한다. Sobel 연산은 이진화된 영상에서 수평과 수직에지를 찾기 위해서는 그림 3과 같이 3x3으로 구성된 마스크를 사용한다.

그림 3.Sobel 마스크 (a) 3x3 이미지 영역 (b) Gx 마스크 (c) Gy 마스크 Fig. 3 Sobel convolution kernels (a) 3x3 image region (b) Mask used to compute Gx (c) Mask used to compute Gx

Sobel Mask는 수평에지 검출이 가능한 vertical contrast(Gx) 와 수평에지를 간단하게 90° 회전 시킨 수직에지 검출 horizontal contrast(Gy) 로 구성된다. 최종 결과 이미지를 구하는 식은 다음과 같다[6].

where,

따라서, Sobel 연산을 통해 수평선을 제거한 최종 이미지는 그림 2(d)와 같다.

3.3. 실험 결과

본 절에서는 제안한 방식과 기존 시스템과의 문자 인식률을 비교 분석하여 평가한다.

표 2에서 제안한 방식과 기존의 시스템의 인식률 성능을 비교 분석한 것이다. 종이처방전의 의약품 명칭과 투약량, 투여횟수, 투약일수에 대하여 문자인식을 검증하였다.

표 2.성능 개선된 방식과 기존 방식의 인식률 비교 Table. 2 The pre-processing method compared to the original method

기존 원본 이미지를 수정 및 추가적인 작업 없이 오픈 소스인 Tesseract-OCR를 통해 문자인식 한 결과, 의약품 명칭 417개의 문자 sample 중 172개만 인식하여 41.25%를 나타내었다.

또한, 투약량/투여횟수/투약일수에 대한 문자인식은 180개의 문자 sample 중 2개의 sample만 인식하여 1.11%의 낮은 인식률을 나타내었다.

본 논문에서 제안한 전처리 과정을 수행한 결과, 의약품 명칭 540개의 sample 문자 중 532개의 문자를 인식하여 98.51%의 인식률을 나타냈었으며, 투약량/투여횟수/투약일수에 대한 문자인식은 180개의 문자 sample 중 82개의 sample 문자를 인식하여 45.5%의 높은 인식률을 나타내었다. 따라서, 전처리과정을 수행함으로써 기존 문자 인식률에 비해 현저히 높은 인식률을 보였다.

OCR의 인식률은 촬영환경에 민감한 영향과 촬영된 이미지의 왜곡(각도), 명암등에도 영향을 받는 것을 알수 있다. 이러한 저해 요인들은 전처리 과정을 통해 제거함으로써 기존의 인식률을 크게 개선할 수 있다.

3.4. 시스템 응용 서비스

본 논문에서 제안된 개인 처방전 관리 시스템의 응용 서비스로는 약효 군별로 의약정보를 DB를 통해 제공해주는 의약정보 서비스(그림 4(a)), 과거 처방전의 내용과 비교하여 병원 방문 및 개인 질병에 대한 통계자료를 제공해 주는 개인 질병 이력관리 서비스(그림 4(b)), 사용자의 생활패턴에 맞게 복용 알림 설정이 가능한 복용알람 서비스(그림 4(c)) 이다.

그림 4.개인 처방전 관리 응용 서비스 (a) 의약 정보 서비스 (b) 개인 처방 정보 서비스 (c) 약 복용 알람 서비스 Fig. 4 Other application services (a) Medicine Info Service (b) Personal Disease History (c) Alarm Service

 

Ⅳ. 결 론

본 논문에서는 모바일 단말을 이용한 광학문자인식(OCR) 기반의 개인 처방전 관리 시스템을 통해 환자 개인의 의약 정보 제공, 약 복용에 따른 주의사항, 도움이 될 만한 영양성분을 제공함으로써 환자의 의약품 복용에 있어 안전성을 한층 높이고, 환자의 알 관리를 충족시킬 수 있다. 또한, 병원에서 발급받은 종이처방전을 기존의 2D 바코드 대신 문자인식을 통하여 수작업 입력에 따른 불편함을 제거하여 환자 편의를 향상시킬 수 있다.

또한, OCR의 인식률은 촬영환경, 이미지의 왜곡, 명암등에 민감한 영향을 받는다. 이러한 저해 요인들을 제안된 전처리 과정을 통해 제거함으로써 기존의 인식률을 현저히 높일 수 있다.