중소/중견 기업을 위한 OCR기반 설비 모니터링 시스템의 설계 및 구현

Design and Implementation of OCR-based Machine Monitoring System for Small and Medium-Sized Enterprise (SMEs)

Abstract

4차 산업 혁명의 물결 속에서 스마트팩토리는 많은 공장에서 요구되고 있다. 하지만, 중소/중견 기업에서는 여전히 노후화된 설비를 보유하고 있어 스마트팩토리의 기초가 되는 데이터 수집 단계에서 어려움을 겪고 있다. 이 연구는 기존 설비의 개조 필요 없이, 설비 제어판의 이미지로부터 데이터를 추출하는 오픈 소스 기반의 기술을 활용 함으로써, 저비용으로 설비 모니터링하는 방법을 제안한다. 제안된 방법은 프로토타핑을 통해 자동차 부품 제조 공장의 단조 설비를 대상으로 테스트하고 평가되었다. 평가 결과 저가형 설비 모니터링이 가능함을 확인하였으며, 중소/중견 기업이 스마트팩토리를 구축하는 데 도움을 줄 것이다.

In the wave of the 4th industrial revolution, smart factory is required in many factories. However, small and mid-sized companies (SMEs) still have aging machines and are having difficulties in the data collection stage, which is the basis of smart factories. This study proposes a low cost monitoring method by using an open source based technology that extracts data from the image of the facility control panel without the need for modification of existing facilities. The proposed method was tested and evaluated for forging facilities in automobile parts manufacturing plants through prototyping. As a result of the evaluation, it was confirmed that low-cost facility monitoring is possible, and it will help SMEs build smart factories.

Ⅰ. 서론

최근 제조 산업의 패러다임인 인더스트리 4.0은 2011 년에 독일 제조 산업의 경쟁력을 강화하기 위한 아이디어로 소개되었다^[1]. 스마트공장(Smart Factory)은 인더스트리 4.0의 주요 구성 요소로서 제조업 분야에서 통합화되고 지능화된 공장으로 진화하고 있다^[1][2]. 스마트공장의 핵심 기술은 IIoT와 CPS라고 할 수 있다. IIoT가제조 공장 사물의 인터넷 연결이고 CPS는 가상과 현실 세계의 상호 통합 연결 시스템이라면, 스마트공장은 설비, 센서, 액추에이터 등 공장 내 모든 현실 세계 객체와 이들 간의 네트워크로 연결된 가상 세계를 제어하고 관리하는 종합 시스템이다^[1][2][3].

중소/중견기업 (SME) 또한 IIoT와 CPS의 기술이 요구되고 있으며, 제한된 자원과 노동 집약적인 어려운 환경에도 불구하고 스마트공장 기술을 채택하여 생산성을향상시키고 경쟁력을 유지해야 한다^[3][4]. 성공적인 스마트공장 구축을 위해서는 제조 공정에 필요한 관련 데이터를 정확히 수집해야 하며, 제조 시설 전체에 카메라나 센서를 설치하고 IoT 장치와 연동하여 생산 전반의 모니터링 및 제어가 가능하도록 해야 한다^[3]. 하지만, 중소기업은 스마트공장 도입 전에 자동화가 구축되어 있고, 대상 설비와 센서 또한 노후화되어 데이터 수집에 어려움을 겪는 경우가 많이 있다^[5]. 또한, 많은 중소기업이 IT 에 대한 전문 지식이 부족하고 새로운 기술을 채택하는데 따른 비용에 어려움도 지적되고 있다^[6]. 설비 데이터수집 및 모니터링은 스마트공장의 필수 대상이지만 설비 개조가 수반되어 비용이 많이 필요하므로, 저렴한 설비 모니터링 방법이 필요하다.

최근 기계 학습 및 딥러닝 기술의 인식률이 높아지고 적용 범위가 확대되어 다양한 분야에서 활용되고 있다. 설비에서 수집되어야 하는 많은 정보들은 설비 제어판 (HMI)에 표시되는 정보와 거의 동일하므로, 설비 제어판의 이미지를 캡처하여 이미지 처리를 통해 수집한다면, 가성비가 높은 설비 모니터링 시스템을 구축할 수 있다^[5].

II 절에서는 관련 연구들을 살펴보고, III 절에서는 설비 모니터링 방법을 설명한다. IV 절에서는 모니터링 시스템의 프로토타입 구현 내용과 결과를 평가하고, V 절에서는 결론과 향후 연구 방향을 제시한다.

Ⅱ. 관련 연구

이 절에서는 HMI(Human Machine Interface), 텍스트 인식(Scene Text Recognition), 광학 문자 인식 (Optical Character Recognition)에 대한 관련 연구들에 대해 설명한다.

1. Human Machine Interface (HMI)

HMI는 기계와 상호작용하여, 작업을 수행하거나 지원하는 모든 기계 또는 전기 장치이다^[11]. HMI는 설비의 실시간 데이터를 모니터하고 시각화하는 기능과 공정의 작업 조건을 조정하고 감독하는 기능 등이 있다^[7][8]. 최초의 HMI는 간단한 버튼과 조명 기기로 시작되었으며, 시간이 지남에 따라 정교한 시스템의 복잡한 데이터를 모니터링하고 분석할 수 있도록 진화했다. 오늘날에는 광범위한 밝은 full-color TFT LCD 디스플레이를 사용한다^[8].

HMI로 모니터링할 수 있는 설비 상태 정보에는 생산 시작 및 종료 지점, 기계 작동 상태, 장비 종료 또는 고장 여부 및 결함 수 등이 있으며^[10], 표현 방식에는 아날로그 방식과 디지털 방식이 있다^[9]. HMI를 이미지로 캡처하여 문자를 인식하는 방법에는 대표적으로 복잡한 배경의 이미지에 있는 텍스트를 대상으로 하는 Scene Text Recognition과 스캔된 문서를 대상으로 하는 OCR 기반의 방식이 있다.

2. Scene Text Recognition (STR)

최근 몇 년간 이미지 및 비디오의 텍스트 감지 및 인식 문제는 컴퓨터 비전 분야에서 활발히 연구되는 분야이다^[11][12]. 이 분야에 대한 연구는 매우 광범위하게 진행되고 있는데, 주요 흐름만 살펴보면 초기 연구는 비디오 콘텐츠를 색인화하는 방법에서 시작되어, 비디오의 캡션텍스트, 자연 환경 이미지의 텍스트 추출 등이 진행되었고, 최근 다양한 구성으로 캡처된 텍스트, 특히 복잡한 배경으로부터 효과적으로 텍스트 추출을 위한 연구가 진행되었다^[12][13]. 또한 Text 위치 검출에는 R-CNN^[14], Faster R-CNN^[15], Yolo^[16], SSD^[17] 등의 알고리즘이 연구되고 정확도와 속도에 대해 평가되었으며^[18], 자동차 번호판에 대한 문자 인식 등에 적용되었다^[19][29].

3. Optical Character Recognition (OCR)

초기 텍스트 감지 및 인식 연구는 스캔 된 페이지 이미지에 대한 연구에서 시작하였으며, 점차 카메라 캡처 이미지로 연구 범위가 확장되었다^[12]. 디지털 측정 장비의 LCD 패널 이미지로부터 계측치 추출을 위한 연구^[20], 7개의 LCD 영역으로 분할된 디지털 문자에 대한 광학 인식 방법이 연구되었다^[21]. 이 연구들에서 RGB 이미지를 흑백 이미지로 변환 및 이미지 프로세싱 후 특성을 추출하여 문자를 인식하는 방법을 사용하였다^[20][21]. 1995 년 글로벌 OCR 업체 8개를 대상으로 4차 성능 평가를 진행하였는데, 1, 500 페이지 이상의 비즈니스 편지, 과학 문서, 신문 기사 등에 대해 문자, 단어 및 구문 정확도 등을 측정하였다. 측정 결과 HP Labs OCR은 이미지 품질 및 해상도 등이 양호한 경우 96% 이상의 정확도를 보여주었다^[22]. HP Labs OCR은 이후 구글에 인수되어 Tesseract OCR 이라는 이름의 오픈 소스 형태로 공개되었고^[23][27], CIDAR 2015에서는 텍스트 인식을 위한 기본 라이브러리로 사용되었다^[24]. 현재 Tesseract OCR 은 이미지 라이브러리인 OpenCV^[27]와 결합되어 텍스트 인식을 위한 기본 플랫폼으로서 OCR 연구 분야에서 널리 활용되고 있다^[4][24][25]. 최근 OCR 엔진의 인식율을높이기 위해 서식 인식 방법이 활발히 연구되고 있다^[28].

Ⅲ. 설비 모니터링 방법

1. OCR 기반 설비 데이터 수집

설비 HMI에서 데이터 취득을 위해 광학 문자 인식 (OCR) 기법을 많이 사용한다. OCR은 사람이 쓰거나 프린터로 출력한 문서의 영상을 이미지 스캐너로 획득하여 컴퓨터가 인식할 수 있는 문자로 변환하는 알고리즘이다. 아래 그림 1은 OCR로 문자 인식을 하는 전형적인 프로세스를 보여준다. 먼저 영상 장치를 통해 이미지를 획득한 후, 이미지 프로세싱을 통해 인식하기 쉬운 형태로 변환하고, 최종적으로 OCR 알고리즘이 문자를 인식한다.

그림 1. OCR 문자 인식 프로세스

Fig. 1. Character recognition process of OCR

2. 설비 모니터링 항목 정의

본 연구는 자동차 부품 제조 공장의 알루미늄 단조 설비를 모니터링 대상으로 선정하였다. 해당 설비는 네트워크가 연결되어 있지 않아, 현장에서 설비 HMI를 통해 오프라인으로만 모니터링이 가능한 상태이다. 설비 HMI 에는 설비 상태가 LED로 표시되어, 전력 및 온도 등을 모니터링할 수 있다. 설비 HMI에 표시되는 모니터링 항목은 아래 표 1과 같다.

표 1. 설비 모니터링 항목

Table 1. Machine Monitoring Parameters

3. 설비 모니터링 프로그램 수행 절차

설비 모니터링을 위한 데이터 수집 절차는 아래 그림 2와 같이 구성된다.

그림 2. 설비 모니터링 프로그램 수행 절차

Fig. 2. Machine monitoring system process

가. 소스 이미지 생성

카메라로 설비 HMI의 이미지를 취득 후, 각 모니터링 항목별로 정의된 ROI(Range of Interest)에 의해 항목별 이미지를 생성한다. 이 단계는 이미지 크기를 줄여 처리 속도를 높이기 위함이다.

나. Image Processing

설비 HMI에 표시되는 데이터는 아래 그림 3과 같이 색상과 크기가 다양하며 현장 환경에 의한 많은 노이즈가 존재한다.

그림 3. 다양한 종류의 설비 HMI (1) 3가지 색상과 작은 LED의 조합 형태 (2) 빨강 기울임 형태 LED, 점등되지 않은 LED가 잔상처럼 표시됨 (3) 파랑 기울임 형태 LED

Fig. 3. Various type of machine control panel (1) 3 colors and small LED combinations (2) Red tilted LED, light-off LED displayed like an afterimage (3) Blue tilted LED

따라서 OCR 알고리즘의 성능을 높이기 위해서는 이미지 프로세싱이 필수이며, 이 연구에서는 아래 표 2에 있는 이미지 프로세싱 알고리즘을 적용하였다.

표 2. 성능 향상을 위한 이미지 프로세싱 알고리즘

Table 2. Image processing algorithm to improve performance

다. OCR 엔진 옵션 조정

OCR 엔진은 여러 실행 옵션이 존재한다. 대표적인 것으로는 언어를 예로 들 수 있는데, 숫자 인식을 위해서 언어는 영어로 설정하고, 숫자만 인식 가능하도록 옵션을 설정한다. 그 외에 옵션들도 결과를 향상시킬 수 있도록 세부 조정하도록 한다.

Ⅳ. 실험 및 결과

1. OCR 기반 데이터 수집 프로그램 개발

본 연구의 검증을 위해 프로그램을 개발하였다. 개발언어는 Python을 사용하였으며, Anaconda 기반의 Jupyter Notebook 환경에서 실행하였다. Image processing과 OCR은 각각 OpenCV [27]와 Tesseract [26]를 사용하였다. 각 software의 명칭과 상세 버전은 아래 표 3에 나타나 있다.

표 3. 소프트웨어 구성

Table 3. Software configuration

2. 소스 이미지 생성

설비 HMI 이미지를 각 수집 항목 별로 정의된 ROI 영역으로 분할하여 아래 표 4와 같이 소스 이미지를 생성하였다. 총 이미지는 9개가 생성되었으며, 모든 소스 이미지는 4개의 숫자와 1개의 소수점으로 구성되어 총 5 개의 문자가 인식 대상임을 알 수 있다.

표 4. 소스 이미지 생성 결과

Table 4. Source image creation result

이 이미지를 대상으로 OCR 엔진을 수행한 결과, 문자를 전혀 인식하지 못하였으며, image processing을 수행하기로 하였다.

3. Image Processing

소스 이미지에 대해 image processing을 수행하였다. 아래 그림 4에서는 Image processing을 통해 이미지가 변환되는 일련의 과정과 이미지 변환 결과를 예시를 통해 표시하였다.

그림 4. 이미지 프로세싱 단계별 결과

Fig. 4. Image processing process and result

Gray scaling과 invert black/white는 모든 이미지에 대해 일괄적으로 적용하였다. Brightness는 150~210 범위에서 증가시켰고, Blurring은 averaging filter 커널을 사용하였다. 각 단계의 조정 방법과 조정값은 아래 표 5에 나타나 있다.

표 5. 이미지 프로세싱 알고리즘 조정값

Table 5. Image processing algorhtim tuning value

4. OCR 엔진 옵션 조정

결과 향상을 위해 Tesseract OCR의 configure parameter를 조정하였다. 수치 인식을 목적으로 하기에 인식 대상 문자를 숫자로 한정하였다. Configure parameter 조정값과 그에 대한 설명은 아래 표 6에 나타나 있다.

표 6. Tesseract OCR 엔진 옵션 설정

Table 6. Tesseract OCR engine option configuration

5. OCR 수치 인식 결과

모든 이미지로부터 수치 인식 결과가 나타났다. 하지만, Brightness, Blurring 방법이 다른 경우 동일 소스 이미지에 대해서도 수치 인식 결과가 달라지는 것을 알 수 있다. 아래 표 7에는 모든 이미지에 대해서 수치 인식 결과가 가장 좋은 Best OCR 결과와 해당 이미지가 나타나 있다. 인식 결과는 인식 문자에 대한 accuracy를 기준으로 하였다. 소스 이미지에 따라 accuracy가 0.4~0.8로 차이가 있으며, 모든 이미지에 대해 소수점 문자를 인식하지 못하는 것을 볼 수 있다.

표 7. OCR 인식 결과 및 정확도

Table 7. OCR recognition result and accuracy

인식 정확도가 낮은 원인으로는 아래 항목들이 도출되었으며, 이에 대한 개선이 필요하다.

- 설비 노화에 의한 LED 손상 (위 표의 No.1)

- Off LED로 인한 노이즈 발생 (모든 이미지 공통)

- LED 특성상 하나의 문자가 분할되어 표시됨

- 이미지 blurring으로 왜곡 발생 (소수점 인식 불가)

Ⅴ. 결론

본 연구에서는 HMI의 LED에 표시되는 수치값을 카메라를 통해 이미지 획득한 후, OCR 알고리즘을 통해 인식하는 방법을 제시하였다. 또한, 자동차 부품 공장의 단조 설비를 대상으로 이미지를 획득하고, OpenCV, Tesseract OCR을 활용한 프로토타입 시스템 개발하여 그 결과를 검증하고 평가하였다.

현장 설비로부터 취득한 이미지에는 여러 노이즈가 존재하여 정확도가 높지 않아 프로토타입 시스템을 바로 현장에 적용하는 것은 어렵다. 그러나, 모든 이미지로부터 수치 인식이 가능함을 확인하였고, 정확도가 낮은 원인을 분석하고 보완하면 스마트공장에 활용될 수 있을 것으로 예상된다.

본 연구 이후로는 OCR의 정확도를 향상시키기 위해 LED 분할 문자를 학습하고 적용하는 방법에 대한 연구를 진행할 예정이다.