이미지 인식 기반의 지도학습을 활용한 생산관리 효율화 방법에 관한 연구

A study on Production Management Efficiency Method using Supervised Learning based Image Cognition

Abstract

최근 제조 산업에서 생산공정 관리에 대한 인공지능 솔루션 수요가 증가하고 있다. 그러나, 제조산업의 AI 솔루션 적용을 통하여 POP, MES와 같은 레거시 스마트공장 솔루션의 한계가 존재한다. 따라서, 본 논문에서는 이를 극복하기 위하여 이미지 인식 시스템에 인공지능 개념인 지도학습을 적용하여, 생산관리 효율을 향상시키고자 하였다. 시스템 흐름에서는 As_is To be를 구분하여 실제 업무 흐름을 적용하였으며, 전체 생산성 효율을 위하여 프로세스 개선을 하였다. AI 지도학습을 위한 사전 전처리 계획을 수립하고 관련 AI 모델 설계, 개발, 시뮬레이션을 수행하여, 그 결과로는 97%의 인식률을 확인하였다.

Recently, demand for artificial intelligence solutions for production process management has been increasing in the manufacturing industry. However, through the application of AI solutions in the manufacturing industry, there are limitations to legacy smart factory solutions such as POP and MES.Therefore, in order to overcome this, this paper aims to improve production management efficiency by applying guidance, an artificial intelligence concept, to image recognition systems. In the system flow, As_is To be separated and actual work flow was applied, and the process was improved for overall productivity efficiency. The pre-processing plan for AI guidance learning was established and the relevant AI model was designed, developed, and simulated, resulting in a 97% recognition rate.

Ⅰ. 서론

최근 제조 산업에서 생산공정 관리에 대한 인공지능 솔루션 수요가 증가하고 있다. 인공지능솔루션을 기반으로 공정에 투입되는 소재를 자동인식하여 MES(제조실행시스템) 사용 효율을 높이고, 생산 관리 효율을 향상 시킨다. 그러나, 제조산업의 AI 솔루션 적용을 통하여 POP, MES와 같은 레거시 스마트공장 솔루션의 한계를 극복하고 MES의 사용효율을 개선하여 제조기업의 스마트공장 도입에 문제가 된 실패 확률을 줄이고, 스마트공장 사용효율 개선을 지원한다. 본 논문에서는 RFID, CNN, 지도학습에 대한 관련 연구를 하여 이미지 인식효율을 높이기에는 한계점이 있다. 이를 극복하기 위하여 이미지 인식 시스템에 인공지능 개념인 지도학습을 적용하여, 생산관리 효율을 향상시키고자 하였다. 이를 향상시키기 위해서 시스템 전체 구성도를 작성하여 지도학습을 추가하고, F/Proof를 도입하여 생산성을 향상시켰다. 시스템 흐름에서는 As_is To be를 구분하여 실제 업무 흐름을 적용하여 전체 생산성 효율을 위하여 프로세스 개선을 하여 생산성 향상에 기하였다. AI 지도학습을 위한 사전 전처리 계획을 수립하고 관련 AI 모델 설계, 개발, 시뮬레이션을 수행하여 ‘제조 현장의 효율적인 생산관리를 지원하는 지능형 시스템’ 제안을 위한 연구 수행하였으며, 그 결과로는 97%의 인식률을 확인하였다.

Ⅱ. 관련 연구

1. RFID

RFID 시스템은 관리할 사물에 태그를 부착하고 전파를 이용하여 사물의 아이디(identification : ID) 정보 및 주변 환경 정보를 인식하여 각 사물의 정보를 수집, 저장, 가공 및 추적함으로써 사물에 대한 측위, 원격처리, 관리 및 사물 간 정보 교환 등 다양한 서비스를 제공하는 시스템을 말한다. RFID 시스템은 태그, 리더, 미들웨어 및 응용서비스 플랫폼으로 구성되고, 유무선 통신망과 연동되어 사용된다. 태그는 객체 상에 위치하여 객체를 인식할 수 있는 정보를 가지고 있으며, 리더는 정보를 수집, 처리하며 송신 및 수신 기능을 가진다. 하지만, RFID는 전파를 이용하기 때문에 주변 환경의 영항으로인해 인식률이 낮아질 수도 있고 무선 방식의 정보 송수신 기술을 사용하기 때문에 보안 상의 문제점이 발생할 수 있다. 서버는 리더에서 수신된 객체의 정보를 활용하여 응용 처리를 수행하며, RFID를 적용한 시스템의 기본구조는 그림 1과 같다[1].

그림 1. RFID 적용 시스템 기본 구조도

Fig. 1. RFID-Applied System Basic Structures

2. CNN(Convolutional Neural Network)

CNN은 데이터로부터 자동으로 특징(features)을 학습하는 대표적인 모델로서 인간의 시각(vision) 정보 처리 방식을 흉내낸 것으로, 특히 이미지 인식과 분류에서 탁월한 성능을 낸다. 이미지의 기계학습에서는 지도학습기법 이주로 사용되며, 이는 데이터셋 작성 시 이미지에 라벨링을 함으로써 정답을 지정하는 방식이다. 이미지처리에 주로 사용되는 기계학습 알고리즘으로서 기본적인 구조는 그림 1과 같다[3].

그림 2. 기계학습 기본 구조

Fig. 2. Basic Structures of Machine Learning

3. 지도학습

지도학습은 머신러닝 (Machine learning)의 한 종류로서 입력 값에 대한 명시적인 정답(Label)을 사전에 학습 시킨 후 새로운 입력 값이 주어졌을 때 미리 학습된 데이터를 통하여 알맞은 명시적 정답(Label)을 예측하는 방법이다. 하지만, 지도학습 인간이 직접 개입하여 정확도가 높은 데이터를 입력해야 신뢰성이 높은 결과 값을 도출할 수 있다는 한계점을 가지고 있다. 따라서, 지속적인 안내와 정교한 라벨링 작업이 지속적으로 필요하다. 지도학습 개념도는 그림 3과 같다.

그림 3. 지도학습 개념도

Fig. 3. Concept of Supervised Learning

Ⅲ. 본론

1. 시스템 구성도

Carrier Bar에 적재된 생산품에 대한 이미지 정보를 현장에 설치된 카메라를 통해 불러들인다. 현장에 설치된 게이트웨이를 통해 이미지 정보를 서버로 전송하며, 전송받은 이미지 정보와 기존 이미지 데이터와의 비교를 통해 생산품에 대한 코드값을 반환한다. 하지만, 현장으로부터 이미지 정보를 전송 받지 못하는 경우 서버는 F/Proof로 정보 누락에 대한 알림을 전달한다. F/Proof 에서는 다시금 카메라를 통해 Carrier Bar에 적재된 생산품을 이미지 정보로 변환하고, 인식된 경우 해당 정보를 서버로 전송한다. 서버는 인식 오류인지 새로운 이미지 정보에 의한 오류인지를 판단하고 새로운 이미지 정보에 의한 오류인 경우 CNN을 통한 지도학습을 통해 새로운 이미지 정보를 DB에 저장하여 사용하며, 전체적인 시스템 구성도는 그림 4와 같다.

그림 4. 전체적인 시스템 구성도

Fig. 4. Overall Management System Diagram

2. 시스템 흐름도

기존 형태의 시스템과 제안 시스템의 차이점은 입력되지 않은 이미지 정보가 서버로 전달되는 경우 해당 이미지 정보를 다시금 채워줄 수 있는 패턴이 존재한다. F/Proof로 작업자의 실수, 인식 오류 및 새로운 생산품 정보로 인한 이미지 정보를 입력하지 못한 경우 서버에서 해당 패턴으로 알림을 주고 패턴에서 입력되지 못한 이미지에 대해 Element 리스트 및 카메라 재인식으로 재입력한다. 이미지 정보가 기록되고 나면 F/Proof 패턴은 서버로 전달하고, 서버는 오류의 원인을 파악하여 원인에 맞는 조치를 취하도록 하였으며, 개선된 시스템 흐름도는 그림 5와 같다.

그림 5. 개선된 시스템 흐름도

Fig. 5. Proposed System Flowchart

3. 데이터베이스 설계

데이터베이스의 각 테이블은 CreateImage, Processing, Store, F/Proof로 구성되어있으며, CreateImage의 Attribute는 생성시간, 모양요소, 모양코드, 생산 수량이며 Processing의 Attribute는 ImageData, receiveImageData, sendImageData로 구성되어있다. 메시지를 전송하기 위한 SendImageData와 기존 데이터를 확인하기 위한 CheckImageData, F/Proof 테이블로부터 이미지 정보를 받기 위한 receiveImageData 로 구성하였다. Store 테이블은 이미지 정보를 저장하기 위한 구조체 형태의 ImageData와 Processing 테이블로부터 이미지 정보를 전송 받기 위한 receiveImageData, 기존 데이터를 Processing 테이블로 전송하기 위한 sendImageData로 구성하였다. F/Proof 테이블은 CreateImage 테이블과 유사한 형태로 Processing 테이블로부터 알림을 수신하기 위한 receiveAlert 클래스가 있다는 점에서 차이가 있으며, 제안 시스템의 데이터베이스 클래스 다이어그램은 그림 6과 같다.

그림 6. 데이터베이스 클래스 다이어그램

Fig. 6. Database Class Diagram

Ⅳ. 시뮬레이션

1. AI 이미지 인식 모델링

AI 지도학습을 위한 사전 전처리 계획을 수립하고 관련 AI 모델 설계, 개발, 시뮬레이션을 수행하여 ‘제조 현장의 효율적인 생산관리를 지원하는 지능형 시스템’ 제안을 위한 연구 수행하였다.

투입 소재 형상 이미지에 대하여 전처리를 진행하였으며 훈련, 테스트, 성능검증에 대하여 7:2:1로 Hold out 교차검증방법으로 시뮬레이션을 수행한 것은 그림4-1과 같고, 적용되는 딥러닝 분류 모델(Object Detection)은 Yolo 모델(ver 4)을 적용 하여 효과적인 지도학습이 가능하도록 라벨링, 바운딩 박스 처리를 수행한 것은 그림 4-2와 같다.

그림 7. Hold out 교차 검증방법 시뮬레이션 화면

Fig. 7. Hold out Cross Verification Method Simulation

그림 8. 라벨링 바운딩 박스 처리 수행

Fig. 8. Performing Labeling Bounding Box Processing

2. Test-Case

이미지 인식(판별) AI의 정확도를 확인 하기 위하여, DATASET을 이용하여 지도학습이 완료된 AI에 대하여 TEST 이미지를 활용 테스트를 수행한 것은 그림 9, 10 과 같으며, 시험 결과에 대한 판정은 표 1과 같다.

그림 9. Test 이미지를 활용한 테스트 수행 화면-1

Fig. 9. Test Performance Screen 1 using Test Image

그림 10. Test 이미지를 활용한 테스트 수행 화면-2

Fig. 10. Test Performance Screen 2 using Test Image

표 1. 시험 결과에 대한 판정

Table. 1. Random Outlier Data Occurrence

3. 기존대비 제안 알고리즘 성능 비교

3.1 기존 방식

소재 투입 정보 MES 수동 KEY IN 방식은 도금공정 (RACK도금)에서 W/O(작업지시서)에 따라 작업자는 제조 공정에 소재를 투입할 때 투입 기록을 기록하여야 하며, 투입 기록 과정은 그림 11과 같다.

그림 11. 투입 기록 과정

Fig. 11. Input Recording Process

투입 기록하는 경우에 누락하는 경우 발생하며 따라서 제품 LOT 추적이 안되는 사례 다수 발생 할 수 있는 경우가 있다. RFID를 활용한 소재 투입정보 자동 입력시스템은 생산라인에 투입되는 RACK에 부착된 TAG 정보를 수신하여 RACK(TAG)ID, RACK 투입시간 데이터분석을 통한 소재 투입정보 자동 생성토록 하였으며, 데이터 분석을 위한 플랫폼 화면은 그림 12와 같다.

그림 12. 데이터 분석을 위한 플랫폼 화면

Fig. 12. Platform Screen for Data Analysis

초기 자동인식률이 97%로 양호 하였으나, 멀티 소재사용 RACK, RFIT TAG의 멸실, 신규 제품 투입이슈가 발생하면서 자동인식률이 계속 낮아지는 상황이 나타난다.

3.2 시스템 검증 결과

개발 AI를 운용하여 시스템 검증 결과는 97%이상 자동판별 확인하였고, 시스템 검증 결과는 표 2와 같다.

표 2. 시스템 검증 결과

Table. 2. System Validation Results

Ⅴ. 결론

최근 제조 산업에서 인공지능솔루션을 기반으로 공정에 투입되는 소재를 자동인식하여 MES(제조실행시스템) 사용 효율을 높이고, 생산 관리 효율을 향상시키고 있다. 그러나, 제조산업의 AI 솔루션 적용을 통하여 POP, MES와 같은 레거시 스마트공장 솔루션의 한계를 극복하고 MES의 사용효율을 개선하여 제조기업의 스마트공장도입에 문제가 된 실패 확률을 줄이고, 스마트공장 사용효율 개선을 지원한다. 본 논문에서는 이미지 인식 시스템에 인공지능 개념인 지도학습을 적용하여, 생산관리효율을 향상시키고자 하였다. 시스템 전체 구성도에 지도학습을 추가하고, F/Proof를 도입하여 생산성을 향상시켰다. 시스템 흐름에서는 As_is To be를 구분하여 실제 업무 흐름을 적용하여 전체 생산성 효율을 위하여 프로세스 개선을 하여 생산성 향상에 기하였다. AI 지도학습을 위한 사전 전처리 계획을 수립하고 관련 AI 모델 설계, 개발, 시뮬레이션을 수행하여 ‘제조 현장의 효율적인 생산관리를 지원하는 지능형 시스템’ 제안을 위한 연구 수행하였으며, 그 결과로는 97%의 인식률을 확인하였다. 향후, 더 많은 제조 환경에 데이터를 적용하여 인식률을 높이는 방안과 실제 프로세스 단계별 인식률에 따른 환경 조건을 적용하여 전체 제조 공정을 생산성 향상 관리를 하고자 한다.