1. 서론
제조업은 물론 다양한 업종의 공장 업무 시 작업 공정에서 자체적으로 발생되는 문제 및 작업 환경이나 장비로 인한 문제로 작업자가 재해를 입는 경우가 많이 발생하였으며, 이를 개선하기 위한 연구가 지속되고 있다.
컴퓨팅 기술의 발전 및 산업재해를 예방하기 위한 연구 개발의 성과로 스마트 팩토리(Smart Factory)가 각광받고 있다[1].
스마트 팩토리는 제품의 설계, 개발 및 제조 등 제품의 생산과정에서 자동화 제어가 이루어지도록 하는 것으로, 종래 공장의 단위 공정별로 자동화 및 최적화가 이루어지던 것에서 한발 더 나아가 각각의 공정이 유기적으로 자동화 제어되도록 함으로써 전체적인 공정의 최적화를 이룰 수 있도록 한다. 이러한 스마트 팩토리에서도 제조공정에 참여하는 작업자의 위험도를 개선하고자 하는 노력이 활발히 이루어지고 있으며, 최근들어 스마트 팩토리에서 작업자의 위험도를 개선하기 위한 기술로 AI(Artificial Intelligence) 프로세싱이 이용되고 있다[2].
오늘날 대부분의 AI 프로세싱은 막대한 컴퓨팅 용량을 필요로 하는 고비용, 고성능 모델을 가진 클라우드 기반 데이터 센터에서 이루어진다[3, 4].
이러한 인공지능 기술은 스마트 팩토리에서 수집되는 수많은 데이터를 한꺼번에 처리하기 위해 클라우드 등으로 데이터를 전송하고 이를 한꺼번에 처리하도록 하는 장점이 있으나, 데이터를 일괄적으로 전송하고 처리함으로써 클라우드 및 CPU의 처리능력 여부에 크게 좌우되는 문제가 있다[5].
또한, 스마트 팩토리에서 클라우드로 데이터를 전송하여 처리하면 외부 네트워크 이상이나 데이터 센터의 장애 등의 경우에는 스마트 팩토리를 정지해야 하는 일도 발생될 수 있으므로 장애 대응에 매우 취약한 문제가 있다[6].
따라서 AI 엣지 디바이스[7]를 이용한 스마트 팩토리 위험도 개선시스템을 설계한다. AI 엣지 디바이스를 이용하여 스마트 팩토리에서 작업자의 작업수행 과정을 수집, 분석, 예방 및 신속 대처하도록 함으로써 작업자의 작업 수행시 불량률을 개선하면서도 작업시 발생 가능한 위험을 저감할 수 있는 AI 엣지 디바이스를 이용한 스마트 팩토리 위험도 개선시스템을 설계한다.
본 논문은 2장에서 관련 연구에 대해 소개하고, 3장에서는 스마트 팩토리 위험도 개선시스템 구성도를 설명하고, 4장에서는 스마트 팩토리 위험도 개선방법 설계를 설명하고, 5장에서 결론을 제시한다.
2. 선행연구
스마트 팩토리를 위한 클라우드 지능형 예측 기반 생산 자동화 시스템 및 방법은 그림 1과 같다.
그림 1. 스마트 팩토리를 위한 클라우드 지능형 예측 기반 생산 자동화 시스템[8]
Fig. 1. Cloud intelligent prediction based production automation system for smart factory
그림 1에서 보면 스마트 팩토리를 위한 클라우드 지능형 예측 기반 생산 자동화 시스템은 공장 설비에 설치되는 다수의 센서를 통해 계측하되, 공장 설비 가동 시 일부 팩터 또는 일부 공정에 대해서 계측하는 제 1 계측부, 공장 설비 가동 시 제 1 계측부가 계측하지 않은 나머지 팩터 또는 나머지 공정에 대해서 가상으로 계측하는 제 2 계측부, 제 1 계측부 및 제 2 계측부에서 계측된 데이터가 저장되고, 소정 파라미터 값을 갖는 공장 설비에 대한 입력 데이터 및 이에 대응한 출력 데이터가 저장되는 데이터베이스부, 다수의 알고리즘이 저장되는 알고리즘 저장부, 공장 설비에 대한 초기 파라미터값을 갖는 입력 데이터에 기초하여, 알고리즘 저장부에 저장된 다수의 알고리즘 중 적어도 하나의 알고리즘을 선택하는 알고리즘 선택부, 선택된 알고리즘에 기초하여 공장 설비 가동에 필요한 인공지능 모델을 결정하는 인공지능 모델 결정부, 데이터데이스부에 저장된 데이터에 기초하여, 인공지능 모델의 기계학습을 구동하는 기계학습부,및 인공지능 모델의 동작에 기초하여 공장 설비 가동 시 장애 또는 이상을 예측하는 예측부를 포함하여 구성되는 것에 기술적 특징이 있다.
종래기술은 기계학습 후 공장 설비 가동 시 장애 또는 이상을 예측할 수 있고 지능형 예측을 기반으로 하여 생산 효율을 향상시키도록 하는 장점이 있으나, 클라우드 기반으로 데이터를 처리하도록 이루어짐에 따라 전술한 클라우드 기반의 인공지능을 이용한 시스템의 문제점을 동일하게 가지고 있으며, 공장의 설비가 아닌 작업자의 위험도를 신속하게 예측하고 이에 대응하는 것에 관해서는 전혀 고려되지 않고 있다.
3. 스마트 팩토리 위험도 개선시스템 구성도
본 논문에서는 종래기술이 가지는 문제점을 해결하기 위한 것으로 카메라에서 수집된 작업자 이미지와 IoT 센서로부터 수집된 정보 등을 AI 엣지 디바이스로 처리함으로써 효율적이고 정확한 스마트 팩토리 위험도 개선시스템 및 위험도 개선방법을 제공하고자 한다. 또한 IoT 센서로부터 수집된 작업자 생체정보, 작업자가 운용하는 장비의 장비 구동 정보, 작업자가 제조한 제품의 품질정보를 이용하여 위험도를 더욱 정확하게 판별할 수 있도록 하는 스마트 팩토리 위험도 개선시스템을 제공하고자 한다.
따라서 AI 엣지 디바이스를 이용한 스마트 팩토리 위험도 개선시스템을 설계한다. 스마트 팩토리 위험도 개선시스템 구성도는 그림 2와 같다.
그림 2. 스마트 팩토리 위험도 개선시스템의 구성도
Fig. 2. Configuration diagram of smart factory risk improvement system
그림 2에서 보면 인공지능을 이용하여 스마트 팩토리에서 제품을 제조하는 작업자의 위험도를 개선하는 시스템에 관한 것이다. 스마트 팩토리에 설치된 복수의 카메라 및 IoT 센서에서 수집되는 데이터를 활용하여 기계학습 모델을 개선하고, 작업자의 동작에 따른 결과를 예측함으로써 작업자의 작업시 위험도를 개선하고 생산성을 향상할 수 있으며, 상황별 위험도를 개선하여 전체 공정상 위험도 관리가 가능하다.
AI 엣지 디바이스를 이용한 스마트 팩토리 위험도 개선시스템은 작업자의 움직임을 촬영하도록 설치된 복수의 카메라와 작업자의 생체정보 및 작업자가 운용하는 장비의 장비 구동 정보를 수집하는 복수의 IoT 센서와 복수의 카메라 및 IoT 센서와 네트워크 연결된 AI 엣지 디바이스를 포함하여 구성된다.
복수의 카메라는 CCTV를 포함하고, 한 명 이상의 작업자를 동시에 촬영하고, 상하-좌우로 회전할 수 있도록 구성되고, 촬영된 이미지를 저장소에 저장하도록 구성한다. 예를 들면 복수의 카메라는 촬상부, 이미지 저장부 및 AI 엣지 디바이스와 네트워크 연결되도록 하는 통신부를 포함하는 영상 시스템이 있다.
복수의 IoT 센서는 작업자의 생체정보 및 작업자가 운용하는 장비의 장비 구동 정보 중 적어도 어느 하나를 수집하도록 구성된다.
IoT 센서는 작업자의 생체정보를 수집한다다. 예를 들면 IoT 센서는 웨어러블 디바이스(Wearable Device) 형태의 IoT 센서로 이루어질 수 있으며, 작업자가 두부에 착용하여 작업자의 시선이나 움직임 정보를 수집하는 공지의 HMD(Head Mount Display)나 스마트렌즈(Smart Lens) 형태로 이루어질 수 있고, 작업자의 손목이나 손가락 등에 착용하여 심박수, 체온, 스트레스 지수, 호흡, 수분, 산소포화도, 심전도, 혈당 등의 생체정보를 수집하는 공지의 스마트워치(Smart Watch)나 스마트링(Smart Ring) 등의 형태로 이루어진다.
IoT 센서는 작업자가 착용하지 않고 작업자의 생체정보를 모니터링, 수집하는 다른 형태로 이루어진다.
IoT 센서는 작업자가 운용하는 장비의 장비 구동 정보를 수집한다. 예를 들면 IoT 센서는 컨베이어의 동작 상태, 구동 모터 상태, 전류 및 전압, 진동 정도, 부식, 압력, 밸트 장력 등 장비 구동에 직간접으로 관련있는 장비 구동 정보를 수집한다.
다른 예로 IoT 센서는 온도, 습도, 누수, 가스, 소음, 광량 등 작업자의 작업현장 환경정보를 수집할 수 있다.
AI 엣지 디바이스는 복수의 카메라로부터 작업자 이미지 정보를 수집, 분류하고, 미리 설정된 위험도 이상 조건에 기초하여 작업자의 위험도를 판별하며, 판별된 위험도에 따라 작업자에게 작업 변경정보 및 작업 유지정보 중 적어도 어느 하나를 제공하는 기능을 수행한다. 또한 AI 엣지 디바이스는 후술하는 복수의 IoT 센서로부터 수집된 작업자의 생체정보 및 작업자가 운용하는 장비의 장비 구동 정보 중 적어도 어느 하나를 전달 받도록 구성된다.
작업자 이미지 정보의 분류는 작업시간에 따라 작업자별 또는 작업 공정별로 작업자의 이미지를 분류하는 것으로 이해될 수 있으며, 이러한 작업자 이미지 정보의 분류를 통해 후술하는 IoT 센서로부터 전달되는 작업자 생체정보 및 작업자가 운용하는 장비의 장비 구동 정보와의 매칭이 이루어질 수 있게 된다.
AI 엣지 디바이스는 작업자 이미지 정보와 작업자의 생체정보 및 작업자가 운용하는 장비의 장비 구동 정보를 매칭한다.
AI 엣지 디바이스의 구성도는 그림 3과 같다.
그림 3. AI 엣지 디바이스의 구성도
Fig. 3. Configuration diagram of AI edge device
그림 3에서 보면 AI 엣지 디바이스는 복수의 카메라로부터 작업자 이미지 정보를 전송받는 이미지 수집부, 작업자 이미지 정보를 분류하는 이미지 분류 저장부, 작업자 이미지 정보와 IoT 센서로부터 수집된 정보 또는 후술하는 제품 품질 정보를 매칭하는 이미지-정보 매칭부, 위험도 이상 조건을 설정하는 위험도 이상 조건 설정부, 미리 설정된 위험도 이상 조건에 기초하여 작업자의 위험도를 판별하는 위험도 판별부, 판별된 위험도에 따라 작업자에게 작업 변경정보 및 작업 유지정보를 제공하는 작업 정보 제공부, 각각을 제어하는 제어부 및 복수의 카메라, IoT 센서와 네트워크 연결하는 통신 모듈을 포함하여 이루어진다.
제어부는 AI 엣지 디바이스에 네트워크 연결된 카메라 및 IoT 센서를 원격으로 제어할 수 있도록 구성될 수도 있으며 위험도 판별 결과에 기초하여 카메라 및 IoT 센서 각각의 제어가 이루어진다.
네트워크 연결은 유/무선 통신에 의해 이루어질 수 있으며, 대용량의 빠른 데이터 전송을 위해 5G 통신 네트워크를 이용할 수 있고, WIFI, Bluetooth, 유선 LAN 등을 이용할 수도 있다. 카메라 및 IoT 센서 등과 AI 엣지 디바이스의 연결은 WIFI, 5G 등 무선 네트워크에 의한 이루어질 수 있고, AI 엣지 디바이스와 원격의 클라우드, 별도 저장장치나 서버 등과는 유선 네트워크에 의한 연결이 이루어진다.
AI 엣지 디바이스는 CPU, GPU, ASIC, FPGA, SoC AI 가속기 같은 인공지능 처리를 수행하기 위한 다양한 구성요소를 포함하여 이루어질 수 있으며, 별도의 PC, 스마트폰 등의 모니터링 장치와 연결하여 데이터 처리 상황이나 위험도 판별 및 정보 제공 상황을 확인할 수도 있다.
AI 엣지 디바이스에서 처리된 데이터 중 저장이 필요한 데이터 등은 네트워크를 통해 외부 저장장치에 저장될 수 있으며, AI 엣지 디바이스는 복수의 스마트 팩토리에 구비된 여러 AI 엣지 디바이스의 관리를 위한 위험도 관리 서버와 네트워크 연결되어 동작 및 이상 여부에 따른 감시, 제어 등의 관리가 이루어진다.
본 논문에서 “위험도 이상”은 작업자의 움직임에 따라 발생될 수 있는 작업자의 위험도가 일정 범위를 넘어서는 경우를 의미하며, “위험도 이상 조건”은 이러한 작업자의 위험도가 일정 범위를 넘어서기 위한 조건이다.
위험도 이상 조건을 만족하여 작업자의 위험도가 일정 범위를 넘어서는 경우 작업자의 위험도가 높다고 판별될 수 있으며, 판별된 위험도에 따라 작업자에게 작업을 중단하거나 변경하도록 하는 작업 변경정보나 현 상태를 유지할 수 있도록 하는 작업 유지정보를 제공한다. 작업 유지정보는 작업자의 작업시간을 고려하여 일정 시간 이내의 작업시간에 해당하는지 여부에 따라 달라지며, 작업자의 연속 또는 합산 작업시간이 일정 시간을 넘어서는 경우에도 위험도 이상 조건을 만족하도록 함으로써 작업자에게 작업 유지정보 대신 작업 변경정보를 제공하는 것이 바람직하다.
작업 유지정보는 알림 등 별도의 정보를 제공하지 않도록 구성될 수도 있으나, 작업자가 자신의 상태를 확인할 수 있도록 하기 위해 작업 변경정보는 적색 LED 점등, 작업 유지정보는 초록색 LED 점등 등을 통해 정보가 제공되도록 구성한다.
IoT 센서의 구성도는 그림 4와 같다.
그림 4. IoT 센서의 구성도
Fig. 4. Configuration diagram of IoT sensor
그림 4에서 보면 IoT 센서는 소리, 진동 및 빛으로 작업자에게 정보를 제공하는 알람 모듈을 구비하거나 유무선으로 알람 모듈에 연결될 수 있으며 작업자가 운용하는 장비의 구동 제어를 위한 제어 모듈과 연결되거나 스마트 팩토리 내부의 환경을 제어할 수 있는 공기정화기, 온도조절기, 환기장치 등의 환경 조절 모듈과 유무선으로 연결된다.
작업 변경정보 및 작업 유지정보는 알람 모듈을 통해 작업자에게 전달될 수 있으며, 작업자가 착용하는 웨어러블 디바이스 형태의 IoT 센서에서 소리, 진동 및 빛을 발생시키도록 하여 작업자에게 정보가 제공됨으로써 위험도를 개선할 수 있도록 할 수 있고, 자동으로 환경 조절 모듈 등이 동작하도록 구성한다.
AI 엣지 디바이스는 작업자의 근처에서 데이터를 처리하는 과정을 수행할 수 있도록 하는 것으로 분산 컴퓨팅 패러다임을 이용하여 인공지능을 통해 데이터를 처리하는 처리장치 및 데이터를 저장하는 저장장치를 데이터를 수집하는 장치(카메라, IoT 센서 등)와 가깝게 만들어 준다.
종래 클라우드에서 데이터를 수집하여 전체적으로 데이터를 처리하는 경우에는 데이터를 수집하는 장치와 이를 처리하는 서버와의 장거리 통신이 이루어져야 하지만, 본 논문에서는 AI 엣지 디바이스는 데이터를 수집하는 장치 인근에서 실시간으로 인공지능 알고리즘을 통해 데이터를 학습, 처리함으로 인해 애플리케이션 성능에 영향을 미치는 대역폭 및 대기시간 문제가 발생하지 않으며, 신속하게 데이터를 처리하여 실시간 정보 전달이 가능하게 되므로, 데이터 수집 장치를 거쳐 작업자에게 위험도에 관한 빠른 정보 전달 및 위험도 개선이 효율적으로 이루어진다.
물론 AI 엣지 디바이스를 사용하는 경우에도 데이터를 저장하기 위해 클라우드에 포함되거나 별도로 구성된 외부 저장장치로 데이터를 전달할 수 있으나, 데이터를 원격으로 한꺼번에 처리하는 과정이 필수적으로 요구되지 않으므로 효율적인 위험도 관리 및 데이터 저장이 가능하다.
AI 엣지 디바이스는 작업자의 상태 및 작업시간을 확인하여 카메라 및 IoT 센서의 동작이나 정지 명령을 제어한다.
AI 엣지 디바이스에 연결된 카메라는 스마트 팩토리 내에 작업구역을 설정하고, 작업구역 내에서 일정시간 이상 작업자는 감지되지만 작업자의 움직임이 감지되지 않는 경우 경고/알람 등의 작업 변경정보를 제공하도록 설정하며, 해당 작업자의 주변 작업자들에게 관련 정보를 동시에 제공할 수도 있다.
또한, 설정된 작업구역 내에서 일정 시간 작업자가 감지되지 않으면 작업시간을 확인하여 카메라 및 IoT 센서 동작 정지 명령을 제어하거나 카메라의 촬영시간 간격을 조절한다.
4. 스마트 팩토리 위험도 개선방법 설계
본 논문에서는 AI 엣지 디바이스를 이용한 스마트 팩토리 위험도 개선방법은 복수의 카메라 및 IoT 센서와 네트워크 연결된 AI 엣지 디바이스를 구비하는 스마트 팩토리에서 제품을 제조하는 작업자의 위험도를 개선하는 방법이다.
스마트 팩토리 위험도 개선방법의 설계는 그림 5와 같다.
그림 5. 스마트 팩토리 위험도 개선방법
Fig. 5. Smart Factory Risk Improvement Method
그림 5에서 보면 AI 엣지 디바이스가 작업자의 움직임을 촬영하도록 설치된 복수의 카메라로 부터 작업자 이미지 정보를 수집하고, 분류하는 단계, AI 엣지 디바이스가 미리 설정된 위험도 이상 조건에 기초하여 작업자의 위험도를 판별하는 단계 및 AI 엣지 디바이스가 판별된 위험도에 따라 작업자에게 작업 변경정보 및 작업 유지정보 중 적어도 어느 하나를 제공하는 단계를 포함한다.
작업자 생체정보로 스마트 팩토리 위험도 개선방법의 설계는 그림 6과 같다.
그림 6. 작업자 생체정보로 스마트 팩토리 위험도 개선방법
Fig. 6. How to improve smart factory risk with worker biometric information
그림 6에서 보면 IoT 센서가 작업자의 작업자 생체정보를 수집하여 AI 엣지 디바이스로 전달하고 AI 엣지 디바이스는 분류된 작업자 이미지 정보와 IoT 센서에서 수집한 작업자 생체정보를 매칭하는 단계를 포함할 수 있으며 미리 설정된 위험도 이상 조건은 작업자 이미지 정보와 매칭된 작업자 생체정보에 기초하여 설정한다.
예를 들면 작업자 이미지 정보가 일반적인 작업상황으로 나타날 때 매칭되는 작업자 생체정보가 이상 상태(체온 급상승, 심박수 급상승 등)를 나타날 때 해당 상태가 위험도 이상 조건으로 설정한다. 이때 작업자 생체정보의 이상 상태는 작업자 이미지 정보와 무관하게 작업자 생체정보가 기준값을 넘는 경우를 의미한다.
작업자 생체정보가 안정상태와 이상 상태의 경계값을 나타내거나 안정상태에 가까운 값을 나타날 때 매칭되는 작업자 이미지 정보를 통해 위험도 이상 조건을 설정한다.
분류된 작업자 이미지 정보와 작업자 생체정보의 매칭은 위험도 이상 조건이 설정된 이후에도 작업자 이미지 정보 및 작업자 생체정보를 각각 카메라 및 IoT 센서로부터 전달받아 이루어질 수 있으며, 이러한 작업자 이미지 정보와 작업자 생체정보의 매칭은 위험도 판별을 위해 이루어진다. 다만 위험도 이상 조건은 위험도 판별 이후에도 계속 보완되는 형태로 이루어질 수 있으며, 인공지능에 의한 지속적인 학습 과정에 의해 더욱 정확한 위험도 이상 조건의 수정 및 위험도 판별이 이루어지게 된다.
위험도 이상 조건이 설정되면 해당 상태를 기준으로 지속적인 작업자 생체정보가 이상 상태를 나타내는 경우 위험도가 높다고 판별한다.
작업자 이미지 정보는 그 자체만으로도 인공 지능 학습을 통해 일반적인 작업상황인지 작업 이외의 상황이거나 위험도가 높은 상황인지를 판별할 수 있으나, IoT 센서에 의한 작업자 생체 정보, 후술하는 작업자가 운용하는 장비의 장비 구동 정보 및 품질관리 서버에 의한 제품 품질 정보 중 적어도 어느 하나의 정보를 통해 위험도 이상 조건 설정 및 위험도 판별시 정확도를 개선한다.
AI 엣지 디바이스에 네트워크 연결된 카메라는 AI 엣지 디바이스에 의해 작업자 이미지 정보의 빠른 분류 및 위험도 이상 조건에 기초하여 위험도가 조금씩 상승하는 것으로 판별되는 경우, 작업자의 움직임시 작업자의 식별 및 추적을 통해 위험도의 변화 추이를 더욱 집중적으로 감시할 수 있게 된다.
만약 AI 엣지 디바이스에서 해당 작업자의 위험도가 낮은 것으로 판별하는 경우, AI 엣지 디바이스에 네트워크 연결된 카메라에서 촬영하여 시간당 저장되는 데이터의 양을 줄이거나 카메라의 촬영시간을 감소시키는 등으로 모니터링의 효율성을 제고 한다.
장비 구동 정보로 스마트 팩토리 위험도 개선 방법의 설계는 그림 7과 같다.
그림 7. 장비 구동 정보로 스마트 팩토리 위험도 개선방법
Fig. 7. How to improve smart factory risk with equipment operation information
그림 7에서 보면 작업자가 운용하는 장비의 장비 구동 정보를 수집하여 AI 엣지 디바이스로 전달하고, AI 엣지 디바이스는 분류된 작업자 이미지 정보와 IoT 센서에서 수집한 장비 구동 정보를 매칭하는 단계를 포함할 수 있으며, 미리 설정된 위험도 이상 조건은 작업자 이미지 정보와 매칭된 장비 구동 정보에 기초하여 설정한다.
예를 들면 작업자 이미지 정보가 일반적인 작업상황으로 나타날 때 작업자가 운용하는 장비의 장비 구동 정보가 이상 상태를 나타날 때 위험도 이상 조건으로 설정한다. 이때 장비 구동 정보의 이상 상태는 작업자 이미지 정보와 무관하게 장비 구동 정보가 기준값을 넘는 경우를 의미한다.
장비 구동 정보가 안정상태와 이상 상태의 경계값을 나타내거나 안정상태에 가까운 값을 나타날 때 매칭되는 작업자 이미지 정보를 통해 위험도 이상 조건을 설정한다.
분류된 작업자 이미지 정보와 장비 구동 정보의 매칭은 위험도 이상 조건이 설정된 이후에도 작업자 이미지 정보 및 장비 구동 정보를 각각 카메라 및 IoT 센서로부터 전달받아 이루어질 수 있으며, 이러한 작업자 이미지 정보와 장비 구동 정보의 매칭은 위험도 판별을 위해 이루어진다.
작업자에 의해 제조된 제품의 품질장비로 스마트 팩토리 위험도 개선방법의 설계는 <그림 8과 같다.
그림 8. 작업자에 의해 제조된 제품의 품질장비로 스마트 팩토리 위험도 개선방법
Fig. 8. How to improve the risk of smart factory with quality equipment of products manufactured by workers
그림 8에서 보면 AI 엣지 디바이스는 작업자에 의해 제조된 제품의 품질을 검수하여 생성된 제품 품질정보를 수집하고, 제품 품질정보와 제조된 제품의 작업시간에 수집, 분류된 작업자 이미지 정보를 매칭하는 단계를 포함할 수 있으며, 미리 설정된 위험도 이상 조건은 작업자 이미지 정보와 매칭된 제품 품질정보에 기초하여 설정한다.
제품의 품질은 스마트 팩토리의 일반적인 품질검사 과정을 통해 테스트될 수 있으며, 신속한 위험도 이상 조건 설정 및 위험도 판별을 위해 샘플 테스트 과정을 거칠 수도 있다.
제품 품질정보는 스마트 팩토리에 구비된 품질관리 서버를 통해 생성될 수 있으며, 생성된 제품 품질정보는 네트워크를 통해 AI 엣지 디바이스로 전달한다.
예를 들면 작업자 이미지 정보가 일반적인 작업상황으로 나타날 때 제품 품질정보가 불량등급을 나타날 때 위험도 이상 조건으로 설정한다. 일방적인 작업상태에서는 제품 품질정보가 불량 등급을 나타낼 수 없으므로, 작업자 이미지 정보가 일반적인 작업상황으로 나타나더라도 위험도가 높아진 상태이다.
특히 작업자 이미지 정보와 매칭되는 제품 품질정보가 연속적인 제품 제조과정에서 연속된 불량등급을 나타날 때 위험도 이상 조건을 낮게 설정할 수 있으며, 이에 따라 위험도 판별시에 위험도가 매우 높은 것으로 판별된다.
제품 품질정보가 불량등급과 양품 등급의 경계값을 나타내거나 양품 등급에 가까운 값을 나타날 때 이에 매칭되는 작업자 이미지 정보를 통해 위험도 이상 조건이 설정될 수도 있다.
분류된 작업자 이미지 정보와 제품 품질정보의 매칭은 위험도 이상 조건이 설정된 이후에도 작업자 이미지 정보 및 제품 품질정보를 각각 카메라 및 품질관리 서버로부터 전달받아 이루어질 수 있으며, 이러한 작업자 이미지 정보와 제품 품질정보의 매칭은 위험도 판별을 위해 이루어진다.
본 논문에서 위험도 이상 조건은 제조된 제품의 품질이 미리 설정된 양품 범위를 만족하지 않는 경우 위험도 이상에 해당하도록 하고, 제조된 제품의 품질이 미리 설정된 양품 범위를 만족하는 경우 위험도 이상에 해당하지 않도록 설정할 수도 있다.
AI 엣지 디바이스를 이용한 위험도 개선방법의 설계는 그림 9와 같다.
그림 9. AI 엣지 디바이스를 이용한 위험도 개선방법
Fig. 9. How to improve risk using AI edge devices
그림 9에서 보면 AI 엣지 디바이스를 이용한 위험도 개선방법은 작업자에 의해 제조된 제품의 품질을 검수하여 생성된 제품 품질정보를 수집하고, 제품 품질정보와 제조된 제품의 작업시간에 수집, 분류된 작업자 이미지 정보와 IoT 센서로 부터 전달된 작업자 생체정보 및 장비 구동 정보를 매칭하는 단계를 포함할 수 있으며, 미리 설정된 위험도 이상 조건은 작업자 이미지 정보와 매칭된 제품 품질정보, 작업자 생체정보 및 장비 구동 정보를 종합적으로 고려하여 설정한다.
미리 설정된 위험도 이상 조건은 카메라로부터 수집된 작업자 이미지 정보에 관련되어 작업자의 작업 동작과 관련된 이미지와 작업자의 작업 동작이 아닌 일반 동작과 관련된 이미지에 관련된다.
AI 엣지 디바이스는 작업자 이미지 정보를 작업 동작 이미지와 일반 동작 이미지로 분류하고, 위험도 이상 조건은 작업 동작 이미지와 일반 동작 이미지의 작업시간에 따른 변화 여부에 기초하여 차등적으로 설정한다.
예를 들면 작업자 이미지 정보 중 작업 동작 이미지가 시간의 흐름에 따라 일정한 패턴을 보이는 경우에는 안정적으로 작업하는 것으로 예측되므로 위험도 이상 조건은 작업시간이 길더라도 큰 변화가 없을 수 있으며, 일반 동작 이미지가 시간의 흐름에 따라 일정한 패턴을 보이는 경우에는 졸거나 작업과 무관한 행위를 반복하는 것으로 예측될 수 있으므로 작업시간이 길어지는 경우 위험도가 점차 높아질 수 있어 위험도 이상 조건을 점차 낮추는 방향으로 위험도 이상 조건을 설정한다.
5. 실험
개발한 Multi IO& K200(AI 가속기)의 처리 속도(데이터 용량) 및 소비전력을 시험환경은 그림 10과 같고, 시험 시나리오는 그림 11과 같고, 테스트 디바이스는 표 1과 같다.
그림 10. AI 가속기 성능& 전력 소비 시험환경
Fig. 10. AI accelerator performance & power consumption test environment
그림 11. AI 가속기 성능& 전력 소비 시험 시나리오
Fig. 11. AI accelerator performance & power consumption test scenario
표 1. 테스트 디바이스
Table 1. Test device
그림 11에서 세부 시험 시나리오는 HIKVISION 카메라의 실시간 전송되는 소스(HD: 1080x1920, 5120kbps)를 개발 Multi IO/K-200에 입력하여 분류(Classification) 및 객체검출(Object Detection)을 수행한다.
AI 가속기 성능시험 AI 가속기는 이미지 인식에 최적화된 알고리즘 CNN(Convolutional Neural Network)에 Classification와 Object Detection을 개발한 Multi-IO& K200을 통해서 시험 분석하고, 표 2와 같다.
표 2. AI 가속기 성능시험
Table 2. AI accelerator performance test
표 2에서 보면 HIKVISION 카메라에서 실시간은 전송되는 HD영상(1080 x 1920, 5120kbps)에 대해서 개발한 Mulit IO&K200(AI 가속기)은 보통 처리속도는 Classification의 ResNet50 : 94.963669 FPS, Object Detection의 경우 TFLite/Yolov3 : 52.329895 FPS, TensorFlow/Yolov3는 8.042198 FPS 이다.
AI 가속기 성능에 대한 ResNet50 세부 로그는 그림 12와 같다.
그림 12. ResNet50 세부 로그
Fig. 12. ResNet50 detailed log
그림 12를 표로 나타내면 표 3과 같다.
표 3. ResNet50 세부 로그
Table 3. ResNet50 detailed log
AI 가속기 성능에 대한 Yolov3(TFLite) 세부 로그는 그림 13과 같다.
그림 13. Yolov3(TFLite) 세부 로그
Fig. 13. Yolov3(TFLite) detailed log
그림 13을 표로 나타내면 표 4와 같다.
표 4. Yolov3(TFLite) 세부 로그
Table 4. Yolov3(TFLite) detailed log
AI 가속기 성능에 대한 Yolov3(TensorFlow) 세부 로그는 그림 14와 같다.
그림 14. Yolov3(TensorFlow) 세부 로그
Fig. 14. Yolov3(TensorFlow) detailed log
그림 14를 표로 나타내면 표 5와 같다.
표 5. Yolov3(TensorFlow) 세부 로그
Table 5. Yolov3(TensorFlow) detailed log
AI 분류 전력 소비 시험환경은 표 6과 같다.
표 6. AI Classification 전력 소비 성능시험
Table 6. AI classification power consumption performance test
AI Classification 전력 소비 성능시험 세부 로그는 그림 15와 같다
그림 15. Classification 세부 로그
Fig. 15. Classification detailed log
그림 15를 표로 나타내면 표 7과 같다.
표 7. Classification 세부 로그
Table 7. Classification detailed log
AI 가속기 성능시험환경 결과는 표 7과 같다.
표 8. AI 가속기 성능시험환경 결과
Table 8. AI accelerator performance test environment results
표 7에서 보면 개발제품은 전력은 7W 줄었고, 속도는 8FPS 성능의 효과를 보였다.
6. 결론
제조업은 물론 다양한 업종의 공장 업무 시 작업 공정에서 자체적으로 발생되는 문제 및 작업 환경이나 장비로 인한 문제로 작업자가 재해를 입는 경우가 많이 발생하였으며, 이를 개선하기 위한 연구가 지속되고 있다.
컴퓨팅 기술의 발전 및 산업재해를 예방하기 위한 연구 개발의 성과로 스마트 팩토리가 각광받고 있다.
본 논문에서는 종래기술이 가지는 문제점을 해결하기 위해 카메라에서 수집된 작업자 이미지와 IoT 센서로부터 수집된 정보 등을 AI 엣지 디바이스로 처리함으로써 효율적이고 정확한 스마트 팩토리 위험도 개선시스템 및 위험도 개선 방법을 제공하고자 한다.
또한 IoT 센서로부터 수집된 작업자 생체정보, 작업자가 운용하는 장비의 장비 구동 정보, 작업자가 제조한 제품의 품질정보를 이용하여 위험도를 더욱 정확하게 판별할 수 있도록 하는 스마트 팩토리 위험도 개선시스템을 제공하고자 한다.
따라서 미리 설정된 위험도 이상 조건에 기초하여 작업자의 위험도를 판별하여 작업자 스마트 팩토리에서 생산성을 향상하면서 동시에 작업 위험도를 개선할 수 있는 효과가 있다.
특히 작업자 이미지 정보, 작업자 생체정보, 장비 구동 정보 및 제조된 제품의 품질정보에 기초하여 위험도 이상 조건을 설정할 수 있으므로, 보다 효율적이고 정확도 높은 작업 위험도 개선이 가능하다는 장점이 있다. 또한 스마트 팩토리 내부의 카메라 및 IoT 센서 등에서 수집된 데이터를 모두 클라우드로 보내지 않고 AI 엣지 디바이스에서 처리한 후 필요한 데이터만 클라우드 등으로 전송할 수 있으므로 처리 속도가 빠르고, 보안에 관한 문제가 적다는 장점이 있다. 또한 AI 엣지 디바이스를 사용함으로써 클라우드로의 데이터 전송량이 감소하여 데이터 통신비 및 데이터 전송 대역폭을 확보하는 비용이 절감되는 장점이 있다.
참고문헌
- J. W. Lim, D. H. Jo, S. Y. Lee, H. J. Park, J. W. Park, "A Case Study for the Smart Factory Application in the Manufacturing Industry", Journal of Korea Business Administration, vol. 30, no. 9, pp. 1609-1630, 2012.
- H. T. Shin, "Analysis of effects of artificial intelligence (AI) function on e-learning program performance," Konkuk University Master's Thesis, 2018.
- S. S. Kim, "A Study on the Factors Affecting Continuous Usage Intention of Data Driven Artificial Intelligence Product Service System," Soongsil University Ph.D. thesis, 2019.
- B. K. Choi, "A Study On Parameter Measurement for Artificial Intelligence Object Recognition," Journal of Korea Society of Digital and Information Management, vol. 15, no. 3, pp. 15-28, 2019.
- J. M. Yang, " A Study on Improving the Reliability of Cloud Computing," Journal of Korea Society of Digital and Information Management, vol. 8, no. 4, pp. 107-113, 2012.
- C. J. Jeon, J. M. Kim, "Deep Learning Based Data Compression Algorithm for Edge Device," Proceedings of the Information and Control Symposium of the Korean Electrical Society, vol. 2019, no. 10, pp. 96-97, 2019.
- G. H. Kim, Y. J. Lee, G. T. Im, "A Study on the Real-time Image Data Capture Using Edge Device and Object Detection Based on YOLO Systems," Proceedings of the Korea Telecommunications Society Conference, vol. 2021, no. 2, pp. 1011-1012, 2021.
- D. S. Han, "Cloud Intelligent Prediction-based Production Automation System and Method for Smart Factory," Korean Intellectual Property Office, vol. 2019, no. 10, 2019.