Development of Workplace Risk Assessment System Based on AI Video Analysis

Abstract

In this paper, we develop 'the Danger Map' of a workplace to identify risk and harmful factors by analyzing images of each process within the manufacturing plant site using artificial intelligence (AI). We proposed a system that automatically derives 'the risk and safety levels' based on the frequency and intensity derived from this Danger Map in accordance with actual field conditions and applies them to similar manufacturing industries. In particular, in the traditional evaluation method of manually evaluating the risk of a workplace using Excel, the risk level for each risk and harmful factor acquired from the video is automatically calculated and evaluated to ensure safety through the system and calculate the safety level, so that the company can take appropriate actions accordingly. and measures were prepared. To automate safety calculation and evaluation, 'Heinrich's law' was used as a model, and a 5X4 point evaluation scale was calculated for risky behavior patterns. To demonstrate this system, we applied it to a casting factory and were able to save 2 people the time and labor required to calculate safety each month.

이 논문에서는 제조공장 사업장 현장 내 각 공정을 촬영한 영상을 인공지능(AI)으로 분석하여 위험·유해 요인을 파악할 수 있도록 작업장 위험지도(Danger Map)를 개발하고 이 Danger Map 에서 도출된 빈도·강도에 기반한 위험도와 안전도를 실제 현장상황에 맞추어 자동으로 도출하여 유사 제조 업종에 적용할 수 있는 시스템을 제시히였다. 특히, 사업장의 안전도(위험도)를 엑셀 등 수동으로 평가하던 종래의 평가방식에서 영상으로부터 취득된 유해·위험 요인별 위험성 수준을 자동으로 산정 평가하여 시스템에 의한 안전 확보와 안전도(위험도)를 계산함으로써 이에 따라 기업에서 적절한 활동 및 조치를 마련할 수 있도록 하였다. 안전도(위험도) 산출 및 평가 자동화를 위해 '하인리히의 법칙(Heinrich's law)'을 모델로 하였으며, 위험한 행동 패턴에 대해 5X4점 평가척도를 계산하였다. 이 시스템을 실증적용하기 위해 금속주물주조공장에 적용하였으며 매월 안전도(위험도) 계산에 추가되는 시간적 비용 및 노동력을 2명 절감할 수 있었다.

I. Introduction

최근 보도자료에 따르면 5년 사이 금속주조업(주물업) 산재사고로 목숨을 잃은 노동자가 154명인 것으로 조사됐다. 사고사망 만인율(노동자 1만명당 산재 사고 사망자 수)이 25명을 넘어 전체 평균의 58배를 넘을 정도로 중대재해가 자주 발생했다. 대부분 50명 미만 사업장이어서 중대재해 처벌 등에 관한 법률(중대재해처벌법) 적용 대상에서도 제외되는 등 산재예방 사각지대에 놓인 것으로 나타났다[1].

이와 같이 국내 주물주조, 장비설비 운용, 화학약품 취급 등이 이루어지는 각종 제조업 공장, 건설현장, 벌목·채굴 현장 등의 작업장에는 작업환경에 따라 물리적, 화학적, 전기적, 열적, 위생적으로 다양한 유해·위험 요소가 존재한다. 행정적으로는 작업장별 안전 가이드가 존재하며, 고용노동부에서는 사업주가 스스로 유해·위험 요인을 파악하고 해당 유해·위험 요인의 위험성 수준을 결정하여, 위험성을 낮추기 위한 적절한 조치를 마련하고 실행하는데 도움을 주기 위한 '위험성평가 시스템'을 제공하고 있다[2].

현재 위험성 평가(Risk Assessment)는 1) 사업장에서 발생할 수 있는 유해·위험 요인 파악, 2) 유해·위험 요인으로인해 사고 또는 질병이 얼마나 자주 발생하는지에 대한 발생 가능성(빈도)과 중대성(강도) 추정, 3) 위험의 크기에 따른 관리 우선순위 결정 및 4) 위험의 제거 또는 감소대책을 검토하고 실행하는 과정으로 진행되는데, 위의 1), 2) 과정은 사업주 측에서 직접 '위험성평가 시스템' 사이트가 제공하는 템플릿에 사업장 내 작업 내용, 유해·위험 요인, 유해·위험 요인의 발생 빈도와 강도 등을 입력하는 방식이었으므로, 입력 과정의 불편함, 입력 누락, 오입력 등의 문제로 적절한 사업장 안전관리 체계가 확보되지 못하는 문제가 있었다[3].

이 논문의 주요 내용은 금속주물주조 사업장 내 특정 지점(이 논문에서는 용광로 작업 주위)을 촬영한 영상을 인공지능(AI)으로 영상분석함으로써 파악되는 유해·위험 요인과 이 유해·위험이 발생하는 특정 작업공간을 사각형 또는 동심원 깊이로 표현한 위험지도(Danger Map)를 화면에 표출(Fig. 6. (e)(g)참조)한다. 그리고 이 위험지도로부터 수집된 유해·위험 상황은 위험지도 내 도형의 깊이에 따라 위험한 정도가 다르므로 깊이에 맞는 발생 빈도와 강도를 부여한 후 계산함으로써 작업장의 안전도(위험도)를 실제 현장 상황에 맞추어 도출하게 된다, 이러한 주요기능을 반영하여 최종적으로는 'AI 영상분석 기반 작업장 평가 시스템'을 설계 및 구현하고자 한다.

이 논문에서 소개하는 시스템 구현을 위해 Table 1.과 같이 주요 기능 요구사항을 정의하였다.

Table 1. System Main Function Requirement

최종 목적은 제조사업장 안전도(위험도)를 자동으로 계산하기 위해 현장에 설치된 CCTV 로부터 영상을 수집하고, 이를 AI 딥러닝으로 분석하여 비정상적인 상황을 추출하는 것이다. 이 때 일정기간 내 자동추출된 빈도와 자동으로 부여된 강도를 곱하여 누적함으로써 한 회사의 안전도(위험도)를 산출하고 감시ㆍ운영하는 것이 목적이다.

본 시스템을 운영을 통한 기대효과로는 사업장 관리자는 객관적으로 정확히 판단된 사업장 내 유해·위험 요인별 위험도를 직관적으로 파악하고, 위험도에 따라 안전 관리를 강화할 수 있다. 궁극적으로는 이 시스템을 통해 분석된 유해·위험 요인별 위험도를 기반으로 AI가 자동으로 안전 관리 지침을 도출하여, 시스템에 피드백 하는 방식으로 사업장 안전성을 강화해 나갈 수 있다.

II. Preliminaries

1. Related works

1.1 Technology trends by field

국내의 대부분 안전도(위험도) 평가시스템은 효율적 자료관리체계를 포함한 과학적 안전도(위험도)평가 시스템을 구축하여 각 분야별 안전도(위험도)를 실용적이로 현대적으로 평가할 수 있도록 하는데 중점을 두고 있으며 특히 최근의 프로그램 개발의 흐픔인 사용자 편의 위주로 개발되어 있음을 알 수 있었다.

우선 장비수리 구조물 분야 안전도(위험도) 평가를 위한 시스템[4]은 일련의 작업을 효율적으로 수행하기 위하여 종래부터 행해지던 안전도(위험도) 평가 작업의 흐름에 근거한 사용자 위주의 전산화 시스템을 개발하였다. 즉, 수리 구조물의 조사, 측정, 평가자료 등 체계적 유지관리에 필요한 기본적인 사항이나 안전진단 관련 항목들을 이용하여 데이터 베이스 시스템을 구축하고, 안전도(위험도) 분석의 기초자료를 획득하기 위한 구조해석 시스템 및 실질적 안전도(위험도) 평가를 위한 안전도(위험도)분석/평가 시스템, 그리고 이들 결과를 일목요연하게 보여줄 수 있는 입출력 도식화 시스템을 상호 유기적으로 관련시킴으로써 안정도 평가 작업이 체계적이로 합리적으로 수행될 수 있도록 하였다. 특히, 제안한 시스템은 고도의 안전도(위험도) 평가 이론을 모두 블랙박스식으로 내장시킴으로써 사용자가 이에 대한 이해가 다소 부족하더라도 기본적인 실무 경험만 있다면 시스템을 쉽게 운용하고 업무 목적을 달성할 수 있도록 개발되어 있음을 알 수 있었다.

다음으로는 대형 재난 안전과 관련이 있는 수변 구조물과 같은 재난 안전을 위한 안전도(위험도) 평가 시스템[5]의 조건은 안전성이 부족한 경우 대규모 인명 및 재산피해 우려가 있으므로 실시간 환경조건 변화에 따른 위험요소를 평가하고 수변구조물의 피해 가능성을 예측할 수 있는 안전관리 시스템이어야 한다. 이 유형의 실시간 통합안전도(위험도) 평가 시스템은 유역별 전체 수변구조물의 실시간 계측 데이터를 수신하여 의미 있는 데이터를 분석하고, 개발된 알고리즘을 시스템에 잡재하여 수변구조물의 계측기반 실시간 안전도(위험도)를 정량적인 수치로 제시하였다, 또한 재난 시나리오 안전도(위험도) 평가 차트와의 비교 분석을 통해 시설물별 경보수준 정보를 표출하여 사용자가 안전도(위험도)를 실시간으로 판단 할 수 있도록 지원하고, 중앙관리자와 개발 시설물관리자로 사용자를 구분하여 최종사용자 맞춤형 평가기능을 지원하였다. 주요 기능으로는 실시간 계측 데이터를 수신하여 의미있는 데이터를 분석하고, 개발된 알고리즘을 시스템에 탑재하여 수변구조물의 계측기반 실시간 안전도(위험도) 및 시나리오별 안전도(위험도) 평가지수를 계산한 후 정량적인 수치로 제시하였다. 이와 같은 통합안전도(위험도) 평가 시스템에서는 이렇게 제시된 수치를 기반으로 사용자의 실시간 안전도(위험도) 판단을 지원하였다[6].

그 외에 GIS 기반의 지하 매설물 또는 재해 위험 안전도(위험도) 평가시스템 개발[7]의 경우 자연 재해급의 대규모시스템을 검토해야 한다. 주된 기능으로는 GIS 도입과 함께 피해이력을 기반으로 전문가들에 의해 분석된 산출물을 사용하여 재해별로 지역에 따라 피해 정도를 효과적으로 표출하기 위해 공간데이터베이스와 사용자 인터페이스를 설계하여 지도기반에서 속성을 검색 및 위험도를 표출하는 시스템을 개발해왔다. 이 시스템은 공간데이터베이스, 검색 모듈, 지도모듈로 크게 구성되어 있으며 검색된 위험지역에서 일정한 버퍼거리 내에 설치되어 있는 CCTV를 자동 검색하고 이를 화면에 표출하는 기능을 포함하고 있다.

이상의 이 논문과 관련된 연구를 살펴봄으로써 몇 가지 핵심기능을 도출할 수 있었다(Table 2., 관련연구 순). 입력 데이터 수집으로는 4차 산업혁명의 핵심기술에 맞도록 CCTV 기반 영상데이터를 수집하고자 한다. 데이터 가공에 있어서는 수집된 영상데이터를 AI 딥러닝으로 분석하고자 한다. 이 때 위험도 이벤트가 감지되면 이를 통계기법 활용과 '하인리히의 법칙(Heinrich's law)[12]'을 모델로 하여 안전도(위험도)를 자동계산한다[8].

Table 2. Comparison of Related Works

제안하고자 하는 시스템은 경제적 여건상 또는 현장 여건상 시스템 도입에 어려움이 있는 중소기업을 대상으로 하며 직원수 300명 이하 노동집약적인 제조산업에 적용가능하도록 초점이 맞추어져 있다. 좀 더 확장하여 제조분야 중 3W(Worker, Work Place, Working Machinery)가 존재하는 어느 산업분야에서도 마이그레이션 및 고도화를 통해 적용이 가능하도록 개발되었다.

1.2 AI Deep Learning-Based CCTV Video Analysis (Worker, Worplace)

이 시스템을 구현하기 위한 핵심기술로 영상분석을 도입하였다. 기존 제조현장에서 작업자의 안전을 감시하기 위한 기술로는 헬멧에 칩이나 센서를 넣는다거나 옷에 감지 센서를 넣거나 혹은 별도의 블루투스 통신 기기 등을 이용하여 감지 해왔으나 이러한 기존의 방식은 작업자로 하여금 많은 장비를 소지하게 하여 현장 작업 시의 불편함을 가중시켰고 장비착용을 거부함으로써 오히려 안전사고를 유발하는 경우가 많았다. 이러한 어려움을 해결하기 위해 작업자에게 장비 착용의 부담을 지우지 않고 평소와 동일한 환경으로 작업을 유도하기 위해 CCTV 영상분석 기술을 도입하였다.

또한 이 영상분석 기술은 제 4차 산업혁명 핵심기술로서 최근의 영상식 카메라는 AI 머신러닝 기반 객체 인식 알고리즘이 기본 탑재 되거나 영상 분석 패키지를 포함하여 출시되고 있다. 작업자와 작업환경이 카메라 인식범위 내에 포착되면 영상식 카메라가 작업자와 작업환경을 찍고 이와 동시에 획득된 영상 기반 오브젝트 인식을 수행한다, 뒤이어 영상분석서버에서 딥러닝 알고리즘이 작동하여 인식된 오브젝트에 대해 보정을 하는 등 보다 정확하게 작업자와 작업환경을 인식하고 추출한다.

딥러닝 기술은 강화학습방법으로써 인간의 뇌 정보전달 방식과 유사한 방식이다. 뉴런과 같이 노드 상호관계를 정의하고 수많은 필터를 통해 특징들을 추출해서 분류한 다음 추론한 오차를 근거로 가중치를 변경하며 동시에 보상값을 적용하여 활성화 함수에 의해 최적의 해답을 결정하는 학습 방법이다. 기존 영상에서 특징적인 물체의 노드 간 상호관계와 가중치, 보상값을 딥러닝 모델로 저장, 변경하여 새로운 영상 분석에 활용한다.

CNN (Convolutional Neural Network)은 강화학습 중 영상 인식에서 사용되는 성능이 우수한 대표적인 학습 방법으로써 촬영된 이미지를 매트릭스로 수치화하여 데이터를 분석한다. Fig. 1에서 C1~C5까지는 데이터 처리를 위해 분할된 이미지 영역의 3차원 매트릭스를 분석하고 FC6, FC7에서는 이를 2차원으로 요약/정리하여 활용하며 정리된 매트릭스는 딥러닝 영상 분석에 사용된다[9].

Fig. 1. The Structure of CNN

딥러닝의 결과로써 미세조정과정이 필요한데 이 결과 미세조정이란 인공지능 모델에서 객체 인식 추출의 오류를 줄이기 위해서 특수 목적을 가진 데이터 셋을 이용한 인공지능 모델 개선을 추가 학습 방법을 말한다. 특수목적성 데이터셋을 사용한 예로 미국 알바니 대학교(University of Albany)에서 차량의 촬영 환경 즉, 날씨, 시간 등에 따라 미세 학습 시 다양한 환경에서의 작업자와 작업환경 인식 정확도를 높인 사례를 찾아볼 수 있으며 이를 응용하여 본 논문에서는 YOLO 알고리즘을 도입하여 구현하였다. Fig. 2는 YOLO 개념을 보여주고 있으며, YOLO는 각 이미지를 S × S개의 그리드로 분할하고 그리드의 신뢰도를 계산하여 바운딩 볼륨 박스(Bounding Volume Box)의 위치를 조정하기 때문에 객체 인식율이 뛰어날 뿐만 아니라 실시간 처리가 가능하다[10][11].

Fig. 2. Introduction of YOLO for Fine Learning

이 논문에서 시스템 구현을 위해 앞서 소개한 YOLO v.3를 적용하였으며 이 분석결과를 받아서 불안전 이벤트 빈도ㆍ강도를 WEB으로 서비스 하는 체계이다.

이어지는 장에서는 이 논문에서는 개발된 안전도(위험도) 평가 시스템을 자세히 설명하고 이 시스템의 핵심이 되는 강도ㆍ 빈도 계산 방법에 기초한 실제적이고도 합리적인 안전도(위험도) 평가 방법을 설계 및 구현하여 설명한다. 또한 현장의 실구조물과 작업자를 대상으로 적용 운용함으로써 시스템의 유용성 및 실용성에 대해서 검증한다.

III. System Design and Implementation

1. System Design

1.1 Requirement Analysis

국내의 대부분 안전도(위험도) 평가시스템은 효율적 자료관리체계를 포함한 과학적 안전도(위험도)평가 시스템을 구축하여 각 분야에서 활용하고 있다. 이 시스템은 주로 금속 주물 제조 공장에서 범용적으로 사용하기 위한 안전도(위험도) 평가 시스템으로써 Table 1 에서 정의한 주요 기능 요구사항을 분석하여 다음과 같은 분석결과를 정의하여 이를 기반으로 시스템을 설계구현 하였다.

(a) 데이터 입력과 수집은 CCTV 로만 수행되며, 수행된 이후 영상분석을 위해 전용 서버로 송신됨

(b) CCTV로 부터 수집된 영상에서 유해·위험 영상을 추출하되 ①헬멧착용여부, ②헬멧색상, ③방열복착용여부, ④넘어짐, ⑤고공작업, ⑥적치물방치, ⑦danger map내 위험영역인식 등 7가지 요소를 측정함

(c) 추출된 유해·위험 요인별 영상 내 해당 특징점을 분석·학습함. 특징점은 다양하게 나타날 수 있으므로 다양한 학습자료를 제공함

(d) 판독된 유해·위험 요인은 일자별, 시간대별로 기록하여 어느 시점에서 발생한 건인지에 대해 향후 통계 및 검색이 가능하도록 함

(e) 특정기간 내에서(이 test-bed 에서는 월 1회) 수집된 유해·위험 상황 발생 빈도값과 추정 강도값을 곱하여 산출되는 유해·위험 요인별 안전도(위험도)를 누적합산하고 이의 평균치를 산출하여 전체적인 안전도(위험도)를 평가함.

여기서 빈도값이란 특정 기간내에서 어떤 유해·위험이 발생한 횟수를 말하며 강도값이란 영상분석을 통해 부여되는 위험의 정도를 말한다. 이 빈도값과 강도값의 조합으로 Table 4, Table 5와 같은 지표에 의해 안전도(위험도)를 평가하게 된다.

Table 3. Risk Assessment Process

Table 4. 3X3 Risk Assessment Metrics

Table 5. 5X4 Risk Assessment Metrics

1.2 System Architecture

시스템 구성은 CCTV 카메라로부터 정보를 수집하여 영상분석하기 위한 영상분석 서버, 영상 분석 결과를 CS로 가공/처리/표출하기 위한 CS 프로그램 서버, 평가지표 관리와 영상분석 결과를 받아서 WEB으로 서비스하기 위한 WEBB/WAS/DBMS 서버로 구성된다.

보통의 AI 딥러닝 영상 분석 프로세스와 유사하게 동작하며 Fig. 3은 인공지능(AI)이 CCTV 영상분석에 의해 도출한 유해·위험 요인과 관리자가 직접 입력한 유해·위험 요인에 대해 안전도(위험도) 평가를 수행하는 과정을 나타낸 전체 구성도 이다.

Fig. 3. System Architecture

1.3 Statistical Analysis Techniques

이 시스템을 통해 계산하고자 하는 안전도(위험도) 통계 분석 기법으로 하인리히 법칙을 준용한다[12]. 하인리히 법칙은 1:29:300의 법칙으로써, 어떤 대형 사고가 발생하기 전에는 같은 원인으로 수십 차례의 경미한 사고와 수백번의 징후가 반드시 나타난다는 것을 뜻하는 통계적 법칙을 말한다. 즉, 한번의 대형참사는 300번의 징후와 29번의 경미한 사고가 발생한 뒤 대형참사가 발생하게 되며 이 이론에 따른 참사의 근본적인 대책으로는 ‘기계안전 + 인체 공학 + 안전이론강화’를 통한 지속적인 노력과 더불어 안전보건법(기계+인체), 위험물관리법 등 준수가 필수적이다, 안전만 지나치게 강조되면 위험한 작업에 대한 기피성향이 확산되므로 생산 효율성이 유지되는 상황에서 안전을 위한 활동을 강화해야 한다.

Fig. 4. Heinrich's law

CCTV에서 취득된 현장 영상의 분석을 위해 영상분석 서버에서 작업자, 작업환경의 유해·위험 이벤트(예) 안전모 미착용 등)를 검지한 후 이 이벤트의 빈도와 강도를 자동으로 부여하고 안전도(위험도)를 계산하는 분석 기술을 설계한다.

위험성 평가 기법은 하인리히 법칙을 준용하고 CCTV에서 도출된 영상 분석 결과에 따라 빈도와 강도 값을 받아서 안전도(위험도)를 산출한 후 하이리히 법칙을 적용하였을 때 현재 어느 정도 인지 예측을 한다. 이때 빈도와 강도는 ′빈도 × 강도 1 ∼ 20′ 까지의 수치가 발생하며, Danger Map에서 발생된 불안전 이벤트를 이용하여 계산한다. 예를 들어 어떤 작업구간(용광로)에 작업자가 작업하다가 넘어진 횟수가 3번이고 이의 강도가 4라고 하면 ′용광로 작업의 위험도 3 × 4강도 = 12′의 안전도(위험도)가 도출이 된 것이다.

1.4 Risk Assessment Metrics

1.5절에서 살펴본 바와 같이 용광로 작업의 안전도(위험도)가 12라고 도출이 되었다면 이 ‘12’라는 수치가 가지는 위험적 의미를 부여해야만 한다. 이를 위해 ‘위험성 평가척도 메트릭스’가 필요하고 이 메트릭스는 두 종류로 적용되고 있다. ‘3X3’ 또는 ‘5X4’ 위험성 평가 척도 이며, 사업장의 크기에 따라 안전도(위험도)가 좀 더 세분화 되고 광범위한 경우 5X4 척도를 적용한다. 이 논문에서는 5X4 위험성 평가 척도를 적용하였으며, 각각의 척도가 의미하는 안전도(위험도)를 수치로 나타내면 Table 4와 Table 5로 나타낼 수 있다[13].

위 위험성 평가 척도를 실제 사례에 적용해 보면 1.5절에서 살펴본 용광로 작업의 안전도(위험도)가 12이므로 5X4 위험성 평가 척도에 적용하면 ‘약간높음(Little High(LH))’으로 결정이 된다. 취득된 불안전 영상 각각에 대해 척도를 계산하여 평균치를 내면 그 값이 사업장 전체의 위험성 평가 척도가 된다.

1.5 Object Recognition and Compensation Process

이 논문에서 소개하는 시스템은 YOLO의 학습 보상 프로세스를 위해 손실 함수를 최소화하는 방향으로 구현하였다. 손실 함수란 모델이 예측한 결과와 실제 결과 간의 차이를 측정하여 모델을 학습시키는 데 사용되며, 이 논문에서 구현한 YOLO의 보상 프로세스는 Fig. 5와 같다.

Fig. 5. Structure of reinforcement learning in this system

적용된 강화 학습구조로는 에이전트(agent), 환경(environment), 상태(state), 행동(action), 보상(reward)의 기능을 구현하였다. Fig. 5에서의 에이전트는 안전도 분석 평가 시스템에 해당하는 것으로써 에이전트 자신이 딥러닝 및 안전도 분석 평가 환경 내에서 현재 위험상태에서 높은 보상을 얻는 방법을 찾아가며 행동하는 학습 방법으로, 특정 학습 횟수를 초과하면 높은 보상을 획득할 수 있는 전략이 형성되게 된다. 단, 행동을 위한 행동 목록(위험한 행동 목록) 등은 사전에 정의가 되어야 한다. 만약 이것을 지도 학습(Supervised Learning)의 분류(Classification)를 통해 학습을 한다고 가정하면 모든 상황에 대해 어떠한 행동을 해야 하는지 모든 상황을 예측하고 답을 설정해야 하기 때문에 엄청난 예제가 필요하게 된다.

현재 구현된 시스템에서 최적의 보상이 이루어지기 위해서는 시스템을 운영하면서 현장 위주의 학습이 더 실시되어야 하며 보상을 위한 초기의 값은 Table 6에 정의되어 있다.

Table 6. Initial reward value for learning

2. System Implementation

2.1 Risk Situation Extraction on CCTV Images

CCTV 영상에서 불안전한 행위 또는 환경이 감지되었을 때 이 영상의 결과를 안전도(위험도) 평가 시스템으로 전송한다. 이 때 전송받은 이미지와 파일을 받아서 WEB 화면에 표출해주고 안전도(위험도)를 계산하게 된다. 불안전한 행위가 감지된 경우 이를 WEB 화면에 출력하기 위해 감지된 이미지 파일을 WEB 서버의 디렉토리로 쌓아두면 WEB 서버에서는 이 이미지 파일을 디렉토리로부터 갖고 와서 이미지 파일 이름을 토큰으로 분리하여 DB에 저장하거나 화면에 표출한다.

2.2 Frequency and Intensity Extraction

안전분석정확도를 측정하기 위해 이벤트가 발생한 안전하지 못한 데이터는 Fig. 6의 (a) ~ (g) 중의 하나의 값을 가지며 이 이미지는 자동으로 분류되어 WEB 화면에 축적된다.

Fig. 6. Unsafety Worker, Work Place Data from CCTV

빈도는 Fig. 6의 (a) ~ (g) 별로 유해·위험 상황이 추출되는 이미지 건수를 의미하며, 강도는 영상내애서 얼마나 위험한 상황인지를 영상분석을 통해 한자리 숫자로 표시된 정도이다. Fig. 6의 (a) ~ (g) 별로 강도의 계산 과정이 다 다르며 Table 7과 같은 알고리즘으로 도출된다.

Table 7. Strength Derivation Algorithm

Fig. 7. Classified Unsafety Image on WEB UI

이미지가 축적이 되면서 자동으로 부여된 빈도와 강도의 곱을 자동으로 계산하여 수집되는 불안전 이벤트 데이터에 대해 실시간으로 안전도(위험도)가 계산된다. 만약 자동으로 계산된 강도에 오류가 있는 경우 육안으로 판단하여 강도를 수동으로 직접 입력할 수 있기 때문에 좀 더 전문화되고 정밀한 안전 결과를 도출할 수가 있다. 이때 빈도와 강도는 각각의 곱으로 계산되어 Fig. 6의 (a) ~ (g) 별로 각각 누적되어 합산된다.

구축된 시스템에서 관리자는 사용자 인터페이스를 통해 데이터 입력 모듈에 유해·위험 요인과 해당 요인에 대한 평가지표(추정 강도값 및 빈도수)를 직접 입력할 수 있으며, 향 후 시스템을 확장하여 복수의 사업장에서 입력된 유해·위험 요인과 평가지표는 상기 관리서버를 통해 DB에 저장된 채로 활용되도록 할 수 있다.

자동으로 집계된 안전도(위험도)는 Fig. 8과 같이 작업장 현황 전체를 파악할 수 있는 대시보드 형태로 구현되어 서비스 된다,

Fig. 8. Dash Board for Safety Monitoring

IV. System Performance Evaluation

1. Evaluation Method

이 시스템의 성능을 평가하는 목적은 수집된 영상에 대해 얼마나 정확하게 안전도(위험도)를 산출해 주는가 하는 것이다. 수집된 영상은 이미 CCTV 로부터 수집되어 AI 딥러닝을 거쳐서 도출되었기 때문에 여기서의 시험 대상은 아니다. 즉, 이 논문에서의 시험대상은 AI 딥러닝 영상처리가 끝난 후 이 데이터를 받아서 하인리히 법칙에 따라 빈도와 강도의 연산결과가 정확하게 도출되는지의 여부이다.

Fig. 6에서 이미 보았듯이 7종의 불안전한 요소를 표현하는 데이터가 실제 화면에 출력될 때 내용이 정확하게 일치 하는 것인지의 여부로 성능을 평가한다.

2. Evaluation Results

이 시스템의 성능을 평가한 후 그 결과를 정리한 내용이 Table 8.에 나타나 있다. 대체로 98% ~ 100%의 결과를 보여주고 있으며, 시스템에서 자동으로 분류된 영상처리 결과가 육안으로 검토한 결과와 상이하거나 처음부터 영상처리가 잘못된 경우에 불일치 오류가 있었다. 여기서 육안으로 검토한 결과와 상이한 경우는 실제로는 유해·위험 상황이 아닌데 유해·위험으로 분류된 경우이다. 예를 들어 물건을 줍기 위해 작업자가 업드려서 작업하는 경우를 시스템에서는 작업자가 사고에 의해 쓰러졌다고 판단한 경우이다. 그리고 처음부터 영상처리가 잘못된 경우는 작업장 특성상 먼지에 의해 카메라 영상이 희미하거나 가려져 버려서 판단자체에 오류가 발생한 경우를 말한다. 이러한 육안판단 오류 경우를 제외하고는 98% ~ 100%의 결과를 얻을 수 있었으므로 사업장 전체의 안전도(위험도) 평가에 신뢰성을 가질 수 있게 되었다.

Table 8. Evaluation Results

Table 8에서 Formula 정의와 Result 항목 98% ~ 100%인 수치는 95% 계획대비 공인시험기관에서 수행한 공인시험 인증(V&V)점수 결과 수치이다.

V. Conclusion

이 논문은 사업장 내 각 지점을 촬영한 영상을 인공지능(AI)으로 분석하여 위험·유해 요인별 위험성 수준을 평가하고 안전 확보를 위한 적절한 조치를 마련할 수 있도록 하는 'AI 영상분석에 의한 사업장 내 위험성 평가 시스템'을 설계 및 구현 그리고 성능평가 결과를 다루고 있다.

이 시스템은 「인공지능(AI)에 의한 영상분석 및 위험성 평가가 이루어지도록 하는 시스템으로서, CCTV기반 영상 정보 입력 템플릿을 통해 사업장에서 발생할 수 있는 유해·위험 요인 항목 및 빈도, 항목별 추정 강도값을 수신하는 데이터 입력 모듈을 가지고 있다. 이 입력 모듈은 사업장 내 사고발생 가능성이 있는 지점별로 설치된 CCTV 촬영 영상에서 일반상황과 비 일반상황을 구분하고, 비 일반 상황 구간 영상을 분리하여 유해·위험 요인을 판독하는 영상 분석 모듈이다.

다음 단계로 판독된 유해·위험 요인별 영상 내 특징점을 분석·학습하고, 학습 결과를 상기 영상분석 모듈과 공유하는 추가학습 모듈과 판독된 유해·위험 요인을 시간대별로 기록하는 기록 모듈을 가지고 있다.

안전성 평가를 위한 동작 방식은 지정 기간 내에서 카운팅된 상기 유해·위험 요인 발생 건수에 기초하여 할당된 가능성값(빈도값)과 추정 강도값을 곱하여 산출되는 유해·위험 요인별 안전도(위험도)를 정기적으로 갱신하여 저장 및 표출하게 된다. CCTV 영상은 주로 Danger Map에서 가시적으로 표현되어 수집되며, 이 정보를 위험지도로 표현한다.

이 시스템의 성능평가결과 정확도 측면에서 98% 안전 정확도를 보였으며 AI 딥러닝 인식에 오류가 있는 경우를 제외하고는 100% 안전도(위험도)가 일치하는 성능을 보여 주었다.

본 발명 시스템을 통해, 사업장 관리자는 객관적으로 정확히 판단된 사업장 내 유해·위험 요인별 안전도(위험도)를 직관적으로 파악하고, 안전도(위험도)에 따라 안전 관리를 강화할 수 있으며, 궁극적으로는 본 발명 시스템을 통해 분석된 유해·위험 요인별 안전도(위험도)를 기반으로 AI가 스스로 안전 관리 지침을 도출하여, 본 발명 시스템에 피드백하는 방식으로 사업장 안전성을 강화해 나갈 수 있다.

종래에 수작업으로 관리되어 오던 안전관리방식을 AI에 의한 CCTV 영상 분석을 통한 자동화 관리 방식으로 개선함에 따라 적은 안전전문인력으로 효과를 극대화하고, 사업장 내의 안전성을 더욱 정밀하게 관리할 수 있을 것으로 기대된다.