Abnormality Detection Method of Factory Roof Fixation Bolt by Using AI

Abstract

In this paper, we propose a system that analyzes drone photographic images of panel-type factory roofs and conducts abnormal detection of bolts. Currently, inspectors directly climb onto the roof to carry out the inspection. However, safety accidents caused by working conditions at high places are continuously occurring, and new alternatives are needed. In response, the results of drone photography, which has recently emerged as an alternative to the dangerous environment inspection plan, will be easily inspected by finding the location of abnormal bolts using deep learning. The system proposed in this study proceeds with scanning the captured drone image using a sample image for the situation where the bolt cap is released. Furthermore, the scanned position is discriminated by using AI, and the presence/absence of the bolt abnormality is accurately discriminated. The AI used in this study showed 99% accuracy in test results based on VGGNet.

본 연구는 판넬형 공장 지붕의 드론 촬영 이미지를 분석해 볼트의 이상 탐지를 수행하는 시스템을 제안한다. 지붕의 점검은 현재 점검자가 직접 지붕 위로 올라가 점검을 진행한다. 하지만 고소 작업 환경으로 인한 안전사고가 지속해서 발생하고 있어 새로운 대안이 필요하다. 이에, 최근 위험 환경의 점검 방안의 대안으로 대두되는 드론 촬영의 결과물을 딥러닝을 이용해 이상 볼트의 위치를 찾아내는 방안을 통해 손쉽게 점검할 수 있도록 한다. 본 연구에서 제안하고 있는 시스템은 촬영된 드론 이미지를 볼트캡이 풀려있는 상황에 대한 샘플 이미지를 사용해 스캐닝을 진행한다. 더 나아가 스캔 된 위치에 대해 AI를 사용해 판별해 정확하게 볼트 이상 여부를 판별한다. 본 연구에서 사용한 AI는 VGGNet 기반으로 정확도 99%의 테스트 결과를 보였다.

I. Introduction

공장 지붕은 제조 환경에서 비, 바람과 같은 외부 환경으로부터 공장 내부를 제한한다. 특히 공장에서 제조하는 경우 빗물 등의 외부 요인이 침입하면 결과물에 대한 품질 저하, 기계 고장 등을 유발할 수 있다. 지붕은 시간이 지나면서 부식 및 파손 등이 발생하게 되고, 이의 경우, 그 기능을 다 하지 못하게 된다. 특히 누수, 구조물 탈락 등으로 이어질 수 있어 큰 안전사고 발생 및 물적, 인적인 손실의 가능성이 있다.

많은 종류의 지붕 형태 중 판넬형 공장 지붕의 경우, 판넬의 고정을 담당하는 볼트 부분이 지붕 간 연결을 담당하고 있어, 볼트 부분의 파손 및 풀림 현상에 대해 큰 주의가 필요하다. 따라서 볼트에 대한 점검이 상시로 수행되는 것이 좋다. 하지만 밑에서 보이는 지붕의 모습에서는 볼트의 상태를 확인하기 어려워 상부로 올라가 확인을 해야 한다.

이에 관리자는 지붕에 대한 점검을 상시로 할 수 없어, 주기를 정해 시행한다. 현재 지붕 안전점검 방식은 점검자가 직접 지붕 위로 올라가 육안을 통한 방식으로 시행되고 있다. 하지만 점검자가 직접 올라가 수행하는 작업은 높은 장소에서 실시됨에 따라 강풍, 특수한 작업 여건 등으로 인한 추락 재해가 지속해서 발생하고 있다[1]. 특히 지붕작업에서 추락 재해 발생률은 79%로 건설업 전체의 추락재해 발생률인 33%에 비해 월등히 높게 나온 만큼 위험 발생률이 매우 높다. 이 때문에 추락 방지 및 추가적인 안전사고 방지를 위한 절차들의 필요성이 강조되고 있다. 특히 지붕 작업 발판, 안전 대, 안전망 등의 여러 안전시설설치의 의무화 등 여러 대책이 나오고 있다[2][3].

하지만 이러한 대책들은 추가적인 작업을 요구해 관리자에게 큰 부담이 된다. 특히 현재의 대책들은 점검을 위한 비용과 시간을 늘리게 된다. 또한, 점검 시 안전 대비가 소홀하게 진행되는 경우도 빈번하다. 더욱이 이러한 이유로 점검횟수를 줄이게 되어 관리의 공백이 생기기 쉽다. 따라서 현재의 점검 방식을 개선한 새로운 방식의 도입이 시급하다.

점검의 용이성 향상뿐만 아니라 다양한 안전사고 예방을 위해 가장 좋은 방안은 점검자가 위험 요인이 있는 공간에 가지 않고 일을 수행하는 것이다. 이에 최근 다양한 위험 환경에서의 점검 방식 개선 연구들은 사람의 직접 개입 방식이 아니라 대체재로 드론을 사용하여 탐색하는 방안을 제안하고 있다. 그 예로 드론의 RGB 영상만으로 객체 기반의 건물 추출 방법을 제안한 연구도 있으며[4], 기존 건물 외관 점검에 사람이 직접 건물을 타는 위험한 환경에서 드론의 도입을 통한 점검 방식을 제안하였으며 추가로 영상 분석을 제공해 점검에 대한 편의성을 높이는 연구가 있다. 다만, 해당 연구에서는 미세 구조물에 대한 균열 검출에 대해 낮은 검출률을 보였다[5]. 지붕에 분포하는 소규모 배출시설에 대해 드론을 사용해 정사 영상을 촬영하고 이를 수치 표면모델을 사용해 탐지를 제안하는 연구도 있다. 해당 논문에서는 완만한 평지에서의 데이터를 가지고 수행해 산림, 하천 등의 굴곡이 심한 지형에서의 적용에는 어려움이 있다[6].

또한, 이미지 처리 및 인공지능에 관한 관심이 높아지면서 단순 촬영에서 나아가 인공지능을 적용해 정확도를 높이고, 간단한 분석까지도 자동화하는 방안들을 제안하고 있다. 교량의 안전점검을 위해 드론 기술과 영상 처리 기술을 융합한 자동 교량 균열 점검 방법을 제안한 연구가 그 예시이다. 해당 연구에서는 딥러닝 기술로 균열을 검출하여 추가적인 분석을 진행했다[7]. 그뿐만 아니라 드론에 열화상 카메라를 탑재하여 실시간으로 영상을 수신하고, 손상 패널 인식을 위해 YOLOv3-tiny를 이용해 탐지하는 방안을 제안하는 등 이와 같은 연구들이 활발하게 진행되고 있다[8].

본 연구에서는 판넬형 지붕의 볼트 점검 방식 개선을 위하여, 드론 지붕 이미지의 딥러닝 분석을 통한 지붕 볼트 이상 탐지 방안에 대해 제안하고자 한다. 2장에서는 관련 연구를 소개한다. 3장에서는 제안하는 지붕 볼트 이상 탐지 방안에 대한 세부사항과 테스트 결과를 기술한다. 4장에서는 지붕 이상 탐지에 대한 결론과 추후 연구 방향을 제시한다.

II. Preliminaries

1. Related works

1.1 DBSCAN (Density-Based Spatial Clustering of Applications with Noise)

DBSCAN은 데이터의 밀집도를 이용한 군집화 방법이다. DBSCAN은 특정 요소가 군집에 속하기 위해서는 다른 요소들과의 거리가 가까워야 한다고 전제한다. 이에 DBSCAN은 데이터의 군집 형태에 상관없이 초기 데이터로부터 근접한 데이터를 찾아 나가는 방법으로 확장하는 방식을 사용한다. 특히 클러스터 수를 미리 특정하지 않아도 군집화를 할 수 있다는 장점이 있다.

DBSCAN은 최소거리와 최소 데이터 개수가 필요하다. Fig. 1에서는 최소거리 내 데이터가 있는지를 확인하고 연결된 핵심 데이터를 찾는 방안에 대한 그림이다. 군집화수행을 위해 우선 최소거리 안의 영역에서 최소 데이터 개수가 있으면 그 데이터를 핵심 데이터로 정의한다. 그 후핵심 데이터의 근처 영역 안에 있는 데이터를 연결된 핵심데이터로 정의한다. 이때, 더 이상의 이웃이 없으면 해당데이터는 경계 데이터로 정의되며, 경계 데이터 외부에 지정한 최소 데이터 수에 도달하지 못하는 값들은 모두 이상값으로 정의된다[9].

Fig. 1. density-reachability and density-connectivity[8]

Scikit-learn에서는 DBSCAN을 쉽게 사용할 수 있도록 제공하고 있다. 필수 인자로는 eps(최소거리), min_samples(최소개수)가 있다. Scikit-learn에서는 연결된 핵심 데이터 탐색을 효율적으로 수행하기 위해 내부적으로 탐색 알고리즘들(ex. brute force, KD Tree)을 사용하고 있다[10].

1.2 VGGNet (Very Deep Convolution Networks for Large-Scale Image Recognition)

본 연구에서는 분류 모델로 VGGNet 구조를 사용했다. VGGNet은 Convolution Network 모델의 깊이가 정확도에 미치는 영향에 대해 실험한 논문이다. 이때, 깊이를 증가시키면서 과적합 문제와 기울기 소실 문제를 어떻게 해결하였는지에 대해서 다룬다.

특히 VGGNet에서는 Convolution Network구조의 깊이를 중점으로 두기 위해 다른 파라미터들은 모두 고정시킨 후 3x3 필터를 활용해 Convolution Layer를 추가하며 네트워크의 깊이만을 조절해 실험한다. 이때, 모든 Convolution Network의 계층 구성은 같으며 구성하는 Layer의 개수에 따라 VGG16, VGG32 등으로 명명된다. Fig. 2는 VGG16의 구조이다. 참고로 VGGNet을 학습시키기 위해서는 VGGNet의 Input 크기에 입력 데이터를 맞추어 주어야 한다. 테스트 역시 입력 데이터의 사이즈가 모델의 Input 크기와 다른 경우 rescaling을 수행해 입력한다[11].

Fig. 2. VGG16 Architecture [11]

이러한 VGGNet은 다양한 분야에서 이미지를 사용하는 딥러닝 방식에 적용되었다. 제조 공정에서의 적용 사례로는 대부분의 전자 장치에 포함된 PCB(Printed Circuit Board)의 조립성을 검사하는 방안이 제안되었다[12]. 또한, 디스플레이의 회로 이미지에 대해 VGGNet 구조를 기반으로 양/불량을 판단하는 방법도 제안되었다[13]. 이외에도 안전 문제 예방을 위해 지하 토양에서 공동이 없는 부분과 공동이 있는 지하 토양을 분류하는 시스템 등 다양한 분야에서의 사례가 있다[14].

III. The Proposed Scheme

본 연구에서는 드론으로 촬영한 판넬형 지붕 이미지 속에서 볼트의 이상 상태를 탐지하는 시스템을 제안한다. 특히 볼트캡이 분리된 상태에 대해 탐지한다. 고정용 볼트는 볼트캡과 볼트로 구성되어 있으며, 볼트캡은 접합부 볼트의 외부 환경으로 인한 부식으로부터 보호하는 역할을 담당한다. 특히, 볼트 이상은 외부 요인에 의해 볼트캡이 먼저 탈락되고, 이로 인해 볼트의 이상으로까지 이어진다. 따라서 지붕의 점검에서는 볼트캡에 대한 유지보수가 우선으로 이루어진다. 이에 본 연구에서도 볼트의 이상 탐지를 볼트캡의 분리 여부를 기준으로 진행했다.

Fig. 3은 본 시스템의 전체적인 구성도이다. 시스템은 크게 이미지 전체에서 후보 지점을 찾는 단계와 해당 지점이 실제 이상 상태인지 판별을 수행하는 단계로 나눌 수 있다. 또한, 후보 지점 찾는 단계에서는 이미지 스캐닝, 후보 지점 추출, 후보 위치 목록화의 3단계로 나눌 수 있다. 이미지 스캐닝 단계는 타겟과 유사한 부분들을 찾기 위해 이미지 전체에 대해 연산하는 단계이다. 후보 지점 추출은 연산 결과를 통해 이상 위치 지점들을 추려내는 단계이다. 마지막으로 후보 위치 목록화는 추려낸 지점을 군집화해 평균 위치들로 이상 위치를 정하는 단계이다.

Fig. 3. Overall Flow Chart

1. Candidate Points Detection

본 연구에서 제안하는 공장 지붕 볼트 이상 탐지 기법은 미리 촬영된 드론 이미지를 사용해 진행한다. 드론 이미지는 (2840, 4260) 크기이며 지붕표면에 대한 정사 영상이다.

1.1 Image Scanning

이미지 전체 픽셀에 대해 VGGNet을 적용하면 너무 많은 자원이 필요하여, 일반적인 환경에서 사용하기에 무리가 있다. 따라서 이미지 스캐닝을 통해 VGGNet을 적용할 후보군을 도출하고자 한다.

먼저 이미지 스캐닝에서는 타겟으로 삼을 이미지를 사용해 전체 이미지 내에서 이미지와 유사한 부분을 계산하는 과정이다. 이때 타겟은 Fig. 4와 같이 볼트가 풀려 모양이 다른 이상 볼트의 이미지를 사용한다. 즉, Fig. 5와 같이 전체 이미지 내에서 이상 볼트라고 추정되는 부분들을 타겟 이미지로 훑어 개괄적으로 추려내는 것이다. 이때, 타겟 이미지는 여러 장도 가능하다. 하지만 해당 과정에서 너무 많은 양의 타겟 이미지를 적용하면 각 타겟 이미지에 맞는지 확인하는 횟수가 많아져 필요한 연산 양이 많아진다. 또한, 추후 VGGNet을 사용해 정확하게 판별할 예정이므로 정확하게 일치하는 이미지를 목표로 타겟 이미지를 지정할 필요가 없다. 이외에 이미지 선정에 주의해야 할 부분은, 추후 작업을 위해 타겟 부분을 가능한 원하는 범위 이외의 부분이 적을 수 있도록 가깝게 잡아야 한다는 점이다.

Fig. 4. abnormal bolt images

Fig. 5. Filtering with filter images

이상 볼트 이미지를 하나씩 이용해 전체 이미지에 스캔을 수행할 때, 유사도 계산을 위해 픽셀마다 다음의 식(1) 을 이용한다. 여기서 사용되는 이미지의 값은 모두 0~1 사이의 값으로 정규화되어야 한다. 수식(1)에서의 x는 입력 이미지의 정규화된 픽셀 값을, y는 필터 이미지의 정규화된 픽셀 값을 의미한다.

\(\sum 1 - ( x - y ) ^ { 2 } \ldots \ldots\)       (1)

보통 이미지 내에 특징값을 연산하는 방식으로 convolution 연산을 사용한다. 하지만 convolution 연산의 경우 입력된 이미지의 픽셀값 자체가 높으면 결과도 높게 나와 타겟 부분이 아니어도 큰 값을 가져 정확한 스캐닝이 이루어지지 않는다. 반면 수식(1)은 이차함수를 활용한 연산으로 입력값과 픽셀값 사이의 차이가 작을수록 큰 값을 갖기 때문에 필터와 가장 유사한 부분에서 값이 크게 나오게 된다.

유사도 계산 결과를 도출하기 위해서는 CPU만을 이용해 진행하게 되면 큰 시간과 컴퓨터 자원이 소요된다. 또 한, 이미지의 사이즈가 (2840, 4260)로 매우 커 전체 이미지에 대한 연산 과정을 한 번에 진행하기에는 컴퓨터 자원이 한 번에 너무 많이 필요로 한다. 이에 본 연구에서는 전체 이미지를 적정 사이즈로 나눈 후, 각 픽셀에 대한 GPU 를 사용할 수 있도록 텐서플로우 라이브러리를 활용했다.

입력 이미지는 본 연구에서는 25등분을 수행했으며, 각분할 이미지 간 96픽셀씩 겹칠 수 있도록 했다. 등분 시에 잘리는 부분이 생길 수 있어 맞닿는 이미지 간에 겹치는 부분을 만들어 잘리는 부위 없이 탐색하도록 하였다. 이때 겹치는 크기는 필터 이미지의 크기 정도로 설정한다.

각 픽셀에 대한 계산은 텐서플로우에서 제공하는 사용자 정의 Layer 을 활용해 수행했다. 사용한 사용자 정의layer의 명칭은 Quadratic Layer로 지정했다. Quadratic Layer에서는 스캔 시 사용할 필터링 이미지를 입력받아 kernel을 생성한다. 필터링 이미지는 Fig. 4의 이미지이며, 0~1 사이의 값으로 전처리한다. 연산은 입력이미지 전체를 kernel의 사이즈 만큼 움직이면서 수행한 다. 따라서 연산을 위한 image patch를 내부적으로 생성하여 해당 image patch와 kernel 간 수식(1)을 연산한다. 최종 연산 결과는 image patch 연산 결과를 다시 입력된 이미지 크기로 합쳐 반환한다. 모든 과정은 텐서 연산 함수를 사용한다. Fig. 6은 사용자 정의 Layer을 사용해 연산한 결과를 matplotlib 라이브러리를 사용해 형상화한 결과이다.

Fig. 6. Part of Filtering Result

1.2 Extract Candidate Points

연산한 결과는 필터와 유사한 부분이 많지 않더라도 결괏값이 0이 아니다. 따라서 의미가 없는 값을 지우기 위해 특정 threshold 값을 적용한다. 사용하는 특정 threshold 값은 입력된 각 필터에 대해 다른 값을 적용한다. 그 값은 필터의 모양과 대상의 모양에 따라 적정 값이 달라 테스트를 통해 적정 수준을 판단하여 적용한다.

threshold를 적용한 후 분할되어있는 이미지의 결과들을 다시 하나의 이미지로 병합한다. 병합된 결과는 Fig. 7 과 같이 몇 개의 값들 외에는 모두 지워진 모습이다.

Fig. 7. Threshold Application Results

이미지의 수식 연산은 필터를 sliding window처럼 이동해 연산을 수행하기 때문에 타겟 주변에서도 연산 결괏값이 크게 나타난다. 따라서 threshold를 적용하게 되면 Fig. 8과 같이 값이 연속적으로 표시된 것을 확인할 수 있다. 하지만 이외에 threshold 적용 결과 중 값이 여러 개가 연속적으로 나타나지 않는 부분도 나타나는데, 해당 부분은 빛의 반사 등의 다양한 이유로 인해 나타난 이상값이다.

Fig. 8. Image of Result Magnification

1.3 List Candidate Points

마지막으로 군집화 알고리즘(Clustering)을 통해 타겟점들의 집합 도출하고 이상값을 제거해 후보 지점을 목록 화한다. 해당 과정은 타겟 점들의 집합은 중복되는 타겟을 하나로 묶어, 이후 과정인 VGGNet에서 검사할 대상을 줄여 속도를 높이기 위함이다.

군집화 알고리즘은 점들의 집합이 몇 개일지 예측할 수 없어 DBSCAN을 사용해 군집화를 수행했다. DBSCAN의 경우 epsilon 값을 50으로 정하고 최소 sample 수를 2로 정해 진행했다. epsilon 값의 경우 사용된 타겟 이미지의 사이즈가 25 이기 때문에 겹쳤을 때 최대 50 이내의 범위에서 타겟 포인트가 겹칠 것이기 때문이다. 만일 이미지 사이즈가 달라지면 해당 값 역시 변경되어야 한다.

군집화 알고리즘을 사용하게 되면 한 픽셀에 대해 발생한 특잇값 또한 조건에서 걸러져 제거할 수 있다. 최종적으로 군집화 결과로 나온 집합들 각각의 평균 x, y 값을 통해 타겟의 좌표를 후보 위치로 목록화가 가능하다.

2. Classification

후보 위치를 추출하고 나면 해당 위치가 실제 이상 위치인지 판별한다. 판별은 후보 위치의 이미지를 딥러닝 알고리즘을 적용해 선별 작업을 수행한다.

2.1 Train Classification Model

학습 데이터는 자체 수집 데이터 중 몇 개의 이미지 내에서 타겟 부분과 타겟 부분이 아닌 부분을 잘라내 구성했다. 타겟 부분은 Fig. 9의 (b) 이미지인 비정상 상태의 볼트 이미지이며, 그 외의 위치는 (a) 이미지와 같은 정상 상태의 볼트 이미지이다. 해당 이미지들은 데이터셋 생성을 위해 이미지 프로세싱을 통해 반전, 회전을 통해 데이터 수를 늘렸다. 데이터는 총 23,365개이며, 라벨은 수기로 타겟과 배경으로 나눈 후 원-핫 인코딩을 통해 라벨링 했다. 데이터셋은 학습 데이터 18,692개(정상 13,989개, 비정상 4,703개), 테스트 데이터 4,673개로 분리 후 사용했다.

Fig. 9. Dataset Sample Images

타겟 분류 모델은 VGGNet 구조를 활용한 구조로 구성한다. 96 x 96 (pixel) 크기의 입력 데이터를 사용한다. Convolution Layer는 3x3 크기의 kernel을 사용한다. 층마다 Covolution Layer를 2개씩 구성해 총 3계층으로 구성하였으며, 각 activation은 relu를 사용한다. Fig. 10 은 본 연구에서 사용한 모델에 대한 구조도이다.

Fig. 10. Model Architecture

본 연구는 Keras 2.3 버전에서 수행되었으며, Naver Cloud GPU Tesla V100 환경에서 수행되었다. 그 외 학습 시 최적화를 위한 외적 인자들(Hyper-parameters)은 Table. 1과 같다.

Table 1. Hyper-parameters for the Learning Model

Fig. 11은 다음의 조건에서 학습할 때의 loss와 accuracy 변화를 그린 그래프이다. 학습한 결과, 최종 train loss는 0.0033, validation accuracy는 0.997를 보였다. 테스트 데이터셋으로 테스트한 결과 99.8%의 정확도를 보였다. 테스트 결과에 대한 confusion matrix는 Table. 2와 같다. confusion matrix를 통해 계산한 정밀도는 1.000, 재현율은 0.997, f1_score는 0.998이다.

Fig. 11. loss / accuracy graph

2.2 Classification

학습된 모델은 입력 이미지가 96 x 96 이미지로 학습이 되어있어, 1-3 과정을 통해 목록화된 후보 위치를 사용해 각 (x, y) 좌표를 기준으로 이미지를 잘라내 모델에 입력한다. 모델을 사용한 분류 결과에 대해 타겟으로 선별된 경우 이상 위치 목록으로 분류하고, 이상 위치 목록에 대해 원본 이미지에 표시하면 Fig. 12와 같이 결과물로 출력하게 된다. 실제 적용한 결과, 총 40개의 볼트 중 32개의 정상 볼트, 8개의 이상 볼트를 가진 지붕 이미지를 사용해 테스트한 결과, 8개의 이상 볼트를 모두 검출했다.

Fig. 12. Result Image

IV. Conclusions

판넬 지붕에서의 볼트는 판넬들끼리의 연결을 담당하는 아주 중요한 부위이다. 이에 공장 관리에서의 주요 점검 부위 중 하나이다. 기존의 점검 방식은 점검자가 직접 지붕 위를 다니며 볼트를 육안으로 관찰하는 방식을 사용했다. 하지만 이러한 점검 방식에서는 점검자의 안전 문제가 지속해서 발생하여 새로운 점검 방식의 도입이 필요하다.

이에 본 연구에서는 드론을 이용해 지붕 상태를 촬영하고, 촬영된 이미지 속에서 이상 상태의 볼트를 스캔해 해당 위치를 정확히 표시하는 탐색 시스템을 제안했다.

입력된 타겟 이미지에 대한 정확한 스캐닝을 위해서 이차함수 연산을 도입하였고, 정확도를 높이기 위해 정상 상태의 볼트 이미지와 이상 상태의 볼트 이미지를 분류하는 모델을 학습시켜 판단을 수행했다. 그 결과 촬영 이미지 속에서 원하는 이상 볼트 부분만을 표시해 내는 것을 확인 했다.

하지만 구현된 시스템은 한정적인 테스트 데이터로 인해 다양한 사례의 볼트 이상 모습을 확인하기는 힘들었다. 또한, 본 연구의 테스트 데이터는 한 종류의 판넬에 대한 데이터로 구성되어 있어, 다른 색상 등 다양한 요인에 대한 테스트가 부족하다.

따라서 추후 연구에서는 더 많은 데이터의 확보를 통해 안정적인 볼트 이상 탐지 기능을 확보할 예정이다. 또한, 지붕 점검의 주요 항목에는 볼트의 이상 탐지뿐만 아니라 지붕의 부식, 잔재물 존재 등 다양한 요인이 있어, 이에 대한 이상 탐지 연구를 통해 효과적인 지붕 관리 시스템에 관한 연구를 진행할 예정이다.