Vector and Thickness Based Learning Augmentation Method for Efficiently Collecting Concrete Crack Images

Abstract

In this paper, we propose a data augmentation method based on CNN(Convolutional Neural Network) learning for efficiently obtaining concrete crack image datasets. Real concrete crack images are not only difficult to obtain due to their unstructured shape and complex patterns, but also may be exposed to dangerous situations when acquiring data. In this paper, we solve the problem of collecting datasets exposed to such situations efficiently in terms of cost and time by using vector and thickness-based data augmentation techniques. To demonstrate the effectiveness of the proposed method, experiments were conducted in various scenes using U-Net-based crack detection, and the performance was improved in all scenes when measured by IoU accuracy. When the concrete crack data was not augmented, the percentage of incorrect predictions was about 25%, but when the data was augmented by our method, the percentage of incorrect predictions was reduced to 3%.

본 논문에서는 콘크리트 균열 이미지 데이터셋을 효율적으로 얻기 위한 합성곱 신경망 네트워크 학습 기반의 데이터 증강기법을 제안한다. 실제 콘크리트 균열 이미지는 정형화된 형태가 없고 복잡한 패턴을 지니고 있어 얻기 어려울 뿐만 아니라, 데이터를 확보할 때 위험한 상황에 노출될 우려가 있다. 이러한 상황에 노출된 데이터셋 수집 문제를 본 논문에서는 벡터와 두께 기반의 데이터 증강 기법을 통해 비용과 시간적 측면에서 효율적으로 해결한다. 또한 제안한 방법을 효율성을 입증하고자 U-Net기반의 균열 검출을 통해 다양한 장면에서 실험을 진행했고, IoU 정확도로 측정했을 때 모든 장면에서 성능이 향상되었다. 콘크리트 균열 데이터를 증강하지 않았을 경우 잘못 예측된 경우의 비율이 약 25%였으나, 우리의 방법을 통해 데이터 증강을 했을 경우 잘못 예측된 비율이 3%까지 감소하였다.

I. Introduction

본 논문에서는 최근 국내외에서 빈번히 발생하는 건축물 붕괴 사건을 컴퓨터과학 관점에서 완화하고자 한다. 콘크리트 균열을 작업자가 현장에서 눈으로 찾을 때 위험 사고에 노출될 우려가 있고 많은 시간과 비용이 소모되며 작업의 시야, 날씨와 같은 외부 변수에 의해 영향을 많이 받기 때문에 정확하게 균열을 찾는 데는 한계가 있다[1]. 본 논문에서는 콘크리트 균열 데이터를 두께와 방향 기반의 학습을 통해 효율적으로 데이터 증강하는 방법을 제안하며, 균열 감지에 대한 성능을 향상시키고자 한다.

현재 가장 큰 비중을 차지하는 건물 재질은 콘크리트 구조물이며, 이 재질에서 균열은 자주 발생하는 문제로 지적되고 있다. 노후 건축물에는 균열의 수와 크기가 증가하며 이는 구조물의 안전성, 적용 가능성, 그리고 내구성에 큰 영향을 미친다. 따라서 콘크리트 구조물의 안전을 위해 정기적으로 균열을 감지하고 유지 보수 조치를 취하는 것이 매우 중요하다[2-4]. 일반적인 균열 감지 방식은 주로 관련 장비를 갖춘 전문가가 직접 감지하는 방식이다. 하지만 이 탐지 방법은 많은 노동력이 소요될 뿐만 아니라 시간도 낭비되며 특히 요즘 같은 대형 아파트들이 있는 현장에서는 측정 정확도에 대한 이슈가 더 커질 수 있으며, 사람들의 안전에도 큰 위험을 초래할 수 있다.

효율적이고 안전한 균열 탐지 방법을 찾고 수동 탐지의 다양한 단점을 극복하기 위해 많은 사람들은 이미지 처리 기술을 활용했으며[5], 컴퓨터 비전 분야에서는 이미지 자동 감지를 위해 많은 연구가 진행되어왔다. 이미지 임계값[6,7], 에지 감지[8], 웨이블릿 변환[9,10], 기계학습[11] 등. 이미지 임계값은 다양한 픽셀 값의 특징에 따라 픽셀 수준에서 이미지의 균열을 분류하여 이미지를 단순하게 만들기 때문에 후처리 과정을 쉽게 할 수 있다. 에지 검출은 이미지의 미분 연산자를 활용하여 균열을 효율적으로 찾는 방식이다[12]. 웨이블릿 변환의 기본 개념은 이미지 신호와 같은 함수이며, 이 신호를 기반으로 균열을 찾기 위해 웨이블릿 함수 또는 기저 함수 집합을 활용한다[13]. 기계학습은 훈련 데이터에서 균열의 특징 벡터를 추출하고 학습을 통해 결과를 추론한다. 이러한 방법은 균열 감지 문제를 효율적으로 해결할 수 있지만, 균열의 불균일성, 표면 질감의 다양성, 배경의 복잡성 때문에 이 분야는 여전히 활발히 연구되고 있다.

딥러닝에서 일반적인 특징 학습을 통해 네트워크의 각 계층은 이전 계층의 출력을 입력으로 삼아 심층 비선형 네트워크 구조를 학습하고 추상적인 표현을 모델화시킬 수 있다. Zhang 등은 딥러닝을 기반으로 한 균열 감지 기법을 제안했으며[14], 이들은 도로 균열 검출에 CNN을 적용한 초기 연구 중 하나이다. 이 연구에서 사용한 포장도로 사진은 스마트폰으로 촬영했으며, 네트워크 모델은 카페 딥러닝 프레임워크를 기반으로 설계했다. 또한 SVM(Support Vector Machine), Boost 방법 등 기존의 기계학습 분류기와 비교하여 딥러닝 효과를 입증했다. Pauly 등은 CNN 깊이, 그리고 훈련 및 테스트 데이터 간의 위치 변화가 포장도로 균열 감지 정확도에 미치는 영향에 대해 연구했다[15]. 그 결과 네트워크 깊이를 늘리면 성능이 향상될 수 있지만, 이미지 위치가 변경되면 감지 정확도가 크게 감소한다는 것을 보여주었다. Maeda 등은 대규모 도로 파손 데이터를 생성하고 각 사진에 도로 파손 위치와 유형을 표시했다[16]. 그리고 딥러닝 기반으로 한 엔드-투-엔드 객체 감지 방법을 사용하여 손상 감지 모델을 학습했다. 이들은 위 방법을 휴대폰 애플리케이션에 이식하여 전문가와 재원이 부족한 지역에서도 도로 파손을 쉽게 감지할 수 있도록 했다.

Xu 등은 자동 교량 균열 감지를 구현하기 위해 엔드-투-엔드 탐지 모델을 구축했다[17]. 깊이별로 분리 가능한 컨볼루션을 사용하면 매개변수 개수를 효과적으로 줄일 수 있다는 것을 보여주었다. Li 등은 검출 정확도를 떨어뜨리지 않으면서 균열 검출 속도를 크게 향상시키는 YOLOv3-Lite 방법을 제안했다[18]. Tong 등은 CNN을 사용하여 지표 투과 이미지를 자동으로 감지 및 측정하고 최종적으로 숨겨진 균열을 3차원으로 재구성함으로써 저비용으로 손상을 효율적으로 찾을 수 있는 방법을 제시했다[19]. Yang 등은 FCN(Fully Convolutional Network) 기반으로 균열을 픽셀수준으로까지 감지할 수 있는 기법을 제시했다[20]. FCN은 업샘플링과 다운샘플링으로 구성되며 다양한 스케일의 물체를 감지할 수 있다. 균열 측면에서도 정확도는 97.96%가 측정됐다. Zhu와 Song 등은 전이학습을 사용하여 VGG16을 개선하고 콘크리트 교량의 표면 결함에 대한 정확한 분류를 모델링했다[21]. Deng 등은 균열 검출의 평가 정확도를 향상시키기 위해 Faster R-CNN[22], R-FCN[23], FPN 기반 Faster R-CNN[24]에 영역 기반 변형 모듈을 추가했다[25]. 앞에서 이야기 했듯이 대부분의 연구들은 균열의 정확성을 개선하고자 다양한 전이학습을 사용하여 콘크리트 표면 균열 검출을 모델링했다. 전이학습을 사용하기 때문에 모델 학습이 더 쉬워지고 수렴속도도 빨라지지만 이건 네트워크 특성에 따른 부분이며, 균열 데이터에 대한 전처리나 데이터 증강 방식에 대한 방법은 아니다. 본 논문에서는 이 점에 착안하여 균열 데이터 증강을 위한 새로운 네트워크 학습 모델을 제안하며, 우리의 방법은 균열 감지에도 긍정적인 역할을 할 수 있다는 것을 실험을 통해 보여준다.

II. Preliminaries

1. Related Work

이번 장에서는 본 논문과 관련 있는 균열 감지 네트워크 방식과 이를 위한 데이터 증강 기법에 대해 살펴본다.

2.1. 균열 감지를 위한 네트워크. 얼룩하고 고르지 않은 조명, 흐릿함, 노이즈를 처리하는 방법은 균열 감지에서 주요 문제이다. 균열의 강도가 일반적으로 주변보다 어둡다고 가정한 반복 클리핑 방법 같이 노이즈와 균열 사이에 명확한 구분이 있다고 가정하는 방법이 있다[26]. Li 등은 최적화된 균열 이미지를 분할하기 위해 이웃 차이 히스토그램 방법(NDHM, Neighboring difference histogram method)을 제안했다[27]. 그러나 이 방법은 테스트 이미지에 어두운 부분과 그림자가 많을 때 문제가 발생한다. 균열 검출의 정확도와 완성도를 향상시키기 위해 균열 영역을 상향 조정하는 웨이블릿 트랜스폼 기반 방법이 제안되었다[28,29]. 그러나 웨이블릿의 이방성 특성으로 인해 곡률이 높거나 연속성이 나쁜 균열은 처리하지 못하는 경우가 발생한다. FoSA접근법은 더 강력한 노이즈 제거 기능으로 NDHM을 확장하기 위해 제안되었으며[30], CrackTree방법은 균열에 드리운 그림자를 제거하기 위해 설계되었으나 계산 시간이 오래 걸린다[31]. 조건부 텍스처 이방성(Conditional Texture Anisotropy, CTA)[32] 및 자유 형태 이방성(Free-Form Anisotropy, FFA)[33]같이 이미지의 이방성을 측정하여 밝기와 연결성을 모두 고려한 접근 방식은 균열 검출에 좋은 결과를 보였지만 가장자리에 민감하여 종종 노이즈가 표현된다. 이 문제를 세일리언시(Saliency)로 해결하기 위한 방법이 제안되었다[34].

Hu 등은 로컬 바이너리 패턴(Local binary pattern, LBP) 방법을 사용하여 기본 로컬 특징을 통해 좋은 균열 감지 결과를 얻었지만[35], 각 이미지마다 매개변수를 조정해야 한다. Zhang 등은 콘크리트 터널 표면 영상에서 균열을 검출하기 위해 BTH(Black top-hat) 변환과 임계값 분할 방식을 제안했지만[36], 이 방법은 조명이 고르지 않은 영상에서 문제가 발생한다. 최근에 Zhang 등은 다중 데이터(균열의 공간 분포, 강도, 기하학적 특징)를 고려하는 ROA(Region of aggregation)와 균열 영역 증가를 위한 ROB(Region of belief)을 모델링했지만, 얇은 형태의 균열에만 적합한 결과를 만들어낸다[7].

2.2. 균열 감지에서 활용하는 데이터 셋과 데이터 증강. 균열 감지 연구에서는 Li와 Zhao가 수집한 데이터셋을 많이 활용한다[37]. 이 데이터셋은 중국 랴오닌성 다렌의 현수교 주탑과 앵커룸 표면에서 4160×3120해상도의 사진을 스마트폰으로 촬영한 데이터이며, 이미지를 256×256해상도로 자르 후 수동으로 균열이 있는 이미지와 없는 이미지로 구분한다. SDNET2018 데이터셋에서는 균열이 있는 콘크리트 교량 이미지와 없는 이미지를 제공한다[38]. 앞에서 이야기 했듯이 인공신경망 모델의 일반화 능력은 훈련 데이터셋의 개수와 관련이 있지만, 현실적으로 균열 데이터를 얻는 것은 제한되어 있다. 이 문제를 해결하기 위한 방법은 가상의 데이터를 생성하여 학습셋 데이터 증간에 추가하는 데이터 증강을 활용하는 것이다. 데이터 증강은 제한된 데이터로 더 많은 가상 데이터를 생성하여 학습 데이터셋을 인위적으로 확장함으로써 과적합 문제를 효율적으로 완화할 수 있다[39].

가장 쉬운 데이터 증강 중 하나는 텐서플로우 2.0에 내장된 ImageDataGenerator 인터페이스를 사용하여 이미지 뒤집기, 회전, 이동 및 기타 연산을 통해 데이터의 개수를 증가시키는 것이다. 하지만 너무 간단하게 때문에 균열 패턴의 다양성을 표현하기에는 충분하지 않다 (Fig. 1 참조).

Fig. 1. Images after data augmentation : (a) original image, (b) horizontal flip, (c) rotation, (d) horizontal shift.

III. The Proposed Scheme

본 논문에서 제안하는 알고리즘에서는 1) 균열 패턴을 추출하는 CNN과 2) 균열 형태를 변형하는 탄성 변형 기법을 활용한다. 균열은 정형화된 형태가 없기 때문에 모든 균열 패턴을 알 수 없으며 시점에 따라 형태가 달라지므로 이를 학습하여 실제 균열 데이터의 특징을 고려한 메타데이터를 만들어야한다. 본 논문에서 제안한 방식을 이용하여 실제 균열 감지 테스트를 했을 때 정확도가 향상되었음을 확인하였다. 본 연구에서는 DeepCrack에서 제공한 데이터를 증강하여 총 3,000장을 사용했으며, 모든 데이터는 균열 유무에 따라 마스크 처리하어 학습, 테스트, 유효성(Validation) 비율을 6:2:2로 나눠서 사용한다.

1. Feature Transfer and Learning

이번 장에서는 인공신경망을 통해 균열 데이터의 패턴을 추출하는 방법을 소개한다. CNN은 저해상도 입력 데이터에서 패치별 특징을 추출하여 고해상도 패치에 대한 특징 벡터로 매핑하는 과정을 통해 데이터를 복원하는 기법이다. 본 논문에서는 전처리 과정을 통해 저해상도 입력 데이터로는 아래와 같은 이미지를 사용한다.

Fig. 2a는 저해상도 입력 데이터이며 Fig. 2b는 CNN을 이용하여 실제 균열과 유사한 패턴을 얻은 결과이다. Fig. 2에서 보여주는 그림은 왼쪽에서부터 오른쪽 순서로 균열의 골격 에지(Skeleton edge), 코너(Corner) 기반 에지, 두께와 방향을 고려한 균열 에지 데이터이다.

Fig. 2. Enhanced details of crack with CNN : (a) input data, (b) output data.

1.1. 균열의 골격 에지. 이 과정은 Kim이 제안한 가상의 균열 데이터 생성 기법을 통해 만들었다[40]. 이 기법에서는 균열 선분의 연결정보를 유지하기 위해 이미지로부터 균열에 대한 뼈대를 추출한다. 이 과정을 위해 골격화(Skeletonization)를 적용하며, 골격화는 균열 에지를 픽셀기반에서 벡터기반으로 변환하는 과정이다.

1.2. 코너 기반 에지. 균열에서 기울기가 심하게 변하는 두 에지의 교차점인 코너를 추출하고, 이를 활용하여 균열의 벡터를 계산하는 과정이다. 여기서 사용한 코너는 Shi-Tomashi 코너 감지법을 사용한다. Fig. 3d는 검출된 코너들을 선분으로 연결한 결과이다.

Fig. 3. Crack vector with skeleton and corner set : (a) input data, (b) skeleton extraction, (c) corner extraction, (d) edge with corners.

1.3. 인공신경망을 통한 특징 학습. 본 논문에서는 Kim이 제안한 방식과 유사하게 코너 기반 에지를 데이터 증강하여 네트워크의 학습 데이터로 사용한다[40]. CNN학습 위해 골격화 균열 이미지 500장, 벡터 기반 선분 이미지 400장을 이용했으며, 이후 벡터 기반 데이터 증강 기법을 통해 학습데이터를 추가적으로 수집한다. 골격화 기법을 균열 이미지 바탕으로 학습시켰을 때는 특징이 복잡하여 학습이 안됐지만, 균열의 코너를 추출한 뒤 선분으로 연결한 균열 에지 데이터를 활용하여 이 문제를 해결하였다.

이 과정에서 사용한 잔차(Residual) 기반의 CNN형태는 다음과 같다 (Fig. 4 참조). 벡터 기반의 학습 이미지를 활용하여 26개의 레이어, 3배 업샘플링, 잔차 이미지를 기반으로 네트워크 학습했을 때 최적의 결과를 얻을 수 있었다. 업샘플링 배수가 커질수록 결과가 향상되었고, 잔차 이미지를 사용하여 3채널 학습의 색상 문제를 해결하였다. 마지막으로 균열 패턴의 디테일이 고려된 결과를 얻기 위해 벡터 증강 과정을 거친 탄성왜곡 데이터를 입력 데이터로 사용하였고, 이로부터 네트워크를 학습시켜 결과를 얻는다. 하지만 이러한 방법은 균열의 두께는 고려하지 않고 방향만을 고려하여 학습했기 때문에 다양한 두께와 균열을 온전히 학습할 수 없다. 그렇기에 본 논문에서는 두께를 학습 할 수 있는 새로운 프레임워크를 제안한다.

Fig. 4. Neural network architecture[40].

1.4. 균열의 두께 학습. 본 논문에서는 균열의 두께를 측정하기 위해 컨투어 근사(Contour approximation) 방식을 이용하여 형태를 분석한다. 컨투어는 동일한 색 또는 동일한 픽셀을 가지고 있는 영역의 경계선 정보이며, 일반적으로 물체의 윤곽선이나 외형을 파악하는데 사용된다.

Fig. 5는 입력 이미지로부터 컨투어를 추출한 결과이다. 이 결과를 만드는 데 있어서 컨투어에 대한 정확도를 제어하는 ε값이 중요하며, 본 논문에서는 0.005로 설정했다. 이 값은 실험적으로 찾은 값이며 일반적으로 타이트한 컨투어를 얻기 위해 사용된 값이다. 균열의 뼈대 이미지로부터 추출된 최종 데이터는 방향성만 고려했던 이전 방법보다 두께 측면에서 디테일한 특징을 잘 추출했다. Fig. 6은 컨투어 기반으로 추출된 균열의 두께를 이용하여 학습한 인공 신경망이다. 네트워크 모델은 앞에서 설명한 방식을 이용했으며 입력 데이터로는 균열의 두께와 방향을 고려한 데이터를 사용한다. Fig. 2에서도 보여주듯이 두께와 방향을 모두 고려했을 때가 가장 좋은 결과를 보여주었다.

Fig. 5. Contour approximation : (a) input data, (b) contour image, (c) contour image with ε = 0.005.

Fig. 6. Neural Network Architecture with our method.

2. Elastic Distortion with Crack Skeleton

탄성 왜곡 기법은 픽셀이 유사한 변위를 갖도록 표준편차와 강도의 가중치를 조절하여 새로운 위치로 데이터를 변형하는 것이다. 이때 회전 각도와 아핀 변환(Affine transform)의 가중치를 조절하여 균열 표면 형태를 변형한다. 이 같은 과정은 미시적-거시적 관점에서 다양한 방향성을 표현할 수 있다. 하지만, 이전 기법의 데이터 증강은 픽셀 단위로 변형을 주기 때문에 다양한 균열 방향을 고려하기는 어렵다. 그래서 본 논문에서는 Kim이 제안한 벡터 기반 탄성왜곡을 활용한다[40]. 앞에서 계산한 코너 기반으로 탄성왜곡 방법으로 회전 각도와 아핀 변환의 가중치를 조절하여 균열 표면의 형태를 변환한다. Fig. 7은 벡터 기반 탄성왜곡을 통해 증강한 콘크리트 균열을 배경 이미지와 합성한 결과이다. 원본 균열 이미지를 찾을 수 없을 만큼 다양한 균열 패턴으로 생성된 결과를 보여준다.

Fig. 7. Various crack data generated with our method.

3. Solver Extension : Adaptive Optimization

일반적으로 쿼드트리(Quadtree)는 각 내부 노드에 4개의 자식이 있는 트리 구조이다. 쿼드트리는 2차원 공간을 4개의 사분면 또는 영역으로 재귀적 세분화하여 분할하는데 활용된다. 리프(Leaf) 셀과 관련된 데이터는 애플리케이션에 따라 다르지만 일반적으로 “관심 있는 정보의 최소 단위”를 갖는다 (Fig. 8 참조). 균열은 전체 공간에 비해서 차지하는 비율이 작기 때문에 본 논문에서는 쿼드트리를 이용하여 데이터의 크기를 줄인다.

Fig. 8. Quadtree construction.

본 논문에서는 바이너리 형태로 균열을 분류한 마스크 데이터를 입력으로 사용하며 (Fig. 9a 참조), Fig. 9b와 9c에서 볼 수 있듯이 이미지의 흰색 부분인 균열 영역을 기준으로 쿼드트리를 분할한다. 균열을 사용하여 쿼드트리를 분할하는 이유는 픽셀 정보를 얻기 위함이 아니라 공간에서 의미 있는 정보를 추출하기 위해서이다. 네트워크 학습은 쿼드트리의 리프 노드를 나타내는 이미지 패치인 C_p를 사용하여 수행된다. 쿼드트리를 구성하는 데 사용되는 최하위 노드는 위에서 설명한 방법으로 생성되며, 노드들을 상향식으로 병합하여 구성한다.

Fig. 9. Classification as full density(FD) and emptry density(ED) according to the presence or absence of density : (a) input data, (b) patch split, (c) classification of FD(red) and ED(others).

생성된 노드를 쿼드트리에 결합하기 전에 노드에 밀도(여기서 밀도는 균열을 나타내는 흰색 영역)가 있는지 확인하고 밀도가 있는 경우 임계값과 비교하여 전체 밀도(FD, Full density)와 빈 밀도(ED, Empty density) 상태로 분류한다 (Fig. 9 참조). 최하위 노드는 지정된 상태 값을 가지며, 상위 노드의 상태 값은 하위 노드의 상태 값에 의해 결정된다 (Fig. 10a 참조). 트리의 각 노드에는 데이터, 키, 상태 값을 가지고 있다. 데이터는 노드의 밀도 값을 나타내며, 키에는 트리를 구성할 때 사용되는 노드 위치 및 트리 깊이를 나타내는 X와 Y좌표를 저장한다. 트리 깊이와 위치는 네트워크 과정이 완료된 후 결과를 결합할 때 사용되며, 상태는 FD, ED, 또는 혼합(MIX)로 표현된다. 본 논문에서는 각 패치의 밀도를 최하위 노드의 데이터로 사용한다 (Fig. 10a 참조). 최하위 노드의 깊이는 아래와 같은 수식 1을 사용하여 계산한다.

Fig. 10. Overview of generating the quadtree containing path-state values, while ED=empty density and FD=full density.

\(\begin{aligned}d=\log _{2}\left(\frac{D_{w i d t h}}{N_{w i d t h}}\right)\end{aligned}\)       (1)

여기서 d는 현재 노드의 깊이를 나타내며, D_width와 N_width는 전체 입력 데이터와 현재 노드의 너비를 나타낸다. 부모 노드는 상향식 방식으로 4개의 노드로 생성된다(Fig. 10b 참조). 부모 노드의 데이터는 자식 노드 데이터들의 합계이다. 깊이는 1씩 감소하고, 위치는 자식 노드를 합칠 때 결정된다. 마지막으로 자식 노드에 의해 상태 값이 결정된다 : 모든 자식 노드의 상태 값이 같으면 부모 노드에 같은 상태 값이 할당되고, FD와 ED를 모두 가지고 있으면 부모 노드의 상태 값에 혼합(MIX)이 할당된다.

모든 자식 노드의 상태 값이 같으면 삭제되며, 상태가 ED인 노드에는 네트워크 훈련이 필요하지 않다. FD인 경우 네트워크 학습을 한 번에 적용하는 것이 아닌 필요한 데이터만 구별한 자식 노드에 대해서 적용하는 것이 더 빠르기 때문에 본 논문은 이러한 방식을 통해 학습을 진행한다. 루트 노드에 도달할 때까지 이 과정을 반복하면 모든 노드에 상태 값이 할당된 트리가 생성된다. 트리가 완성되면 FD 노드의 데이터와 키 값이 수집되고 (Fig. 11 참조), 이 데이터셋은 네트워크 학습에 사용된다. 본 논문에서 실험한 결과, 전체적으로 37.5%로 데이터를 압축함으로써 메모리 효율성을 개선시켰다.

Fig. 11. Example of quadtree nodes for collecting crack patches (dotted red line : final dataset).

IV. Experiment and Results

본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 본 연구에서는 균열의 방향과 두께, 패턴을 학습하여 데이터 증강을 효율적으로 생성할 수 있는 새로운 기법을 제안했다. 본 논문에서는 제안한 방법의 효율성과 정확성을 실험하기 위해 3가지 시나리오를 통해 검증한다.

Fig. 12와 Fig. 13은 콘크리트 재질에서 균열 감지를 테스트한 결과이며, 데이터를 증강하기 전의 결과(Fig. 12b와 Fig. 13b)보다 증강 후 결과(Fig. 12c와 Fig. 13c)에서 넓은 균열 영역이 보다 정확하게 감지되었다. 또한 끊어지는 균열 없이 선명하게 균열을 감지해냈다.

Fig. 12. Test results with our method (Scene 1).

Fig. 13. Test results with our method (Scene 2).

본 논문에서는 흔들림으로 인한 균열 사진에서도 균열이 안정적으로 추출되는지 실험을 진행한다. Fig. 14a는 평균 블러(Averaging blur)가 표현된 실제 균열 사진이며, Fig. 14b는 데이터 증강 전 균열 감지 결과, Fig. 14c는 데이터 증강 후 감지 결과이다. 데이터 증강을 하지 않은 결과에서는 상단에 노이즈가 나타났지만, 데이터 증강을 통해 균열 감지된 결과에서는 상단의 노이즈가 감소하고 정확도가 향상된 것을 확인했다.

Fig. 14. Test results with our method (Scene 3).

Fig. 15는 깨진 유리에서 균열 검출 테스트를 진행한 결과이며, 앞에서의 결과와 마찬가지로 데이터 증강하기 전의 결과보다(Fig. 15b 참조), 데이터 증강 후 결과에서 더 선명하게 균열을 검출했다 (Fig. 15c 참조). 본 논문에서 보여주는 결과는 800×600 크기의 균열 이미지를 사용했으며, 개발환경은 파이참과 아나콘다를 이용했으며, 텐서 플로우, 케라스 등의 라이브러리를 이용하였다.

Fig. 15. Test results with our method (Scene 4).

4.1. 균열 감지 실험. 최근에 딥러닝을 활용하여 이미지 정보를 학습하여 특징을 자동 추출하는 연구가 꾸준히 진행되고 있다. 본 논문에서는 CNN을 기반으로 한 U-Net모델을 활용하여 균열 검출을 진행하였다. 전처리 과정에서 균열과 마스크 데이터셋을 U-Net을 통해 학습하고 테스트단계에서 실제 균열 이미지를 입력으로 균열 영역을 감지를 실험했다.

4.2. 평가. 평가를 위한 지표는 Mean IoU(Intersection over union)을 사용했으며, 딥러닝 모델이 예측한 결과와 실제 값 사이의 교집합과 합집합 비율을 측정하여 모델을 평가했다. 일반적으로 IoU는 값이 0.5 이상이면 정상적으로 감지(TP), 0.5 미만이면 잘못된 감지(FP)라고 정의된다. 데이터를 증강하지 않았을 경우 잘못 예측된 경우의 비율이 약 25%였으나, 본 논문에서 제안한 방법을 이용하여 10배 이상 균열 데이터 증강을 통해 3%까지 감소시킬 수 있었으며, IoU의 정확도를 측정했을 때 0.58에서 0.93으로 향상되었다.

V. Conclusions

본 논문에서는 균열 데이터 증강 과정을 네트워크 학습을 기반으로 풀어냈으며 균열의 방향과 두께를 디테일하게 학습함으로써 다양한 패턴으로 가상의 균열 데이터를 생성할 수 있는 프레임워크를 제안했다. 또한 증강된 데이터를 이용하여 실제 균열 감지의 정확성이 향상되었음을 실험을 통해 보여주었다. 제안한 방법은 콘크리트 재질에서 표현되는 균열에 활용했지만, 다양한 재질 균열에도 확장 및 적용이 가능할 것으로 기대한다. 향후 연구에서는 재질의 특성을 고려하여 균열의 위험성을 자동으로 감지하고 평가할 수 있는 방법에 대해 연구할 계획이다.