Power Plant Turbine Blade Anomaly Detection using Deep Neural Network-based Object Detection

깊은 신경망 기반 객체 검출을 이용한 발전 설비 터빈 블레이드 이상 탐지

Abstract

Due to the increase in the demand for anomaly detection according to the ageing of power generation facilities, the need for developing an anomaly detection method that can provide high-reliability turbine blade anomaly detection performance has been continuously raised. Additionally, the false detection results caused by a human error accelerates the increase of the need. In this paper, we propose an anomaly detection technique for turbine blades in power plants using deep neural networks. Experimental results prove that the proposed technique achieves stable anomaly detection performance while minimizing human factor intervention.

지금까지 발전 설비 터빈 블레이드의 이상 탐지는 사람에 의해 진행되어왔다. 하지만 발전 설비 노후화로 인한 이상 탐지 수요 증가와 터빈 블레이드의 이상을 검사하는 검사자 간의 기량 차로 인해 발생하는 검출 결과의 상이성으로 인해, 이러한 터빈 블레이드 이상 탐지 수요 증가와 인적 요소로 인해 발생하는 오류를 줄이고 높은 신뢰성의 터빈 블레이드 이상 검출성능을 안정적으로 제공할 수 있는 기법 개발의 필요성이 지속해서 제기되어 왔다. 이번 논문에서는 최근 다양한 분야에서 인상적인 성능 향상을 달성한 깊은 신경망을 이용한 발전 설비 터빈 블레이드의 이상 탐지 기술을 제안한다. 실험 결과는 제안된 기술이 인적 요소의 개입을 최소화함과 동시에 안정적인 이상 검출성능을 달성함을 증명한다.

1. 서론

발전 설비의 핵심 구성요소인 터빈 발전기는 고속회전에 따른 높은 원심력 및 장시간 운전에 따른 피로 및 응력 부식균열 등의 발생 가능성에 따라 주기적인 안정성 진단이 필수적이다 [1]. 일반적인 안정성 진단의 경우 액체침투검사, 자분탐상검사, 방사선투과검사등의 비파괴 검사 방법을 통해 진행된다. 그림 1은 비파괴 검사 방법의 예시를 나타낸다. 하지만 이러한 검사 방법에는 몇 가지 단점이 존재한다 [2].

그림 1. 발전설비 터빈 블레이드 응력분포 전산해석 및 비파괴검사 방법 예시. 좌측 이미지는 터빈 설비 운전시 터빈 블레이드의 응력분포를 나타내며, 우측 이미지는 응력이 높은 터빈 블레이드 루트부에 대한 초음파검사의 예시이다.

Fig. 1. An example of power turbine blade structure and its nondestructive inspection.

먼저, 액체침투검사는 비파괴검사 중 가장 오래되고 널리 활용되고 있는 방법으로, 검사대상 표면에 침투액을 적용해 모세관 현상을 통해 균열 부위에 침투액이 침투되도록 하고 다시 추출하여 검사하는 방식이다. 그러나 이러한 액체침투검사는 루트부의 피로 균열과 같은 내부 미세결함의 검출이 불가능하다. 자분탐상검사 또한 앞의 액체침투검사와 마찬가지로 표면상의 미세결함은 검사할 수 있지만, 내부의 결함 여부는 검사할 수 없다는 단점이 있다.

방사선투과검사는 검사 대상체에 방사선을 투과시킨 후 X선 필름이나 형광판으로 받아 상을 만들어 검사하는 방법으로, 결함의 형상, 크기, 위치를 직관적으로 관찰 가능한 장점이 있으나, 방사선투과검사 시 검사자의 방사선 피폭 문제로 인해 최근에는 방사선 안전기준을 엄격하게 상향함에 따라 적용이 제한적으로 이루어지고 있으며, 점차 초음파검사법으로 대체 되어 가고 있다.

초음파탐상은 초음파를 이용하여 물체 내부의 상태를 탐지하는 방식으로, 구체적으로는 초음파가 검사체에 전파 시 내부 결함을 만나면 음향 임피던스의 차이에 따라 반사하고 통과한다. 이러한 특징을 이용하여 결함의 위치와 크기를 평가할 수 있으며, 초음파의 주파수를 크게 할 경우 미세 결함 검출도 가능하며, 검사 정확도도 높아 다양한 분야에서 많이 사용되고 있다.

그러나 최근 발전 설비 안전성 검사를 진행하면서, 검사자의 기량에 따라 평가 결과의 차이가 나는 부분이 문제로 지적되고 있다. 이를 보완하기 위해 검사자의 기량검증제도를 운용하고 있으나, 인적 요소로 발생하는 검출 결과의 상이함을 극복하는 데에는 부족하다는 지적이 있다 [1]. 이는 최근 노후화되고 있는 발전 설비의 양적 증가와 더불어 큰 문제로 주목받고 있다.

이번 연구에서는 이러한 문제를 해결하기 위해 깊은 신경망 기반 객체 검출을 이용한 발전 설비 터빈 블레이드 이상 탐지 방법을 제안한다. 제안하는 방법은 터빈 블레이드 이상 탐지를 위해 정상적인 블레이드에서 취득한 초음파 신호와 그와 현장에서 사용되는 같은 모델의 블레이드로부터 취득한 초음파 신호를 받아 깊은 신경망 기반 객체 검출 방법을 통해 해석에 필요한 초음파 특징을 검출하고 이 특징의 위상적 오류를 계산한 후, 계산된 오류와 사전에 정의한 임곗값을 비교함으로써 현장에서 사용하는 블레이드의 이상 여부를 결정한다. 실험 결과는 제안하는 방법이 인적 요소의 개입이 필요 없이 안정적인 터빈 블레이드 이상 검출성능을 달성할 수 있는 것을 보여준다.

2. 관련 연구

최근 인공지능과 딥러닝 기반의 이미지 분석 기술의 발달로 이미지 기반 이상 탐지 기법의 성능이 나날이 발전하고 있다. 특히 딥러닝의 강력한 특징 추출기법을 기반으로 다양한 산업 분야에서 영상 분석 기반의 이상 탐지를 기반으로 한 응용 프로그램이 개발중이다. 도로 이면의 결함을 감지하는 방법 [3, 4]과 직물 직조 산업에서 제작된 직물 표면의 결함을 탐지하는 방법 [5, 6] 등이 그 대표적인 예이다.

Mujeeb et al. [3]과 Kang et al. [4] 가 제안하는 방법은 Autoencoder를 기반으로 한다. 이 방법들은 결함이 없는 도로 이면을 촬영한 이미지를 작은 크기의 패치로 분할 한 후, 이 패치들을 활용하여 Autoencoder를 통해 재구성 오류를 최소화하는 방향으로 정상적인 도로 이면에 대한 모델을 도출한다. 이후, 테스트 단계에서 재구성 오류와 사전에 정해놓은 임곗값을 비교하여 이상을 검출한다.

Wu et al. [5]가 제안한 직물 표면의 이상을 탐지하는 방법도 이와 비슷한 절차를 거쳐 주어진 데이터의 이상을 결정한다. 한편, Jun et al.[6]가 제안한 방법에서 학습 모델의 네트워크 구조는 Autoencoder를 사용하였으나, 학습 시 픽셀 단위의 결함을 표시한 이미지를 사용한 지도 학습 방법을 사용하여 직물 표면 결함을 검출하였다.

Autoencoder를 사용한 방법들은 이미지를 작은 패치로 나눈 후, 이 패치를 기반으로 분석을 진행하며 각 패치가 모두 어느 정도 유용한 정보를 가지고 있을 때 사용이 가능한 방법이다. 이러한 방법들은 이상이 발생한 위치에 대한 구체적인 좌표 정보 없이 이상을 감지할 수 있다는 장점이 있다. 하지만, 주어진 데이터 중 일부 극소수의 위치에만 분석이 유의미한 데이터를 포함하고 있는 경우, 모델 학습 단계에서 무의미한 데이터도 구별 없이 받아들이기 때문에 모델의 이상 검출성능이 심각하게 저하된다. 픽셀 단위의 결함을 표기한 데이터를 사용하는 경우에는 위와 같은 문제는 발생하지 않지만, 픽셀 단위의 결함에 대한 표기 작업은 실제로는 굉장히 노동 집약적인 작업이며 데이터를 생성하는데 많은 시간과 노력이 들어간다.

터빈 블레이드로부터 취득된 초음파 신호를 이용하여 터빈 블레이드의 결함을 탐지할 때, 취득된 초음파 신호의 전체 해상도에 비교하여 실제 분석이 요구되는 부분은 지극히 미미하므로 이러한 패치 기반의 이상탐지 방법은 적절한 해법이 될 수 없다. 따라서, 이번 연구에서는 이러한 초음파 신호의 특성을 반영한 터빈 블레이드에 대한 이상 탐지 기법을 제안하고자 한다.

3. 제안 방법

1. 깊은 신경망 기반 유의미한 신호 검출

그림 2는 비파괴검사를 통해 취득된 초음파 신호의 예시이다. 취득된 신호 중 분석이 필요한 부분 (그림 2의 밝게 표시된 부분)은 전체 신호와 비교하여 매우 국소적이라는 것을 볼 수 있다. 이러한 신호의 특성은 실제 취득되는 신호의 해상도에 비해 실제 분석하는 데 필요한 신호의 비율이 지극히 낮다는 것을 의미한다. 이러한 특성을 고려하여 제안하는 방법에서는 깊은 신경망 기반의 객체 검출 방법을 기반으로 특징 검출 모듈을 구성하였다.

그림 2. 객체 검출 모델을 통한 초음파 신호 내 유의미한 신호의 검출 결과의 시각화 예시이다. 붉은색 박스로 표시된 영역은 검출된 초음파 신호의 지역화 결과이다.

Fig. 2. Visualization of meaningful signal detection through object detection model. The areas marked by the red boxes indicates the localization results of the detection results.

특징 검출 방법은 YOLO [7] 모델을 기반으로 구성되었으며, 학습 함수는 다음과 같다:

\(\begin{aligned}\lambda_{\text {coord }} \sum_{i=0}^{s^{2}} \sum_{j=0}^{B} I_{i j}^{o b j}\left[\left(x_{i}-\hat{x}_{i}\right)^{2}+\left(y_{i}-\hat{y}_{i}\right)^{2}\right](1)\end{aligned}\)       (1)

\(\begin{aligned}+\lambda_{\text {coord }} \sum_{i=0}^{s^{2}} \sum_{j=0}^{B} I_{i j}^{o b j}\left[\left(\sqrt[2]{w_{i}}-\sqrt[2]{\hat{w}_{i}}\right)^{2}+\left(\sqrt[2]{h_{i}}-\sqrt[2]{\hat{h}_{i}}\right)^{2}\right]\end{aligned}\)       (2)

\(\begin{aligned}+\sum_{i=0}^{s^{2}} \sum_{j=0}^{B} I_{i j}^{o b j}\left(C_{i}-\hat{C}_{i}\right)^{2}\end{aligned}\)       (3)

\(\begin{aligned}+\lambda_{\text {noobj }} \sum_{i=0}^{s^{2}} \sum_{j=0}^{B} I_{i j}^{o b j}\left(C_{i}-\hat{C}_{i}\right)^{2}\end{aligned}\)       (4)

\(\begin{aligned}+\lambda_{\text {noobj }} \sum_{i=0}^{s^{2}} I_{i j}^{o b j} \sum_{c \in \text { classes }}\left(p_{i}(c)-\hat{p}_{i}(c)\right)^{2}\end{aligned}\)       (5)

학습 함수의 수식별 설명은 다음과 같다. (1) 유의미한 신호가 존재하는 격자 셀(grid cell) i의 예측자 경계 구역(predictor bounding box) j에 대해, x와 y 위치의 손실(loss)을 계산한다. (2) 유의미한 신호가 존재하는 격자 셀 i의 예측자 경계 구역 j에 대해, w 와 h의 손실(loss)을 계산한다. 그 후, 큰 구역(box)에 대해서는 작은 편차를 반영하기 위해 제곱근을 취한 후, 오차의 제곱 합(sum-squared error)을 한다. (3) 객체가 존재하는 격자 셀 i의 예측자 경계 구역 j에 대해, 확신 점수(confidence score)의 손실(loss)을 계산한다. (4) 유의미한 신호가 존재하지 않는 격자셀(grid cell) i의 경계 구역(bounding box) j에 대해, 확신 점수의 손실을 계산한다. (5) 유의미한 신호가 존재하는 격자 셀 i에 대해, 조건부 클래스 확률(conditional class probability)의 손실(loss)을 계산한다. 이때, λ_coord는 좌표 정보 (x, y, w, h)에 대한 손실(loss)과 다른 손실 (loss)들과의 균형을 위한 균형 매개변수이다. 또한, λ_noobj는 obj가 있는 구역과 없는 구역 간에 균형을 위한 균형 매개변수이다.

2. 이상 탐지 알고리즘

제안한 신호 검출 모듈을 통해 습득된 초음파 신호로부터 실제 해석에 필요한 유의미한 부분을 추출하였다. 추출된 데이터는 (x, y) 좌표와 신호의 넓이와 높이 (w, h)로 구성된다. 이런 형태의 유의미한 신호를 해석하여 이상의 여부를 판단하는 절차는 다음과 같다.

기본적으로 검출된 특징의 개수를 기반으로 정상적인 블레이드로부터 검출된 유의미한 정보의 개수와 테스트 대상의 유의미한 정보 개수와 다르다면 이상으로 검출한다. 이는, 기초음파 신호의 밝게 빛나는 부분이 터빈 블레이드의 굴곡 혹은 균열을 의미하여 검사자가 정상 초음파 신호의 밝게 빛나는 부분과 테스트 대상의 밝게 빛나는 부분의 개수를 비교하여 이상을 판단하는 절차를 모방하였다 [8,9]. 이후, 추출된 정보를 기반으로 실제 유의미한 정보 부분(그림 2의 빨간색 구역)을 이미지 패치 수준으로 추출하고, 추출된 이미지의 크기를 일반화한 후 각 구역 간의 오류를 픽셀 단위 평균 제곱 오차 (Mean square error)를 통해 계산한다. 이상 검출은 계산된 오류를 사전에 정의된 오류 임곗값과 비교하여 이상 여부를 결정한다.

3. 제안 방법의 모델 및 계산 복잡도

제안한 신호 검출 모듈의 모델 복잡도는 다음과 같이 계산된다. 제안된 신호 검출 모듈의 계산 복잡도는 O(WHDnmd)로 W, H, 그리고 D는 각 합성 계층(Convolutional layer)의 출력으로 결정되는 특징의 넓이, 높이, 그리고 깊이로 정의되며, n, m, 그리고 d의 경우에는 각 합성 계층의 커널 크기로 커널의 가로, 세로, 그리고 높이를 나타낸다. 이는 신호 검출을 위해 사용된 YOLO 구조의 CNN 복잡도를 기반으로 계산되었다. CNN의 계산 복잡도는 Krizhevsky et al. [10]의 연구를 기반으로 계산되었다. 이상 탐지 알고리즘의 모델 복잡도는 별도의 계산을 위한 매개변수를 기반으로 한 모델을 사용하지 않기 때문에 별도의 모델 복잡도는 없다.

초음파 신호 검출 모듈의 신호 검출 시 (테스트 단계) 대한 계산 복잡도는 O(L(WHD)) 이다. W, H, D의 경우 상기 합성 계층으로부터 추출된 특징의 가로, 세로, 그리고 높이와 같으며 L은 사용된 합성 계층의 개수이다. 이상 탐지 알고리즘의 계산 복잡도는 O(NM) 이며, 여기서 N은 일반 데이터 세트의 개수며 M은 검사하고자 하는 데이터 개수이다. 정의된 계산 복잡도 중 초음파 신호 검출 모듈의 계산 복잡도는 학습 단계에서는 학습 데이터의 개수와 매개변수의 최적화를 위한 오류 역전파(Backpropagation)과정을 포함해야 하므로 테스트 단계의 복잡도와는 다소 차이가 날 수 있다.

4. 실험 및 분석

1. 실험 설정 및 데이터 세트

실험을 위해 깊은 신경망 기반 객체 검출 방법을 학습하기 위해 설정된 매개변수의 설정은 다음과 같다. 모든 초음파 신호 데이터는 256x256 크기로 재설정되었다. 배치 크기는 128로 설정되었으며 모델은 전체 데이터에 대해 50회 반복하여 학습되었다. 초기 학습률은 0.01로 설정되었으며 학습률은 매 10회 반복 당 0.1을 곱함으로써 학습 감쇠 효과를 도입하였다. 최적화 함수로써 확률적 경사 하강법을 사용하였다. 모델의 학습과 평가를 위한 데이터 세트 구성에 있어 학습에 50여 개의 터빈 블레이드로부터 250개의 초음파 신호를 취득하였다. 이 중 30개는 균열이 있는 블레이드로부터 취득된 신호이다. 정상 블레이드로부터 취득된 150개를 학습에 사용하였고, 나머지 데이터인 이상 데이터 30개와 일반 데이터 70개를 이용하여 이상 검출성능을 평가하였다. 이상 검출실험을 진행할 때, 실제 이상을 발생시킨 터빈 블레이드로부터 신호를 탐지하는 것은 무척 어려운 일이기 때문에 정상적인 신호에 대해 이상 신호를 첨가하는 방식으로 이상 검출을 위한 비교 대상 데이터를 생성하였다. 제안하는 방법의 성능 평가를 위해 정확도 (Accuracy)와 수신자 조작 특성(Receiver operating characteristics (ROC)) 그래프의 정량적 지표인 그래프의 밑넓이(Area under curve (AUC))를 사용하여 성능 평가를 진행하였다. 수신자 조작 특성은 적중 확률(True Positive Rate)을 Y축으로, 거짓 양성 확률 (False Positive Rate)을 X축으로 하는 그래프로 변동 가능한 임곗값에 대해 단항 분류기(One-class classifier)가 얼마나 민감하게 반응하는가를 측정하는 평가지표로써, 이상 탐지 연구에 광범위하게 사용되는 평가지표이다. 적중 확률과 거짓 양성 확률을 계산하는 데 필요한 거짓 양성 (False positive), 거짓 음성(False negative) 등은 사전에 표기된 이상 레이블과 비교하여 계산된다. 각 성능 지표에 대한 해석의 경우, 정확도의 경우 100에 가까울수록, ROC 그래프의 경우 그래프의 밑넓이가 1.0에 가까울수록 우수한 방법이라고 해석할 수 있다.

2. 실험 결과 및 분석

터빈 블레이드 이상 검출 방법의 우수도 평가와 관련하여 표준화되어 있거나 공개된 모델을 찾기 힘들다. 제안된 방법은 깊은 신경망 기반의 객체 검출 방법을 사용하고 있다. 이러한 객체 인식 분야의 특성을 반영하여, 이번 실험에서는 다양한 객체 검출 방법을 적용한 이상 검출성능을 평가하였다. 특히, 수동으로 설계된 HoG (Histogram of Gradient)[11]와 Haar[12], 그리고 깊은 신경망 기반의 객체 검출 방법 Proposed YOLO[7], SSD300[13], RCNN[14], Faster- RCNN[15]을 비교하였다.

표 1은 깊은 신경망 기반 객체 검출 방법에 따른 터빈 블레이드 이상 검출의 정량적 성능 평가 결과이다. 실험 결과 제안된 모델을 구축하는 데 사용된 객체 검출 방법인 YOLO를 사용한 방법이 가장 높은 성능을 달성하였다. 제안된 방법의 경우 95.3의 정확도와 0.974의 AUC를 달성하였다. 이 수치는 여러 가지 방법을 이용해 진행된 실험으로부터 얻은 수치 들중 가장 높은 수치이다.

표 1. 깊은 신경망 기반 객체 검출 방법에 따른 터빈 블레이드 이상 검출성능 비교. (짙게 표시된 수치가 최고성능이다.)

Table 1. Comparison of Power Plant Turbine Blade Anomaly Detection using Deep Neural Network-based Object Detection (The bolded figures are the best)

실험 결과는 특징을 추출할 때 사람의 손으로 그 특징 추출을 설정하는 HoG와 Haar의 성능이 깊은 신경망 기반의 객체 검출 방법 기반의 방법들과 비교하여 성능이 낮다는 것을 보여준다. 전체적인 실험 결과는 깊은 신경망 기반의 특징 검출 기반의 방법을 사용하면 제안하는 이상 검출 방법을 통해 고신뢰도의 이상 검출이 가능하다는 것을 보여준다.

5. 결론

이번 논문에서는 깊은 신경망 기반의 객체 검출방법을 이용한 발전 설비 터빈 블레이드의 이상 탐지기법을 제안했다. 제안하는 방법은 정상적인 터빈 블레이드와 이상이 존재하는 블레이드로부터 비파괴검사를 통해 초음파 신호를 취득하고, 취득된 신호로부터 깊은 신경망 기반 객체 검출 방법을 통해 분석에 필요한 유의미한 특징을 검출한 후, 해당 검출 위치 및 검출 결과에 대한 오류를 계산함으로 이루어진다. 이 과정에 있어 사람이 개입하는 부분은 오류를 검출하기 위한 임계 점수를 설정하는 부분으로 제한된다. 실험 결과는 다양한 터빈 블레이드로부터 인적 요소의 개입을 최소화하면서 안정적인 이상 검출성능을 제공할 수 있음을 증명한다.

하지만 제안된 초음파 신호 검출 모델을 학습하기 위해서는 대용량의 초음파 신호의 위치가 표시된 데이터가 필요하다. 이는 딥러닝을 사용한 방법 대부분이 가지고 있는 일반적인 문제이다. 향후 진행될 연구에서는 이러한 데이터의 양적 한계를 극복하기 위한 데이터 증강 방법에 다룰 것이다.