DOI QR코드

DOI QR Code

YOLOv5-based Chimney Detection Using High Resolution Remote Sensing Images

고해상도 원격탐사 영상을 이용한 YOLOv5기반 굴뚝 탐지

  • Yoon, Young-Woong (Department of Geoinformatics, University of Seoul) ;
  • Jung, Hyung-Sup (Department of Geoinformatics, University of Seoul) ;
  • Lee, Won-Jin (Environmental Satellite Center, National Institute of Environmental Research)
  • 윤영웅 (서울시립대학교 공간정보공학과) ;
  • 정형섭 (서울시립대학교 공간정보공학과) ;
  • 이원진 (국립환경과학원 환경위성센터)
  • Received : 2022.12.01
  • Accepted : 2022.12.20
  • Published : 2022.12.31

Abstract

Air pollution is social issue that has long-term and short-term harmful effect on the health of animals, plants, and environments. Chimneys are the primary source of air pollutants that pollute the atmosphere, so their location and type must be detected and monitored. Power plants and industrial complexes where chimneys emit air pollutants, are much less accessible and have a large site, making direct monitoring cost-inefficient and time-inefficient. As a result, research on detecting chimneys using remote sensing data has recently been conducted. In this study, YOLOv5-based chimney detection model was generated using BUAA-FFPP60 open dataset create for power plants in Hebei Province, Tianjin, and Beijing, China. To improve the detection model's performance, data split and data augmentation techniques were used, and a training strategy was developed for optimal model generation. The model's performance was confirmed using various indicators such as precision and recall, and the model's performance was finally evaluated by comparing it to existing studies using the same dataset.

대기오염은 동식물의 건강에 장·단기적으로 해로운 영향을 미치는 사회적 문제이다. 굴뚝은 대기를 오염시키는 대기오염물질의 주배출원으로 그 위치와 종류를 탐지하고 모니터링할 필요가 있다. 대기오염물질을 배출하는 굴뚝이 위치한 발전소 및 산업단지는 접근성이 많이 떨어지고 부지가 넓어 직접 모니터링하기에는 비용적, 시간적으로 비효율적이다. 따라서 최근에는 원격탐사 자료를 이용하여 굴뚝을 탐지하는 연구가 수행되고 있다. 본 연구에서는 중국 베이징, 톈진 허베이 성에 위치한 발전소를 대상으로 구축된 BUAA-FFPP60 오픈 데이터 세트를 활용하여 YOLOv5기반의 굴뚝 탐지 모델을 제작하였다. 탐지 모델의 성능을 향상시키기 위하여 데이터 분할과 데이터 증강기법을 적용하였으며, 최적의 모델 제작을 위한 학습 전략을 세웠다. 학습이 완료된 모델은 precision, recall과 같은 각종 지표를 통해 성능을 확인하였으며, 최종적으로 동일한 데이터 세트를 사용한 기존 연구와의 비교를 통해 모델의 성능을 평가하였다.

Keywords

1. 서론

대기오염은 인간의 경제활동 및 산업활동으로 인하여 인위적으로 배출된 먼지, 중금속, 화학물질들로 인하여 대기가 오염되는 현상을 의미하며, 인간을 포함한 동식물의 건강에 직접적으로 상당히 해로운 영향을 미치고 사회·경제·환경적으로도 심각한 문제로 자리잡았다 (Brunekreef and Holgate, 2002; Kampa and Castanas, 2008; Wan et al., 2016). 이러한 대기오염은 어느 한 지역에만 국한되어 발생하는 것이 아닌 전세계에서 발생하는 범지구적 문제이기 때문에 이를 해결하고자 하는 연구가 다수 진행되고 있으며 저감정책 역시 지속적으로 수립되고 있다(Jacobson, 2009; Sportisse, 2007; Jiang et al., 2013). 이와 같은 노력으로 인해 대기환경이 상당부분 개선되었으나 여전히 대기오염은 인간이 해결해야 하는 중요한 숙제로 남아있다(Zeng et al., 2019).

본 연구의 주요 관심사인 굴뚝은 대기오염물질 배출의 상당 부분을 차지하는 발전 및 산업 부문 사업장의 주요 배출원으로 각종 산업활동의 부산물로 발생한 대기오염물질을 증기의 형태로 굴뚝을 통해 배출시키게 된다(Borhani and Noorpoor, 2020; Han et al., 2020; Rajarathnam et al., 2014). 발전소, 시멘트 공장, 철강 공장등 대부분의 사업장이 굴뚝을 통해 대기오염물질을 배출하기 때문에 굴뚝의 위치 및 작동여부를 알면 사업장의 규모 및 대기오염 기여도를 파악할 수 있고 궁극적으로 대기오염물질 배출을 모니터링 할 수 있다(Lei et al., 2011; Martin et al., 2003; Mele and Magazzino, 2020; Tang et al., 2020; Yao et al., 2017). 이러한 대기오염물질을 배출하는 사업장은 일반적으로 넓은 면적을 가지고 있고 보안, 안전 등의 이유로 접근을 제한하는 경우가 있다. 또한, 국외에 위치한 사업장의 경우 우리나라에 영향을 미치는 것이 명백하더라도 직접 자료를 취득하거나 조사하기에 어려움이 있다. 따라서 본 연구에서는 원격탐사 자료를 사용하여 이러한 문제점을 해소하고자 하였다. 원격탐사 자료는 직접 조사하는 것 보다는 정확도 및 신뢰성이 다소 떨어지지만, 발전 및 산업시설과 같이 접근이 제한될 수 있는 지역의 자료를 취득하기 용이하며 시간과 비용적 측면에서도 효율적이다. 이러한 원격탐사 자료의 장점을 활용하여 지속적인 모니터링을 기대할 수 있다(Chang et al., 2011; Christenson and Serre, 2015).

한편, 최근 딥러닝 기술의 발전은 원격탐사 분야 연구에 많은 변화를 가져오고 있다. 분류, 회귀, 의미론적 분할과 같은 딥러닝 모델을 통해 속도 및 정확도적 측면에서 상당한 개선이 이루어졌으며 관련한 많은 연구가 활발하게 진행되고 있다(Baek and Jung, 2021; Diakogiannis et al., 2020; Jung and Lee, 2019). 본 연구에서 사용한 객체탐지 모델은 영상에 존재하는 객체의 종류 및 위치를 함께 탐지하는 기법으로 꾸준한 발전을 통해 상당한 수준의 속도와 정확도를 확보하고 있다. Zhang and Deng (2019)은 다양한 객체 탐지 모델을 사용하여 굴뚝을 탐지하였으며 모델별로 성능을 비교하였다. 해당 논문은 다양한 구조를 가지고 있는 모델들을 비교하면서 연구환경 및 상황에 따라 굴뚝 탐지에는 어떤 모델을 적용하는 것이 가장 적합한지 제시해주었다. 하지만 사용된 모델의 속도 및 성능적인 부분에서 실시간 모니터링을 위해 사용하기에는 다소 아쉬운 결과를 확인할 수 있었다. 따라서 본 연구에서는 비교적 최근 모델이며 속도 및 정확도적 측면에서 우수한 평가를 받고 있는 YOLOv5 모델을 사용하여 굴뚝을 탐지하고자 하였다. You Only Look Once (YOLO)는 지난 2016년 발표된 one-stage 방식의 객체 탐지 모델로 기존의 모델에 비해 성능은 다소 떨어지지만 매우 빠른 속도의 추론 과정을 보이며 실시간 객체 탐지가 가능하다고 여겨져 상당히 각광받고 있는 모델이다(Redmon et al., 2016). YOLOv5는 이러한 YOLO에서 파생된 5번째 버전 모델을 의미하며 2020년 발표되어 속도 및 정확도 측면에서 최고 수준을 의미하는 State-of-the-Art (SOTA)를 기록한 최신 모델이다(Wu et al., 2021).

본 연구는 고해상도 원격탐사 영상을 사용하여 YOLOv5 기반의 굴뚝 탐지 모델을 구축하고 그 성능을 확인하였다. 굴뚝 탐지 모델을 학습하기 위해 사용한 데이터 세트는 우리나라 대기환경오염에 상당히 영향을 미치는 중국의 발전·산업단지를 대상으로 취득된 1m급 고해상도 원격탐사 영상으로 종류 및 작동여부에 따라 4개의 클래스로 굴뚝을 구분하고 있다. 굴뚝 탐지모델의 성능을 향상시키기 위하여 데이터 분할 및 다양한 데이터 증강 기법이 적용되었으며, 모델의 성능은 precision, recall, mean Average Precision (mAP)와 같은 평가지표와 Precision-recall curve를 생성하여 평가하였다. 생성한 평가지표를 동일한 데이터 세트를 사용한 기존 연구의 결과와의 비교하여 모델의 성능을 최종적으로 평가하였다.

2. 연구 지역 및 자료

1) 연구 지역

중국의 대기오염은 매우 심각한 문제이며 우리나라의 대기환경에도 큰 영향을 미친다(Woo et al., 2018). 다수의 중국 산업지대가 중국 동쪽 해안가에 위치하기 때문에 편서풍의 영향으로 인하여 중국에서 발생한 대기오염 물질이 우리나라까지 전달되어 직접적으로 피해를 입히고 있다. 본 연구의 연구 지역인 수도 베이징 및 인근 톈진, 허베이 성 지역은 전통적으로 중국의 발전소 및 산업시설이 다수 포진되어 있는 지역으로 중국 대기오염물질 배출량 상위권을 차지하고 있다(Huang et al., 2018; Li et al., 2018). 특히 해당 지역은 지난 2015년 중국에서 발표한 징진지(京津冀) 프로젝트로 인하여 수도 및 인근 낙후지역을 개발하면서 대기오염이 더욱 심화 되었으며 수도권 대기오염 개선을 위해 강력한 미세먼지 저감 정책을 수행하였으나, 대기오염물질 배출시설이 도시 외곽지역으로 이동하였을 뿐 오염도는 크게 개선되지 않았다(Lu et al., 2018; Wei et al., 2017). 한편, Kim et al. (2020)의 연구에서 베이징 인근지역에서 발생한 고농도의 미세먼지가 우리나라에 영향을 미쳤다는 사실을 밝혀낸 바 있다. 이와 같이 우리나라에 영향을 미치는 국외 대기오염물질 배출원 모니터링을 위해 베이징, 톈진, 허베이 성에 위치한 발전 및 산업시설의 굴뚝을 탐지하고 작동여부를 판단하였다. Fig. 1을 통해 연구지역 및 대기오염물질 배출원의 모습을 확인할 수 있다.

OGCSBN_2022_v38n6_2_1677_f0001.png 이미지

Fig. 1. Study area of this study: (a) location of Hebei province, Tianjin, Beijing and (b) source of air pollutant emissions.

2) 연구 자료

본 연구에서는 구 지역에 해당하는 베이징, 톈진, 허베이성 지역의 발전소를 대상으로 구축된 BUAAFFPP60 오픈 데이터 세트를 사용하였다(Zhang and Deng, 2019). BUAA-FFPP60 데이터 세트는 중국 Beihang University에서 수집 및 제작한 데이터 세트로 약 123km2 면적에 달하는 베이징, 톈진, 허베이 성 지역의 발전소에 위치한 굴뚝 및 응축탑을 대상으로 하였다. 이 데이터 세트의 특징은 연기 발생여부에 따라 굴뚝의 작동여부를 구분하여 클래스를 나누어 총 4개의 클래스로 구성되었다는 점이다. 해당 데이터 세트는 Google Earth를 통해 1 m급의 해상도로 취득되었으며 500 × 500과 700 × 1250의 두가지 종류의 크기로 제작되었다(Han et al., 2020). 데이터셋의 형식은 PASCAL VOC이며, 318장의 원본 데이터가 반전 혹은 90° 회전을 통해 861장으로 증가되어 훈련데이터로 사용되었고, 변형이 적용되지 않은 31장의 평가데이터로 이루어져 있다. 연구 자료는 Fig. 2를 통해 확인할 수 있다.

OGCSBN_2022_v38n6_2_1677_f0002.png 이미지

Fig. 2. BUAA-FFPP60 dataset.

3. 연구 방법

1) 연구 과정

본 연구는 Fig. 3의 흐름에 따라 수행되었다. 먼저 앞서 설명하였던 BUAA-FFPP60 데이터 세트를 데이터 분할을 통해 독립된 훈련, 검증, 평가 데이터로 분할하고 훈련 데이터에 대해 데이터 증강 기법을 적용하여 데이터의 양을 증가시켜주었다. 이렇게 전처리가 완료된 훈련 데이터 및 검증 데이터와 최적의 학습전략을 통해 YOLOv5기반 굴뚝 탐지 모델을 학습하고, 평가 데이터를 통해 모델의 성능을 평가하였다. 최종적으로 제작된 굴뚝 탐지 모델을 동일한 데이터 세트를 사용한 기존의 연구 결과와 비교함으로써 연구를 마무리하였다.

OGCSBN_2022_v38n6_2_1677_f0003.png 이미지

Fig. 3. The flowchart of data processing.

2) 데이터 분할

본격적으로 굴뚝 탐지 모델을 제작하기에 앞서 모델의 원활한 학습과 강건함을 위하여 데이터 분할을 수행하였다. BUAA-FFPP60 데이터 세트는 훈련 데이터와 평가 데이터로 나누어져 구축되어 있으나, 평가 데이터를 훈련 시 검증 데이터로 사용하게 되면 데이터의 독립성에 영향을 줄 수 있으므로 318장의 원본데이터에 해당하는 데이터 중 검증 데이터를 따로 분할하였다. 따라서 학습 및 가중치 업데이트에 사용되는 훈련데이터, 학습과정에서 모델을 검증하는 검증데이터, 그리고 최종적으로 학습된 모델의 성능을 평가하기 위해서만 사용하는 평가데이터로 데이터셋을 분할하였으며, 각 데이터셋은 서로 중복되지 않도록 하였다. 각 데이터의 용도는 Table 1에서 확인할 수 있다.

Table 1. Usage of data

OGCSBN_2022_v38n6_2_1677_t0001.png 이미지

3) 데이터 증강

데이터 증강은 총 8개의 기법을 통해 수행되었으며 각각 무작위 회전, 무작위 반전, 흐림 효과, 무작위 밝기변화, 무작위 감마 변화, 흑백 변화, Contrast Limited Adaptive Histogram Equalization (CLAHE), 영상 압축이다(Fig. 4). 본 연구에서 사용된 데이터 증강 기법은 데이터의 모양을 바꾸는 기법과 데이터의 값을 변화시키는 두 종류로 나눌 수 있다. 먼저 무작위 회전은 영상을 90°, 180°, 270° 중 하나의 각도를 정하여 시계방향으로 회전시켜 데이터를 증가시키는 방법이고 무작위 반전은 상하 반전, 좌우 반전, 상하좌우 반전 중 하나를 적용하여 데이터를 증가시키는 방법이다. 두 방법은 데이터 본연의 값을 바꾸지 않으면서 데이터의 다양성을 증가시킬 수 있다는 장점이 있으며, 굴뚝의 경우 촬영 방향 및 각도에 따라 다른 방향으로 기울어지게 영상화 될 수 있기 때문에 회전 및 반전을 통해 다양한 모양을 학습함으로써 모델의 일반화 능력을 향상시킬 수 있다.

OGCSBN_2022_v38n6_2_1677_f0004.png 이미지

Fig. 4. Augmented images: (a) random rotation, (b) random flip, (c) blur, (d) random brightness, (e) random gamma, (f) togray, (g) CLAHE, and (h) image compression.

다음으로 흐림 효과는 영상에 흐림 필터링을 적용시켜 영상을 변형시키는 기법으로, 본 연구에서는 중간값 필터링을 통해 영상에 흐림 효과를 적용하였다. 무작위 밝기 변화는 영상의 밝기와 대비를 조정, 무작위 감마 변화는 영상의 감마 값을 조정하여 영상을 변형시키는 기법이다. 흑백 변화는 RGB로 표현된 영상을 흑백 영상으로 변화시키는 기법, CLAHE는 영상을 일정한 블록 단위로 나누어 히스토그램 균일화를 적용하는 기법, 영상 압축은 의도적으로 영상의 해상도를 낮추는 기법이다. 이러한 기법들은 데이터의 값을 조작하여 변형시키는 기법으로 자칫 잘못하면 데이터의 특징과 전혀 맞지 않는 값이 입력될 수 있다는 위험성이 존재한다. 따라서 본 연구에서는 다양한 증강 기법을 테스트하고 적절한 기법을 선택하여 적용하였다.

8종의 데이터 증강 기법 외에 모자이크 기법이 별도로 적용되었다. 모자이크 기법은 4장의 영상을 1장의 영상으로 만드는 기법으로 현재 배치에서 다루고 있는 영상에 무작위로 선별한 3장의 이미지를 합쳐서 정해진 크기의 모자이크 영상을 생성한다. 이렇게 모자이크 영상을 만들면 작은 객체가 많아져서 작은 물체에 약점을 보이는 YOLO 모델의 단점을 해소하는데 도움을 줄 수 있으며, 1장의 영상으로 4장의 영상을 학습하는 효과를 가져 적은 배치 크기로도 학습이 용이하다(Dadboud et al., 2021). 또한, 모자이크 기법을 적용한 후 영상을 정해진 크기대로 잘라서 사용하므로 입력 영상의 크기가 달라도 활용할 수 있다는 장점이 있다. 모자이크 기법이 적용된 학습데이터는 Fig. 5에서 확인할 수 있다.

OGCSBN_2022_v38n6_2_1677_f0005.png 이미지

Fig. 5. Sample images of mosaic augmentation.

4) 모델 구조

본 연구에서는 굴뚝 탐지를 위해 YOLOv5 모델을 사용하였다(Fig. 6). YOLOv5는 특징을 추출하는 Backbone, 특징을 융합하여 성능을 고도화하는 Neck, 고도화된 특징을 bounding box (BB)로 변환하는 Head로 이루어져 있다. 먼저 Backbone은 컨볼루션 연산과 풀링을 통해 영상으로부터 다양한 크기의 특성 맵을 추출하는 부분으로 특성 맵을 추출하는데 기본적으로 사용되는 Convolution layer + Batch Normalization + Sigmoid Linear Unit (CBS) 블록, 특성 맵의 일부에만 컨볼루션 연산을 수행하고 나머지 부분과 통합시키는 Cross Stage Partial Network Bottleneck with 3 Convolutions (C3) 블록, 특성 맵을 다양한 크기의 필터로 풀링 후 다시 합쳐주는 Spatial Pyramid Pooling – Fast (SPPF) 블록으로 이루어져 있다. Neck은 다양한 크기로 생성된 특성 맵을 path aggregation network (PAN)을 사용하여 융합함으로써 낮은 레벨의 특성과 높은 레벨의 특성을 섞어준다. 마지막으로 Head는 컨볼루션 연산을 통해 Neck에서 출력된 특성을 BB 파라미터, class confidence, object confidence로 변환한다(Jang et al., 2021).

OGCSBN_2022_v38n6_2_1677_f0006.png 이미지

Fig. 6. Architecture of YOLOv5.

YOLOv5의 경우 모델의 복잡성 및 크기에 따라 Nano, Small, Medium, Large, Xlarge로 나누어 제공된다. 본 연구에서 사용된 데이터 세트의 크기가 크지 않으며 모니터링을 위해서는 무엇보다 정확성이 가장 중요하다고 판단하였기 때문에 속도는 다소 느리지만 정확성이 가장 높은 YOLOv5x (Xlarge) 모델을 사용하여 굴뚝 탐지 모델을 학습하였다.

5) 성능 평가

평가 데이터를 활용하여 학습이 완료된 모델의 성능을 평가하였다. 본 연구에서는 Table 2와 같이 confusion matrix를 생성하여 딥러닝 모델의 성능을 평가하기 위한 지표인 precision, recall을 계산하였으며, 두 값의 조화 평균인 F1 score를 구하여 성능을 평가하였다. 또한, x축을 recall, y축을 precision으로 하며 threshold를 변화시키면서 두 값을 도시하는 precision-recall curve를 생성하여 그래프 밑 면적 즉, 모델의 average precision (AP)를 계산하여 성능을 확인하였다. 생성된 평가 지표는 동일 데이터 세트를 사용한 타 연구의 결과와 비교하였으며 추가로 제작된 굴뚝 탐지 모델의 범용성을 확인하기 위하여 연구지역 이외의 지역에서 취득한 영상을 추론해보았다.

Table 2. Confusion matrix

OGCSBN_2022_v38n6_2_1677_t0002.png 이미지

4. 연구 결과

1) 모델 학습전략

최적의 모델 학습을 위해서 병렬처리, 미세조정, 반복학습의 학습 전략을 세워 학습을 수행하였다. 먼저 병렬처리는 다중 GPU를 사용하여 학습하는 방법으로 학습속도를 높이고 메모리 사용량의 부담을 낮출 수 있다 (Pal et al., 2019). 다음으로 미세조정은 학습을 위해 사용되는 Learning rate, Momentum, Weight decay 등의 파라미터를 조정하여 모델의 정확도를 더욱 높이는 방법이다(Shankaret al., 2020). 본 연구에서는 최적의 파라미터를 찾기 위한 사전 학습을 먼저 수행하고, 이를 바탕으로 선정된 파라미터를 사용하여 최종학습을 수행하였다. 마지막으로 반복학습은 말그대로 학습을 여러 번 수행하는 것으로 데이터를 증강하는 부분부터 다시 수행함으로써 데이터의 다양성을 증대하고, 더욱 강건한 모델을 제작할 수 있다(He and Schomaker, 2019). 이러한 학습전략을 통해 최종적으로 제작한 모델의 파라미터는 Table 3에서 확인할 수 있다.

Table 3. Hyperparameter values​​​​​​​

OGCSBN_2022_v38n6_2_1677_t0003.png 이미지

2) 모델 추론 결과

학습된 모델에 평가 데이터를 적용하여 추론해본 결과 Fig. 7과 같은 결과를 얻을 수 있었다. 대체로 굴뚝의 위치및종류를잘탐지한모습을볼수있으며confidence 역시 높은 수치를 기록하였다. 하지만 Fig. 7(d)를 살펴보면 굴뚝이 아닌 객체를 굴뚝으로 오탐지하는 경우가 존재하였으며, 이는 작동 중인 굴뚝 옆의 굴뚝과 유사하게 보일 수 있는 밝은 물체로 인하여 bounding box를 결정하는 과정에서 오류가 발생한 것으로 보인다.

OGCSBN_2022_v38n6_2_1677_f0007.png 이미지

Fig. 7. Result images: (a-e) test images and inference result images.​​​​​​​

제작한 모델의 일반화 성능을 확인하기 위해서 연구지역 외의 다른 지역에서 취득한 굴뚝 영상을 탐지해 보았다. 다른 지역의 영상은 사용 데이터와 동일하게 Google Earth에서 취득하였으며, (1) 연구지역 인근이면 서 발전소 및 산업단지가 많이 위치해 있어 대기오염물질 배출이 많이 발생하는 중국 산둥 성의 발전소와 (2) 국내 발전소의 영상을 사용하였다.

산둥 성 발전소의 경우 사용 데이터와 동일한 나라에 위치한 발전소이므로 굴뚝 및 응축탑의 형태가 유사하다는 특징이 있다. 실제로 Fig. 8(a, b)를 보면 굴뚝의 종류 및 작동여부를 잘 탐지하였으며, confidence도 높은 것을 확인할 수 있다.

OGCSBN_2022_v38n6_2_1677_f0008.png 이미지

Fig. 8. Result Images: (a-b) power plants located in Shandong province and (c-d) chimneys located in South Korea​​​​​​​.

한편, 국내 발전소의 경우 굴뚝의 형태가 중국 발전소와 차이가 있고 응축탑이 없다는 특징이 있다. Fig. 8(c, d)를 보면 비록 모든 굴뚝을 탐지하지는 못하였으나 탐지한 굴뚝의 경우 50% 이상의 높은 confidence를 보였다. 이러한 결과를 통해 본 연구에서 제작한 모델이 연구 지역에만 국한된 성능을 보이는 모델이 아닌 어느정도 범용성을 가지고 있다는 것을 확인할 수 있었으며, 이는 추후 더욱 방대하고 다양한 데이터를 사용하여 모델을 제작하였을 때 성능을 높이기에 유리하다.

3) 성능지표

굴뚝 탐지 모델의 성능을 평가하기 위해 모델의 confusion matrix를 생성하였고, 클래스별로 precision, recall을 계산하였다. 좀 더 정확한 모델의 성능을 구하기 위해 precision과 recall의 조화평균인 F1 score를 구하여 모델의 성능을 확인하였고 그 결과 작동하고 있지 않은 응축탑의 F1 score가 0.968로 가장 높았으며, 작동하고 있지 않는 굴뚝이 0.755로 가장 낮았다. 또한, 전체 모델의 F1 score가 0.873으로 상당히 높은 것을 확인할 수 있었다(Table 4). 추가로 precision-recall curve를 통해 모델의 AP를 확인하였을 때도 동일하게 작동하고 있지 않은 응축탑이 0.976으로 가장 높은 값을, 작동하고 있지 않은 굴뚝이 0.739로 가장 낮은 값을 보였다(Fig. 9).

Table 4. Results of performance evaluation​​​​​​​

OGCSBN_2022_v38n6_2_1677_t0004.png 이미지

OGCSBN_2022_v38n6_2_1677_f0009.png 이미지

Fig. 9. Precision-recall curve.​​​​​​​

또한, 동일 데이터 세트를 활용하여 다른 객체탐지 모델을 기반으로 굴뚝을 탐지한 타 연구와의 비교를 수행하였다(Table 5). 비교 결과 본 연구에서 사용한 YOLOv5 기반의 굴뚝 탐지 모델이 굴뚝의 종류, 작동여부와 상관없이 모든 클래스에서 성능이 향상한 것을 확인할 수 있었으며 전체 클래스의 mAP를 비교하였을 때, 기존 최상 결과 대비 0.049만큼 성능이 향상되었다.

Table 5. Comparison of performance​​​​​​​

OGCSBN_2022_v38n6_2_1677_t0005.png 이미지

5. 결론

본 연구에서는 중국 베이징, 톈진, 허베이 성을 대상으로 구축된 굴뚝 데이터 세트를 활용하여 YOLOv5기반의 굴뚝 탐지 모델을 제작하였다. 모델의 성능 향상 및 강건성 증대를 위해 데이터 분할 및 9종의 데이터 증강 기법을 적용하였으며, YOLOv5 모델은 가장 복잡한 구조를 가지는 YOLOv5x 모델을 사용하였다. 또한, 최적의 모델을 제작하기 위한 학습 전략을 세워 학습을 수행하였고 평가 데이터를 활용하여 제작된 모델을 확인하였다. 그 결과 육안으로 보았을 때도 굴뚝을 상당히 잘 찾는 모습을 볼 수 있었으며 성능 지표상으로도 0.873의 높은 분류 정확도를 보였다. 추가로 연구지역 외의 지역에서 취득한 데이터를 제작한 모델을 통해 추론해 본 결과 전혀 다른 지역임에도 불구하고 굴뚝이 잘 탐지되는 것을 확인할 수 있었으며, 이를 통해 모델의 일반화 성능 역시 우수하다는 것을 알 수 있었다. 마지막으로 동일한 데이터 세트를 사용한 기존 연구와의 비교를 통해 모델의 성능을 다시 한번 평가하였고 본 연구에서 사용한 YOLOv5 모델이 가장 우수하다는 결론을 얻을 수 있었다. 이러한 연구결과는 원격탐사 자료를 활용하여 국내외 대기오염 배출원을 모니터링하는 연구에 도움이 될 것으로 기대된다.

사사

이 논문은 국토교통부의 『스마트시티 혁신인재육성사업(’19–’23)』으로 지원되었습니다. 이 연구는 2020년 대한민국 정부의 재원으로 한국연구재단(NRF-2020R1A2C1006593)의 지원을 받아 수행되었으며 이에 감사합니다.

References

  1. Baek, W.K. and H.S. Jung, 2021. Performance comparison of oil spill and ship classification from x-band dual-and single-polarized sar image using support vector machine, random forest, and deep neural network, Remote Sensing, 13(16): 3203. https://doi.org/10.3390/rs13163203
  2. Brunekreef, B. and S. T. Holgate, 2002. Air pollution and health, The Lancet, 360(9341): 1233-1242. https://doi.org/10.1016/S0140-6736(02)11274-8
  3. Borhani, F. and A. Noorpoor, 2020. Measurement of air pollution emissions from chimneys of production units moisture insulation (Isogam) Delijan, Journal of Environmental Science and Technology, 21(12): 57-71. https://doi.org/10.22034/JEST.2020.25934.3488
  4. Chang, A., Y. Eo, S. Kim, Y. Kim, and Y. Kim, 2011. Canopy-cover thematic-map generation for Military Map products using remote sensing data in inaccessible areas, Landscape and Ecological Engineering, 7(2): 263-274. https://doi.org/10.1007/s11355-010-0132-1
  5. Christenson, E. and M. Serre, 2015. Using remote sensing to calculate plant available nitrogen needed by crops on swine factory farm sprayfields in North Carolina, Proc. of SPIE Remote Sensing for Agriculture, Ecosystems, and Hydrology XVII, Toulouse, France, Sep. 21-24, vol. 9637, pp. 22-28. https://doi.org/10.1117/12.2195434
  6. Dadboud, F., V. Patel, V. Mehta, M. Bolic, and I. Mantegh, 2021. Single-Stage UAV Detection and Classification with YOLOV5: Mosaic Data Augmentation and PANet, Proc. of 2021 IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), Nov. 16-19, pp. 1-8. https://doi.org/10.1109/AVSS52988.2021.9663841
  7. Diakogiannis, F.I., F. Waldner, P. Caccetta, and C. Wu, 2020. ResUNet-a: A deep learning framework for semantic segmentation of remotely sensed data, ISPRS Journal of Photogrammetry and Remote Sensing, 162: 94-114. https://doi.org/10.1016/j.isprsjprs.2020.01.013
  8. Han, C., G. Li, Y. Ding, F. Yan, and L. Bai, 2020. Chimney detection based on faster R-CNN and spatial analysis methods in high resolution remote sensing images, Sensors, 20(16): 4353. https://doi.org/10.3390/s20164353
  9. Han, X., K. Choi, S. Bae, and H. Kwon, 2020. Relationship between chimney emissions and air pollutants near coal-fired power plants, ISEE Conference Abstracts, vol. 2020, no. 1. https://doi.org/10.1289/isee.2020.virtual.p-1033
  10. He, S. and L. Schomaker, 2019. DeepOtsu: Document enhancement and binarization using iterative deep learning, Pattern Recognition, 91: 379-390. https://doi.org/10.1016/j.patcog.2019.01.025
  11. Huang, W., H. Wang, and Y. Wei, 2018. Endogenous or exogenous? examining trans-boundary air pollution by using the air quality index (aqi): A case study of 30 provinces and autonomous regions in china, Sustainability, 10(11): 4220. https://doi.org/10.3390/su10114220
  12. Jacobson, M. Z., 2009. Review of solutions to global warming, air pollution, and energy security, Energy & Environmental Science, 2(2): 148-173. https://doi.org/10.1039/B809990C
  13. Jang. S.W., J.M. Baek, and M.S. Kang, 2021. A Combined Approach of Classification and Regression for Oriented Object Detection of Missiles, The Journal of Korean Institute of Electromagnetic Engineering and Science, 32(12): 1099-1107 (in Korean with English abstract). https://doi.org/10.5515/KJKIEES.2021.32.12.1099
  14. Jiang, P., Y. Chen, Y. Geng, W. Dong, B. Xue, B. Xu, and W. Li, 2013. Analysis of the co-benefits of climate change mitigation and air pollution reduction in China, Journal of Cleaner Production, 58: 130-137. https://doi.org/10.1016/j.jclepro.2013.07.042
  15. Jung, H.S. and S. Lee, 2019. Special issue on machine learning techniques applied to geoscience information system and remote sensing, Applied Sciences, 9(12): 2446. https://doi.org/10.3390/app9122446
  16. Kampa, M. and E. Castanas, 2008. Human health effects of air pollution, Environmental Pollution, 151(2): 362-367. https://doi.org/10.1016/j.envpol.2007.06.012
  17. Kim, H. J., Q. Zhang, and Y. Sun, 2020. Measurement report: Characterization of severe spring haze episodes and influences of long-range transport in the Seoul metropolitan area in March 2019, Atmospheric Chemistry and Physics, 20(19): 11527-11550. https://doi.org/10.5194/acp-20-11527-2020
  18. Lei, Y., Q. Zhang, C. Nielsen, and K. He, 2011. An inventory of primary air pollutants and CO2 emissions from cement production in China, 1990-2020, Atmospheric Environment, 45(1): 147-154. https://doi.org/10.1016/j.atmosenv.2010.09.034
  19. Li, Y., Y.H. Chiu, and L.C. Lu, 2018. Energy and AQI performance of 31 cities in China, Energy Policy, 122: 194-202. https://doi.org/10.1016/j.enpol.2018.07.037
  20. Lu, H., A. Yue, H. Chen, and R. Long, 2018. Could smog pollution lead to the migration of local skilled workers? Evidence from the Jing-Jin-Ji region in China, Resources, Conservation and Recycling, 130: 177-187. https://doi.org/10.1016/j.resconrec.2017.11.024
  21. Martin, M.J., D.E. Singh, J.C. Mourino, F.F. Rivera, R. Doallo, and J.D. Bruguera, 2003. High performance air pollution modeling for a power plant environment, Parallel Computing, 29(11-12): 1763-1790. https://doi.org/10.1016/j.parco.2003.05.018
  22. Mele, M. and C. Magazzino, 2020. A machine learning analysis of the relationship among iron and steel industries, air pollution, and economic growth in China, Journal of Cleaner Production, 277: 123293. https://doi.org/10.1016/j.jclepro.2020.123293
  23. Pal, S., E. Ebrahimi, A. Zulfiqar, Y. Fu, V. Zhang, S. Migacz, D. Nellans, and P. Gupta, 2019. Optimizing multi-GPU parallelization strategies for deep learning training, IEEE Micro, 39(5): 91-101. https://doi.org/10.1109/mm.2019.2935967
  24. Rajarathnam, U., V. Athalye, S. Ragavan, S. Maithel, D. Lalchandani, S. Kumar, E. Baum, C. Weyant, and T. Bond, 2014. Assessment of air pollutant emissions from brick kilns, Atmospheric Environment, 98: 549-553. https://doi.org/10.1016/j.atmosenv.2014.08.075
  25. Redmon, J., S. Divvala, R. Girshick, and A. Farhadi, 2016. You only look once: Unified, real-time object detection, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, Jun. 27-30, pp. 779-788. https://doi.org/10.1109/cvpr.2016.91
  26. Shankar, K., Y. Zhang, Y. Liu, L. Wu, and C. H. Chen, 2020. Hyperparameter tuning deep learning for diabetic retinopathy fundus image classification, IEEE Access, 8: 118164-118173. https://doi.org/10.1109/ACCESS.2020.3005152
  27. Sportisse, B., 2007. A review of current issues in air pollution modeling and simulation, Computational Geosciences, 11(2): 159-181. https://doi.org/10.1007/s10596-006-9036-4
  28. Tang, L., X. Xue, J. Qu, Z. Mi, X. Bo, X. Chang, S. Wang, S. Li, W. Cui, and G. Dong, 2020. Air pollution emissions from Chinese power plants based on the continuous emission monitoring systems network, Scientific Data, 7(1): 1-10. https://doi.org/10.1038/s41597-020-00665-1
  29. Wan, D.J., Z.X. Han, J.S. Yang, G.L. Yang, and X.Q. Liu, 2016. Heavy metal pollution in settled dust associated with different urban functional areas in a heavily air-polluted city in North China, International Journal of Environmental Research and Public Health, 13(11): 1119. https://doi.org/10.3390/ijerph13111119
  30. Wei, W., X. Wang, H. Zhu, J. Li, S. Zhou, Z. Zou, and J.S. Li, 2017. Carbon emissions of urban power grid in Jing-Jin-Ji region: Characteristics and influential factors, Journal of Cleaner Production, 168: 428-440. https://doi.org/10.1016/j.jclepro.2017.09.015
  31. Woo, J.H., C. Bu, J. Kim, Y.S. Ghim, and Y. Kim, 2018. Analysis of regional and inter-annual changes of air pollutants emissions in China, Journal of Korean Society for Atmospheric Environment, 34(1): 87-100 (in Korean with English abstract). https://doi.org/10.5572/KOSAE.2018.34.1.087
  32. Wu, W., H. Liu, L. Li, Y. Long, X. Wang, Z. Wang, J. Li, and Y. Chang, 2021. Application of local fully Convolutional Neural Network combined with YOLO v5 algorithm in small target detection of remote sensing image, PLoS One, 16(10): e0259283. https://doi.org/10.1371/journal.pone.0259283
  33. Yao, Y., Z. Jiang, H. Zhang, B. Cai, G. Meng, and D. Zuo, 2017. Chimney and condensing tower detection based on faster R-CNN in high resolution remote sensing images, Proc. of 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Fort Worth, TX, USA, Jul. 23-28, pp. 3329-3332. https://doi.org/10.1109/igarss.2017.8127710
  34. Zeng, Y., Y. Cao, X. Qiao, B.C. Seyler, and Y. Tang, 2019. Air pollution reduction in China: Recent success but great challenge for the future, Science of the Total Environment, 663: 329-337. https://doi.org/10.1016/j.scitotenv.2019.01.262
  35. Zhang, H. and Q. Deng, 2019. Deep learning based fossil-fuel power plant monitoring in high resolution remote sensing images: A comparative study, Remote Sensing, 11(9): 1117. https://doi.org/10.1016/j.scitotenv.2019.01.262