Development of deep learning network based low-quality image enhancement techniques for improving foreign object detection performance

이물 객체 탐지 성능 개선을 위한 딥러닝 네트워크 기반 저품질 영상 개선 기법 개발

Abstract

Along with economic growth and industrial development, there is an increasing demand for various electronic components and device production of semiconductor, SMT component, and electrical battery products. However, these products may contain foreign substances coming from manufacturing process such as iron, aluminum, plastic and so on, which could lead to serious problems or malfunctioning of the product, and fire on the electric vehicle. To solve these problems, it is necessary to determine whether there are foreign materials inside the product, and may tests have been done by means of non-destructive testing methodology such as ultrasound ot X-ray. Nevertheless, there are technical challenges and limitation in acquiring X-ray images and determining the presence of foreign materials. In particular Small-sized or low-density foreign materials may not be visible even when X-ray equipment is used, and noise can also make it difficult to detect foreign objects. Moreover, in order to meet the manufacturing speed requirement, the x-ray acquisition time should be reduced, which can result in the very low signal- to-noise ratio(SNR) lowering the foreign material detection accuracy. Therefore, in this paper, we propose a five-step approach to overcome the limitations of low resolution, which make it challenging to detect foreign substances. Firstly, global contrast of X-ray images are increased through histogram stretching methodology. Second, to strengthen the high frequency signal and local contrast, we applied local contrast enhancement technique. Third, to improve the edge clearness, Unsharp masking is applied to enhance edges, making objects more visible. Forth, the super-resolution method of the Residual Dense Block (RDB) is used for noise reduction and image enhancement. Last, the Yolov5 algorithm is employed to train and detect foreign objects after learning. Using the proposed method in this study, experimental results show an improvement of more than 10% in performance metrics such as precision compared to low-density images.

경제성장과 산업 발전에 따라 반도체 제품부터 SMT 제품, 전기 배터리 제품에 이르기 까지 많은 전자통신 부품들의 제조과정에서 발생하는 철, 알루미늄, 플라스틱 등의 이물질로 인해 제품이 제대로 동작하지 않거나, 전기 배터리의 경우 화재를 발생하는 문제까지 심각한 문제로 이어질 가능성이 있다. 이러한 문제를 해결하기 위해 초음파나 X-ray를 이용한 비파괴 방법으로 제품 내부에 이물질이 있는지 판단하여 문제의 발생을 차단하고 있으나, X-ray 영상을 취득하여 이물질이 있는지 판정하는 데에도 여러 한계점이 존재한다. 특히. 크기가 작거나 밀도가 낮은 이물질들은 X-Ray장비로 촬영을 하여도 보이지 않는 문제점이 있고, 잡음 등으로 인해 이물들이 잘 안 보이는 경우가 있으며, 특히 높은 생산성을 가지기 위해서는 빠른 검사속도가 필요한데, 이 경우 X-ray 촬영시간이 짧아지게 되면 신호 대비 잡음비율(SNR)이 낮아지면서 이물 탐지 성능이 크게 저하되는 문제를 가진다. 따라서, 본 논문에서는 저화질로 인해 이물질을 탐지하기 어려운 한계를 극복하기 위한 5단계 방안을 제안한다. 첫번째로, Global 히스토그램 최적화를 통해 X-Ray영상의 대비를 향상시키고, 두 번째로 고주파 영역 신호의 구분력을 강화하기 위하여 Local contrast기법을 적용하며, 세 번째로 Edge 선명도 향상을 위해 Unsharp masking을 통해 경계선을 강화하여 객체가 잘 구분되도록 한다, 네 번째로, 잡음 제거 및 영상향상을 위해 Resdual Dense Block(RDB)의 초고해상화 방법을 제안하며, 마지막으로 Yolov5 알고리즘을 이용하여 이물질을 학습한 후 탐지한다. 본 연구에서 제안하는 방식을 이용하여 실험한 결과, 저밀도 영상 대비 정밀도 등의 평가기준에서 10%이상의 성능이 향상된다.

1. 서론

경제성장과 산업의 발전에 전자통신 기기들의 수요 및 생산이 증가하고. 이러한 산업 및 사회 환경의 급속한 변화로 공장에서 생산되는 여러 가공식품이나, 전자제품, 배터리 등에 대해 사용하는 사람의 안전과 관계되는 많은 문제가 발생하고 있다. 특히 생산현장에서 발생하는 여러 이물질들과, 제품자체에서의 파손 등에 의해 철, 알루미늄, 플라스틱, 유리 종류 등의 이물질이 들어가는 경우가 많고, 산업 제품에 이러한 이물질이 들어가서, 정상 제품들과 함께 섞여 시장에 출시될 경우, 사고와 화재 등의 심각한 문제로 이어질 가능성이 있다. X-ray 영상을 취득하여 제품의 양불을 판정하는 방법은 비파괴 검사로 인한 장점이 있는데에도 불구하고, 다음과 같은 여러 한계점이 존재한다. 첫 번째는 크기가 작거나 밀도가 낮은 이물질들은 X-Ray장비로 촬영을 하여도 보이지 않는 문제점이 있고, 두 번째는 잡음, 영상 증폭 등으로 인해 일정한 크기의 객체들이 잘 안 보이는 경우가 있다. 작은 크기의 이물질을 탐지하기 위해서는 고해상도의 장비를 사용하면 되지만, 엑스레이 발생기의 가격이 비싸고, 검사 시간이 오래 걸리는 문제점이 있다. 잡음 및 영상 증폭 등으로 이물질 탐지가 되지 않는 문제점을 해결하기 위해서는 그림 1과 같이 저화질 영상보다 촬영시간을 오래하여 잡음을 제거하거나, 영상 전처리 작업을 하면 영상의 품질이 높아져 이물질을 잘 탐지할 수 있게 된다. 따라서, 본 논문에서는 저화질로 인해 이물질을 탐지하기 어려운 한계를 극복하기 위한 방안으로 딥러닝을 이용하여, 짧은 시간동안 촬영을 하여도 고화질 수준의 영상을 만들어 작은 크기의 이물질도 탐지 할 수 있는 5단계 방안을 다음과 같이 제안한다. 첫번째로, Histogram stretching을 통한 입력 영상의 Dynamic range를 확장함으로써 X-Ray영상의 Global contrast를 향상시키고, 두 번째로, 영상 증폭 등의 경우에도 영상의 품질을 균일하게 유지해주는 Local contrast enhancement방식을 이용하여 영상을 평활화를 하며, 세 번째로 edge sharpening을 통해 경계선을 강화하여 객체가 잘 보일 수 있도록 한다, 네번째로, 영상의 잡음 제거 및 품질을 향상시키기 위해 딥러닝 알고리즘을 이용하여 초해상화 영상을 얻는 방법을 설명하고, 마지막으로 초해상화 영상의 이물질을 레이블링을 한 후 object detection & classification 알고리즘을 이용하여 이물질을 학습한 후 이물질을 탐지하는 방식을 설명한다.

(그림 1) 1초간 촬영한 저화질 영상(좌)과 10초간 촬영한 고화질 영상(우)

(Fig. 1) Low-quality image captured for 1 sec.(left) and high-quality image captured for 10 sec.(right)

본 논문은 다음과 같이 구성한다. 2장에서는 본 제안 방법과 관련된 기존 연구 및 문제점에 대해서 설명한다. 3장에서는 영상 전처리 과정 및 딥러닝 기반 초해상도 영상을 얻는 방법에 대해서 설명하고, 4장에서는 object detection & classification을 이용하여 이물질을 탐지하는 알고리즘에 대해서 설명하며, 5장에서는 제안하는 알고리즘의 실험 결과와 성능을 설명한다. 마지막으로, 6장에서는 결론 및 향후 연구과제에 대해서 제시한다.

2. 관련 연구

X-Ray 영상의 화질을 개선하여 이물이 더 잘 보이도록 하는 전처리 기법은 오랜 기간 동안 연구가 되어왔다. 잡음 제거, 대비향상, local contrast enhancement, 이진화, connected component, 모폴로지의 영상 처리 방법을 이용하여 영상을 향상 시키고, 특징을 추출한 후 이물질을 탐지하는 방법을 제안하였다[1]. 이미지 처리 방법을 기반으로 특징을 추출하고 랜덤 포레스트를 사용하여 결함 정보를 학습하는 비참조적 결함 감지 방법을 제안하였다[2]. 반도체 제조 산업에서 적용된 다양한 영상 시각 검사 알고리즘과 시스템에 대해 제안했고, 다양한 검사 제품의 다중 결함 유형을 검토하여 추가 구현 및 개선을 위한 참고 자료로 사용이 될 수 있고, CX-R 이미지의 저품질을 향상시키기 위한 효과적인 이미지 개선 절차를 제안하였다[3]. 또한 Neural network 기반의 딥러닝 모델을 통해 흉부 X-ray 영상을 향상시켜 COVID-19 진단의 딥러닝 모델 성능개선이 연구되었다[4][5]. 흉부 X-ray 이미지의 품질을 향상시키기 위해 노이즈 감소, 대비 향상 및 형태학적 연산과 같은 여러 전처리 기술을 사용해서, COVID-19를 분류하고 조기에 감지하는 방법을 제안했습니다[6]. 딥러닝 기반 접근법은 데이터셋의 불균형 및 그래디언트 소실 문제 등의 문제점을 가지고 있는데, 패러미터 값을 업데이트 하기 위해 특징 연합에 기반한 스킵 연결 네트워크 방법을 제안하였고, 전처리 방법으로 Edge 향상 등 기본적인 영상 처리 방법을 제안하였다[7]. 디지털 흉부 X-ray 이미지에서 혈과 포트 외의 3가지 범주를 탐지하기 위해Deep Convolution Neural Network (CNN) 신경망을 사용하였고, 탐지된 영역에 대해 영상 크기 조정, 정규화, 크롭핑(Cropping)과 같은 영상 전처리 후 Yolo v8알고리즘을 이용하여 학습 후 이물을 탐지하는 방법에 대해서 제안하였다[8]. 흉부 X-ray영상에 대해 PatchCore를 기반으로 이상 탐지 기법을 제안한다[9]. 영상의 패치마다 특징을 추출한 후 클러스터의 중심을 선정한 후 테스트 영상이 입력되면 클러스터 중심과의 이웃을 검색하고 평균 거리를 계산하여 비정상을 판단한다.

이미지 초고해상화 (Super-resolution)는 낮은 해상도 이미지의 손실된 정보를 찾아 원래의 고해상도 이미지로 복원하려는 이미지 복원 작업 중 하나로, 의학 영상, 위성 영상, HDTV, 얼굴 인식, 감시 등과 같이 다양한 분야에서 폭넓게 적용 가능하여 인기 있는 연구 분야 중 하나이지만, 초고해상화는 한 저해상도 이미지에 대해 여러 가지 가능한 고해상도 이미지가 있을 수 있는 문제가 존재하고, 또한 학습을 위한 Pair 데이터 셋이 많이 확보되지 못하면 제한적인 성능을 가져오게 하는 한계가 존재한다. 최근 몇 년 동안 컨볼루션 신경망은 초해상화를 포함한 컴퓨터 비전 작업에서 상당한 성능 향상을 제공했으며, 이 분야의 선구적인 작업 중 하나로 Dong 등이 Super Resolution Convolution Neural Network(SRCNN)을 제안했으며, 이는 보간된 저해상도 이미지에서 고해상도 영상으로의 매핑을 학습한다. 3 Layer CNN 네트워크로 고전적인 SR 방법보다 성능이 높은 것을 입증하였으며[10], 많은 컴퓨터 비전 작업에서 딥 뉴럴 네트워크와 Residual 학습을 사용하여 상당한 성능 향상을 이루어 왔다[11]. Residual 학습은 깊은 네트워크의 훈련 저하 문제를 해결하며, 짧은 연결과 요소별 덧셈을 사용하여 네트워크 성능을 향상시키고 최적화 난이도를 낮추는 장점을 가진다[12]. 이러한 간단함과 효과성으로 인해 잔여 학습은 더 깊고 정확한 네트워크를 구축하는 데 널리 사용되어, 다양한 딥 SR 모델이 제안되었다. 경량화 된 Single Image Super Resolution(SISR)에 대한 Dynamic Residual Self Attention Network(DRSAN)를 제안하면서 블록 사이의 잔여 연결을 자동으로 설계하는 데 중점을 두고 있으며 제안된 DRSAN은 입력 통계에 따라 구조를 적응적으로 변경하는 동적 잔여 연결을 기반으로하며, 구체적으로 동적 잔여 어텐션을 명시적으로 모델링하는 동적 잔여 모듈을 제안하며 잔여 경로와 입력 이미지 통계 간의 상호 관계를 찾아 각 잔여 경로에 적절한 가중치를 할당한다[13]. 이러한 딥러닝 네트워크를 사용하여, 음식물에 포함된 이물질의 실시간 이상 탐지를 위한 새로운 방법을 제안되었다[14]. 특히 합성곱 레이어에서 계층적인 특징을 완전히 활용하여 Residual Dense Block(RDB)을 제안하여 밀집하에 연결된 합성 계층을 통해 풍부한 지역 특징을 추출하여, RDB 내에서의 지역 특징 퓨전은 이전 및 현재 지역 특징에서 더 효과적인 특징을 적응적으로 학습한다[15]. 각 레이어는 모든 이전 레이어의 특성 맵을 입력으로 사용하고, 자신의 특성 맵을 모든 이후 레이어의 입력으로 사용하며, DenseNet은 여러 가지 매력적인 이점을 가진다. 특히 기울기 소실 문제를 완화시키는 장점뿐 아니라, 특성 전파를 강화시키는 것과 함께 특성 재사용을 촉진하며, 매개 변수의 수를 상당히 줄이는 장점을 가진다[16]. 네트워크의 밀집한 스킵 연결은 매우 깊은 네트워크의 기울기 소실 문제를 완화하기 위해 출력에서 이전 층으로 직접 빌드되는 짧은 경로를 가능하게 한다[17]. 하지만 이러한 딥러닝 연구들은 영상 향상에 중점을 두어 영상 품질은 높아지지만, 크기가 작은 객체들은 사라지는 문제가 존재한다.

3. 딥러닝을 이용한 초고해상화

본 절에서는 영상 품질 향상을 위해 영상 스트레칭, Local contrast enhancement 알고리즘, edge sharpening알고리즘의 3단계 영상 전처리 방식을 설명하고, 딥러닝을 이용한 초 해상화 방식에 대해서 설명한다.

3.1 영상 전처리

본 논문에서는 영상 전처리과정으로 화질 개선을 하기 위해 그림 2와 같이 3단계로 나누었다. 첫째, 이미지 스트레칭을 통해 영상의 대비를 향상시킨다. 둘째, Local contrast enhancement방법을 이용하여 미리 정의된 값에서 히스토그램을 잘라내고 재분배하는 알고리즘으로 대비를 향상시키고 증폭을 제거하여 화질을 균등하게 한다. 마지막으로, edge sharpening을 사용하여 에지를 강화한다. 그림 3은 이와 같이 3단계 전처리로 처리한 영상의 예를 보여준다.

(그림 2) 이물 탐지를 위한 영상 전처리 과정

(Fig. 2) Image preprocessing for foreign object detection

(그림 3) 영상 전처리 과정

(Fig. 3) Image preprocessing process

3.2 Super Resolution을 이용한 영상 복원

Sharpening한 영상에 대해 Super resolution알고리즘을 이용하여 잡음을 제거하고 많은 시간 촬영을 한 고해상도 영상과 유사한 결과를 얻을 수 있다. 단일 이미지 초고해상도 (SR)는 단일 저해상도 이미지에서 고해상도 이미지를 복원하는 것을 목표로 하는 컴퓨터 비전의 오래된 문제이다. 저해상도 영상에 대해 고해상도 영상으로 만드는 데에는 다양한 해법이 존재한다. 최근 딥러닝(Deep learning) 기반의 초해상화 알고리즘은 가장 일반화된 합성곱 신경망 구조의 알고리즘이 개발되고 있다. 깊이가 깊어질수록 성능은 더 좋아지지만 계산 과정이 늘어나기 때문에 training data를 통해 학습을 진행할 때 어려움이 발생한다. 본 연구에서는 Residual Dense Block(RDB)을 이용하여 저해상도를 고해상도로 복원하는 방법을 사용한다[11]. 이 방법은 그림 4와 같이 여러개의 RDB block에서 local dense feature를 뽑아낸 후에 global feature fusion(GFF)를 통해 global하게 hierarchical feature들을 보존시킨다. 따라서, 많은 layer를 가진 신경망 구조에서 상대적으로 쉽게 학습시킬 수 있으며, 결과적으로 좋은 성능을 가져올 수 있다.

(그림 4) RDB 네트워크 구조

(Fig. 4) RDB network structure

저해상도 영상으로부터 초해상도 영상을 얻은 후 고해상도와의 유사성을 판단하기 위한 기준으로 Structural Similarity Index Measure(SSIM)를 사용한다. SSIM은 영상의 유사도를 휘도(luminance), 대비(contrast), 구조(structure) 3가지 요소를 이용하여 비교하는 방법으로 두 영상 초해상도 영상 A와 고해상도 영상 B에 대해, 픽셀 단위 SSIM에 대한 공식은 다음과 같이 주어지고, α, β, γ는 3가지 요소의 상대적인 중요도를 나타낸다[19].

SSIM = l(x, y)^α ∙ c(x, y)^β ∙ s(x, y)^γ

휘도는 빛의 밝기를 나타내는 양으로 X-ray 영상에서는 물질의 밀도에 따라 다른 픽셀값을 나타내고, Normalized 된 픽셀값을 그대로 사용한다,

\(\begin{align}\begin{aligned} l(x, y) & =\frac{\mu_{A}+\mu_{B}+C_{1}}{\mu_{A}^{2}+\mu_{B}^{2}+C_{1}} \\ , \mu_{A} & =\frac{1}{N} \sum_{i=1}^{N} x_{i}, \mu_{B}=\frac{1}{N} \sum_{i=1}^{N} y_{i}\end{aligned}\end{align}\)       (1)

대비는 식(2)와 같으며 두 이미지의 contrast 성분이 같을 수록 1에 가깝고 다를수록 0에 가까워진다

\(\begin{align}\begin{array}{l}c(x, y)^{\beta}=\frac{2 \sigma_{A} \sigma_{B}+C_{2}}{\sigma_{A}^{2}+\sigma_{B}^{2}+C_{2}} \\ , \sigma_{A}=\left(\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{A}\right)\right)^{1 / 2} \\ , \sigma_{B}=\left(\frac{1}{N-1} \sum_{i=1}^{N}\left(y_{i}-\mu_{B}\right)\right)^{1 / 2}\end{array}\end{align}\)       (2)

구조는 픽셀값의 구조적인 차이점을 나타내며 edge를 나타내고, C₃는 상수이다.

\(\begin{align}\begin{array}{l}s(x, y)=\frac{\sigma_{A B}+C_{3}}{\sigma_{A} \sigma_{B}+C_{3}} \\ , \sigma_{A B}=\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{A}\right)\left(y_{i}-\mu_{B}\right)\end{array}\end{align}\)       (3)

그림 5는 서로 다른 2개의 저해상도, 초해상도, 고해상도 영상을 나타낸다. 그 때의 SSIM값을 구한 값이 표1에 나타나 있다. 표 1의 초해상화 영상이 고해상도 영상과의 SSIM값이 1.0에 근접한 0.939, 0.952로 초해상도 영상이 좋음을 알 수 있다.

(그림 5) 초해상화 후 영상 비교

(Fig. 5) The image comparison after super-resolution

(표 1) 그림 5의 SSIM 값 비교

(Table 1) Comparison of SSIM values in Fig. 5

4. 이물 탐지 알고리즘

4.1 이물 탐지 알고리즘

본 연구에서는 객체 이물 탐지 알고리즘으로 Yolo (You Only Look Once)를 기반으로 한 객체 검출에 대해서 설명한다. Yolo모델은 이미지에서 객체를 검출하고 다양한 클래스로 분류하는 실시간 객체 검출 알고리즘이다. Yolo v5는 그림 6과 같이 단일단계 검출방식으로 Backbone, Neck, Dense Prediction의 세가지 구성요소로 이루어져 있다. CSPDarknet53을 백본 네트워크로 사용하며, 특징 피라미드 네트워크를 도입하여 여러 스케일에서 특징을 추출한다. 이를 통해 다양한 크기의 객체를 검출하고, 특히 작은 객체의 성능을 향상시킨다. 또한, Path Aggregation Network (PANet)를 통합하여 다른 특성 레벨 간에 정보 흐름을 개선한다. 또한, CSP (Cross Stage Partial connections) 기반의 backbone 연결과 SPP (Spatial Pyramid Pooling) 등의 새로운 네트워크 구조를 도입하여 성능을 향상시킨다[18].

(그림 6) Yolo 네트워크 구조[18]

(Fig. 6) Yolo network structure[18]

4.2 이물 탐지 성능 평가

본 연구에서는 객체 이물 탐지 성능을 평가하기 위해 TP (True Positive), TN (True Negative), FN (False Negative), FP (False Positive), 정밀도 (Precision), 재현율 (Recall), 정확도 (Accuracy), F1-score, mAP(mean Average Precision)를 사용한다. TP는 이물을 올바르게 탐지된 개수를 나타내며, TN은 올바르게 이물이 아니라고 판단한 수를 나타낸다. FN은 이물인데 이물이 아니라고 판단한 수를 나타내며, FP는 이물이 아닌데 이물이라고 판단한 수를 의미한다. 정밀도는 이물이라고 판단한 총 수(TP+FP)로 정상적으로 이물을 탐지(TP)한 개수를 나눈 값이다. 재현율은 실제 이물 개수(TP+FN)로 정상적으로 이물을 탐지(TP)한 개수를 나눈 값이다. 정확도는 (TP+TN)/(TP+TN+FP+FN)으로 정의되며, F1-score는 2*(정밀도*재현율) / (정밀도 + 재현율)로 정의된다. mAP는 PR곡선의 정량화 어려움을 보완해서 성능을 하나의 값으로 표현하는 평가 기준이다. 클래스 하나에 대한 평가 기준은 AP(Average Precision)이고, 여러 개 클래스에 대한 평가 기준은 각각 AP의 평균을 구하고 mAP라고 한다. 본 연구에서는 이물 클래스를 5개로 구분하여 학습하였다.

5. 실험

실험을 위한 장비는 Windows 10 Pro의 OS에서 11세대 Intel(R) Core(TM) i7-11700F CPU와 NVIDIA Geforce 3080Ti GPU장비를 사용하였다. 딥러닝 수행 소프트웨어 환경으로는 CUDA v11.2, cuDNN v8.1.1을 설치하였고, 파이썬 버전은 v3.8.10을 설치하였다.

이물 탐지 실험은 10,000개의 저해상도 영상과 10,000개의 고해상도 영상을 사용하였다. 첫번째는 저 해상도 영상을 가지고 초해상화 학습을 한 후, 초해상화 테스트로 나온 영상을 가지고, 이물 탐지 실험을 한다. 두 번째는 초해상화에 사용된 저해상도 영상으로 이물 탐지 실험을 한 후 성능을 비교 판단한다.

첫 번째로, 초해상화 학습과 테스트에 사용한 영상 비율은 70%, 30%으로 하였고 자동으로 분리가 되게 프로그램을 하였다. 따라서, 학습에 사용된 영상은 7,000개이고, 테스트에 사용된 영상은 3,000개이다. 학습에 사용된 7,000개의 영상은 1초 촬영한 저해상도 영상과 10초간 촬영한 고해상도 영상으로 구성되고, 3,000개의 테스트 영상은 1초 촬영한 저해상도 영상을 가지고 초해상화를 수행하였고, 3,000개의 초해상화 영상과 10초가 촬영한 고해상도 영상과의 SSIM값을 계산하였다.

이물 탐지를 위해 사용된 영상은 초해상화 테스트를 위해 사용한 3,000개 영상으로, 동일하게 학습 및 테스트용으로 사용하기 위해 70%, 30%으로 나누었다. 그림 7과 같이 학습을 위해 레이블링 도구로 1차 레이블링을 한 후 다시 Yolo포맷의 텍스트 파일로 변환하였다.

(그림 7) 레이블링 이미지

(Fig. 7) The labelled image

학습을 하기 위한 이물 클래스는 유리(glass), 금속(metal), 돌(stone), 플라스틱(plastics), 뼈(bone)로 구분하여 각각 ‘glass’, ‘metal’, ‘plastics’, ‘bone’로 정의 하고, 학습을 하기 위한 epoch은 500개로 설정하였고 batch size크기는 5로 설정하였고, 2회씩 수행하였다. 학습은 이미지 파일의 크기를 3가지로 변경하여 실험하였다. 첫 번째는 416크기로, 두 번째는 960크기로, 세 번째는 1024크기로 변경하면서 학습을 하였다. 첫 번째 실험으로, 저해상도 3,000개의 영상을 전처리한 후 초해상화 영상을 얻었다. 고해상도 영상과의 SSIM을 얻은 결과는 평균 0.952로 상대적으로 높은 값을 얻었다. 그 다음으로 3,000개의 초해상화 영상을 이용하여 이물 탐지 학습을 수행하였다. 영상 전처리 및 초해상화 영상에 대해서 영상크기를 416으로 500번의 epoch을 2회 학습해서 수행 결과는 Precision=0.945, Recall=0.641, F1-Score=0.766, mAP=0.721를 얻었고, 영상크기가 960으로 500번의 epoch을 2회 학습해서 수행한 결과 Precision=0.995, Recall=0.983, F1-Score=0.989, mAP=0.993를 얻었으며, 마지막으로 영상 크기가 1280으로 500번의 epoch을 2회 학습해서 수행한 결과 Precision=0.995, Recall=0.978, F1-Score=0.986, mAP=0.99를 얻었다. 이와 같이 세 번의 초해상화 영상에 대한 이물 탐지 결과에 대한 성능은 표2와 같다. 영상크기별로 학습한 결과의 PR곡선은 그림 8과 같고, 이물질을 탐지한 결과는 그림 9와 같다. 영상크기가 960일때와 1280일때에 정확도, 재현률 등이 비슷하게 나왔지만, 그림 9에서도 나타나듯이 작은 이물을 탐지한 결과는 1280 영상에서 높게 나왔다.

(그림 8) 초고해상화 영상의 PR곡선

(Fig. 8) PR curves for SR images

(표 2) 초고해상화 영상에 대해 학습 결과

(Table 2) Training results for different size images

(그림 9) 초해상화 영상에 대해 이물 탐지 결과

(Fig. 9) Dtection results for SR images

두 번째 실험으로, 첫 번째 실험에서 사용한 3,000개의 저해상도 영상에 대해서 이물 탐지 실험을 하였다. 영상크기를 416으로 500번의 epoch을 2회 학습해서 Precision=0.945, Recall=0.631, F1-Score=0.757, mAP=0.919를 얻었고, 두 번째로는 영상크기가 960으로 500번의 epoch을 2회 학습해서 수행 결과 Precision= 0.975, Recall=0.964, F1-Score=0.969, mAP=0.972를 얻었으며, 세번째로는 영상크기가 1280으로 500번의 epoch을 2회 학습 수행 결과 Precision=0.973, Recall=0.963, F1-Score=0.968, mAP=0.71를 얻었다.

이와 같이 세 번의 저해상도에 대한 이물 탐지 결과에 대한 성능은 표 3과 같다. 표 2, 3에서도 알 수 있듯이, 초해상화 영상으로 이물을 탐지했을 때와 저해상도 영상으로 이물을 탐지했을 때의 학습 성능 결과를 보면 416영상으로 학습했을 때는 비슷하지만, 960 이상의 영상에 대해서는 Precision은 12%이상, Recall은 11%이상, F1-score 11%이상, mAP 11%이상 높은 성능을 얻었다.

(표 3) 저해상도 영상에 대해 크기별로 학습 결과

(Table 3) Training results for different sizes of low-resolution images

6. 결론 및 향후 연구

본 논문에서는 영상 품질을 향상시키고 작은 이물도 탐지 할 수 있는 5단계 방안을 제안하였다. 첫번째로, 밝기 영역의 Dynamic range를 확장하기 위해 Global 히스토그램 최적화를 통해 X-Ray영상의 대비를 향상시키고, 두 번째로 고주파 영역의 신호의 구분력을 강화하기 위하여 Local contrast 향상 기법을 이용하여 영역별 영상을 평활화를 수행하고, 세 번째로 Edge 선명도 향상을 위해 Unsharp masking을 통해 경계선을 강화하여 객체가 잘 보일 수 있도록 한다, 네 번째로, 잡음 제거 및 영상향상을 위해 Resdual Dense Block(RDB)의 초해상화 방법을 사용하였으며, Yolo v5 알고리즘을 이용하여 이물질을 학습한 후 이물질을 탐지하는 방식을 설명하였다.

영상 전처리 및 딥러닝을 이용한 초해상화로 기존 10초 동안 촬영한 영상과의 SSIM값이 평균 0.952로 나타났고, 초해상화 영상을 가지고 416, 960, 1024 의 영상 크기로 이물질을 학습한 결과는 416크기로 설정한 것보다, 960, 1024 크기로 설정한 결과가 Precision, Recall, F1-score의 평가 기준에서 상대적으로 높게 나왔다. 그렇지만, 작은 이물 탐지 실험에서는 1024 크기로 학습한 경우가 960 크기로 학습한 경우보다 작은 이물을 잘 탐지하는 것으로 나타났다.

X-ray검사는 식품, 반도체, 배터리 등의 다양한 분야에서 사용되고 있다. 크기가 작은 이물 뿐만 아니라 모양 및 두께 등 다양한 형태의 이물도 존재하고, 이물의 성분에 따라서 밀도 또한 다양하게 나타나고 있다. 본 연구에서는 스택형 배터리로 한정하여 이미 만들어져 있는 이물 시편을 임의로 붙여 촬영한 후 검사해 보았지만, 다양한 형태의 실제 이물을 학습한 후 성능을 향상시키는 연구가 필요하다.