인공지능(AI)을 활용한 미세패턴 불량도 자동화 검사 시스템

Automated Inspection System for Micro-pattern Defection Using Artificial Intelligence

Abstract

Recently Artificial Intelligence(AI) has been developed and used in various fields. Especially AI recognition technology can perceive and distinguish images so it should plays a significant role in quality inspection process. For stability of autonomous driving technology, semiconductors inside automobiles must be protected from external electromagnetic wave(EM wave). As a shield film, a thin polymeric material with hole shaped micro-patterns created by a laser processing could be used for the protection. The shielding efficiency of the film can be increased by the hole structure with appropriate pitch and size. However, since the sensitivity of micro-machining for some parameters, the shape of every single hole can not be same, even it is possible to make defective patterns during process. And it is absolutely time consuming way to inspect all patterns by just using optical microscope. In this paper, we introduce a AI inspection system which is based on web site AI tool. And we evaluate the usefulness of AI model by calculate Area Under ROC curve(Receiver Operating Characteristics). The AI system can classify the micro-patterns into normal or abnormal ones displaying the text of the result on real-time images and save them as image files respectively. Furthermore, pressing the running button, the Hardware of robot arm with two Arduino motors move the film on the optical microscopy stage in order for raster scanning. So this AI system can inspect the entire micro-patterns of a film automatically. If our system could collect much more identified data, it is believed that this system should be a more precise and accurate process for the efficiency of the AI inspection. Also this one could be applied to image-based inspection process of other products.

1. 서론

인공지능(Artificial Intelligence)의 사물 인식 기술은 형상과 크기 등을 인지하고 판별하는 기술이며 자율주행 기능 및 이미지 검사에 핵심적인 역할을 한다[1][2][3]. 특히 이미지 기반의 인공지능 검사 모델은 가공 후 제품의 품질 관리 공정에 효과적으로 사용되는 사례들이 소개되고 있다[4][5][6]. 이러한 AI 비전 검사는 빠르고 효율적인 부분 때문에 최근 관심을 받고 있다.

자율주행 자동차 간에는 전자파들이 간섭현상을 일으킬 수 있다(Fig. 1). 본 연구실에서는 차량의 안정성 확보를 위해 외부 전자파(Electromagnetic) 를 차단하는 차량용 반도체 전자파 차폐 필름(EM Interference Shielding Film)을 제작하고 있다(Fig. 2). 외부 전자파를 효과적으로 차단하기 위해 고분자 소재 필름에[7][8] 구조적인 특성(미세 구멍 크기 및 패턴 간격 등)을 추가하여 차폐 효과를 향상시킬 수 있다[10]. 폴리이미드(Polyimide) 필름에 레이저 가공을 통해 미세 구멍 패터닝을 새기고 제작된 차폐 필름은 광학현미경을 통해 검사 과정을 거쳐 만들고 있다.

Fig. 1 The Emission of EM waves from autonomous vehicles

Fig. 2 An EM wave shielding film and a micro hole

그러나 가공된 차폐막 필름의 품질 검사 과정에서 광학현미경으로 관찰하는 방식은 수백개의 패턴에 대해 반경 측정 및 형상 검토를 수작업을 통해 거치기 때문에 많은 시간이 소요되며 매우 비효율적이다[6]. UV(Ultra Violet) 파장대의 레이저로 순간적인 첨두출력을 이용한 폴리머 박막의 미세 패터닝 가공은 μm단위의 정밀 가공이다. 따라서 공정 조건(온도, 습도, 시간 등)에 민감하여 열 영향부에서 형성되는 미세 구멍이 전부 일정한 형상을 갖추기 힘들며 패턴이 새겨지지 않는 불량 부분도 존재할 수 있다[11][12][13].

본 실험에서는 인공지능의 사물 인식 기술을 전자파 차폐 필름 불량품 판별 과정에 적용하여 검사 과정의 효율성 증대를 목표로 한다. 특히 웹 기반으로 인공지능 모델 생성 과정을 거치기 때문에 프로그래밍에 익숙하지 않은 사람도 쉽게 학습 모델을 만들고 적용시킬 수 있는 방법으로 구상하였다. 또한 해당 인공지능 프로그램은 모니터상의 가상 카메라를 통해 모니터링이 되게 하였다. 이는 이미지 데이터만 확보되면 다른 검사 장비에서도 손쉽게 적용할 수 있는 시스템으로 제작하기 위함이다.

우선 미세 홀 패턴의 양품과 불량품 이미지 데이터를 200여장 확보하고 양품과 불량품으로 분류한다. 이후 웹 기반 인공지능 툴 Teachable Machine을 통해 학습 파라미터(학습횟수, 배치크기, 학습률)를 조절한 딥러닝 학습 모델을 만들고 해당 모델에 대해 수신자 조작 특성 곡선(ROC curve, Reciever Operating Characteristics)을 통해 그 유용성을 평가한다.

다음으로 Tensorflow 라이브러리를 사용하여 Python 명령어 코드를 작성한다. 광학현미경의 모니터 화면을 인식할 수 있도록 Open CV함수를 이용한다.

이와 더불어 현미경을 이용하는 방식은 미세 공정 부분을 한 부분씩만 검사할 수 있다. 따라서 차폐 필름의 모든 패턴을 자동으로 검사할 수 있도록 3D 프린터로 Gear모형 부품을 제작하고 모터를 연결하여 현미경 재물대 이동의 자동화 시스템을 제작한다. 이를 재물대 이동나사에 조립한 후 Arduino Serial 통신을 사용하여 Python에서 제어가 가능하도록 구현한다.

2. 인공지능 미세패턴 자동화 검사 시스템 제작

2.1 이미지 데이터 구축

차폐 필름의 미세 패턴을 관찰하기 위해 Olympus BX60M 모델 광학현미경이 사용되었다. 패턴의 이미지들은 미세 구멍의 반경에 따라 4가지 유형으로 분류되었다.

(a) 반경이 20µm 이상, 35µm 이하인 패턴

(b) 구멍이 2개 이상 관찰되지만 각 구멍의 반경합이 20µm이상 35µm이하 범위에 포함되는 패턴

(c) 구멍의 반경이 20µm 미만 또는 35µm 초과인 패턴

(d) 구멍이 관찰되지 않는 패턴

본 실험에서 수집된 데이터는 총 218개의 이미지가 확보되었다.

2.2 인공지능 모델 생성 및 유용성 평가

인공지능 학습 모델로는 웹 기반 인공지능 도구인 Teachable Machine이 활용되었다. Teachable Machine은 데이터수집(adding image), 학습(training), 프리뷰(preview)의 과정으로 구성되며, 데이터수집 과정에서 이미지 파일을 최소 2개 이상의 클래스로 나눠 학습할 수 있다.

학습과정에선 학습 Parameter인 학습 횟수 (epoch), 학습률(learning rate), 배치 크기(batch size)를 조절하여 학습할 수 있으며 이 과정은 인공지능 모델 생성 시간과 성능에 영향을 미친다. 해당 실험에서는 각 케이스에 학습시킬 데이터의 양을 80개를 100% 기준으로 하여 20%, 50%, 80%, 100%로 바꿔가며 인공지능 모델이 생성되 며 각 학습 파라미터 또한 조절하며 학습 모델을 생성하였다. 이후 학습 횟수(Epoch)는 50, 150, 500으로, 배치크기는 16, 128, 512로 조정하면서 모델 생성 및 유용성 평가가 이루어졌다.

학습을 마친 후 AI 모델을 평가하는 과정에서는 인공지능 모델의 유용성 평가에 사용되는 수신자 조작 특성 곡선 ROC(Receiver Operating Characteristic) 이 사용되었다. Table 1은 ROC 분석을 위해 정답으로 예측한 값이 실제로 정답인 경우(TP, True Positive), 오답으로 예측한 값이 실제로 오답인 경우(TN, True Negative), 정답으로 예측한 값이 실제로는 오답인 경우(FP, False Positive), 오답으로 예측한 값이 실제 정답인 경우(False Negative)으로 분류한 표이다. 이때 민감도(TPR, True Positive Rate)는 실제로 정답인 경우를 정답으로 올바르게 예측한 경우를 뜻하며, 특이도(TNR, True Negative Rate)은 오답인 경우 오답으로 바르게 예측한 경우를 말한다. ROC곡선에서 x축은 FPR, y축은 TPR 이며, 곡선 아래의 면적은 AUC(Area Under the ROC Curve)라고 하며 AUC는 0.5부터 1사이의 값을 가진다. 이 값이 1에 가까울수록 예측이 안정된 모델을 뜻한다. 또한 Muller의 AUC 레벨 기준에 따라 모델성능을 Fail, Poor, Fair, Good, Excellent로 분류된다(Fig. 3).

Table 1. Confusion matrix

Fig. 3 Muller’s AUC Level

2.3 재물대 이동 나사의 3D 부품과 아두이노 모터

검사 진행 시 광학현미경 재물대 위의 필름 샘플의 이동이 자동적으로 수행될 수 있게 CATIA 프로그램을 이용하여 이동 나사의 기어 부품이 설계되었다. 제품 출력 3D 프린터에는 MakerBot Large PLA 필라멘트(1.75mm)가 사용되었으며 이 동 나사의 위쪽은 Gear형태로, 아래쪽은 Grab 형태로 제작되었다. 이는 좌우방향의 이동 나사와 상하방향의 이동나사가 1축 선상에 있었기 때문에 두 개의 모터 전선이 서로 엉키는 것을 방지하기 위함이다. 또한 각 부품들은 부분적으로 출력되었으며 광학현미경의 재물대 이동 나사에 조립식 방법으로 맞춰지도록 제작되었다. 추가적으로 각 모터는 동작하는 동안 움직이지 않도록 제작된 고정판에 끼워졌다.

Arduino Board는 UNO R3 SMD 호환보드가, 모터는 회전각을 원하는 대로 조절할 수 있는 스텝 모터 및 모터드라이브가 사용되었다. 스텝 모터 는 360°가 2048 steps로 나누어져 있어 정밀한 각도 설정이 가능하다. 각각의 핀을 Arduino Board에 연결시키고 USB케이블을 통해 코드 파일을 업로드하면 모터가 작동된다.

2.4 Python 코드

딥러닝 라이브러리인 Tensorflow에서 Keras를 불러오면 학습된 인공지능 모델이 Python에서 인공신경망을 구축할 수 있도록 만들어진다. 이후 화면상의 이미지를 처리하기 위해 Open CV 함수를 불러와 화면 프레임이 설정되었다.

광학현미경으로부터 실시간으로 관찰되는 이미지는 Predict 함수를 통해 불량여부 판정이 되며 ‘Good Pattern’ 혹은 ‘Bad Pattern’이라는 텍스트와 함께 표시된다. 해당 화면은 캡처되어 이미지 파일로 저장된다. 또한 Arduino Serial 통신 코드를 통해 ‘c’ 버튼을 누르면 스텝 모터가 작동된다.

3. 성능 시험 및 결과 토의

3.1 이미지 데이터 Case 분류

각 미세 패턴의 유형은 모양과 홀의 치수에 따라 정상, 비정상으로 분류된다(Fig. 4). (a)와 (b)의 유형은 정상패턴으로 분류되었으며 (c)와 (d)의 유형은 비정상패턴으로 분류되었다.

Fig. 4 The images of hole type captured by optical microscope

이 때 양품과 불량품에 대한 학습 이미지 데이터 개수는 동일한 분량인 86개씩 학습되었다. 이러한 이유는 AI모델을 생성할 때 각 케이스의 학습 데이터양을 비슷하게 맞추어야 더 높은 신뢰도의 모델이 생성되기 때문이다.

3.2 인공지능 모델 유용성 평가 결과

학습 데이터 양을 100%로 제한한 후 학습 Parameters(학습 횟수, 학습률, 배치 크기)에 따른 AUC값을 측정하였다. ROC 측정 시 입력된 데이터는 양품 15개, 불량품 15개로, 총 30개의 이미지에 대한 결과를 통해 학습 모델의 유용성이 평 가되었다.

학습 횟수를 50, 150, 500으로 조절했을 때의 AUC의 값은 각각 0.849, 0.769, 0.849로 나타났다. 학습률의 경우에는 0.001, 0.01으로 조절했을 때의 AUC는 각각 0.849, 0.862로, 배치 크기의 경우에는 16, 128, 512로 지정했을 때 각각 0.849, 0.716, 0.884로 나타났다.

각 학습 Parameter 별 가장 높은 경우인 학습 횟수 500, 학습률 0.01, 배치 크기 512로 지정하어 AI 모델이 생성되었다. 생성된 최종 모델에 64개의 이미지 데이터(양품 32개, 불량품 32개)가 입력되고 AUC값이 측정된 결과 0.981로 나타났다. 이는 Muller’s AUC Level에 따르면 Excellent Level의 AI 학습 모델이 생성된 것을 알 수 있었다(Fig. 5).

Fig. 5 The ROC of the AI trained model

3.3 인공지능 판별 시스템의 성능

실제로 제작한 시스템을 구동해본 결과 Arduino Motor가 돌아가면서 제작한 Gear가 돌아가고 현미경의 재물대 이동나사가 돌아가는 모습을 보여주었다. 회전 각도를 세밀하게 조절할 수 있었기 때문에 다음 패턴으로 넘어가는 부분도 정확하게 돌아가는 것을 확인하였다(Fig. 6).

Fig. 6 A set of the AI inspection system

또한 다른 샘플에 대해 성능 시험을 하고 판별 정확도를 평가하였다. 양품 데이터 53개를 관찰하였을 때 양품이라고 정확히 예측한 수는 51개로 96.23%의 양품 판별 정확도를 보여주었다. 불량품 데이터 48개에 대해서는 45개를 정확히 예측하여 93.75%의 판별 정확도가 나타났다. 따라서 전체 데이터 101개에 대해 95.05%의 정확도를 가지는 인공지능 시스템인 것을 확인할 수 있었다 (Table 2).

Table 2. The accuracy result of another sample

해당 인공지능 시스템은 실시간으로 모니터링되는 미세 패턴에 대하여 양품과 불량품을 구분하고 판별하여 ‘Good Pattern’ 혹은 ‘Bad Pattern’ 텍스트를 띄워주는 모습을 보여주었다. Fig. 7의 (a)는 반경이 20µm 이상, 35µm 이하인 미세 패 턴, (b)는 두 홀의 반경합이 20µm이상 35µm이 하 범위의 미세 패턴, (c)는 구멍이 관찰되지 않는 패턴, (d)는 반경이 35µm 초과인 미세 패턴을 인공지능이 각각 구분하는 모습이다.

Fig. 7 The monitor of the AI trained model

4. 결론

위와 같이 구현된 시스템을 이용하여 패턴들에 대해 판별된 데이터들을 지속적으로 누적시켜 진행한다면 더욱 정밀도가 높은 과정로써 생산품의 품질 검사의 효율성이 높아질 것으로 여겨진다.

기존의 전자파 차폐 필름의 미세 패턴 검사 과정은 수백 개의 미세 구멍에 대해 광학현미경으로 검사하는 과정을 거치고 있었다. 마이크로미터 단위의 형상을 검사할 때에는 한 부분씩 검사할 수밖에 없는 한계가 있다. 이에 제작된 인공지능 시스템은 시간적으로 효율성을 극대화할 수 있는 방법으로 적용되었다. 100개의 미세 패턴에 대해 수작업으로 검사하는 과정에서는 약 60분이 걸렸지만 본 실험에 제작된 인공지능 시스템은 약 13분만이 소요되었다.

특히 해당 소프트웨어는 다른 검사 장비에도 적용하기가 수월하다는 점이 주목할 만하다. 실제로 ‘Speckle 기법을 이용한 반도체 표면 패턴 검사 장비’에 해당 위와 같은 과정을 통해 인공지능 모델을 생성한 결과, 거의 100%의 정확도로 패턴 유형을 구분하였다. 이미지 기반의 다른 제품들에 대한 검사 수행에서도 이미지 데이터만 충분히 확보된다면 쉽게 해당 모델을 적용할 수 있다는 뜻 이다.

그러나 판별 성능 평가에서 95.05%의 정확도를 가지는 인공지능 모델은 상황에 따라서는 신뢰도가 다소 떨어질 수 있다. 이미지 데이터가 늘어남에 따라 더 높은 정확성을 보이는 인공지능의 특성을 미루어 보았을 때 차폐 필름의 샘플을 추가적으로 확보하여 더 많은 양의 이미지 데이터가 구축될 필요가 있다.

더불어 검사되는 패턴들은 광학현미경을 통해 이미지로 나타나게 되는데 현미경상의 초점을 수동적으로 맞추어야 하는 부분은 직접적으로 조절하였다. 시스템 구현 시 초점을 자동으로 맞추는 Auto-Focusing Algorithm 설계가 추후 연구 과제로 요구된다.

감사의 글

2021년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임. (연구개발과제번호 : P-0008763,  사업명 : 산업혁신 인재성장지원사업)