XGB 및 LGBM을 활용한 Ti-6Al-4V 적층재의 변형 거동 예측

Predicting Deformation Behavior of Additively Manufactured Ti-6Al-4V Based on XGB and LGBM

Abstract

The present study employed two different machine-learning approaches, the extreme gradient boosting (XGB) and light gradient boosting machine (LGBM), to predict a compressive deformation behavior of additively manufactured Ti-6Al-4V. Such approaches have rarely been verified in the field of metallurgy in contrast to artificial neural network and its variants. XGB and LGBM provided a good prediction for elongation to failure under an extrapolated condition of processing parameters. The predicting accuracy of these methods was better than that of response surface method. Furthermore, XGB and LGBM with optimum hyperparameters well predicted a deformation behavior of Ti-6Al-4V additively manufactured under the extrapolated condition. Although the predicting capability of two methods was comparable, LGBM was superior to XGB in light of six-fold higher rate of machine learning. It is also noted this work has verified the LGBM approach in solving the metallurgical problem for the first time.

1. 서론

Ti-6Al-4V 합금은 높은 비강도, 내부식성, 생체적 합성을 가져 항공우주산업, 해양산업, 생체재료산업등 다양한 분야에서 널리 활용된다[1]. 일반적으로 타이타늄 합금 가공은 단조, 압출, 압연 등의 전통적인 방법을 이용한다. 그러나 이러한 방법은 타이타늄 합금 특유의 낮은 상온 가공성 및 난삭성에 의해 높은 공정비용을 야기한다[2].

적층 제조(additive manufacturing)공정은 상기 문제를 상당 부분 해결할 수 있다는 점에서 최근 높은 관심을 끌고 있다[3]. 적층 제조란 분말 등을 한 층씩 쌓아 올리며 최종 형상을 제작하는 방법으로, 전통 공정으로는 가공할 수 없던 복잡한 형상의 제품을 제작할 수 있을 뿐 아니라 소재의 사용량을 절감하여 공정비용을 감축할 수 있다는 장점이 있다. 금속 분야에서 가장 널리 쓰이고 있는 적층 제조공법으로 direct energy deposition(DED)을 들 수 있다. DED 공정은 레이저나 전자빔 등의 고에너지원으로원 소재를 녹여 적층하는 방식으로, 복잡한 형상 제작은 물론 기존 제품의 표면 강화, 보수, 재생 등에도 활용될 수 있어 주목받고 있다[4].

DED 공정은 다양한 공정 변수에 매우 민감하므로 최적화가 필수적으로 요구된다. 공정 변수를 제대로 설계하지 못하면 온도 구배에 따른 잔류응력과 이방성이 야기되며 가스에 의한 공동과 같은 내부 결함이 발생하기도 한다. 이에 따라 많은 연구자가 DED 공정 변수가 Ti-6Al-4V 적층 조형체의 미세조직 및 물성에 미치는 연구를 진행 중이다[5]. 그러나 대부분의 선행 연구는 시간과 예산의 한계 때문에 제한된 변수의 영향만 실험적으로 확인할 수 있었다. 따라서 실제 DED 공정의 다변수·비선형 환경을 반영하는 물성 모델링에 대한 연구가 여전히 요구되고 있다.

본 연구진은 상술한 다변수·비선형 모델링을 위해 최근 주목받고 있는 접근법인 기계학습(machine learning)을 도입하였다. 현재 금속공학 분야에서 기계학습 기반 회귀 예측은 대부분 artificial neural network(ANN)를 사용하는 추세이다. 그러나 최근 본연구진은 gradient boosting machine(GBM) 기반의 기계학습 기법이 ANN 대비 정확성 및 속도 양측에서 우수할 수 있음을 보고한 바 있다[6]. 본 연구는 상기 결론을 바탕으로 extreme gradient boosting(XGB) 및 light gradient boosting machine(LGBM)을 활용, 공정변수에 따른 Ti-6Al-4V 조형체의 압축 응력 곡선을 예측하고 그 정확성 및 학습 속도를 비교 분석하였다.

2. 실험방법

본 연구에 사용된 적층 조형체는 상용 Ti-6Al-4V 파우더를 사용해 DED 공정으로 제작되었다. 적층성형의 공정 변수로는 레이저 출력, 분말 분사 속도스캔 속도가 선택되었다. 구체적으로 160, 180, 200, 220W의 레이저 출력, 0.4, 0.5, 0.6, 0.7g·min⁻¹의 분말분사 속도, 850, 890, 925, 960, 1000mm·min⁻¹의 스캔속도가 본 연구의 적층 성형에 적용되어 총 80 개의적층 조형체가 제조되었다. 해당 조형체의 크기 및 적층 간격은 각 12 × 18 × 12mm³ 및 0.15mm로 고정 되었다. 적층 성형 시 contour-filling-contour 모드를 기반으로 각 공정 단위마다 90°씩 회전하는 지그재그 경로를 사용하였다.

응력 데이터를 얻기 위해 각 조형체를 가공하여 상온에서 일축 압축 시험을 수행하였다. 압축 시편은 지름 6mm, 높이 9mm 의 원통 형태로, 적층 방향이 시편의 높이 방향과 수직하도록 가공되었다. 압축 시험은 상온에서 초기 변형률 10⁻³s⁻¹ 조건으로 진행되었다. 압축 변형 중 0.05 초마다 하중 및 크로스헤드 위치를 측정하였다.

3. 기계학습

3.1. GBM, XGB 및 LGBM

GBM 은 decision tree 를 기반으로 한 앙상블 모델이다. 즉, 다수의 약한 decision tree 를 boosting 방식으로 결합하여 순차적으로 학습시킴으로써 예측 정확성을 높이는 기계학습 전략이다. 각 decision tree는 경사하강법을 통해 오차를 바로잡아 나가게 된다.

XGB는 2016년 Chen과 Guestrin[7]이 개발한 알고리즘으로, 손실 함수에 규제항을 추가해 과적합을 방지하고 GBM 의 단점으로 꼽히던 느린 연산 속도를 개선하였다:

\(L = \sum _ { i = 1 } ^ { n } l ( y _ { i } , \hat { y } _ { i } ) + \gamma T + \frac { 1 } { 2 } \lambda \sum _ { j = 1 } ^ { T } w _ { j } ^ { 2 }\)

𝜆와 𝛾는 규제상수, T는 decision tree의 잎(최종 노드) 의 개수, w 는 잎의 가중치를 의미한다. 이때 t 번째 iteration 에서 목적 함수의 최솟값은 Taylor expansion 을 통해 다음과 같이 근사할 수 있다:

\(\tilde { L } _ { t } ( q ) = - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { T } \frac { ( \sum _ { i \in I _ { j } } g _ { i } ) ^ { 2 } } { \sum _ { i \in I _ { j } } h _ { i } + \lambda } + \gamma T\)

여기서 𝐼𝑗 = {𝑖|𝑞(𝑥𝑖)= 𝑗}는 q번째 decision tree의 j번째 잎에 해당하는 instance, g 와 h 는 손실 함수의 1 차 및 2차 기울기를 의미한다.

XGB는 주어진 𝐿̃𝑡(𝑞)가 최소가 되는 decision tree를 구성하는 것을 목표로 한다. 이때 만들어질 수 있는모든 나무의 경우의 수를 고려하는 것은 사실상 불가능하므로 다음과 같이 가지를 분기하기 전과 후의 information gain 의 차인 𝐿 을 사용하여 순차적 𝑠𝑝𝑙𝑖𝑡 으로 가지를 추가해 가는 방식을 취한다:

\(L _ { \text { split } } = \frac { 1 } { 2 } [ \frac { ( \sum _ { i \in I _ { L } } g _ { i } ) ^ { 2 } } { \sum _ { i \in I _ { L } } h _ { i } + \lambda } + \frac { ( \sum _ { i \in I _ { R } } g _ { i } ) ^ { 2 } } { \sum _ { i \in I _ { R } } h _ { i } + \lambda } - \frac { ( \sum _ { i \in I } g _ { i } ) ^ { 2 } } { \sum _ { i \in I } h _ { i } + \lambda } ] - \gamma\)

첨자 L과 R 은 decision tree 분기 후의 두 가지를 각각 의미한다. 컴퓨터는 𝐿_{𝑠𝑝𝑙𝑖𝑡} 값이 최대가 되는 방향으로 분기를 반복하여 음수가 되는 순간 분기를 종료한다. 또한 규제항인 𝜆와 𝛾를 추가함으로써 최종 decision tree 의 크기를 제한하고 과적합을 방지하게 된다.

LGBM 은 고차원 변수 및 대규모 데이터에 대한효율성을 증가시키기 위해 GBM 에 두 가지 전략을추가한 알고리즘이다[8]. 첫 번째 전략은 gradient based one-side sampling 으로, 큰 경사를 가진 instance 는 유지한 채 작은 경사를 가진 instance 를 임의로 제거함으로써 학습 효율을 높였다. 두 번째 전략은 exclusive feature bundling이며 상호배타적인 변수들을 하나로 묶어 변수의 개수를 제한함으로써 학습 속도를 높였다. 알고리즘 구조 측면에서 LGBM 은 수직적 성장(leaf-wise growth)을 적극적으로 활용하며, 이는 수평적 성장을 사용하는 GBM 기반의 다른 알고리즘과 차별화되는 부분이다[9].

3.2. 데이터 전처리

본 연구의 코드는 Python Ver. 3.6 및 Scikit-Learn Ver. 1.0.1을 사용하여 작성하였다. 적층 조형체의 압축 시험을 통해 세 종류의 변인(레이저 출력, 분말분사 속도, 스캔 속도) 및 두 종류의 압축 특성(응력및 변형률)을 feature 로 가지는 224,182 개의 instance 를 확보하였다. 본 연구에서는 상술한 instance 중 레이저 출력 200W, 분말 분사 속도 0.7g·min⁻¹, 스캔 속도 1000mm·min⁻¹ 에 해당하는 데이터를 test dataset 으로 지정하였다. 해당 조건은 기계학습에서가장 예측하기 어려운 외삽(extrapolated) 조건이므로 기계학습의 예측 정확성을 검증하기에 충분한 고난도 데이터로 간주하였다. Test dataset 을 제외한 데이터는 임의로 8:2 의 비율로 나누어 각각 train dataset 과 validation dataset 으로 지정하였다. 기계학습 도중 train dataset에 대해서 정확도가 높아지지만 validation dataset 에 대한 정확도가 낮아지는 상황이 발생하면, 과적합이 일어난 것으로 간주하고 학습을 멈추도록 설계하였다.

모든 feature는 평균 및 표준편차를 사용하여 정규화 처리를 적용 후 기계학습에 투입되었다. 이를 통해 각 feature 의 스케일 차이에 의해 발생하는 기계학습의 성능 저하를 방지하였다. 적층 조형체의 응력 거동 예측은 두 단계로 나누어 평가되었다. 먼저각 시편의 파단 변형률 데이터를 기준으로 응력 곡선의 최대 연신율을 예측하였다. 다음으로 모든 응력 곡선 데이터를 학습시켜 외삽 조건에서 예측된 최대 연신율까지의 응력 곡선을 예측하였다.

4. 결과 및 고찰

기계학습에 사용한 적층 조형체의 응력 곡선을 레이저 출력에 따라 도시하였다(Fig. 1). 모든 조건에서 전형적인 연속 가공 경화(continuous hardening)형태의 응력 곡선이 관측되었다. 또한 모든 응력 곡선은 최대 응력보다 최대 연신율에 대해 더 큰 산포를 보였다. 기계학습을 활용한 응력 거동 예측 시 일반적으로 연신율 범위를 실험과 동일하게 고정하는 방식을 사용한다[10]. 예를 들어 test dataset 에 해당하는 응력 곡선을 실험을 통해 미리 획득한 후, 해당 데이터의 연신율을 기계학습 모델에 그대로 투입하여 응력을 예측하는 방식이다. 그러나 본 연구에서는 더욱 가혹한 예측 환경하에서 기계학습 모델을 검증하기 위해 (1) 적층 조형체의 최대 연신율을 예측하고 (2) 예측 범위 내에서만 응력을 예측하는 2단계 접근법을 사용하였다.

Fig. 1 Engineering stress-strain curves of the investigated samples additively manufactured at laser power of (a) 160 W, (b) 180 W, (c) 200 W, and (d) 220 W.

상술한 접근법의 첫 번째 단계로 적층 조형체의 최대 연신율 예측을 시도하였다. 기계학습 시 사용자가 직접 설정할 수 있는 변수인 hyperparameter 가 예측 정확성에 매우 큰 영향을 미치게 된다. 본 연구에서 활용한 기계학습 알고리즘에서 중요하게 사용되는 hyperparameter 는 decision tree 의 최대 깊이 및 학습률이다[11].

최대 연신율 예측 모델의 hyperparameter 최적화를 위해 decision tree 의 최대 깊이 2-9, 학습률 10⁻³-10⁻¹ 범위에서 격자 탐색을 수행하였다(Fig. 2). XGB 및 LGBM 모델은 학습 속도가 매우 빠르며, 이는 금속공학 분야의 기계학습 연구에서 일반적으로 사용되는 ANN 기법과 대조되는 부분이다. 본 연구에서는 상술한 강점을 활용하여 hyperparameter 전 범위에 걸쳐 평균 제곱 오차(mean squared error, MSE)를 산출하였다. 분석 결과, 사용된 알고리즘과 무관하게 최대 깊이 수치가 낮을수록 높은 예측 정확성을 보이는 것이 확인되었다. 이는 본 연구에서 예측을 시도한 응력 곡선 데이터가 비교적 단순하며 유사한 경향을 띠는 점에 기인한다. 또한 최대 깊이 2-3 영역에서 2 × 10⁻² 이하의 학습률 적용 시 예측 정확성이 급격하게 감소하는 현상이 공통으로 발견되었다.

Fig. 2 Variation of standardized MSE for the prediction of elongations to failure depending on the hyper- parameters: (a) XGB and (b) LGBM.

앞서 수행한 격자 탐색을 통해 각 알고리즘의 최적 hyperparameter 를 확정하였다. 해당 조건은 XGB 의 경우 깊이 2, 학습률 9.4 × 10⁻²이며 LGBM 의 경우 깊이 2, 학습률 8.4 × 10⁻² 이었다. 또한 LGBM 의 경우 작은 데이터 규모에 따른 과소적합이 일어나는 것을 방지하기 위해 decision tree 의 마지막 잎에 들어가는 최소 데이터 세트의 수를 한 개로 고정하여 원활한 기계학습이 진행될 수 있도록 하였다. 깊이 및 학습률 이외의 hyperparameter 는 Scikit-Learn 라이브러리에서 제공하는 기본값을 사용하였다.

Test dataset 에서 적층 조형체의 최대 연신율은 20.2%로 측정되었다. Test dataset 을 배제한 기계학습 이후 XGB 모델은 최대 연신율을 19.4%로 예측하여 0.8%포인트의 오차를 산출하였다. 한편, LGBM 모델의 경우 연신율을 18.8%로 예측하여 XGB보다 다소 높은 1.4%포인트의 오차를 산출하였다. 대조군으로써 전통적 회귀 기법 가장 널리 사용되는 반응 표 면법(response surface method, RSM)을 동일 데이터에 적용하였다. RSM 은 주어진 test dataset 의 최대 연신율을 17.9%로 예측하여 XGB 및 LGBM 보다 큰 2.4% 포인트의 오차를 산출하였다.

기계학습 기반 물성 예측의 두 번째 단계로, 앞서예측한 최대 연신율 이내에서 모든 응력 곡선 데이터를 활용하여 모델을 학습시켰다. Hyperparameter 최적화는 decision tree의 최대 깊이 2-19, 학습률 10−2-1 범위에서 격자 탐색 방식으로 수행되었다. 1 단계의 연신율 예측보다 hyperparameter의 범위가 큰 이유는 2 단계 예측 모델의 복잡도가 상대적으로 높아 더욱비선형적인 예측이 필요할 것으로 판단되었기 때문이다. 실제로 hyperparameter 격자 탐색 결과 XGB 및 LGBM 모두 최대 깊이 수치가 증가함에 따라 MSE 가 감소하는 경향을 보였다(Fig. 3). 이는 앞서 Fig. 2에 나타난 결과와 정반대이며, 응력 곡선 예측의 비선형성 및 학습 데이터 규모가 단순한 연신율예측 대비 대폭 증가한 점에 기인한다. 격자 탐색을 통해 확정된 최적 hyperparameter 는 XGB의 경우 깊이 19, 학습률 5 × 10⁻²이며 LGBM 의 경우 깊이 16, 학습률 57 × 10⁻²으로 측정되었다.

Fig. 3 Variation of standardized MSE for the prediction of stress-strain curves depending on the hyper- parameters: (a) XGB and (b) LGBM.

Test dataset 의 응력 곡선을, hyperparameter 최적화이후 XGB 및 LGBM 으로 예측한 결과와 함께 나타내었다(Fig. 4). 두 기계학습 모델 모두 탄성영역 및 파단 직전의 소성영역은 잘 예측했지만 7.5%~15%의 소성영역에서 실험 데이터 대비 다소의 오차를 나타내었다. 이는 Fig. 1에 나타난 바와 같이, 기계학습에 사용된 응력 곡선 데이터가 해당 구간에서 비교적 큰 분산을 보여주었기 때문인 것으로 판단된다.

Fig. 4 Engineering stress-strain curves obtained from the experiment and predictions. The data correspond to the extrapolated conditions of 200 W in laser power, 0.7 g·min−1 in powder feed rate, and 1000 mm· min−1 in scan speed.

XGB 와 LGBM 의 평균 오차는 각각 44MPa 및 41MPa 로, 후자가 다소 우수한 예측 정확성을 보였 다. 각 예측치의 R2 값은 0.992 및 0.993으로 측정되었다. 특히 주목할 점으로, LGBM 학습에는 4.8 시간이 소요되었으며 이는 XGB 학습 시간(29 시간)의 1/6에 불과하였다. 다시 말해 Ti-6Al-4V 적층 조형체의 변형 거동 예측에 있어 두 기계학습 모델의 예측 정확성은 유사하나, 학습 시간 혹은 컴퓨팅 자원절감 측면에서 LGBM 이 훨씬 우수하다는 사실을 확인할 수 있었다.

본 연구는 대규모 데이터를 활용한 기계학습에 특화된 LGBM 알고리즘이 금속 변형 거동 예측에 유용하게 사용될 수 있음을 검증한 첫 번째 사례라 할 수 있다. 금속공학 외의 분야에서 XGB 와 LGBM 을 직접 비교한 연구로는 Daoud[9]의 것이 널리 알려져 있다. 그는 307,507 개의 금융 데이터 instance 를 활용하여 XGB 및 LGBM 알고리즘의 성능을 비교하였다. 해당 연구에서는 LGBM이 XGB 대비0.16%포인트 높은 예측 정확성 및 5.48배 빠른 학습 속도를 기록하였다. 한편, Rai 등[12]은 XGB와 LGBM을사용하여 광고와 제품 수요 사이의 관계를 예측하고자 하였다. 해당 연구에 따르면 LGBM 이 XGB 대비 0.68%포인트 높은 예측 정확성 및 4.97 배 빠른 학습 속도를 기록하였다. 보다시피 선행 연구 결과에서도 XGB 대비 LGBM 의 우수성이 동일하게 확인된다. 기계학습 알고리즘은 데이터를 연구 분야와 무관한 단순 숫자의 조합으로 보기 때문에, 금속공학, 금융, 마케팅이라는 별개의 분야에서 동일한 결과가 산출된 것으로 판단된다.

현재까지 대다수의 선행 연구는 기계학습을 사용하여 금속 소재의 응력 곡선을 예측할 때 ANN 기법을 채택하였다. 그러나 데이터 규모나 복잡성, 비선형성에 따라 ANN 이외의 기계학습 기법이 더욱우수한 경우가 종종 보고되고 있다. 예를 들어 Wang 등[13]은 세 종류의 기계학습 기법을 활용하여저탄소강의 상분율에 따른 응력 곡선을 예측하였다. 해당 연구에서 ANN 기법이 support vector machine이나 random forest 대비 우수한 정확성을 보였지만, 통계학적 접근을 사용하여 상관성이 낮은 변수를 줄이자 오히려 random forest 의 성능이 ANN 을 뛰어넘는 결과가 나타났다. Yu 등[6]은 최근 ANN 과 XGB 를 사용하여 전류 펄스 인가에 따른 마그네슘 합금의 비선형적 가열-냉각 거동을 예측한 바 있다. 해당 연구에서 두 기계학습 모델의 예측 정확성은 유사한 수준이었으나 XGB 의 학습 시간이 ANN 대비수백 배 빨라 컴퓨팅 자원 절감에 크게 기여하였다. 상술한 사례들을 고려해 볼 때 성공적인 기계학습기반 예측을 위해서 최적의 기계학습 기법을 적용하는 것이 데이터 전처리나 hyperparameter 최적화 못지않게 매우 중요할 것으로 판단된다. 이러한 견지에서 그간 금속공학 분야에서 배제되어 온 LGBM 의 유용성을 검증할 가치가 있었으며, 향후 변형 거동을 포함한 다양한 예측에 있어 LGBM 알고리즘의 활용을 충분히 고려해 볼 수 있을 것으로 기대된다.

5. 결론

본 연구는 다변수·비선형 환경을 가지는 DED 공정의 공정 변수 최적화를 위하여 GBM 기반의 기계학습 기법인 XGB 와 LGBM 을 도입하였다. 외삽 공정 변수(레이저 출력 200W, 분말 분사 속도 0.7g·min⁻¹, 스캔 속도 1000mm·min⁻¹)에서 각 기계학습기법을 통해 최대 연신율 및 응력 곡선을 예측 후두 기법의 성능을 비교하였다. Hyperparameter 격자탐색 결과, 응력 곡선 예측에 사용되는 모델은 최대연신율 예측 모델보다 더욱 복잡하였다. 이는 전자의 비선형성 및 예측 난도가 더욱 높다는 사실에 기인한다. 최대 연신율 예측 시 XGB는 0.8%포인트, LGBM 은 1.4%포인트의 오차를 기록하였으며, 모두 RSM 대비 우수한 예측 정확성을 나타내었다. 응력곡선 예측 시 XGB의 평균 오차는 44MPa, LGBM의 평균 오차는 41MPa 로 유사한 수준의 예측 정확성을 기록하였다. 그러나 LGBM 의 학습 시간은 XGB 에 비해 6 배 이상 단축되었으며 이는 대규모 데이터의 학습에 특화된 LGBM 의 강점을 잘 드러낸다 할 수 있다. 본 연구는 금속공학 분야에서 LGBM 기법을 도입한 첫 사례로, 향후 다양한 분야의 예측에 있어 좁게는 LGBM, 넓게는 GBM 기반의 기계학습 기법을 적극적으로 활용해 볼 수 있음을 시사한다.

후기

본 연구는 한국연구재단의 기초연구실지원사업으로부터 지원받아 수행되었으며 이에 감사드립니다 (2020R1A4A3079417).