Prediction of Cryogenic- and Room-Temperature Deformation Behavior of Rolled Titanium using Machine Learning

타이타늄 압연재의 기계학습 기반 극저온/상온 변형거동 예측

Abstract

A deformation behavior of commercially pure titanium (CP-Ti) is highly dependent on material and processing parameters, such as deformation temperature, deformation direction, and strain rate. This study aims to predict the multivariable and nonlinear tensile behavior of CP-Ti using machine learning based on three algorithms: artificial neural network (ANN), light gradient boosting machine (LGBM), and long short-term memory (LSTM). The predictivity for tensile behaviors at the cryogenic temperature was lower than those in the room temperature due to the larger data scattering in the train dataset used in the machine learning. Although LGBM showed the lowest value of root mean squared error, it was not the best strategy owing to the overfitting and step-function morphology different from the actual data. LSTM performed the best as it effectively learned the continuous characteristics of a flow curve as well as it spent the reduced time for machine learning, even without sufficient database and hyperparameter tuning.

1. 서론

타이타늄은 상온뿐 아니라 극저온에서도 우수한 내식성, 고강도, 높은 파괴인성을 가진다. 이에 따라 다양한 온도 영역에서 타이타늄의 변형 메커니즘을 규명하고 이를 활용하여 기계적 특성을 향상하려는 시도가 활발히 진행 중이다. 특히 타이타늄을 포함해 조밀 육방 격자를 가지는 소재의 경우, 부족한 슬립계를 보완하기 위한 twinning 현상이 강제되며[1, 2], 이러한 경향은 극저온에서 더욱 강화되는 측면이 있다. 예를 들어 Zherebtsov 등[3]은 상용 순수 타이타늄(commercially pure titanium, CP-Ti)에 극저온 압연을 적용 시 상온 압연재 대비 twin 활성도가 현저하게 증가함을 보고한 바 있다. 극저온에서 추가로 형성된 twin boundary 에 의해 전반적인 결정립 크기가 감소하면서 실온 대비 높은 결정립계 강화 효과를 확보할 수 있게 된다. 최근 Lee 등[4, 5]은 CP-Ti의 극저온 물성에 미치는 이방성 및 변형 속도의 영향을 twin 메커니즘과 연결하여 정량적으로 분석하였다. 이를테면 CP-Ti 를 극저온에서 압연 방향(rolling direction, RD)으로 인장 시 {11−22} 압축 twin 이 주로 발달하지만, 횡 방향(transverse direction, TD)으로 인장 시 {10−12} 인장 twin 이 발달하게 된다. 이러한 이방성에 의해 CP-Ti 의 강도 및 연신율은 인장 방향에 따라 현저한 차이를 보이게 된다.

한편 변형 속도를 감소하면 연신율의 급격한 향상이 야기되는데, 이러한 경향은 RD 인장에서 더욱 두드러지게 나타났다. 즉, CP-Ti 의 인장 특성은 최소 세 가지 이상의 변인에 의해 결정되며, 각 변인끼리 비선형적으로 간섭하므로 해석이 쉽지 않다는 문제가 있다. 이는 단순히 실험량을 증가시켜 해결할 수도 있으나, 본 연구진은 적절한 모델링을 통해 실험에 소모되는 자원을 효과적으로 줄일 수 있으리라 판단하였다.

본 연구진은 최근 기계학습을 활용하여 상술한 문제와 비슷한 다변수·비선형 예측을 성공적으로 수행해 온 바 있다[6-9]. 일례로 Bae 등[7]은 기계학습을 통해 변형 온도 및 속도에 따른 Ti–6Al–2Sn–2Zr–2Mo–2Cr–0.15Si 합금의 고온 압축 거동을 예측하고, 이를 바탕으로 변형공정지도를 보완할 수 있음을 입증하였다. Yu 등[8]은 기계학습을 활용하여 초 단위 전류 인가에 따른 급격한 온도 변화를 정확히 예측하였다. Cheon 등[9]은 Ti-6Al-4V 합금의 적층성형 조건에 따른 비선형 압축 거동을 예측하는 데 있어 복수의 기계학습 알고리즘을 비교하였다.

본 연구의 목적은 기계학습을 활용해 CP-Ti 의 변형 온도, 이방성, 변형 속도에 따른 인장 거동을 최대한 정확히 예측하는 것이다. 통상 금속공학 분야에서는 artificial neural network(ANN) 기반의 기계학습이 널리 사용되어 왔으나, 본 연구진은 light gradient boosting machine(LGBM) 기반 기계학습이 상황에 따라 ANN 과 유사한 정확도 및 더 우수한 학습 속도를 가질 수 있음을 제안한 바 있다[9]. 한편, 금속공학 이외의 분야에서는 시계열 특성을 가진 데이터를 학습하는데 유리한 long short-term memory(LSTM) 계열 기계학습이 주목받고 있다. 따라서 본 연구는 CP-Ti 의 다변수·비선형 인장 거동 해석을 상기 세가지 알고리즘을 활용하여 수행하고, 기계학습 전략별 예측 정확도 및 학습 속도를 비교 분석하였다.

2. 실험 방법 및 데이터 전처리

본 연구는 두께 1mm의 Grade 2 CP-Ti 상용 압연재를 사용하여 수행되었다. 인장 시편은 게이지 길이 25mm 및 폭 6mm 의 ASTM 규격을 따르며, 시편을 절반으로 나누어 인장 방향을 각각 RD 및 TD 에 맞추어 제작되었다. 인장 시험은 상온(298K) 및 극저온(123K) 영역에서 수행되었다. 극저온 실험을 위해 체임버를 별도로 제작하였는데, 이 장비는 액체 질소를 투입 후 air circulator 를 통해 체임버 내부에서 가스를 고르게 순환시키는 원리로 작동한다. 구체적으로, 본 연구에서는 인장 시편을 극저온 체임버 내에 5 분간 방치 후 내부 온도가 123K 까지 냉각되는 것을 확인하고 인장력을 가하였다. 시험 진행 중에는 proportional-integral-derivative 방식을 통해 123 ± 2K 의 온도 범위를 유지하였다. 또한 인장 방향 및 시험 온도별로 10⁻¹, 10⁻², 2 × 10⁻³ s⁻¹의 세 변형 속도를 적용하였다.

상술한 인장 시험을 통해 세 종류의 변인(변형 온도, 인장 방향, 변형 속도)에 대해 두 종류의 인장 특성(응력, 연신율)을 가지는 12 개의 응력 곡선 데이터를 확보하였다. 본 연구에서는 예측 정확도를 높이기 위해 응력 곡선의 소성 영역 데이터만 취하여 기계학습을 수행하였다. 또한 각 응력 곡선별로 내삽 회귀를 적용하여 데이터 개수를 평준화하였는데, 이는 본 연구의 데이터베이스가 통상적인 기계 학습용 데이터베이스 대비 조건별 편차가 컸기 때문이다.

기계학습 모델의 성능을 평가하기 위한 test dataset으로 변형 속도 10⁻² s⁻¹ 조건의 응력 곡선을 지정하여, 해당 데이터는 기계학습 단계에서 제외되었다. ANN 및 LGBM 학습 시에는 feature 간 scale effect 를 제거하기 위해 정규화 처리를 수행하고, 과적합을 방지하기 위해 train dataset 과 validation dataset 을 8:2 로 나누어 학습하였다. LSTM 학습 시에는 min-max scaling 을 적용 후, validation dataset 을 배제하고 기계 학습을 수행하였다. 모든 코드는 Python Ver. 3.6, Scikit-Learn Ver. 1.0.1, Tensorflow Ver. 2.3.0 을 사용하여 작성하였다.

3. 기계학습

3.1 ANN

ANN은 기계학습 기반 회귀 예측 분야에서 전통적으로 사용되는 알고리즘이다. 본 연구에서 사용한 ANN 모델은 한 개의 입력층, 수 개의 은닉층, 한개의 출력층으로 구성된다. 이 중 입력층은 변형 온도, 인장 방향, 변형 속도, 연신율에 해당하는 4 개의 유닛으로 구성되며 출력층은 응력에 대응하는 단일 유닛만 지닌다. 은닉층의 개수 및 층 내부의 유닛수는 사용자가 직접 지정하여야 하는 하이퍼파라미터이다. 이 수치는 모델 성능에 직접적인 영향을 미치므로 최적화가 요구된다. 가능한 모든 하이퍼파라미터의 조합을 평가하는 것은 물리적으로 불가능하므로, 본 연구에서는 hyperband 알고리즘[10]을 적용하여 국소값을 찾아내는 전략을 취하였다. 구체적으로, m 개의 은닉층(1 ≤ m ≤ 6), 2ⁿ 개의 층별 유닛 수(1 ≤ n ≤ 10), 10^k 의 학습률(−4 ≤ k ≤ −1) 범위 내에서 지역 최적값을 찾아 사용하였다.

입력층으로 입력된 데이터는 각 유닛을 지나며 가중치와 편향 및 활성화 함수를 거친 후 다음 층으로 출력된다. 본 연구에서 사용한 활성화 함수는 널리 검증된 rectified linear unit[11]이다. 입력된 데이터는 상기 방법을 통해 모든 은닉층을 거쳐 최종적으로 출력층으로 모이게 된다. 이후 ADAM 알고리즘[12]을 적용하여 유닛별 가중치 및 편향 계수를 최적화하였다.

3.2 LGBM

LGBM은 Ke 등[13]이 gradient boosting model(GBM)을 개량하여 개발한 알고리즘으로 대규모· 고차원 데이터 학습에 특화되어 있다. 전통적 방식의 GBM은 다수의 의사결정 나무를 순서대로 학습시키고 잘못된 분류에 가중치를 인가해 다음 나무로 넘기면서 예측 정확도를 높인다[14]. LGBM 은 GBM 알고리즘에 두 가지 방법론을 추가하여 예측 정확도와 학습 속도를 개선하였다. 첫 번째 방법은 gradient-based one-side sampling으로 데이터의 중요도를 gradient 로 판단하는 기법이다. 즉 gradient 가 큰 데이터일수록 학습에 많이 투입하여 학습에 사용되는 데이터 총량을 줄이고 그만큼 학습 속도를 높이게 된다. 두 번째 방법은 exclusive feature bundling 이다. 이 기법은 상호배타적인 feature들을 한 그룹에 넣어 메모리 사용량을 줄이며 고차원 데이터를 대상으로 학습 속도를 획기적으로 향상할 수 있다. Ke 등[13]에 따르면 상기 방법론 적용 시 GBM 대비 20 배 빠른 학습 속도를 유지하면서 동일 수준의 예측 정확도를 확보할 수 있다.

LGBM 역시 ANN 과 마찬가지로 하이퍼파라미터 최적화가 필수적이다. 단 ANN 과 대조적으로, LGBM 의 경우 모든 하이퍼파라미터 조합을 시험할 수 있을 정도로 학습 속도가 개선되었다. 따라서 LGBM 의 하이퍼파라미터 최적화는 모든 조합을 검증하는 grid search 방법을 통해 수행되었다. 탐색 범위는 각 의사결정 나무의 최대 깊이(2 ≤ d ≤ 19) 및 10k 의 학습률(−2 ≤ k ≤ −1)로 설정되었다.

3.3 LSTM

LSTM 은 시계열 데이터 처리에 특화된 recurrent neural network(RNN) 기반 기계학습 알고리즘이다[15]. 입력층, 은닉층, 출력층으로 구성되는 점은 ANN 과 유사하나, LSTM 만의 특징으로 메모리 셀이라는 구성부가 추가로 포함된다. 메모리 셀은 현시점에서 필요한 정보를 저장하고 다음 층으로 전달하며 반대로 불필요한 정보는 제거한다. 이를 통해 연속적인 데이터의 기계학습에 강점을 가지며, 기존 RNN 기법의 단점인 gradient vanishing 문제도 해결하였다. 본 연구에서 활용한 LSTM 모델의 경우 ANN 과 동일하게 ADAM 알고리즘[12]을 사용하여 최적화하였다. 단, LSTM 알고리즘 특성상 ANN 에 비해서도 더욱 긴 학습 시간이 요구되기에 하이퍼 파라미터 최적화에 난항이 있었다. 따라서 본 연구에서는 3 개의 은닉층 및 층당 64 개의 메모리 셀을 임의로 지정하고, 나머지 하이퍼파라미터는 Tensorflow 라이브러리의 기본값을 사용하여 LSTM 모델을 구성하였음을 밝혀 둔다.

4. 결과 및 고찰

본 연구에서 기계학습에 사용한 데이터를 변형 속도에 따라 도시하였다(Fig. 1). 또한 정량적 비교를 위해 주요 인장 특성을 Table 1 에 정리하였다. 앞서 언급한 대로 기계학습의 정확도를 향상하기 위해 탄성 영역은 배제한 상태이다. 전반적으로 극저온 영역의 인장 강도가 상온 영역 대비 더 높은 것을 확인할 수 있다. 변형 속도는 연신율과 음의 상관관계를 보였으며, 특히 극저온 영역에서 이러한 관계가 뚜렷하게 드러났다. 예를 들어 극저온 영역 RD 인장 시 변형 속도 10⁻¹ s⁻¹ 조건은 28%의 연신율을 보이나 변형 속도가 2 × 10⁻³ s⁻¹ 로 1/50 감소 시 연신율은 63%로 급증한다. 반면 동일 변형 속도 조건에서 상온 RD 인장의 연신율은 각각 30% 및 38%로, 상대적으로 제한된 증가 폭을 보였다. 한편 이방성 관점에서 살펴보면, 변형 온도와 무관하게 RD 인장이 TD 인장 대비 우수한 연성을 보인다. 결과적으로 모든 조건에서 극저온 영역의 RD 인장이 가장 우수한 강도-연성 균형을 확보하였다. 통상 강도와 연성이 trade off 관계를 형성하는 점[16, 17]을 고려시 극저온 RD 인장에서 보인 두 물성의 동시 향상은 시사하는 바가 크다 할 수 있다. 상술한 물성은 온도, 인장 방향, 변형 속도에 따른 변형 모드 활성 여부 및 활성도를 통해 정량적으로 해석할 수 있다. 이는 본 연구진의 선행 연구[4, 5]에서 이미 상세히 다루었으므로, 본 연구에서는 기계학습에 집중하여 서술하고자 한다.

Fig. 1 Engineering stress-strain curves in the plastic regime at a strain rate of (a) 2 × 10⁻³, (b) 10⁻², and (c) 10⁻¹ s⁻¹ . “C” and “R” indicate that the tensile test was performed at the cryogenic and the room temperatures, respectively.

Table 1 Tensile properties of the investigated samples.

* ἐ: strain rate, YS: yield strength, UTS: ultimate tensile strength, PEL: plastic elongation to failure, “-C”: cryogenic tension, and “-R”: room-temperature tension.

앞서 언급한 test dataset에 대해 ANN, LGBM, LSTM 기반 기계학습 모델이 예측한 인장 곡선을 실험값과 함께 나타내었다(Fig. 2). 먼저 온도별 예측 성능을 보면, 상온 인장 대비 극저온 인장에 대한 예측 정확도가 현저히 낮아졌음을 확인할 수 있다. 특히 극저온 TD 인장의 경우 가장 낮은 예측 정확도를 보였다(Fig. 2b). 이러한 차이는 기계학습에 사용한 train dataset 의 분포에 기인한다. 앞서 언급한 대로 상온 인장 시에는 변형 속도에 따른 인장 성능 변화가 크지 않았다. 반면, 극저온 인장의 경우 변형 속도에 따라 연신율 차이가 두 배 이상 벌어지게 된다. 본 연구 조건상 기계학습에 사용된 데이터가 충분히 크지 않았기에 극저온 영역의 광대한 범위를 제대로 학습하지 못한 것으로 판단된다.

Fig. 2 Predicted stress-strain curves depending on the machine-learning algorithm compared with the experimental data at a strain rate of 10−2 s−1: (a) RD-C, (b) TD-C, (c) RD-R, and (d) TD-R .

각 모델의 정량적인 성능 평가를 위해 조건별로 평균 제곱근 오차(root mean squared error, RMSE)를 산출 후 비교하였다. RMSE 기반 예측 정확도의 경우 LGBM(22.8MPa)이 가장 높고, 다음으로 LSTM(30.0MPa) 및 ANN(31.2MPa) 순이었다. 그러나 Fig. 2를 보면 극저온 TD 인장을 제외한 모든 경우에서 LSTM 이 가장 준수한 예측 결과를 산출하고 있음을 확인할 수 있다. 다시 말해 LGBM 모델에서 확인된 최저 RMSE 수치는 극저온 TD 인장에 편향된 결과로 판단된다. 실제로 해당 결과를 제외할 경우 LSTM 의 RMSE(12.8MPa)가 LGBM(20.8MPa)이나 ANN(26.1MPa) 대비 큰 폭의 하락을 보이며, 이를 통해 LSTM 의 예측 정확도가 가장 우수한 것으로 판단할 수 있다.

더욱이 LGBM 은 변형률에 따라 계단 함수(step function) 형태로 급변하는 인장 곡선을 예측하였다. 이는 신경망 기반의 다른 두 알고리즘이 실제 응력 곡선과 유사한 형태의 매끈한 곡선을 예측한 점과 대비되는 부분이다. LGBM 모델이 산출한 불연속 거동은 해당 모델이 속한 GBM 계열 알고리즘의 근본적인 문제로 판단된다. 실제로 같은 계열의 extreme gradient boosting(XGB) 알고리즘 기반 예측 시에도 유사한 형태의 불연속 계단 함수가 확인된 바 있다[8, 9]. LGBM 과 XGB 에 공통으로 사용된 의사결정 나무는 기본적으로 이진 분류를 수행한다. 다시 말해 비슷한 값을 가지는 변수들은 예측 시 의사결정 나무에 의해 동일 그룹으로 분류되므로 상술한 계단식 예측치가 산출되는 것으로 판단된다. 상기 결과를 종합해 볼 때, LGBM 을 포함한 GBM 계열 기계학습은 응력 거동과 같은 연속적 결과를 예측하는 데엔 적합하지 않을 것으로 사료된다.

LSTM 모델의 높은 예측 정확도는 이 알고리즘이 연속적인 시계열 데이터 분석에 특화되어 있다는 점에 기인한다. 응력 곡선은 항복 이후 가공경화, 네킹, 연화, 파단이 일어나는 복잡한 변형 거동을 포함하고 있으나, 기본적으로 t−1 스텝의 응력과 t 스텝의 응력이 연속적으로 배치되어 있는 형태이다. 이에 따라 본 연구 조건에서 LSTM 의 강점이 극대화되어 가장 정확한 예측치를 산출한 것으로 판단된다. 더욱이 본 기계학습에 사용된 LSTM 모델의 학습 시간(24.2 분)은 ANN(3.3 시간) 대비 압도적으로 빨랐다. 이는 대규모 계산에 있어 컴퓨팅 자원의 효율적 활용이란 측면에서 향후 대단한 강점이 될 것으로 기대된다.

마지막으로 강조하고 싶은 것은, 본 연구에서 제안한 LSTM 모델에 추가 개선 여지가 크다는 점이다. 3.3 절에서 언급한 바와 같이, 이 모델에는 별도의 하이퍼파라미터 최적화가 적용되지 않았다. 또한 이 번 연구에 사용한 데이터[4]는 기계학습에 적용하기에는 그 크기가 상당히 제한적이다. 일반적으로 원활한 비선형 기계학습에는 파라미터 당 10 배의 training dataset 이 요구되기 때문이다. Fig. 2b 에서 나타난 LSTM 의 예측 성능 저하 역시, 적은 데이터량에 따른 과편향의 결과로 판단된다. 즉, 향후 추가 실험을 통해 데이터베이스 규모를 확장하고 적절한 하이퍼파라미터 튜닝을 수행할 경우 LSTM 모델이 온도-변형방향-변형속도에 따른 비선형 응력 거동을 매우 잘 예측할 수 있을 것으로 판단된다.

5. 결론

본 연구는 기계학습을 활용하여 CP-Ti 압연재의 다변수·비선형 인장 거동을 예측하고자 하였다. CP-Ti 압연재는 변형 온도(상온 및 극저온), 변형 방향(RD 및 TD), 변형 속도(10⁻¹, 10⁻², 2 × 10⁻³ s⁻¹)에 따라 극단적인 인장 거동 차이를 나타내었다. 본 연구진은 세 종류의 기계학습 모델(ANN, LGBM, LSTM)을 구축하여 각 조건에서의 인장 곡선을 산출하고 비교하였다. 상온 영역에 비해 극저온 영역의 예측 정확도가 낮았는데, 이는 후자에서 기계학습에 사용된 train dataset 의 데이터 편차가 컸기 때문이다. RMSE를 활용한 정량적 예측 정확도 분석 시 LGBM 이 가장 우수해 보였으나, 이는 특정 조건에 대한 과적합에 의한 오차로 판명되었다. LGBM 예측치는 실제 응력 곡선에 비해 불연속적 계단 함수 형태를 띠었기에 오히려 본 연구의 예측에 가장 부적합할 것으로 판단된다. 반면, LSTM 모델은 응력 곡선이 가지는 시계열 특성을 잘 학습하여 가장 우수한 예측 성능을 보여주었다. 특히, 상기 결과가 소규모 데이터를 대상으로 하이퍼파라미터 최적화 없이 획득되었다는 점을 고려 시, 데이터베이스 확장 및 모델 최적화를 통해 LSTM 기반 기계학습 예측 성능을 더욱 향상할 수 있을 것으로 기대된다.

후기

이 과제는 부산대학교 기본연구지원사업 (2 년)에 의하여 연구되었음.