Korean Chemical Engineering Research

The Korean Institute of Chemical Engineers (한국화학공학회)
권호 표지
DOI QR코드

DOI QR Code

Performance Evaluation of Loss Functions and Composition Methods of Log-scale Train Data for Supervised Learning of Neural Network

신경 망의 지도 학습을 위한 로그 간격의 학습 자료 구성 방식과 손실 함수의 성능 평가

  • Donggyu Song (Department of Chemical Engineering, Jeju National University) ;
  • Seheon Ko (Department of Chemical Engineering, Jeju National University) ;
  • Hyomin Lee (Department of Chemical Engineering, Jeju National University)
  • 송동규 (제주대학교 화학공학과) ;
  • 고세헌 (제주대학교 화학공학과) ;
  • 이효민 (제주대학교 화학공학과)
  • Received : 2023.07.11
  • Accepted : 2023.07.19
  • Published : 2023.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

The analysis of engineering data using neural network based on supervised learning has been utilized in various engineering fields such as optimization of chemical engineering process, concentration prediction of particulate matter pollution, prediction of thermodynamic phase equilibria, and prediction of physical properties for transport phenomena system. The supervised learning requires training data, and the performance of the supervised learning is affected by the composition and the configurations of the given training data. Among the frequently observed engineering data, the data is given in log-scale such as length of DNA, concentration of analytes, etc. In this study, for widely distributed log-scaled training data of virtual 100×100 images, available loss functions were quantitatively evaluated in terms of (i) confusion matrix, (ii) maximum relative error and (iii) mean relative error. As a result, the loss functions of mean-absolute-percentage-error and mean-squared-logarithmic-error were the optimal functions for the log-scaled training data. Furthermore, we figured out that uniformly selected training data lead to the best prediction performance. The optimal loss functions and method for how to compose training data studied in this work would be applied to engineering problems such as evaluating DNA length, analyzing biomolecules, predicting concentration of colloidal suspension.

지도 학습 기반의 신경 망을 활용한 공학적 자료의 분석은 화학공학 공정 최적화, 미세 먼지 농도 추정, 열역학적 상평형 예측, 이동 현상 계의 물성 예측 등 다양한 분야에서 활용되고 있다. 신경 망의 지도 학습은 학습 자료를 요구하며, 주어진 학습 자료의 구성에 따라 학습 성능이 영향을 받는다. 빈번히 관찰되는 공학적 자료 중에는 DNA의 길이, 분석 물질의 농도 등과 같이 로그 간격으로 주어지는 자료들이 존재한다. 본 연구에서는 넓은 범위에 분포된 로그 간격의 학습 자료를 기계 학습으로 처리하는 경우, 사용 가능한 손실 함수들의 학습 성능을 정량적으로 평가하였으며, 적합한 학습 자료 구성 방식을 연구하였다. 이를 수행하고자, 100×100의 가상 이미지를 활용하여 기계 학습의 회귀 과업을 구성하였다. 4개의 손실 함수들에 대하여 (i) 오차 행렬, (ii) 최대 상대 오차, (iii) 평균 상대 오차로 정량적 평가하여, mape 혹은 msle가 본 연구에서 다룬 과업에 대해 최적의 손실 함수가 됨을 알아내었다. 또한, 학습 자료의 값이 넓은 범위에 걸쳐 분포하는 경우, 학습 자료의 구성을 로그 간격 등을 고려하여 균등 선별하는 방식이 높은 학습 성능을 보임을 밝혀내었다. 본 연구에서 다룬 회귀 과업은 DNA의 길이 예측, 생체 유래 분자 분석, 콜로이드 용액의 농도 추정 등의 공학적 과업에 적용 가능하며, 본 결과를 활용하여 기계 학습의 성능과 학습 효율의 증대를 기대할 수 있을 것이다.

Keywords

Acknowledgement

이 논문은 2023학년도 제주대학교 교원성과지원사업에 의하여 연구되었습니다.

References

  1. Wang, X. et al. in 2020 IEEE International Conference on Image Processing (ICIP). 768-772.
  2. Li, J., Zhang, M. and Wang, D., "Adaptive Demodulator Using Machine Learning for Orbital Angular Momentum Shift Keying," IEEE Photonics Technology Letters, 29, 1455-1458(2017). https://doi.org/10.1109/LPT.2017.2726139
  3. Poort, J. P., Ramdin, M., van Kranendonk, J. and Vlugt, T. J. H., "Solving Vapor-liquid Flash Problems Using Artificial Neural Networks," Fluid Phase Equilibria, 490, 39-47(2019). https://doi.org/10.1016/j.fluid.2019.02.023
  4. Valderrama, J. O., Reategui, A. and Rojas, R. E., "Density of Ionic Liquids Using Group Contribution and Artificial Neural Networks," Industrial & Engineering Chemistry Research, 48, 3254-3259(2009). https://doi.org/10.1021/ie801113x
  5. Han, X., Wang, J. and Sun, Y., "Circulating Tumor DNA as Biomarkers for Cancer Detection," Genomics, Proteomics & Bioinformatics, 15, 59-72(2017). https://doi.org/10.1016/j.gpb.2016.12.004
  6. Lee, Y., El Andaloussi, S. and Wood, M. J., "Exosomes and Microvesicles: Extracellular Vesicles for Genetic Information Transfer and Gene Therapy," Human molecular genetics, 21, R125-134(2012). https://doi.org/10.1093/hmg/dds317
  7. Baskaran, S., Panner Selvam, M. K. and Agarwal, A. in Advances in Clinical Chemistry Vol. 95 (ed Gregory S. Makowski) 149-163 (Elsevier, 2020).
  8. Spada, S. and Galluzzi, L. Extracellular Vesicles. (Elsevier Science, 2020).
  9. Goodfellow, I., Bengio, Y. and Courville, A. Deep Learning. (MIT Press, 2016).
  10. Aldrees, A. et al., "Multi-Expression Programming (MEP): Water Quality Assessment Using Water Quality Indices," Water, 14, 947 (2022).
  11. Alpan, K. and Sekeroglu, B., "Prediction of Pollutant Concentrations by Meteorological Data Using Machine Learning Algorithms," Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIV-4/W3-2020, 21-27(2020). https://doi.org/10.5194/isprs-archives-XLIV-4-W3-2020-21-2020
  12. Cai, R. et al., "Prediction of Surface Chloride Concentration of Marine Concrete Using Ensemble Machine Learning," Cement and Concrete Research, 136, 106164(2020).
  13. Bozdag, A., Dokuz, Y. and Gokcek, O. B., "Spatial Prediction of PM10 Concentration Using Machine Learning Algorithms in Ankara, Turkey," Environmental Pollution, 263, 114635(2020).
  14. Sadhukhan, B., Chakraborty, S. and Mukherjee, S., "Predicting the Magnitude of An Impending Earthquake Using Deep Learning Techniques," Earth Science Informatics, 16, 803-823(2023). https://doi.org/10.1007/s12145-022-00916-2
  15. Bronkhorst, A. J., Ungerer, V. and Holdenrieder, S., "Comparison of Methods for the Isolation of Cell-free DNA from Cell Culture Supernatant," Tumour Biology, 42(4), 1010428320916314(2020).
  16. Theel, E. K. and Schwaminger, S. P., "Microfluidic Approaches for Affinity-Based Exosome Separation," International Journal of Molecular Sciences, 23, 9004(2022).
  17. Descamps, L., Le Roy, D. and Deman, A. L., "Microfluidic-Based Technologies for CTC Isolation: A Review of 10 Years of Intense Efforts towards Liquid Biopsy," Int. J. Mol. Sci., 23(4), 1981(2022).