The Korean Journal of Applied Statistics (응용통계연구)

The Korean Statistical Society (한국통계학회)
권호 표지
DOI QR코드

DOI QR Code

Correlated variable importance for random forests

랜덤포레스트를 위한 상관예측변수 중요도

  • Received : 2020.12.08
  • Accepted : 2021.01.15
  • Published : 2021.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

Random forests is a popular method that improves the instability and accuracy of decision trees by ensembles. In contrast to increasing the accuracy, the ease of interpretation is sacrificed; hence, to compensate for this, variable importance is provided. The variable importance indicates which variable plays a role more importantly in constructing the random forests. However, when a predictor is correlated with other predictors, the variable importance of the existing importance algorithm may be distorted. The downward bias of correlated predictors may reduce the importance of truly important predictors. We propose a new algorithm remedying the downward bias of correlated predictors. The performance of the proposed algorithm is demonstrated by the simulated data and illustrated by the real data.

랜덤포레스트는 여러 의사결정나무 모형들을 융합하여 안정성과 예측력을 높여주기 때문에 종종 사용되는 방법이다. 예측력을 증가시키는 반면 해석의 용이성을 희생하기 때문에 이를 보상하기 위해 변수의 중요도를 제공한다. 변수의 중요도는 랜덤포레스트를 구축할 때 변수가 얼마나 중요한 역할을 하는지를 알려 준다. 그러나 어떤 예측변수가 다른 예측변수들과 상관되어 있을 때 기존 알고리즘의 변수중요도는 왜곡될 수 있다. 상관된 예측변수들의 하향 편향은 예측변수의 중요도를 실제 중요도보다 낮게 측정하게 한다. 우리는 기존 알고리즘을 수정하여 상관 예측변수의 하향 편향을 회복하는 새로운 알고리즘을 제안한다. 제안된 알고리즘의 성능은 모의 자료에 의해 증명되고 실제 자료에 의해 설명된다.

Keywords

Acknowledgement

이 논문은 정부(교육부)의 재원으로 한국연구재단의 기초연구사업 지원(2018R1D1A1B07044479), 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(2019R1A4A1028134), 고려대학교 연구비 지원(K2019631)을 받아 수행된 연구이다.

References

  1. Archer, K. J. and Kimes, R. V. (2008). Empirical characterization of random forest variable importance measures, Computational Statistics & Data Analysis, 52, 2249-2260. https://doi.org/10.1016/j.csda.2007.08.015
  2. Biau, G. and Scornet, E. (2016). A random forest guided tour, Text, 25, 197-227.
  3. Breiman, L. (2001). Random forests, Machine Learning, 45, 5-32. https://doi.org/10.1023/A:1010933404324
  4. Breiman, L. (2002). Manual on setting up, using, and understanding random forests v3.1. Statistics Department University of California Berkeley, CA, USA.
  5. Breiman, L., Friedman, J. H., Olshen, R. A., and Stone, C. J. (1984). Classification and Regression Trees, Wadsworth, Belmont.
  6. Genuer, R., Poggi, J. M., and Tuleau-Malot, C. (2010). Variable selection using random forests, Pattern Recognition Letters, 31, 2225-2236. https://doi.org/10.1016/j.patrec.2010.03.014
  7. Gregorutti, B., Michel, B., and Saint-Pierre, P. (2017). Correlation and variable importance in random forests, Statistics and Computing, 27, 659-678. https://doi.org/10.1007/s11222-016-9646-1
  8. Nicodemus, K. K., Malley, J. D., Strobl, C., and Ziegler, A. (2010). The behaviour of random forest permutation-based variable importance measures under predictor correlation, Bioinformatics, 11, 1-13. https://doi.org/10.1093/bioinformatics/11.1.1
  9. RColorBrewer, S. and Liaw, M. A. (2018). Package 'random Forest', University of California Berkeley, CA, USA.
  10. Rumao, S. (2019). Exploration of Variable Importance and Variable selection techniques in presence of correlated variables. Rochester Institute of Technology.
  11. Strobl, C., Boulesteix, A. L., Kneib, T., Augustin, T., and Zeileis, A. (2008). Conditional variable importance for random forests, Bioinformatics, 9, 307.
  12. Strobl, C., Boulesteix, A. L., Zeileis, A., and Hothorn, T. (2007). Bias in random forest variable importance measures: Illustrations, sources and a solution, Bioinformatics, 8, 25.