SEM-ANN 2단계 분석에서 예측성능과 변수중요도의 비교연구

Comparative Study of Prediction Performance and Variable Importance in SEM-ANN Two-stage Analysis

Abstract

The purpose of this study is to investigate the improvement of prediction performance and changes in variable importance in SEM-ANN two-stage analysis. 366 cosmetics repurchase-related survey data were analyzed and the results were presented. The results of this study are summarized as follows. First, in SEM-ANN two-stage analysis, SEM and ANN models were trained with train data and predicted with test data, respectively, and the R² was showed. As a result, the prediction performance was doubled from SEM 0.3364 to ANN 0.6836. Looking at this degree of R² improvement as the effect size f² of Cohen (1988), it corresponds to a very large effect at 110%. Second, as a result of comparing changes in normalized variable importance through SEM-ANN two-stage analysis, variables with high importance in SEM were also found to have high importance in ANN, but variables with little or no importance in SEM became important in ANN. This study is meaningful in that it increased the validity of the comparison by using the same learning and evaluation method in the SEM-ANN two-stage analysis. This study is meaningful in that it compared the degree of improvement in prediction performance and the change in variable importance through SEM-ANN two-stage analysis.

1. 서론

구조방정식모형(structural equation modelling, SEM)은 선형성에 기반하여 변수 간의 구조를 모델링하고 관계를 규명한다. 이에 비해, 인공신경망(artificial neural network, ANN)은 비선형성에 기반하여 복잡한 패턴을 학습하고 모델링하여 결과를 예측한다. SEM-ANN 2단계 분석은 SEM과 ANN의 선형 및 비선형 요소를 연계한 분석 방법으로 인과관계를 파악하고 예측성능을 향상시키는 데 목적이 있다[Scott and Walczak, 2009; Alharbiv and Sohaib, 2021]. SEM-ANN 2단계 분석은 SEM을 통해 신뢰성과 인과성을 검증하고, SEM의 결과값을 ANN의 입력값으로 받아 다시 학습한다는 점에서 개념적으로 전이학습(transfer learning)에 해당된다[Jiang and Kwon, 2023].

ANN은 명시적으로 전체 데이터를 학습 데이터(train data)와 테스트 데이터(test data)로 구분한 다음, 학습 데이터로 모델을 훈련하고, 훈련된 모델을 테스트 데이터에 적용하여 예측성능을 평가하고 모델이 현실 데이터에 얼마나 잘 적용되는지 확인한다. 이에비해, SEM은 데이터를 구분하지 않고 전체 데이터에 대한 구조모델의 적합도를 평가한다. 따라서 SEM과 ANN을 연계한 2단계 분석은 학습과 평가 방식의 차이로 인해 비교에 한계가 있다. 즉, SEM에서는 전체 데이터로 모델을 학습시키고 성능을 평가함으로 모델이 학습 데이터에 지나치게 최적화되어 새로운 데이터에 대한 예측성능이 저하될 수 있다(overfitting). 전체 데이터를 이용한 SEM의 과적합 성능과 ANN의 테스트 성능을 직접 비교하는 것은 문제가 될 수 있다.

본 연구에서는 SEM-ANN 2단계 분석에 동일한 학습 방식과 평가 방식을 적용하였다. 이를 위해 Python 기반의 오픈 패키지인 plspm을 이용하여 전체 데이터를 학습 데이터와 테스트 데이터로 구분한 다음, 학습 데이터로 SEM 모델을 훈련하고 테스트 데이터로 예측성능을 확인하였다. 그리고 SEM의 잠재변수값(latent variable score)을 ANN의 입력값으로 투입하여 모델을 훈련하고 테스트 데이터에 대한 예측성능을 확인하였다. 이와 같이 동일한 학습 및 평가 방식을 적용한 SEM-ANN 2단계 분석 결과를 바탕으로 종속변수에 대한 영향요인의 차이를 확인하고, 예측성능의 향상 정도를 검토하였다.

2. 문헌연구

2.1 선행연구 검토

<Table 1>은 SEM-ANN 2단계 분석을 주제로 SCI 저널에 발표된 논문 중에서 본 연구목적에 적합하다고 판단되는 20편을 선택하여 정리한 것이다. 연구 분야는 MIS 분야가 65%, Marketing 분야가 35%로 나타났다. MIS 분야에서는 신기술 도입이나 디지털 전환이 연구되었고, Marketing 분야에서는 소비자 행동이나 사회적 관심사가 연구되었다. 연구방법 측면에서는 SEM 분석 도구로는 SmartPLS가 60%로 가장 많이 사용되었고(PLS-Graph 포함), AMOS가 40% 사용되었다.

<Table 1> Literature Review of SEM-ANN Two-stage Analysis

ANN 분석 도구로는 SPSS의 Neural Networks의 Multi-layer Perceptron(이하 SPSS MLP라 칭함)가 85% 사용되었고, Tiberius7이 10% 사용되었다. 교차분석은 10-Fold cross validation이 95% 사용되었고, train_test_split는 90:10 비율이 75%로 가장 많이 사용되었다. ANN에서는 변수중요도(variable importance)가 민감도 분석(sensitivity analysis)에 의해 제시되었고, ANN의 성능 지표로는 RMSE가 90% 제시되었으며, MAE와 MAPE도 부분적으로 제시되었다.

2.2 선행연구의 한계

선행연구 검토 결과, SEM-ANN 2단계 분석에서 가장 많이 사용된 도구는 SmartPLS와 SPSS MLP이다. 서론에서 살펴본 바와 같이 SmartPLS는 전체 데이터를 대상으로 모델을 훈련하고 성능을 평가하기 때문에 과적합이 발생할 수 있다. 이러한 과적합 검토 없이 SEM과 ANN의 분석결과를 직접 비교하는 것은 문제가 될 수 있다.

다음으로 SPSS MLP는 ANN 최적 모델을 자동 탐색하는 기능이 없어 모델 탐색에 제한이 있다[Jiang and Kwon, 2023]. 그리고 은닉층 수(Number of Hidden Layers)를 최대 2개까지 선택할 수 있어 깊은 딥러닝 모델을 만들 수 없다. SPSS MLP에서 모델을 최적화 하려면 Architecture 옵션을 Custom architecture로 설정하고 첫 번째 은닉층의 노드수(Number of Units)와 두 번째 은닉층의 노드수를 Custom으로 선택하여 숫자를 입력하여 결과를 확인하는 방식으로 일일이 수작업 반복해야 한다. 이는 많은 시간이 소요되어 최적 모델 발견과 높은 예측성능 구현에 한계가 있다.

따라서 본 연구에서는 SEM에서 학습 데이터와 테스트 데이터로 구분하여 분석할 수 있는 Python 기반의 plspm을 사용하고, Python 기반의 Keras와 AutoML 기능을 제공하는 AutoKeras를 사용함으로써 SEM의 과적합 문제를 극복하고, ANN의 예측 성능을 향상시키는 연구를 수행하였다.

3. 연구방법

3.1 분석도구

본 연구에서는 SEM 분석을 위해 <Table 1>의 선행연구에서 가장 많이 사용된 PLS(partial least square)를 선택하였고, 전체 데이터를 학습 데이터 90%와 테스트 데이터 10%로 구분하여 분석하였다. SEM-ANN 2단계 분석에는 SmartPLS 대신에 plspm을 사용하였고, SPSS MLP 대신에 TensorFlow 백엔드 엔진 위에서 구동하는 Keras를 사용하였다.

3.1.1 Plspm

plspm은 Python이나 R로 Partial Least Squares Path Modeling(PLS-PM)을 분석할 수 있도록 공개된 패키지이다. 사용 방법은 https://github.com/gastonstat/plspm에 공개되어 있다. 본 연구에서는 SEM을 plspm으로 분석하고, SmarPLS 4.0과 비교하면서 결과값의 일치 여부를 확인하였다. plspm은 전체 데이터를 학습 데이터와 테스트 데이터로 구분하여 SEM을 훈련하고 예측성능을 확인할 수 있다. 그리고 plspm은 교차검증(cross validation)이 가능하다. 교차검증은 데이터를 무작위로 섞어서 학습 데이터로 모델을 훈련하고 테스트 데이터로 예측성능을 확인하는 과정을 반복 수행함으로써 모델 성능을 일반화한다.

3.1.2 Keras

Keras는 사용자 친화적이고 유연하게 ANN 모델을 구축하고 훈련시키는 API이다. Keras에서는 keras. models.Sequential을 이용하여 각 층을 순차적으로 쌓고, Dense(완전 연결 층)를 추가하여 각 층을 정의하면서 ANN 모델을 수립한다. ANN에서는 전체 데이터를 학습 데이터와 테스트 데이터로 구분하여 분석하는데, 모델 훈련 과정에서 일반화 성능을 평가하고 과적합을 방지하기 위해 학습 데이터의 일부를 검증(validation) 데이터로 할당하여 훈련한다.

3.2 SEM-ANN 2단계 분석 과정

본 연구에서는 plspm으로 SEM을 분석하여 잠재변수값(latent variables)을 산출한 다음, 이 값을 다시 ANN에 투입하여 분석하였다.

3.2.1 SEM 분석 과정

plspm을 이용한 SEM 분석 과정은 다음과 같다.

첫째, 전체 데이터셋을 90%의 학습 데이터와 10%의 테스트 데이터로 구분한다.

둘째, plspm으로 학습 데이터를 훈련하여 외부 가중치(outer weights)와 경로계수(path coefficients)를 추정하고 잠재변수값을 산출한다.

셋째, 추정된 외부 가중치를 테스트 데이터에 적용하여 테스트 데이터에 대한 잠재변수값(latent variable score)을 계산한다. 잠재변수값은 연구변수를 구성하는 각 측정값들과 그에 해당되는 외부 가중치를 곱한 다음 합하여(sum of products) 계산한다.

넷째, 계산된 잠재변수값에 경로계수를 곱한 다음 합하여 테스트 데이터에 대한 종속변수 예측값을 계산한다.

넷째, 예측값을 종속변수 실제값(잠재변수값)과 비교하여 테스트 데이터에 대한 예측성능을 계산한다.

3.2.2 ANN 분석 과정

Keras를 이용한 ANN 분석과정은 다음과 같다.

첫째, keras.models.Sequential과 keras.layers.Dense를 이용하여 ANN 모델을 수립한다.

둘째, 앞의 plspm을 이용한 SEM 분석의 셋째 과정에서 계산된 학습 및 테스트 데이터의 잠재변수값을 ANN 모델의 입력값으로 투입한다.

셋째, ANN 모델을 훈련(fit)시킨다.

넷째, 훈련된 ANN 모델로 테스트 데이터에 대한 예측값을 계산한다.

다섯째, 예측값을 실제값(잠재변수값)과 비교하여 테스트 데이터에 대한 예측성능을 계산한다.

3.2.3 예측성능 계산 방법

본 연구의 데이터 분석에 사용된 종속변수(label)는 연속형 변수이다. 따라서 SEM과 ANN의 예측성능 계산 방식으로 R²를 사용하였다. PLS로 SEM을 분석하여 산출하는 R²는 선형회귀(linear regression) 계산방식과 동일하다. R²는 결정계수(coefficient of determination)라 하고, 설명력 또는 예측력이라 하기도 한다. 전통적인 통계학에서는 모델이 종속변수의 변동성을 결정하거나 설명한다고 보아 결정계수 또는 설명력이라 한다. 이에 비해 머신러닝, 딥러닝 등의 인공지능 분야에서는 모델이 학습에 사용되지 않은 새로운 데이터를 얼마나 정확하게 예측하는지를 표현한다 하여 예측력이라 부른다.

본 연구에서 사용한 R² 계산과정은 다음과 같다. 계산과정에서 y는 종속변수의 실제값, y̅는 종속변수의 실제값의 평균, ŷ는 종속변수의 예측값, n은 데이터 샘플수를 의미한다.

SSE(sum of squared error) = \(\begin{align}\sum_{1}^{n}(y-\hat{y})^{2}\end{align}\)

SSD(sum of squared deviation) =  \(\begin{align}\sum_{1}^{n}(y-\bar{y})^{2}\end{align}\)

\(\begin{align}\mathrm{R}^{2}=1-\frac{S S E}{S S D}\end{align}\)

4. 데이터 분석

4.1 연구변수 및 데이터

본 연구에 사용된 데이터는 화장품 재구매 영향요인 분석을 위해 2018년에 대학생 및 대학원생을 대상으로 설문조사하여 수집한 366개 샘플이다. 설문조사 항목으로 화장품 재구매의도, 신뢰, 가치, 품질, 정보탐색, 조절초점, 실망감, 배신감 등이 있고, 리커트(Likert) 5점 척도로 조사되었다. 본 연구에서는 화장품 재구매의도(repurchase)를 종속변수로 설정하고, 영향요인으로 화장품의 가치(value), 품질(quality), 지각위험(risk), 정보탐색(searching)을 설정하였다. 본 연구의 목적이 SEM-ANN 2단계 분석으로 인한 예측성능의 향상과 변수중요도의 변화를 비교하는 것이기 때문에 변수의 선택 이유나 연구가설에 대한 설명은 생략하였다.

다음은 본 연구에 사용된 변수들과 이를 구성하는 측정항목들이다. 먼저 재구매의도는 반복 구매할 의향, 지속구매, 추천의향으로 구성되었고, 가치는 가격 적절성, 가격 대비 혜택, 기대 충족으로 구성되었으며, 품질은 피부개선, 컬러보정, 미백, 색조로 구성되었다. 위험은 재무적 위험, 기능적 위험, 품질 위험, 신체적 안전 위험, 사회적 위험, 심리적 위험으로 구성되었고, 정보탐색은 친구나 주변인물에 문의, 품질, 기능 색감에 대한 온라인 후기 탐색으로 구성되었다(Li(2018) 설문 참조). 본 연구에서는 종속변수에 대한 영향요인 이외에 성별, 연령, 소득이 통제변수로 사용되었다. 본 연구의 데이터 분석에 사용된 366개의 데이터 표본은 남자 50%, 여자 50%이고, 응답자의 평균 연령은 23.4세이며, 월 용돈은 30~40만원이 57%로 가장 많다.

4.2 측정모델 분석

본 연구에 사용된 측정모형의 신뢰성과 타당성 검증은 plspm로 수행하였다. <Table 2>는 신뢰성 검증 결과로서, AVE값은 0.5 이상, 복합신뢰도(CR)는 0.7 이상, 크론바하 알파는 0.6 이상으로 각각 나타나 신뢰성이 확보되었다. 측정문항의 구성개념에 대한 요인적재값은 대부분 0.6 이상이지만, 위험(risk)의 두 문항은 0.473과 0.514로 다소 낮게 나타났다.

<Table 2> Reliability Test

다음으로 <Table 3>과 같이 측정모형의 판별타당성을 분석하였다. 분석결과, 구성개념의 AVE 제곱근 값이 구성개념 간 상관계수값보다 높게 나타나 판별타당성이 있는 것으로 나타났다.

<Table 3> Discriminant validity

4.3 SEM 분석

4.3.1 전체 데이터로 분석한 결과

plspm으로 SEM의 모형 적합도(Goodness-of-Fit, GoF)를 확인한 결과 51.5%로 높게 나타났다. 종속변수인 화장품 재구매의도에 대한 독립변수의 설명력인 R²는 0.4006로 나타났다. 재구매의도의 영향요인에 대한 경로계수의 유의수준은 Bootstrapping을 5000회 실시하여 산출하였다. 그 결과 <Table 4>와 같이 가치, 품질, 위험이 재구매의도에 미치는 영향은 5% 유의수준에서 유의하게 나타났고, 정보탐색은 유의하지 않았다. 성별, 연령, 소득의 통제변수는 5% 유의수준에서 유의하지 않게 나타났다.

<Table 4> PLS Path Analysis Results

4.3.2 학습 데이터로 훈련하여 테스트 데이터로 예측한 결과

전체 데이터 366개 중에서 90%인 330개는 학습 데이터로, 10%인 36개는 테스트 데이터로 구분한 다음, 학습 데이터로 SEM 모델을 훈련하고 훈련된 모델을 테스트 데이터에 적용하여 예측성능을 계산하였다. 전체 데이터를 10개의 데이터 폴드(fold)로 구분하여 각각의 데이터에 대하여 10회씩 훈련 및 검증하였고, 이러한 과정을 10회 반복하였다(RepeatedKFold(n_splits=10, n_repeats=10)). 이러한 교차분석을 통해 학습 데이터와 테스트 데이터에 대해 각각 100개의 R²가 산출되었다.

100개의 R²를 평균한 결과, 학습 데이터는 0.4029로 나타났고, 테스트 데이터는 0.3364로 나타났다. 그리고 R²의 표준편차는 학습 데이터는 0.0146으로, 테스트 데이터는 0.1499로 나타났다. R²의 표준편차가 작을수록 해당 값의 변동이 작다는 것을 의미하기 때문에, 학습 데이터의 R²는 표준편차가 작아 결과가 안정적인데 반해, 테스트 데이터의 R²는 표준편차가 커서 결과가 안정적이지 않았다.

전체 데이터 분석 결과와 학습 및 테스트로 구분한 분석결과를 비교할 때, 학습 데이터로 분석한 R²는 0.4029로 전체 데이터로 분석한 R² 0.4006과 차이가 0.0023만큼 매우 작게 나타났다. 반면, 테스트 데이터에 대한 R²는 0.3364로 학습 데이터보다 0.0665만큼 감소하였다. 따라서 학습 데이터에 대한 성능이 약간 과적합된 것으로 나타났다(overfitting).

<Table 5>는 전체 데이터로 분석한 경로계수와 학습 데이터로 분석한 경로계수를 비교한 것이다. 학습 데이터 경로계수는 100회 교차분석하여 산출된 값들의 평균이다. 표에 나타난 바와 같이 전체 데이터와 학습 데이터간의 경로계수의 차이는 거의 없는 것으로 나타났다.

<Table 5> Comparing Path Coefficients between Total and Train Data

4.4 ANN 분석

“3.2.2 ANN 분석 과정”에서 제시된 단계에 따라 plspm의 외부 가중치로 잠재변수값을 산출하고, 그 값을 ANN의 입력값으로 투입하여 모델을 학습하고 테스트 데이터로 예측성능을 평가하였다. 본 연구에서 ANN 분석에 사용된 모델은 <Figure 1>과 같다. ANN 모델은 두 개의 은닉층으로 구성되었다. 첫 번째 은닉층은 32개의 노드와 0.25의 dropout으로 구성되었고, 두 번째 은닉층은 마찬가지로 32개의 노드와 0.25의 dropout으로 구성되었다. 활성화함수로는 ReLU가 사용되었다. dropout은 훈련 과정에서 네트워크의 일부 노드를 무작위로 비활성화시켜 모델이 특정 노드에 과도하게 의존하지 않도록 하여 과적합을 방지하고 일반화 성능을 향상시키기 위해 설정하였다. 본 연구에서는 최적의 모델구조와 하이퍼파라미터 선택 및 튜닝에 AutoKeras를 사용하였다. AutoKeras는 DATALab이 Keras를 사용하여 구축한 오픈 소스 AutoML이다(https://autokeras.com).

<Figure 1> ANN Model Summary

ANN 분석은 SEM 분석에서와 마찬가지로 전체 데이터의 90%인 330개는 학습 데이터로, 10%인 36개는 테스트 데이터로 분리하여 100회 교차분석하였다. 교차분석으로 산출된 100개의 R² 평균은 학습 데이터가 0.6940, 테스트 데이터가 0.6836으로 나타났다. 학습 데이터와 테스트 데이터의 R² 차이가 0.0104로 매우 작아 과적합이 발생하지 않았다. R²의 표준편차는 학습 데이터는 0.0079, 테스트 데이터는 0.0759로서 테스트 데이터가 더 높게 나타났다. <Table 1>의 선행연구와 같이 SPSS MLP로 ANN 모델을 10회 교차분석한 결과 테스트 데이터의 R²는 0.5161로 나타났는데, 분석 결과는 부록으로 제시하였다.

4.5 SEM과 ANN 분석결과 비교

4.5.1 SEM과 ANN의 R² 비교

(1) SEM 전체 데이터 분석 성능과 ANN 테스트 데이터 예측성능 비교

<Table 1>의 선행연구에서는 SEM을 전체 데이터로 분석하였을 때의 R²와 훈련된 ANN 모델을 테스트 데이터에 적용하였을 때의 RMSE(root mean squared error)를 대부분 제시하였다. Rehman 등(2021)의 일부 연구에서는 ANN 분석결과로서 RMSE와 R²를 함께 제시하기도 하였다. 본 연구에서는 SEM과 ANN의 성능 평가를 동일한 방법으로 비교하기 위해 R²를 사용하였다.

선행연구와 동일한 방식으로, SEM을 전체 데이터로 분석하였을 때의 R²는 0.4006으로 나타났다. 그리고 ANN을 학습 데이터로 훈련하여 테스트 데이터로 예측할 때의 R²는 0.6836으로 나타났다. 선행연구의 비교방식에 의하면 SEM-ANN 2단계 분석으로 향상된 R²는 0.2830 이다.

(2) 테스트 데이터 예측에 의한 SEM과 ANN의 예측성능 비교

100회 교차분석한 테스트 데이터에 대한 SEM과 ANN의 R² 평균을 비교하면, SEM은 0.3364이고, ANN은 0.6386이다. SEM-ANN 2단계 분석을 통해 예측성능이 0.3472 향상되었다. 본 연구에서는 100회 교차분석한 테스트 데이터의 R² 평균 차이가 통계적으로 유의한지를 T-test로 검증하였다. 그 결과 SEM과 ANN의 R² 평균 차이가 학습 데이터와 테스트 데이터에서 모두 5% 유의수준에서 유의하게 나타났다.

<Figure 2>는 SEM과 ANN의 100회 교차검증 결과를 학습 데이터와 테스트 데이터의 R²로 시각화한 것이다. SEM과 ANN의 R² 변동성은 학습 데이터에서 더 낮게 나타났고(<Figure 2>에서 SEM train R²와 ANN train R²에 해당됨), 이러한 학습 데이터에서의 낮은 변동성은 <Table 6>의 표준편차(std)로도 확인된다. 다음으로 테스트 데이터의 R² 100회 교차검증 결과를 비교하면, ANN이 SEM보다 낮은 변동성을 보였다(<Figure 2>에서 SEM test R²와 ANN test R²에 해당됨). 이로써 테스트 데이터에 대한 예측력에서 ANN이 SEM보다 더 높고 더 안정적인 것을 확인하였다.

<Figure 2> SEM과 ANN의 R² 100회 교차검증 결과

<Table 6> 100회 교차분석한 SEM와 ANN의 R² 평균과 표준편차

4.5.2 SEM과 ANN의 효과크기 비교

<Table 7>은 학습 데이터와 테스트 데이터로 분석한 R²이다. SEM을 학습 데이터로 훈련하고 테스트 데이터로 검증할 때에 R²는 0.0665 만큼 감소하였다. ANN을 학습 데이터로 훈련하고 테스트 데이터로 검증할 때에는 0.0104 만큼 감소하였다. 학습 데이터에서의 R²가 테스트 데이터에서 감소한 정도로 살펴볼 때, SEM에서 약간의 과적합이 발생된 반면, ANN에서는 과적합이 없다고 판단된다. 테스트 데이터로 확인한 예측성능은 ANN이 SEM보다 더 높게 나타났다.

<Table 7> Comparison of Train data R² and Test data R²

<Table 8>은 SEM-ANN 2단계 분석으로 인한 R² 평균 차이를 코헨[Cohen, 1988]의 효과크기(effect size)인 f²로 살펴본 것이다. <Table 1>의 선행연구에서 분석한 방식과 같이 전체 데이터로 분석한 SEM의 R²와 테스트 데이터로 예측한 ANN의 R²를 효과크기(f²)로 살펴보면 89%이다\(\begin{align}(\frac{0.6836-0.4006}{1-0.6836})\end{align}\) . 그러나 학습 데이터와 테스트 데이터로 구분하여 훈련하고 검증하는 방식으로 계산하면 SEM 대비 ANN의 f²는 110%이다\(\begin{align}(\frac{0.6836-0.3364}{1-0.6836})\end{align}\). 효과크기가 35% 이상이면 큰 효과(large)라 하고, 15~35% 사이이면 중간 효과(moderate)라 하고, 2~15% 사이이면 작은 효과(small)로 구분한다[Hair et al., 2016]. 이러한 기준에 따르면 SEM-ANN 2단계 분석으로 인한 효과크기는 매우 큰 효과에 해당된다. 특히, SEM과 ANN을 동일한 학습(train_test_split) 및 평가(R²) 방식을 적용하면 효과크기는 훨씬 더 높다.

<Table 8> Effect size by Two stage SEM-ANN analysis

4.5.3 변수중요도 비교

(1) ANN 순열중요도

SEM에서는 독립변수의 종속변수에 대한 영향력을 표준화된 경로계수(path coefficients)의 크기로 확인할 수 있다. 그러나 ANN 모델은 Black box처럼 매우 복잡하여 내부 동작 메커니즘을 이해하기 어렵기 때문에 독립변수(features)의 종속변수(label)에 대한 영향력을 직접 확인하기가 매우 어렵다. <Figure 1>은 본 연구에 사용된 ANN 모델을 요약한 것으로, 학습과정에서 생성된 내부 가중치(weights)가 1330개이고 뉴런은 1345개이다. 따라서 ANN에서는 e l i 5 ( h t t p s : / / e l i 5 . r e ad t h ed o c s . i o )나 SHAP(https://shap.readthedocs.io)와 같은 라이브러리로 모델을 활용하여 변수의 중요도를 간접적으로 설명한다. 본 연구에서는 <Table 9>와 같이 순열중요도(permutation importance)로 종속변수에 대한 독립변수의 중요도를 확인하였다.

<Table 9> ANN Permutation Importances

순열중요도는 민감도 분석(sensitivity analysis)이라 하기도 하는데, 이는 학습 데이터로 ANN 모델을 훈련하여 R²를 구한 다음, 학습 데이터에 있는 변수들(features)을 차례대로 하나씩 선택하여 그 변수의 값들의 순서를 무작위로 섞은 다음(permutation) 다시 분석하여 R²를 구한다. 그리고 섞기 전의 R²에 비해 섞은 후의 R²가 얼마나 감소했는지를 확인하여, R² 감소폭이 클수록 해당 변수의 중요도를 높게 판단하는 방법이다. 본 연구에서 각 변수에 대해 150회 순열중요도를 산출하여 그 평균과 표준편차를 제시하였고, <Table 9>와 같이 이러한 과정을 10회 반복하였다.

(2) 정규화된 변수중요도 비교

<Table 10>은 ANN 분석을 통해 산출된 순열중요도의 평균과 SEM 전체 데이터 분석을 통해 산출된 경로계수값을 정규화하여(normalized) 비교한 것이다. 정규화 값은 변수의 가장 큰 중요도로 나머지 중요도를 나누어 계산하였다. SEM과 ANN의 정규화된 변수중요도(normalized variable importance)를 비교 분석한 결과는 다음과 같다.

<Table 10> Normalized Variable Importance

첫째, SEM과 ANN의 정규화된 변수중요도의 순서가 1위와 2위가 같게 나타났다. 이로써 1위 위험과 2위 가치가 SEM과 ANN에서 재구매에 큰 영향을 미치는 요인으로 확인되었다.

둘째, 3위와 4위의 순위가 변하였다. SEM에서는 3위 품질(0.5336)과 4위 정보탐색(0.2548)이 큰 차이를 보였다. ANN에서는 SEM에서의 순위가 바뀌었고, 3위 정보탐색(0.6553)과 4위 품질(0.6402)간의 차이가 줄어들었다. 이것은 ANN에서 정보탐색의 비선형적 가중치가 모델에 반영되어 중요도가 높아져서 나타난 결과라 판단된다.

셋째, SEM에서는 통제변수인 성별(0.0807), 연령(0.0017), 소득(0.1449)이 재구매에 미치는 영향이 약해 유의하지 않았지만, ANN에서는 성별(0.5654), 연령(0.3898), 소득(0.5239)의 영향이 있는 것으로 나타났다. 이는 ANN 분석 과정에서 성별, 연령, 소득에 있는 비선형적 특성이 모델 가중치로 반영되어 나타난 결과라 해석된다.

5. 결론

5.1 연구의 요약

본 연구의 목적은 SEM-ANN 2단계 분석에 있어서 예측성능의 향상과 변수중요도 변화를 규명하는 것이다. 이를 위해 366개의 화장품 재구매 관련 설문 데이터를 분석하여 결과를 제시하였다. 본 연구의 결과를 요약하면 다음과 같다.

첫째, SEM-ANN 2단계 분석에 있어서, SEM과 ANN의 모델을 각각 학습 데이터로 훈련하고 테스트 데이터로 예측하여 R²를 확인한 결과, 예측성능이 SEM 0.3364에서 ANN 0.6836로 2배 향상되었다. 이러한 R² 향상 정도를 코헨[Cohen, 1988]의 효과크기 f²로 살펴보면 110%로 매우 큰 효과에 해당된다.

둘째, SEM-ANN 2단계 분석으로 정규화된 변수 중요도의 변화를 비교한 결과, SEM에서 중요도가 높은 변수는 ANN에서도 중요도가 높게 나타났지만, SEM에서 중요도가 거의 또는 전혀 없는 변수들이 ANN에서는 중요도가 있게 나타났다.

5.2 연구의 시사점

본 연구는 학습 및 평가 방식 통일, 예측성능 향상, 변수중요도 비교에 있어서 다음과 같은 시사점이 있다. 첫째, SEM-ANN 2단계 분석에서 동일한 학습 및 평가 방식을 사용하여 비교의 타당성을 높였다는 점이다. 선행연구에서는 SEM에서는 SmartPLS를 이용하여 전체 데이터로 모델을 훈련하고 R²로 성능을 평가한 데 비해 ANN에서는 학습 데이터로 훈련하고 테스트 데이터로 예측하여 RMSE로 성능을 평가함으로써 학습 및 평가 방식이 달라 결과를 객관적으로 비교하기가 어려웠다. 본 연구에서는 SEM을 학습 데이터와 테스트 데이터로 구분하여 분석할 수 있는 Python 기반의 plspm을 이용함으로써 SEM과 ANN 모두 학습 데이터로 훈련하고 테스트 데이터로 예측하는 동일한 학습 방식을 적용하고, SEM과 ANN 모두 R²로 예측성능을 동일하게 평가함으로써 비교의 타당성을 향상시켰다.

둘째, SEM과 ANN을 연계하여 예측성능을 2배 높였다는 점이다. 선행연구에서는 모델 최적화가 어려운 SPSS MLP를 이용하여 ANN 모델을 분석함으로써 예측성능 향상에 한계가 있었다. 본 연구에서는 Python 기반의 Keras와 최적 모델을 자동 탐색하는 AutoKeras를 이용함으로써 SEM에서의 예측성능을 ANN으로 2배 향상시켰다.

셋째, SEM-ANN 2단계 분석에서 변수중요도의 변화를 비교했다는 점이다. SEM에서 중요도가 높은 것이 ANN에서도 높다는 것을 확인함으로써 변수 영향력의 일반화 가능성을 확인하였다. 또한, SEM의 선형적 분석과 ANN의 비선형적 분석을 연계함으로써 SEM에서 발견하지 못한 변수의 의미를 ANN을 통해 발견하였다.

5.3 연구의 한계와 향후 연구의 제언

본 연구에서는 SEM-ANN 연계를 통해 예측성능을 높이고 변수중요도를 비교했다는 점에서 의의가 있지만, 예측성능의 향상과 변수중요도의 변화를 구체적으로 설명하지 못했다는 한계가 있다. 따라서 SHAP(SHapley Additive exPlanations) 분석이나 시각화를 통해 SEM-ANN 2단계 분석으로 인한 변화를 명확하게 설명하는 것을 향후의 연구로 제안하는 바이다.

본 연구에서는 하나의 데이터셋 분석 결과를 제시하여 예측성능 향상과 변수중요도 변화에 대한 연구결과를 일반화하지 못하는 한계가 있다. 따라서 다양한 데이터셋을 분석하여 예측성능 향상과 변수중요도 변화에 대한 보다 일반화된 결과를 제시하는 것을 향후의 연구로 제안하는 바이다.

부록