Testing the Equality of Two Linear Regression Models : Comparison between Chow Test and a Permutation Test

Abstract

회귀분석은 반응변수와 예측변수들 간의 관련성을 설명하기 위해 사용되는 잘 알려진 통계 테크닉이다. 특히 연구자들은 두 개의 독립 모집단에서의 모형들의 회귀계수들(절편과 기울기)을 비교하는데 관심이 있다. Gregory Chow에 의해 제안된 Chow 검정은 회귀모형들을 비교하고 선형회귀모형 안에 구조적 브레이크가 존재하는지를 검정하기 위해 보통 사용되는 방법들 중의 하나이다. 본 연구에서는 두 독립 선형회귀모형들의 등가성을 검정하기 위해 퍼뮤테이션 방법을 제안하고 Chow 검정과 비교한다. 그리고 퍼뮤테이션 검정과 Chow 검정의 검정력을 조사하기 위해 시물레이션 연구를 진행하였다.

Regression analysis is a well-known statistical technique useful to explain the relationship between response variable and predictor variables. In particular, Researchers are interested in comparing the regression coefficients(intercepts and slopes) of the models in two independent populations. The Chow test, proposed by Gregory Chow, is one of the most commonly used methods for comparing regression models and for testing the presence of a structural break in linear models. In this study, we propose the use of permutation method and compare it with Chow test analysis for testing the equality of two independent linear regression models. Then simulation study is conducted to examine the powers of permutation test and Chow test.

I. Introduction

회귀분석은 수리적 모형을 이용해 종속변수(또는 반응변수)가 독립변수(또는 설명변수)들에 의해 어떻게 설명되는지를 연구할 때 사용되는 분석방법이다. 연구자들은 의학, 공학, 경제, 농학, 심리학 등의 다양한 분야에서 회귀분석을 널리 사용하고 있으며, 특히 독립변수와 종속변수 간의 관련성이 두 개의 독립적인 모집단 사이에서 차이가 있는지 또는 이 관련성이 서로 다른 시구간(time intervals)에서도 동일하게 남아있는지에 관심을 갖고 있다. 예를 들어 Poteat et al(1988)은 IQ점수와 성적 간의 관계를 백인 학생들과 흑인 학생들의 두 그룹에서 각각 회귀분석하고 두 회귀모형의 절편과 기울기의 동일 여부를 비교하여 두 그룹 사이에서 어떤 유의미한 차이가 없다는 결과를 얻었다[1]. 또한 Luitel과 Mahar는 시간 변수와 국민총생산(GDP)의 관계를 두 개의 시구간(1973 년~1996년, 1997년~2014년)으로 나누어 각각 회귀 분석한 후, 1997년에 새로 도입한 데이터 생성방식이 1997년 이전과 비교해서 GDP값에 유의한 변화 차이를 초래하였다는 것을 두 회귀모형 사이의 등가성 검정(test of equivalence)을 통해 입증하였다[2]. 두 개의 회귀모형을 비교하기 위해 연구자들은 Chow 검정, 부분 F검정 (partial F test), 우도비검정(Likelihood Ratio Test), ANCOVA(Analysis of Covariance) 등을 제안하였다. Chow 검정은 소득과 지출, 수요와 가격, 투자와 이익 등의 다양한 경제 현상에서 두 개의 회귀모형을 비교함으로써 시계열 데이터의 특정 시점에서 구조적인 브레이크 (structural break)가 발생했는지를 파악하는데 유용하게 사용된다[3]. 부분 F검정은 Chow 검정과 달리 한 개의 회귀모형 안에 더미변수들을 도입하고 이 더미 변수들의 유의성을 판단하는 F검정을 통해 두 회귀모형의 등가성을 결정한다. Mahmoudi et. al. 은 두 회귀 계수 간의 차이에 대한 근사분포를 이용하여 두 화귀모형을 비교한바 있으며 후속 연구에서는 오차가 각각 정규분포와 비정 규정 분포를 따를 때 부분 F검정을 이용하여 등가성 검정을 실시하였다[4][5]. 우도비검정은 통계와 경제의 다방면에서 널리 적용되는 것으로서 Moschopoulos에 의해 처음 제안되었으나 우도비 통계량의 정확한 분포를 얻기 어려운 점 때문에 Marques et. al. 은 우도비 통계량의 근사분포를 제안하여 등가성 검정을 실시하였다[6]-[9].

본 논문은 두 회귀모형의 등가성을 검정하기 위해 Chow 검정과 퍼뮤테이션 검정을 사용하여 비교한다. 퍼뮤테이션 검정은 모수적 검정(parametric tests)에서 요구하는 정규성 가정 없이 사용되는 비모수 검정이다. 보통 비모수 검정에서는 검정력(power)이 떨어지는 반면에퍼뮤테이션 검정은 모수적 검정과 비슷한 검정력을 갖는 장점을 갖고 있다. Good에 의하면 퍼뮤테이션 검정은 매우 강력한 통계검정(most powerful tests) 중에 하나이므로 전통적인 모수적 검정의 가정에서 벗어난 경우에도 좋은 대안이 될 수 있다고 하였다[10]. 퍼뮤테이션 검정은 어떤 현상이 우연히 발생하였다는 것을 함의하는 귀무가설과 우연의 결과가 아니라는 대립가설을 서로 대립 시켜 데이터의 퍼뮤테이션(또는 randomization)을 통해 귀무가설이 합리적인지를 결정한다. 퍼뮤테이션 검정을 회귀모형에 적용한 여러 연구들 중에서 Ryu et. al.은 소 표본에 대한 회귀분석(특히 비정규분포의 오차를 갖는 회귀분석)에서 t검정에 의한 회귀계수의 유의성 검정이 부정확하다는 점을 극복하기 위해 퍼뮤테이션 방법을 제안하였으며, O’Gorman은 선형모형에 적용할 수 있는 각종의퍼뮤테이션 방법들을 연구하였다[11][12]. 또한 Potter는 로지스틱 회귀분석에서 퍼뮤테이션 검정에 의해 회귀계수의 유의성을 검정하였다[13].

본 논문의 제 2절에서는 Chow 검정과 퍼뮤테이션 검정을 두 회귀모형의 등가성 검정에 적용하는 방법을 소개하며, 제 3절에서는 데이터 시물레이션 및 Chow 검정과퍼뮤테이션 검정의 검정력 계산, 제 4절과 5절에서는 각각 시물레이션 및 실제 데이터에 대한 결과를 제 6절에서는 결론을 제시하였다.

II. Comparison of Two Regression Models

두 개의 회귀모형을 비교하기 위해 각각의 독립된 집단1과 집단2에서 k개의 독립변수 X₁,X₂,⋯,X_k들과 종속변수 Y의 관련성을 다음과 같이 선형 회귀모형으로 가정하자. 이때 각 모형의 오차는 \(\epsilon_{1} \sim \mathrm{N}\left(0, \sigma_{1}^{2}\right)\) 이고 \(\epsilon_{2} \sim \mathrm{N}\left(0, \sigma_{2}^{2}\right)\)로 가정한다.

(집단 1)

\(\mathrm{Y}_{1}=\alpha_{1}+\beta_{11} \mathrm{X}_{11}+\beta_{12} \mathrm{X}_{12}+\cdots+\beta_{1 \mathrm{k}} \mathrm{X}_{1 \mathrm{k}}+\epsilon_{1}\),

(집단 2)

\(\mathrm{Y}_{2}=\alpha_{2}+\beta_{21} \mathrm{X}_{21}+\beta_{22} \mathrm{X}_{22}+\ldots+\beta_{2 \mathrm{k}} \mathrm{X}_{2 \mathrm{k}}+\epsilon_{2}\),

그러면 두 회귀모형의 등가성 여부는 두 모형에서 절편과 기울기들이 같다는 귀무가설(H₀)을 검정함으로써 결정된다.

\(\begin{array}{r} \mathrm{H}_{0}: \alpha_{1}=\alpha_{2}, \beta_{11}=\beta_{21}, \beta_{12}=\beta_{22}, \\ \ldots, \beta_{1 \mathrm{k}}=\beta_{2 \mathrm{k}} \end{array}\)       (1)

그림 1(a)과 같이 회귀모형들간에 절편이 동일한지 또는 그림 1(b)처럼 회귀모형들의 기울기가 같은지 아니면두 개의 시구간(1~6, 7~12)과 관련하여 x=7의 시점에서 구조적인 브레이크가 존재하는지를 검정할 수 있다.

Fig. 1. Comparison of regression models

1. Chow Test

Chow는 귀무가설 (1)을 검정하기 위해 자유도 k와 n₁+n₂-2(k+1)인 F분포를 따르는 다음의 통계량을 제안하였다. 이 때 모형의 오차분산들은 모두 동일하다는 것을 가정한다.

\(\begin{aligned} &F= \\ &\frac{\left(\operatorname{RSS}_{t}-\left(\operatorname{RSS}_{1}+\operatorname{RSS}_{2}\right)\right) /(k+1)}{\left(\operatorname{RSS}_{1}+\operatorname{RSS}_{2}\right) /\left(n_{1}+n_{2}-2(k+1)\right)} \end{aligned}\)       (2)

여기서 n₁, n₂ : 각 집단의 표본의 크기,

\(\mathrm{RSS}_{1}=\sum_{\mathrm{i}=1}^{\mathrm{n}_{1}}\left(\mathrm{Y}_{1 \mathrm{i}}-\widehat{\mathrm{Y}_{1 \mathrm{i}}}\right)^{2}\)       (3)

: 첫 번째 집단에서의 오차제곱합,

\(\mathrm{RSS}_{2}=\sum_{\mathrm{i}=1}^{\mathrm{n}_{2}}\left(\mathrm{Y}_{2 \mathrm{i}}-\widehat{\mathrm{Y}}_{2 \mathrm{i}}\right)^{2}\)

: 두 번째 집단에서의 오차제곱합,

\(\mathrm{RSS}_{\mathrm{t}}=\sum_{\mathrm{i}=1}^{\mathrm{n}_{1}+\mathrm{n}_{2}}\left(\mathrm{Y}_{\mathrm{ti}}-\widehat{\mathrm{Y}_{\mathrm{ti}}}\right)^{2}\)

: 두 집단의 데이터를 모두 합한 전체 집단에서의 오차제곱합.

그리고 \(\widehat{\mathrm{Y}_{1 \mathrm{i}}}\), \(\widehat{\mathrm{Y}_{2 \mathrm{i}}}\), \(\widehat{\mathrm{Y}_{t \mathrm{i}}}\)는 각 집단의 회귀식에서 얻은 Y의 예측값이다. 이때 주어진 유의수준 α에서 검정 통계량 F값이 클 때, 즉 F ≥ F(k+1, n₁+n₂-2k-2)일 때 H₀을 기각한다. 예를 들어 n₁ = 10, n₂ = 8의 가상 데이터(Table 1)에 대해 선형회귀분석(k=1)의 결과가 Table 2와 같다고 할 때 수식(2)로부터 F = 11.286으로 계산되고 유의수준 = 0.05에서 임계값 F(2, 14) = 3.739 이므로 H₀을 기각하여 두 회귀모형은 동일하지 않다고 말할 수 있다.

Table 1. Artificial data for regression analysis

Table 2. Results of regression analysis

2. Permutation Test

퍼뮤테이션 검정은 정규성 가정이 충족되지 않을 때 대안으로서 사용되는 유의성 검정이며 정규성 가정 하에서는 모수 검정과 유사한 결과를 제공한다. O’Gorman은 선형모형분석에서 사용할 수 있는 퍼뮤테이션 방법들을 다음과 같이 제안하였다.

방법 1 : 각 집단의 데이터를 이용하여 구축한 회귀모형의 잔차들(\(Y_{ii} -\widehat{\mathrm{Y}_{1 \mathrm{i}}}\)과 \(Y_{2i} - \widehat{\mathrm{Y}_{2 \mathrm{i}}}\)) 각각에 대해 퍼뮤테이션을 진행하고 이 값들을 각 예측값(\(\widehat{\mathrm{Y}_{1 \mathrm{i}}}\)과 \(\widehat{\mathrm{Y}_{2 \mathrm{i}}}\))들에합산하여 새로운 예측값(\(\widehat{\mathrm{Y}_{1 \mathrm{i}}^{*}}\)과 \(\widehat{\mathrm{Y}_{2 \mathrm{i}}^{*}}\))들을 생성한다.

방법 2 : 전체 데이터를 이용하여 구축한 회귀모형의 잔차들(\(Y_{ti} - \widehat{\mathrm{Y}_{t \mathrm{i}}}\))에 대해 퍼뮤테이션을 진행하고 이 값들을 예측값(\(\widehat{\mathrm{Y}_{t \mathrm{i}}}\))들에 합산하여 새로운 예측값(\(\widehat{\mathrm{Y}_{t \mathrm{i}}^{*}}\))들을 생성한다.

방법 3 : 검정하게 될 회귀계수에 해당되는 독립변수의 값들에 대해 퍼뮤테이션을 진행한다.

방법 4 : 전체 데이터의 종속변수의 값(Y_ti)들에 대해 퍼뮤테이션을 진행한다.

본 논문은 종속변수의 값(Y_ti)들에 대해 퍼뮤테이션을 실시하고(방법 4) 다음 순서로 진행하였다.

① 주어진 각 집단별 데이터와 전체

데이터에 대해 RSS₁, RSS₂, RSS_t를 얻은 후 수식 (4)를 이용하여 관찰된 F값(=F₀)을 계산한다.

② 전체 데이터의 종속변수의 값(Y_ti)들에 대해 퍼뮤테이션을 진행하여 새로운 종속변수의 값(\(Y^{*}_{ti}\))을 얻는다.

③ 이 종속변수의 값(\(Y^{*}_{ti}\))들을 사용하고 단계1을 반복함으로써 새로이 RSS₁, RSS₂, RSS_t을 구하고 F 통계량을 계산한다.

④ 단계2와 단계3을 N번 반복하고 N번 중에서 F₀보다 크거나 같은 F값들의 비율을 p값으로 산출한다.

p값=(F₀보다 크거나 같은 F값들의 수) / N

III. Data Simulation

두 개의 회귀모형 비교를 위해 필요한 데이터는 독립변수가 1개일 때(k=1)와 2개(k=2)일 때의 회귀모형들로 한정하여 생성하였다. 크기가 n₁ = n₂ = 10인 데이터를 독립변수가 1개일 때는 두 개의 단순선형모형(모형 1, 모형 2)에 의해, 독립변수가 2개일 때는 모형3과 모형4에 의해 생성하였다.

모형1 : Y₁ = α₁+β₁₁⋅ X+\(\epsilon_{1}\)

모형2 :  Y₂ = α₂+β₂₁⋅ X+\(\epsilon_{2}\) 

모형3 :  Y₁ = α₁+β₁₁X₁₁+β₁₂X₁₂+\(\epsilon_{1}\) 

모형4 :  Y₂ = α₂+β₂₁X₂₁+β₂₂X₂₂+\(\epsilon_{2}\) 

여기서 모형1과 모형2에서 X의 값으로 {1, 2, , , 10}를이용하였으며, 모형3과 모형4에서는 X₁₁과 X₂₁의 값으로 {1, 2, , , 10}을 사용하였고, X₁₂과 X₂₂는 평균이 1/2인 지수분포로부터 생성하였다. \(\epsilon_{1}\)과 \(\epsilon_{2}\)는 정규분포 N(0, 1) 또는 균일분포(-1, 1)로부터 독립적으로 생성하였다. 또한 두 모형을 비교하기 위해 모형1에서는 α₁=0, β₁₁=1로 설정하였고, 모형2에서는 각각 α₂ = {0.3, 0.6, 0.9, 1.2, 1.5, 1.8}, β₂₁ = {1.05, 1.10, 1.15, 1.20, 1.25, 1.30}로 하였다. 그리고 모형3에서는 α₁=0, β₁₁=1, β₁₂=1로 설정하였고 모형4에서 α₂ = {0.3, 0.6, 0.9, 1.2, 1.5, 1.8}, β₂₁ = {1.05, 1.10, 1.15, 1.20, 1.25, 1.30}, β₂₂ = {2, 3, 4, 5}로 하여 모형3과 모형4를 비교하였다. 그리고 생성된 데이터를 이용해 Chow 검정과 퍼뮤테이션 검정을 실시하여 검정력을 산출하였다. 이를 위해 총 1000개의 임의 표본들을 추출하여 Chow 검정의 검 정력을 구하고, 각 표본에 대해 N = 1000개의 임의 배열들을생성하는 퍼뮤테이션을 진행함으로써 퍼뮤테이션 검정의 검정력을 계산하였다. 퍼뮤테이션 검정의 검정력은 전체 1000개의 표본들 중에서 유의수준(0.05) 보다 작거나 같은 퍼뮤테이션 p값을 갖는 표본들의 비율로서 계산된다. 본 연구에서는 데이터 생성을 비롯하여 p값 계산, 검 정력계산 등의 모든 계산을 R 프로그램에 의해 진행하였다.

IV. Simulation Results

Table 3부터 Table 14까지 시물레이션 데이터에 대해 Chow 검정과 퍼뮤테이션 검정을 실시하여 얻은 등가성 검정의 결과이다. 유의수준=0.05에서 두 개의 단순 선형회귀모형(k=1인 모형1과 모형2)을 비교한 결과(Table 3 부터 Table 5)와 k=2일 때의 모형3과 모형4에 대한 등가성 검정의 검정력을 제시하였다(Table 6부터 Table 13). 표에서 보듯이 주어진 조건에서 두 번째 모형(모형2와 모형 4)의 α₂, β₂₁, β₂₂ 값들이 첫 번째 모형(모형1과 모형 3)의 대응되는 회귀계수 값과 크게 달라짐에 따라 Chow 검정과 퍼뮤테이션 검정의 검정력이 증가함을 볼 수 있으며, 두 검정 모두 비슷한 정도의 검정력을 제시하고 있다.

Table 3. Powers of the tests(Chow, Permutation) when α₁=0, β₁₁=1 and for different values of α₂ and β₂₁

Table 4. Powers of the tests(Chow, Permutation) when α₁=0, β₁₁=1, \(\epsilon_{1}\)~N(0, 1) and \(\epsilon_{2}\)~N(0, 1)

Table 5. Powers of the tests(Chow, Permutation) when α₁=0, β₁₁=1, \(\epsilon_{1}\)~uniform(-1, 1) and \(\epsilon_{2}\)~uniform(-1, 1)

Table 6. Powers of the tests(Chow, Permutation) when \(\epsilon_{1}\)~N(0, 1) and \(\epsilon_{2}\)~N(0, 1) and for different values of α₂, β₂₁ and β₂₂

Table 7. Powers of the tests(Chow, Permutation) when α₁=0, β₁₁=β₁₂=β₂₂=1, \(\epsilon_{1}\)~N(0, 1) and \(\epsilon_{2}\)~N(0, 1).

Table 8. Powers of the tests(Chow, Permutation) when α₁=0, β₁₁=β₁₂=β₂₁=1, \(\epsilon_{1}\)~N(0, 1) and \(\epsilon_{2}\)~N(0, 1)

Table 9. Powers of the tests(Chow, Permutation) when α₁=α₂=0, β₁₁=β₁₂=1, \(\epsilon_{1}\)~N(0, 1) and \(\epsilon_{2}\)~N(0, 1)

Table 10. Powers of the tests(Chow, Permutation) when \(\epsilon_{1}\)~unif(-1, 1) and \(\epsilon_{2}\)~unif(-1, 1) and for different values of α₂, β₂₁ and β₂₂

Table 11. Powers of the tests(Chow, Permutation) when α₁=0, β₁₁=β₁₂=β₂₂=1, \(\epsilon_{1}\)~unif(-1, 1) and \(\epsilon_{2}\)~unif(-1, 1).

Table 12. Powers of the tests(Chow, Permutation) when and α₁=0, β₁₁=β₁₂=β₂₁=1, \(\epsilon_{1}\)~unif(-1, 1) \(\epsilon_{2}\)~unif(-1, 1)

Table 13. Powers of the tests(Chow, Permutation) when α₁=α₂=0, β₁₁=β₁₂=1, \(\epsilon_{1}\)~unif(-1, 1) and \(\epsilon_{2}\)~unif(-1, 1)

Table 14. Type I error rate for the tests(Chow, Permutation)

또한 모형1과 모형2의 비교에서 볼 때, 어느 한 회귀계수만의 등가성 검정(H₀ : α₁=α₂ 또는 H0 : β₁₁=β₂₁) 보다도 두 회귀계수들의 등가성 검정(H₀ : α₁=α₂ 또는 H0 : β₁₁=β₂₁) 에서의 검정력이 더 크게 증가함을 볼 수 있다. 이것은 모형3과 모형4의 등가성 검정에서도 마찬가지로 나타나고 있다. 또한 Table 14는 유의수준 = 0.05에서 Chow 검정과 퍼뮤테이션 검정에 대한 제1종 오류율 (Type I error rate)를 제시한 것으로 두 검정 모두 0.05에 근접한 값을 나타내었다.

V. Example

두 회귀모형들의 등가성검정을 예시하기 위해 크기 n=474인 실제 데이터(Employee data)를 사용하였다 [14]. 이 데이터를 구성하는 변수들 중에 종속변수 Y(=현재 급여)와 독립변수 X₁(=최초급여), X₂(=근무월수)를 선정하여 남녀(n₁=258, n₂=216)간의 두 회귀모형이 동일한지를 검정하였다. Chow 검정의 경우, 수식(2)에 의해 통계량 값=2.023, p값은 0.110 이며 퍼뮤테이션 검정의 p값은 0.112로서 두 검정에서 모두 남녀 간에 회귀모형이 동일하다는 귀무가설을 유의수준=0.05에서 기각하지 못하는 결과를 얻었다.

Table 15. Results for real data

VI. Conclusion

본 논문은 두 개의 선형 회귀모형들의 등가성 검정을 위해 사용하는 여러 방법들 중에 Chow 검정과 퍼뮤테이션 방법에 의한 검정을 소개하였다. 특히 Chow 검정은 경제 관련 연구에서 두 개의 시구간에서 얻은 회귀모형들을 비교함으로써 특정 시점에서 구조적인 브레이크의 존재 여부를 확인한다. 퍼뮤테이션 검정은 모수적 검정에 필요한 가정이 충족되지 않을 때에도 회귀모형들 간의 비교를 가능케 하는 방법이다. 종종 심리학, 사회학, 의학 등의 다양한 연구에서 충분히 큰 표본을 확보하기 어려운 상황이 발생하고 이 때문에 근사적인 정규분포를 가정할 수 없는 통계검정에서 퍼뮤테이션 검정은 좋은 대안이 될 수 있다. 또한 가정이 충족되지 않을 때 일반적으로 사용되는 비모수적 검정보다 높은 검정력을 보이기 때문에 전통적으로 사용되는 통계방법들보다 더 정확한 결과를 제시한다. 따라서 오차분포의 정규성이 요구되는 Chow 검정의 조건을 충족하지 못하는 회귀모형 관련 연구에서퍼뮤테이션 검정은 활용성이 높은 연구방법으로 제안될 수 있다. 본 연구에서는 두 개의 선형회귀모형들 간의 절편, 기울기의 등가성 검정을 하였고 또한 절편과 기울기에 대해 동시에 등가성검정을 진행하였으며 퍼뮤테이션은 회귀모형의 종속변수(Y_ti)에 대해 실시하였다. 결과적으로 Chow 검정과 퍼뮤테이션 검정의 검정력은 대응되는 회귀계수들의 값의 차이가 커질수록 증가하는 추세를 보였다. 예를 들어 표3에서 α₁=0, β₁₁=1 일 때 α₂가 0, 3 에서 1.8로 커짐에 따라 검정력은 각각 0.075에서 0.927 로(Chow 검정의 경우), 0.073에서 0.921로(퍼뮤테이션검정의 경우) 증가하였으며, β₂₁이 1.05에서 1.3을 커짐에 따라 Chow 검정의 검정력은 0.072부터 0.943으로, 퍼뮤테이션 검정의 검정력은 0.074부터 0.939로 증가하였다. 이러한 현상은 시물레이션 연구에서, 주어진 회귀계수의 제반 조건하에서 일관성 있게 나타났다. 또한 주어진 유의수준=0.05에 가까운 제1종 오류율을 보임으로써 퍼뮤테이션 검정은 비편의 검정(unbiased test) 임을 확인되어 두 개의 선형 회귀모형들의 등가성 검정에 유용하다고 말할 수 있다. 그러나 본 연구의 퍼뮤테이션 검정은 Chow 검정의 통계량에 기초한 것이므로 회귀모형의 등가성 검정에서 사용할 수 있는 우도비, 부분 F 등의 다른 통계량을 이용한 퍼뮤테이션 검정과 비교하는 연구가 필요하며, 본 연구에서 사용하지 않은 O’Gorman의 다른퍼뮤테이션 방법들을 사용하는 차후 연구가 요구된다.