Test-Retest Reliability of Brief KS-15 -Korean Sasang Constitutional Diagnostic Questionnaire-

단축형 사상체질 진단 설문지(KS-15)의 검사-재검사 신뢰도 연구

Abstract

The purpose of this study was to evaluate the reliabilities of questions and diagnostic value of the Korean Sasang Constitutional Diagnostic Questionnaire(KS-15). The young adults aged 20's participated in this study. The first survey was conducted in march, 2016, and the second one was conducted two weeks later. Three hundred and three questionnaires and the informed consent were obtained from all participants. The test-retest kappa analysis was used to identify the reliabilities of the questions and diagnostic value, and the significance level was .05. The number of subjects was 303 [87(28.7%)males and 216(71.3%)females]. The Cronbach's α were .630 in 6 characteristic questions. The test-retest reliabilities of questions were ranged from .469 to 734. The agreement rate of KS-15 between the first and second constitutional diagnostic value was 87.13%(Kappa=0.794). The higher Sasang constitutional probability score in first survey resulted in the higher agreement rate between first and second diagnostic value. KS-15 seems to be a reliable implement. Further studies for the reliability of the people of different ages and suitable cut off point in Sasang constitutional probability score are needed for the practical use of KS-15.

서 론

사상체질의학은 체질의 보명지주에 따라 질병의 진단, 치료, 예후평가와 더불어 건강관리방법이 달라지기 때문에 정확한 체질진단이 중요하다1). 그러나 사상체질의학을 연구하는 연구자들은 현 시점에서 사상체질의학의 난제를 사상체질진단이라고 주장한 바 있다2). 이런 이유로 그동안 설문, 체형 분석, 안면사진 분석, 음성 분석 등을 이용해 체질을 진단하려는 시도들이 있어왔다3-5). 이 중 설문도구를 이용한 방식은 필요한 정보를 수집할 수 있는 매우 효과적이고 효율적인 방법이기 때문에6), 체질진단도구로 활발하게 개발되어 왔다.

사상체질 진단 설문 연구는 1987년 사상체질변증내용설문조사지(Ⅰ)를 시작으로7) 1993년에 사상체질분류검사지(QSCC), 1995년에 QSCC(Ⅱ)8-10), 2003년에는 SSCQ 또는 SDQ(Sasangin Diagnosis Questionnaire)라고 불리는 사상체질진단 설문지가 개발되었다11,12). 이후 2006년에는 음과 양을 먼저 구분한 후 체질을 진단하는 방식의 TS-QSCD(Two Step Questionnaire for the Sasang Constitution Diagnosis)가 개발되었다13).

설문도구에 의한 사상체질진단은 대부분 자가보고 형식으로 이루어지므로 전문가적 견해에 기반 한 진단이 쉽지 않다. 때문에 대상자의 체질을 다양한 측면에서 종합적으로 판단할 수 있도록 신체적, 정신적, 사회적 요소 구성된 여러 설문문항이 사용된다.

여러 문항으로 구성된 설문은 단일 문항 설문에 비하여 대상자의 느낌이나 상태에 대해 좀 더 정확한 접근이 가능하지만 질문에 응답해야 하는 대상자에게 인내심이 요구될 뿐만 아니라 설문에 대한 응답률과 정확도가 감소하는 문제점이 발생할 수 있다14). 이러한 이유로 그동안 많은 연구자들은 최소한의 노력으로 최대한의 효과를 얻고자 연구에서 중요하게 요구되는 문항으로만 구성된 단축된 설문도구를 개발하고자 노력해 왔다. 대표적으로 건강관련 삶의 질 척도인 SF-36(Short Form-36 Health Survey Questionnaire)의 36문항이 신뢰도와 타당도 검증을 통해 SF-12(Short Form-12 Health Survey Questionnaire)로 축소되어 사용되고 있으며15), 사회-심리적 스트레스를 측정하는 도구인 PWI(Psychosocial Wellbeing Index)의 경우 GHQ-60(General Health Questionnaire-60)16)가 국내에서 45문항으로 신뢰도와 타당도를 인정받은 이후 다시 18문항의 PWI-SF(Psychosocial Wellbeing Index-Short Form)이 개발된 바 있다17,18).

이러한 경향은 체질진단 설문도구 개발에서도 이어지고 있다. 사상체질분류검사지(QSCC)도구가 QSCC(Ⅱ)로 재개발 되면서 기존 문항이 121문항으로 축소되었으며, 이어 QSCC(Ⅱ)+가 재개발 되면서 54문항으로 축소되었다8-10,19). 이는 다시 의사결정나무법 이용을 통해 16문항으로 구성된 설문도구로 개발되었다20). 또한 환자용 사상체질설문지(Sasang Constitution Questionnaire for Patient: SSCQ-P)의 경우 처음 개발당시 229문항이었으나 40문항으로 구성된 단축형 SSCQ-P가 개발되어 설문도구의 이용 편의성이 높아지고 있다21).

단축형 사상체질 설문지(Korea Sasang Constitutional Diagnostic Questionnaire: KS-15)의 경우 역시 임상에서 쉽고 간단하게 활용 가능한 사상체질 진단도구로 선행연구에서 개발된 진단프로그램을 체형요소 1개, 성격요소 6개, 증상요소 8개를 이용하여 단축형으로 재개발한 것이다22).

설문도구 개발 연구에서 가장 중요한 부분은 개발된 도구의 신뢰도와 타당도라 할 수 있다. 그 동안 개발된 체질진단 설문지의 경우 전문가 진단을 비롯한 임상 약리기록에 의해 진단된 체질 진단 결과를 활용하여 예측 타당도 평가를 통해 정확도를 알아보았다10,23). 또한 신뢰도 검증을 위해 QSCC(Ⅱ) 설문지 개발과정에서 내적 일치도를 살펴보는 연구가 진행 등 많은 노력이 있었다11). 그러나 그동안의 신뢰도 연구는 문항의 신뢰도를 살펴보았을 뿐 도출된 체질결과의 재현성을 평가하지는 않았다10-11,23).

이에 본 연구에서는 본 연구자가 개발하여 예측 타당도가 확보된 단축형 사상체질 진단 설문지인 KS-15의 성격 문항 및 체질 검사(Test)-재검사(Retest) 신뢰도를 파악하고자 하였다.

 

연구대상 및 방법

1. 연구대상자

본 연구는 단축형 사상체질 진단 설문지인 KS-15의 문항 및 진단 신뢰도를 파악하기 위하여 특별한 질병이 없는 건강한 20대 성인 남녀 350명을 대상으로 자료수집 하였다.

2. 연구도구

본 연구에서는 대상자의 일빈적 특성을 파악하기 위해 성별, 연령, 신장, 체중을 조사하였다. 또한 체질진단 도구로 타당도가 확보된 단축형 사상체질 진단 설문지(Korea Sasang Constitutional Diagnostic Questionnaire) KS-15를 사용하였다22). KS-15는 성격 6문항, 소화 2문항, 땀 2문항, 대변 1문항, 소변 1문항, 한열음수 2문항, 총 14문항의 설문과 키, 몸무게로 구성된 체질량 지수(Body Mass Index; BMI)로 구성된 설문지로, 동의수세보원의 체질진단 변증론에서 체질진단의 요소로 언급한 외형, 심성 병증을 반영한 체질진단 도구이다

3. 자료 수집 방법

본 연구는 2015년 10월부터 2016년 1월까지 D시와 C군에 거주하고 있는 20대 성인 남녀를 대상으로 자료 수집하였으며, 자료 수집 시 대상자 보호를 위해 대전대학교 생명윤리심의위원회(Institutional Review Board; IRB)의 승인(승인번호: 1040647-201603-HR-002-03) 후 승인된 내용에 준하여 진행되었다. 자료 수집을 위해 대상자에게 본 연구의 목적을 충분히 설명하고 서면 동의를 얻을 후 설문지를 작성하도록 하였으며, 대상자가 설문작성을 원하지 않은 경우 언제라도 철회가 가능함을 설명하였다. 검사(Test)-재검사(Retest) 신뢰도 분석을 위해 연구 참여에 동의한 대상자들로부터 설문 검사(Test) 14일 후 설문 재검사(Retest)를 진행하였으며, 두 번의 설문에 대해 모두 응답한 총 350부의 설문지가 수거되었다. 이중 일부 문항의 응답이 누락되어 체질진단이 불가능한 자료 47부를 제외한 303부가 분석에 사용되었다.

4. 자료 분석 방법

수집된 자료는 SPSS 22.0 Statistics Program을 이용하여 분석하였다. 연구대상자의 일반적 특성은 빈도분석(Frequency Analysis)과 평균, 표준편차를 통해 분석하였다. 성격 문항의 경우 내적 신뢰도를 분석하였고, 전체문항에 대해 검사(Test)-재검사(Retest) 신뢰도 Kappa를 분석하였으며, 체질결과에 대해 검사(Test)-재검사(Retest) Kappa값을 분석하였다. KS-15의 체질결과는 설문 14문항의 체질별 태음점수, 소음점수, 소양점수 3개[부록]와 BMI 1문항을 독립변수, 체질을 종속변수로 하여 Multinomial Logistic Regression 회귀 계수로 태음인, 소음인, 소양인 체질 확률을 구한 뒤, 가장 높은 확률 값을 가진 경우를 해당 체질로 분류한 값이다22). 유의수준은 p<.05로 하였다.

 

결 과

1. 대상자의 일반적 특성

대상자의 일반적 특성을 살펴본 결과 전체 303명의 대상자 중 남자가 87명(28.7%), 여자가 216명(71.3%)이었으며, 평균 연령은 22.6세로 BMI는 21.1로 나타났다(Table 1).

Table 1.General characteristics of the subjects (N=303)

2. KS-15의 문항의 크론바 알파 값

KS-15 문항의 내적일관성을 확인하기 위해 분석이 가능한 성격 6문항을 대상으로 신뢰도 분석을 실시한 결과 검사(Test) 설문의 경우 전체 Cronbach’s α = .630으로 나타났다. 6번째 문항을 제외한 1-5번 문항의 경우 항목 삭제 시 전체 Cronbach’s α 가 낮아지는 것으로 나타났다(Table 2).

Table 2.Reliability of KS-15 (N=303)

3. KS-15의 검사-재검사 신뢰도 분석

KS-15 설문문항의 검사(Test)-재검사(Retest) Kappa 신뢰도를 분석한 결과 1번부터 14번 문항 Kappa 일치도는 0.469, 0.631, 0.656, 0.734, 0.645, 0.528, 0.584, 0.539, 0.634, 0.585, 0.529, 0.631, 0.716, 0.686으로 나타났다(Table 3).

Table 3.*p-valve<.05, **p-valve<.001

4. KS-15 검사 재검사 체질의 일치도

KS-15 설문을 활용하여 대상자의 체질을 도출하였으며, 검사(Test)와 재검사(Retest) 체질 일치율을 살펴본 결과 검사(Test)-재검사(Retest) 일치율은 평균 87.13%로 나타났고, Kappa 값은 0.794였다(p<.001)(Table 4).

Table 4.TE: Tae-eumin, SE: Soeumin, SY: Soyangin, **p-valve<.001

5. 체질 확률에 따른 검사-재검사 체질 일치정도

KS-15로 검사(Test)-재검사(Retest) 체질 일치정도를 Kappa로 살펴본 결과 검사(Test) 체질 확률이 70% 이상인 경우 재검사(Retest)에서 동일한 체질로 나타나 Kappa 계수가 1.0으로 체질이 완전히 일치하는 것으로 나타났다. 검사(Test)에서 체질 확률이 60-69%사이인 경우 재검사(Retest)에서도 가장 높은 체질 확률을 나타내는 경우는 Kappa로 0.935였고, 검사(Test)에서 체질 확률이 50-59%인 경우 재검사(Retest)t에 가장 높은 체질 확률을 나타내는 경우는 Kappa가 0.792였다. 검사(Test)에서 체질 확률이 50% 미만인 경우 재검사(Retest)에서 가장 높은 체질 확률을 나타내는 경우는 Kappa가 0.592로 나타났다(Fig. 1).

Fig. 1.The Test-Retest Reliability according to Sasang Constitutional Probability Score of KS-15.

 

고 찰

본 연구는 기존에 개발되어 타당도가 확보되어 있는 단축형 사상체질 진단 설문지(Korea Sasang Constitutional Diagnostic Questionnaire) KS-15의 문항 신뢰도 및 설문도구를 통한 체질의 검사(Test)-재검사(Retest) 신뢰도를 평가해 보고자 하였다.

연구결과 KS-15 문항 중 내적일관성 검증이 가능한 6개의 성격문항을 대상으로 내적 일관성을 검토한 결과 Cronbach’s α = .630으로 나타났다. 이는 선행연구가 없어 직접적인 비교가 어려우나 베트남인을 대상으로 체질 진단 설문지의 신뢰도를 살펴본 선행연구에서 성격과 관련된 설문문항이 Cronbach’s α = .613이었던 결과와 비슷한 것으로 내적 일관성이 확보된 것으로 나타났다24). 그러나 소화, 땀, 대변, 소변 등에 대한 선행연구의 내적 일관성에 대한 결과가 Cronbach’s α = .732~.805이었던 것에 비하여 다소 낮은 결과였다. 이러한 결과는 KS-15의 성격 설문지가 성격의 내향적, 외향적 특성을 파악하고자 하고 있으나 성격이라는 요인이 한 곳으로 극단적으로 치우쳐지기 어렵기 때문이라 여겨지며, ‘중간’을 포함하고 있는 설문문항의 특성으로 인해 나타난 결과로 파악된다.

KS-15문항의 내적일관성 분석에서 문항 삭제 시 Cronbach’s α 변화를 살펴본 결과로는 1-5번 문항의 경우 항목 삭제 시 전체 Cronbach’s α 가 낮아지는 것으로 나타났다. 그러나 6번 문항의 경우 항목 삭제 시 전체 Cronbach’s α 가 높아졌는데, 이는 ‘가끔 흥분하는 편인가요? 이성적인 편인가요?‘라는 6번 문항에 사용된 ’가끔‘이라는 표현 때문이라 여겨진다. 수량이나 정도를 표시하는 부사 중 ’종종‘, ’가끔‘, ’자주‘, ’대부분‘, ’항상‘ 등의 표현은 애매모호한 정보를 제공해 설문에 응답하는 대상자들로 하여금 정확한 응답을 도출할 수 없게 하는데, 설문조사의 경우 정확하고 적절하게 구성된 질문의 내용과 형식이 연구의 성패를 가르는 관건이 되므로 추후 이러한 표현에 대한 보완이 요구된다25).

KS-15 문항의 검사(Test)-재검사(Retest) 신뢰도 분석 결과 .469부터 .734 사이의 값을 나타내었으며, 일부 문항에서 0.4~0.6 사이의 값을 보여 다소 낮았다. 이렇게 낮은 신뢰도를 보인 문항은 구체적으로 ‘평소 입맛은 어떠한가요?’ 라는 문항과 ‘평소 마시는 물의 온도는 어떠한가요?’ 와 같이 상황이나 일시적인 건강상태에 따라 변하기 쉬운 문항특성을 보이고 있었다. 즉 이런 병증문항은 검사(Test)-재검사(Retest) 문항신뢰도에 영향을 미치는 것으로 보인다. 향후 체질연구에서 병증의 변화가 체질에 어떻게 영향을 미치는지에 대한 연구가 필요하다고 여겨진다.

KS-15에 따른 체질결과의 검사(Test)-재검사(Retest) 신뢰도 값의 일치도는 87.13%로 나타났고, 이때의 Kappa 계수는 0.794였다(p<.001). 일반적으로 Kappa 계수가 0.40 미만일 경우 신뢰도가 낮고 0.40~0.75인 경우 어느 정도 신뢰도가 있으며, 0.75이상인 경우 매우 높은 신뢰도를 가진다고 하였다26). 이러한 기준으로 살펴본다면 본 연구결과는 신뢰성이 매우 높다고 할 수 있다. 반대로 약 12%정도는 그 체질이 변경된다는 것을 의미하므로 KS-15를 통해 도출된 체질을 무조건적으로 신뢰하기에는 다소 무리가 있다. 그러나 이는 설문도구를 활용한 진단방법에서 공통적으로 발생할 수 있는 문제이므로 설문의 진단정확도를 높이는 꾸준한 노력이 이어져야 할 것이다.

KS-15는 체질과 함께 체질 확률이 계산되도록 개발되어 체질 확률이 백분율(%)로 도출되는 특징이 있다. 이러한 도구의 특징을 고려하여 체질 확률에 따른 신뢰도를 살펴본 결과 검사(Test)에서 체질 확률이 높을수록 재검사(Retest)에서 동일 체질이 나올 확률이 높아짐을 확인할 수 있었다. 특히 먼저 실시한 검사(Test) 체질을 기준으로 70% 이상의 확률을 보인 경우 체질 값의 검사(Test)-재검사(Retest) Kappa 계수가 1.0으로 완벽하게 일치하는 것으로 나타났다. 이런 관점에서 보면, 체질 확률이 70% 이상일 경우 KS-15를 통해 진단된 체질결과를 상당히 신뢰할 수 있다고 여겨진다. 또한 체질 확률이 60-69%인 경우 체질 값의 재검사(Retest) Kappa계수가 0.935였고 50-59%인 경우에는 Kappa계수 0.792를 나타냈으며, 50%미만일 경우 Kappa계수가 0.592로 나타나 검사(Test) 체질 확률이 낮을수록 체질 값의 재검사(Retest) Kappa 계수가 낮아지는 것을 확인할 수 있었다. 향후 KS-15를 활용할 때 체질 값과 더불어 체질 확률을 고려한다면 임상에서 더욱 도움이 될 것이라 생각된다.

설문도구의 검사(Test)-재검사(Retest) 신뢰도는 결국 도출된 체질을 신뢰할 것인지와 그 체질이 정확한지에 영향을 미친다. 현재까지 체질이 변하는지 여부에 대해 검증된 바는 없으나, 체질은 단시간에 변하지 않는다는 것이 보편적 인식이다. 이러한 점에서 체질진단 도구는 재현성이 확보되어야 하며, 이는 본 연구에 활용된 도구 외에 다른 도구도 마찬가지라 생각한다.

본 연구는 기 개발된 KS-15 설문지의 문항 및 도출된 체질의 검사(Test)-재검사(Retest) 신뢰성을 평가한 최초의 연구로 그 의미가 깊다. 다만, 본 연구에서는 연령이 증가하면서 발생하는 성격변화나 질병으로 인한 신체증상의 변화를 배제하고자 20대 건강한 성인남녀를 대상으로 연구를 진행하였기 때문에 본 연구결과를 전 연령대에 확대해석 하는데 다소 무리가 있다. 추후 이러한 점을 보완한 다른 연령층의 체질의 검사(Test)-재검사(Retest) 신뢰도 후속연구를 통해 연구결과의 일반화가 요구며, 더불어 타당도 연구를 통해 체질진단 민감도, 특이도 및 절단값을 제안하는 연구가 이어져야 할 것이다.

 

결 론

본 연구에서는 20대 건강한 성인남녀를 대상으로 기 개발된 단축형 체질진단 설문지인 KS-15 문항과 그 도출된 체질결과의 신뢰도를 평가하였다. KS-15 설문지 문항의 검사(Test)-재검사(Retest) 신뢰도는 0.469~0.734로 나타났으며, 검사(Test)-재검사(Retest)의 체질의 일치도는 87.1%(Kappa=.791)로 나타나 그 신뢰성이 높았다. 특히 검사(Test) 체질 확률이 높아질수록 재검사(Retest) 체질이 동일할 가능성은 더 높은 것으로 나타났다. 따라서 KS-15 설문지는 도출된 체질의 신뢰도가 확보되었다고 판단될 뿐만 아니라 임상에서 효율적으로 적용할 수 있는 도구라고 여겨진다. 추후 전 연령을 대상으로 한 후속연구를 통해 연구결과의 일반화와 더불어 체질진단 민감도와 특이도 및 절단값을 제시할 수 있는 연구로 이어지길 희망한다.