Validity and Reliability for the Use of Program Outcome Indirect Measurement Tool in Korean Nursing Baccalaureate Education

간호교육 프로그램 학습성과 간접측정도구의 활용을 위한 신뢰도 및 타당도 검증

Abstract

The aim of this study was to verify the feasibility and reliability of the program outcome indirect measurement tool developed for nursing college students in Korean. 396 nursing students from 5 nursing colleges participated in this study, data were collected from November 22 to December 10, 2019. Data analysis was conducted using the IBM Statistics SPSS 21.0 and AMOS 21.0 programs to analyze item analysis, exploratory and confirmatory factor analysis. As a result of the item analysis, all 79 items were selected for factor analysis. In the exploratory factor analysis, five items that were loaded with other factors were deleted. The final factor loading range was from .37 to .86, and the cumulative explanatory variance for 12 factors was 71.71%. No items were deleted as a result of the confirmatory factor analysis, and the final scale was consisted of 74 items. The average score for scale was 3.78 and Cronbach' α was .98. The feasibility and reliability of the program outcome indirect measurement tool have been verified through this study. Therefore it can be used as a more standardized indirect measurement tool for nursing college students.

본 연구는 간호대학생을 대상으로 개발된 프로그램 학습성과 간접측정도구의 활용을 위해 타당도와 신뢰도를 검증한 연구이다. 대상자는 국내 5개 간호학과의 재학생 396명이었으며, 자료수집은 2019년 11월 22일부터 12월 10일까지 이루어졌다. 자료분석은 IBM Statistics SPSS 21.0과 AMOS 21.0 프로그램을 이용하여 문항분석, 탐색적 및 확인적 요인분석을 실시하였다. 문항분석 결과 79개 문항이 모두 요인분석 대상으로 선정되었다. 탐색적 요인 분석결과 다른 요인과 함께 부하하는 5개의 문항이 삭제되었고 최종 요인부하량의 범위는 .37부터 .86이었으며, 12개 요인에 대한 총 분산은 71.71%로 나타났다. 확인적 요인분석결과 삭제된 문항은 없었으며, 최종 척도는 74개 항목으로 구성되었다. 척도의 평균 점수는 3.78점, Cronbach' α는 .98이었다. 본 연구를 통해 간호교육 프로그램 학습성과 간접측정도구의 타당도와 신뢰성이 검증되었으므로 간호대학생을 위해 보다 표준화된 측정도구로 사용될 수 있을 것이다.

I. 서론

1. 연구의 필요성

우리나라 간호교육인증평가는 국내외 보건의료 현장에서 요구하는 간호사의 역량을 갖춘 학생을 배출할 수 있도록 성과 중심 교육체제를 기반으로 지속적인 프로그램의 개선을 지원한다[1]. 간호교육기관은 교육이념과 특성, 지역사회의 특성 및 간호사의 역량을 반영하여 교육목표를 설정하며 이를 실현하기 위해 졸업 학생이 갖추어야 할 역량으로서 프로그램 학습성과를 설정한다. 프로그램 학습성과는 이행수준에 따라 학생이 성취해야 할 수행내용과 성취수준을 설정하고 이를 평가할 수 있는 평가절차, 평가도구, 평가자, 평가결과 및 피드백 등의 평가체계를 갖추어 종합적으로 관리되어야 한다[1].

재학생을 위한 프로그램 학습성과의 평가체계는 각 프로그램 학습성과의 의미분석과 이행수준, 교육과정, 수행준거, 수행수준, 달성목표, 평가도구, 채점기준 (rubrics), 자율개선 순환체계로 구성된다[2]. 수행 준거는 측정 가능한 행위동사로 진술되어야 하며, 평가도구는 직접평가도구 이외에도 간접측정도구를 보조적으로 활용하여 다양한 측면에서 프로그램 학습성과를 평가하도록 권장하고 있다. 학습성과의 직접평가도구는 수행 준거에 따른 학생의 능력과 자질을 직접 관찰 또는 시험할 수 있는 도구로 계량화가 가능한 평가방법이다 [3]. 표준화된 시험, 자체개발시험, 포트폴리오 시뮬레이션, 성과평가, 외부관찰자, 구술시험, 관찰 등이 해당된다. 간접측정도구는 학생이 배운 내용에 대한 가치나 정도를 스스로 판단한 보고서나 의견제시를 통하여 학생의 능력을 확인하는 평가방법으로 설문지, 출구조사 인터뷰, 보전자료검토, 초점그룹 면담 등이 있다[3].

의학교육 평가인증에서는 평가 유용성에 따라 다양한 평가방법과 형식을 사용하여 학생평가를 하고 있는지를 평가기준으로 제시하고 있다[3]. 타당하고 신뢰성 있는 학생평가를 통하여 다양한 측면의 능력이 향상될 수 있기 때문이다. 의학교육 평가인증에서는 학습 성과 측정 도구로 지필시험, 다면평가, 포트폴리오, 성과 성취에 대한 학생 인식도를 사용하고 있는지 파악하는데, 이 중 성과 성취에 대한 학생 인식도는 자기평가. 과정별 학습 성과, 시기별 학습 성과, 졸업역량 등을 설문지로 만들어 자기보고식 설문조사를 실시하는 것을 말한다[3].

간호교육평가인증은 각 대학이 처한 상황과 현실에 맞추어 프로그램별로 교육목표와 학습성과 및 달성 목표를 설정하고 교육과정을 운영한 후 교육목표 및 학습성과 달성도를 분석, 반영하는 자율적 개선체계를 갖추도록 하고 있다[1]. 각 대학은 상황적 · 맥락적 특성을 고려하여 자체적으로 평가체계를 운영하고 있으며 대학에 따라 다양한 평가도구를 개발하기도 한다. 최근 간호 교육 프로그램 학습성과 관련 연구를 살펴보면 평가 매트릭스[4][5], 각 학습성과에 따른 평가체계[2][6] [7], 학습성과 측정도구 연구들[8][9-11], 교과목에 서의 학습성과 측정[12-15] 등으로 구별할 수 있으며 학습성과 측정도구로는 비판적 사고[10], 리더십[11]이 개발되어 있다. 간호교육기관에서는 일차적으로 직접측정 도구를 사용해야 하지만 간접측정도구를 활용함으로 여러 각도에서의 타당성 있는 평가를 종합하는 것이 더 바람직하다[16]. 간호교육평가원에서 제시한 프로그램학습성과를 포괄적으로 측정할 수 있는 타당성과 신뢰도를 갖춘 표준화된 도구가 필요하다고 할 수 있다.

김현경의 연구[9]는 문헌고찰과 포커스 그룹 인터뷰를 통해 간호교육평가원에서 제시한 12개의 간호 교육프로그램 학습성과를 측정할 수 있는 자기평가도 구를 통해 개발하였다. 김[9]의 도구는 12개 요인으로 문항 수 79개, 신뢰도 Cronbach’s α .91로 확인된다. 그러나 개발 당시 2개 간호대 학생을 대상으로 자료수집이 이루어졌고 구성타당도 검증을 위해 탐색적 요인분석만을 시행하였다. 이에 본 연구에서는 연구 지역 및 대상을 확대하고 확인적 요인분석을 통한 이론적 배경을 확인하여 도구의 타당도와 신뢰도를 재검증하여 활용범위를 높이고자 한다.

2. 연구 목적

본 연구의 목적은 간호교육 프로그램 학습성과 간접측정 도구의 활용을 위해 타당도와 신뢰도를 확인하기 위함이다.

Ⅱ. 연구방법

1. 연구설계

본 연구는 일 지역 간호대학생들을 대상으로 김현경 [9]이 개발한 ‘간호교육 프로그램 학습성과 간접측정 도구’에 대한 타당도와 신뢰도를 검증하기 위한 방법론적 연구이다.

2. 연구대상

본 연구는 광주광역시 소재 3개, 전라남도 소재한 2 개 간호학과에 재학 중인 간호대학생 중 본 연구의 목적을 이해하고 자발적으로 참여하기로 동의한 4학년 학생을 대상으로 하였다. 연구대상자 수 산출을 위해 구성 타당도 확인을 위한 탐색적 요인분석에 적절한 표본 수는 문항 당 5-10명이 필요하며[17], 확인적 요인분석을 위한 구조방정식 모형에서는 최소 200명 이상의 표본수가 필요함을 고려하였다[18]. 본 연구에 사용된 측정도구의 문항이 79문항으로 모집가능성을 고려하여 79문항의 5배인 395명에 탈락률 10%를 추가한 435명을 모집하기로 하였다. 2019년 11월 22일부터 12월 10일까지 총 435명의 간호대학생에게 설문지를 배부하였으며 403부의 설문지를 회수하였고(회수율 92.6%), 응답 내용이 불충분한 설문지 7부를 제외한 396부를 최종 분석 자료로 사용하였다.

3. 연구도구

3.1 간호교육 프로그램 학습성과 간접측정 도구

본 연구를 위해 ‘간호교육 프로그램 학습성과 간접측정 도구’의 저자에게 전자메일을 통해 도구 사용 승인을 받았다. 본 도구는 초기에 12요인, 79문항으로 구성되어 있으며, 5점 Liker 척도를 이용하여 측정하였다. 점수는 ‘매우 그렇다’ 5점에서 ‘전혀 그렇지 않다’ 1점으로 최저 20점에서 100점으로 분포하며 점수가 높을수록 간호교육 프로그램 학습성과 달성도가 높음을 의미한다. 김[9]의 연구에서 신뢰도 Cronbach’α는 .91이었으며, 본 연구에서 전체 79문항의 Cronbach’α는 .98이었다.

4. 연구절차

4.1 문항분석

본 연구의 예비문항에 대한 자료가 분석에 적합한지를 검토하기 위해 문항분석을 시행하였으며 각 문항에 대하여 평균과 표준편차를 확인하였다. 각 문항과 전체문항 간의 상관분석에서 상관계수 값이 0.3 이상이면 척도 내의 기여도가 낮은 문항으로 제거할 것을 권장하므로[19] 문항-전체 문항 간 상관계수(corrected item-total correlation)가 0.3 이상인 문항을 선정하였다.

4.2 타당도 검증

문항분석을 통해 검증된 예비문항에 대하여 구성 타당도를 검증하였다. 예비문항의 구성요인을 확인하기 위해 탐색적 요인분석을 시행하였으며, 추출된 구성 요인의 이론적 배경과 해석가능성을 고려하여 요인 수를 결정하였다. 추출된 구성요인이 이론적 배경에 근거한 연구 모형에 적합한지를 확인하기 위해 확인적 요인분석을 시행하여 모형적합도를 검증하였다.

5. 자료분석방법

조사된 자료는 측정도구의 타당도 및 신뢰도 검증을 위해 SPSS ver 21.0과 AMOS 21.0 프로그램(IBM Corp., Armonk, NY, USA)을 이용하여 분석하였고, 모든 통계적 분석은 유의수준 .05로 판단하였다.

대상자의 일반적 특성은 빈도, 백분율, 평균, 표준편차를 분석하였으며, 문항 분석 시 각 문항과 전체 문항 간 상관계수를 분석하였다. 탐색적 요인분석을 위한 적합성은 Kaiser-Meyer-Olkin (KMO)의 Measure of Sampling Adequacy와 Bartlett의 구형성 검증으로 분석하였다. 확인적 요인분석은 측정모형을 포함하는 구조방정식 모형을 통해 분석하였고, 추정방법은 최대우도 추정법을 사용하였다. 확인적 요인분석을 위한 구조방정식 모형의 적합도는 표준 χ2지수를 확인하였고, RMSEA (Root Mean Square Error of Approximation), SRMR (Standardized Root Mean-Square Residual)가 0.08이하, TLI (Turker- Lewis Index), CFI (Comparative Fit Index)가 0.9 이상이면 양호한 것으로 판단하였다[20]. 모형의 적합도를 개선하기 위해 공분산 수정지수(Modification Index [MI])가 20이상으로 높은 문항들에 공분산을 추가하여 분석하였다. 최종 도구의 신뢰도는 문항의 내적 일관성에 의한 Cronbach’α 계수를 분석하였다.

6. 윤리적 고려

본 연구자는 연구대상 간호학과 학과장의 동의를 얻어 자료수집을 실시하였다. 설문은 연구대상 간호학과에 소속되지 않은 연구자가 실시하였으며, 연구 참여자의 보호를 위해 연구의 목적과 방법, 사생활과 비밀보장, 연구 이외의 다른 목적으로 설문 결과를 사용하지 않을 것, 설문참여 과정 중 언제든지 참여를 취소할 수 있으며 이로 인한 불이익이 없음을 설명하였다. 연구 참여에 자발적으로 서면 동의한 학생들은 설문 내용의 비밀이 유지되는 장소에서 설문에 응답한 후 동봉된 봉투에 설문지를 넣어 설문 수거용 상자에 넣도록 하였다. 설문에 참여한 학생들에게는 감사의 뜻을 담아 소정의 답례품을 지급하였다.

Ⅲ. 연구결과

1. 대상자의 일반적 특성

본 연구에 참여한 대상자의 성별은 여성이 84.6%, 평균 연령은 23.43±1.62세였다. 간호학 전공 만족도에 대해 22.2%는 ‘매우 만족’, 55.3%는 ‘만족’이라고 응답하여 간호학 전공에 대해 비교적으로 만족하고 있는 것으로 나타났다. 학업성적 평균평점은 ‘4.0 이상’은 11.9%, ‘3.0 이상’은 80.3%로 나타났다[표 1].

표 1. 참여자의 일반적 특성

2. 문항분석

본 연구에서 활용된 자료의 정규성 검정을 위해 각 문항의 왜도와 첨도를 분석한 결과, 모든 측정문항의왜도는 절대값 0.17~0.82로 3을 넘지 않고, 첨도는 절대값 0.01~0.77로 10을 넘지 않아 일변량 정규성을 만족하였다. AMOS를 활용한 다변량 정규성 점검에서는 다변량 첨도가 1216.390, 임계치가 114.118로 유의수준 .05수준에서 임계치 ±1.96을 초과하여 다변량 정규성을 만족하지 못하는 것으로 나타났다. 그러나 다변량 정규성의 가정을 충족하는 자료는 드물기 때문에 일변량 정규성 검토를 통해 큰 문제가 없으면 다변량 정규성의 가정이 충족되는 것으로 보아도 큰 무리가 없다 [20]. 따라서 본 연구에 사용된 도구의 측정문항은 일변량 정규성을 만족하므로, 최대우도법을 활용한 분석을 시행하기로 하였다.

문항 분석의 기초 작업으로 수집된 자료가 분석에 적합한지를 검토하기 위해 각 문항의 평균, 표준편차를 검토한 결과 극단적인 값을 보이지 않았다. 79개 문항에 대하여 각 문항-총점 간 상관분석을 시행한 결과 30 개의 모든 문항이 .60이상의 값을 나타내어 최종 79개 문항을 요인분석 대상으로 선정하였다.

3. 구성타당도 검증

3.1 탐색적 요인분석

개발된 도구의 구성타당도 확인을 위해 문항 분석을 통해 확정된 30개의 문항을 대상으로 요인분석을 시행하였다. KMO의 MSA 값이 .95로 나타나 .70 이상의 일반적인 기준을 충족하였으며, Bartlett's 구형성 검증 결과 χ²= 26764.794 (p<.001)로 나타나 통계적으로 유의하여 요인분석을 수행하기에 자료가 적합하였다.

요인분석 적절성에 대한 검토를 거친 뒤, 개발된 도구에 대한 구성타당도를 검증하기 위한 탐색적 요인분석을 시행하였으며 요인을 추출하기 위해 베리맥스 회전을 이용한 주성분 분석을 시행하였다. 79개 문항에 대한 요인분석 결과, 고유치 1을 초과하는 요인은 11 개, 누적 분산백분율 69.72%로 나타났다.

그러나 1차 탐색적 요인분석 결과 프로그램 학습성과 (Program Outcome: 이하 PO)4 ‘건강문제 해결을 위한 전문분야 간 협력관계 이해’, PO₅ ‘간호보건의료 팀 내 업무조정 역할 중요성 이해’의 2개 요인이 같은 요인으로 부하하였으며, PO₂의 8, 12번 문항, PO₁₀의 63, 64번 문항이 각각 다른 요인에 부하하는 것으로 나타났다. 따라서 도구의 이론적 배경과 해석가능성을 고려하여[21], 원도구와 같이 12개 요인으로 고정하고 4개 문항을 삭제한 후 재분석을 시행하였다. 그러나 PO₁₀ 의 62번 문항의 요인부하량이 0.22로 나타나 62번 문항을 삭제 후 다시 분석하였다. 그 결과, 74개 문항의 KMO의 MSA=.95, Bartlett's 구형성 검증 결과 χ²= 24723.235 (p<.001)로 나타났으며, 고유값 1.0 이상인 12개 요인이 추출되었다.

각 문항별로 요인부하량을 분석한 결과, 0.37~0.86 으로 나타났으며, 12개 요인은 총 분산에 대해 71.71% 를 설명하였다[표 2].

표 2. Factor Loading

3.2 확인적 요인분석

탐색적 요인분석에서 추출된 12개 요인 74문항에 대한 모형적합도를 확인하기 위해 최대우도법을 이용한 확인적 요인분석을 시행하였으며, 그 결과 χ²=5522.87 (df=2561), p<.001, TLI=.87, CFI=.88, RMSEA=.05, SRMR=.05로 나타났다. 모형의 적합도를 개선하기 위해 요인계수와 수정지수를 확인하였다. 수정지수는 이론적 근거를 바탕으로 오차와 오차 사이의 상관관계 설정을 통해 χ²의 감소를 보여주는 공분산 수정지수를 활용하였으며, 공분산 수정지수가 20이 넘는 문항들에 상관관계를 추가하여 분석하였다. 상관관계를 추가하면 전체 모형 적합도에 영향을 미치므로 본 연구에서는 한 번에 하나씩 상관관계를 추가하면서 반복적으로 확인적 요인분석을 시행하였다. 수정지수를 참고하여, PO₇ 의 38번과 39번 문항, PO₈의 43번과 44번 문항, PO₅ 의 31번과 32번 문항, PO₈의 48번과 49번 문항의 오차에 순차적으로 공분산을 추가한 결과 χ²=5269.52 (df=2557), p<.001, TLI=.88, CFI=.89, RMSEA=.05, SRMR=.06으로 나타나 만족할만한 수준을 나타내었다 [표 3].

표 3. 모형적합도

TLI=Turker-Lewis index; CFI=Comparative fit index; RMSEA=Root mean square error of approximation; SRMR=Standardized root mean-square residual.

탐색적 요인분석에서 추출된 12개 요인, 74 문항에 대한 1차 확인적 요인분석을 통해 표준화 적재치가 .50 이상이면서 유의성(CR>1.96, p<.05) 조건에 부합하는 문항을 선택하였다. 12개 요인 내 포함된 모든 문항이 표준화 적재치, 유의성 조건에 부합하여 삭제된 문항이 없었다[표 4]. 본 연구결과 수정모형의 적합도 지수가 만족할만한 수준이므로, 최종적으로 12개 요인, 74문항으로 이루어진 수정모형을 최적의 모형으로 판단하였다.

표 4. 확인적 요인분석 결과

PO=Program outcome; NSE=Nonstandardized estimate; SEs=Sandardized estimates; SE=Standard error; C.R.=Critical ratio; SMC=Squared mean correlation.

4. 측정점수 순위와 신뢰도 분석

구성타당도를 확인한 간호교육 프로그램 학습성과 간접측정 도구의 각 하위 범주별 측정점수 순위와 신뢰도를 확인한 결과는 [표 5]와 같다. 하위 범주별 점수는 평균 3.78±0.28로 나타났다. 본 연구에서 구성 타당도를 검증한 74개 문항 전체의 Cronbach’α 값은 .98이었으며, 12개 하위 범주별 신뢰도는 .85~.95이었다.

표 5. 측정점수 순위와 신뢰도

Ⅳ. 논의

간호교육기관에서 프로그램 학습성과를 설정하고, 여러 각도에서 타당성 있는 평가를 종합하는 것은 교육과정 개선 및 교육의 질 향상을 위해 중요한 사항이다. 본연구는 김현경[9]이 개발한 간호교육 프로그램 학습성과 간접측정도구의 활용 가능성을 확대시키기 위해 타당도와 신뢰도를 재검증하였다. 본 연구에서의 시사점은 다음과 같다.

간호교육 프로그램 학습성과 간접평가도구의 구성 타당도 검증을 위한 탐색적 요인분석 결과 12요인 74개 문항의 구조를 보였고 총 변량의 71.71%를 설명하였다. 이는 도구 개발 당시 12요인 79문항으로 총 변량의 69.16%를 설명하여 본 연구와 유사한 수준을 나타내었다. 본 연구 결과, 간호교육 프로그램 학습성과 간접평가도구는 간호교육평가원의 12개 프로그램 학습성과 및 원 도구와 같은 이론적 구조를 나타내어 선행연구와 같은 이론적 구조와 비슷한 수준의 설명력을 나타냄을 확인하였다. 그러나 탐색적 요인분석은 이론적 근거가 아닌 고유치에 의해 요인을 추출하는 방법으로 수집된 표본의 특성에 따라 그 결과가 나타날 수 있는 위험이있으므로[22], 해석 시 이에 대한 고려가 필요할 것으로 생각된다. 도구의 요인구조를 확정한 후에는 추출된 요인에 대한 문항 구성의 적합도를 확인해주는 확인적 요인분석을 시행하여 도구의 타당성을 확보할 수 있으며 [23], 그 결과 74문항의 표준화 적재치가 .모두 50 이상이며 모형 적합도 지수 TLI, CFI가 .88, .89로 .90에 매우 근접하기 때문에 도구의 요인구조에 대한 적합도가 수용할만한 모형이 추출되었다고 판단된다.

본 연구 결과 도출된 요인은 한국간호교육평가원이 제시한 12가지 프로그램 학습성과와 김[9]의 연구에서 도출된 요인과는 순서의 차이는 있었지만 요인의 범주는 일치하였다. 김[9]의 연구결과와 차이가 있는 문항 구성을 나타낸 요인은 프로그램 학습성과 2와 10이었다.

프로그램 학습성과 2는 ‘대상자의 간호상황에 따른 핵심 기본 간 호술 수행’으로 설명 분산이 9번째로 확인되었으나, 김[9]의 연구에서는 설명 분산이 가장 낮게 나타났다. 본 연구에서는 김[9]의 연구와 달리 8번 ‘나는 간호상황에 적합한 간호술이 무엇인지 안다’, 12번 ‘나는 복잡한 상황에서 적용해야 하는 간호술의 우선순위를 안다’는 문항이 다른 요인에 부하되어 삭제되었다. 본 연구에서의 학습성과는 3.57점으로 낮게 나타났으나 배와 박[24]의 연구에서는 가장 중요도의 인식 수준이 높은 것으로 나타났고 성취도는 4번째로 비교적 높게 나타나 본 연구와 상이한 결과를 보이고 있다. 이는 삭제된 2개의 문항이 지식을 측정하는 문항이었으나 현재 분석된 3개의 문항은 수행을 평가하는 내용으로 성취 수준이 더 높기 때문에 점수가 낮게 측정된 것이라 여겨진다. 후속 연구를 통해 다시 한 번 검증해 볼 필요가 있다고 생각된다.

프로그램 학습성과 10은 ‘간호 팀 내 리더십 발휘’로탐색적 요인분석 결과 설명분산이 가장 낮게 나타났으나 김[9] 연구에서는 설명 분산이 5번째로 나타났다. 또한 탐색적 요인분석 결과, 63번 ‘나는 타부서와 의사소통하여 업무를 조정한다’, 64번 ‘나는 타인을 배려하여 장점을 이끌어낸다’는 다른 요인에 부하였으며, 62 번 ‘나는 미래를 예측하고 계획을 세워나간다’는 요인부하량이 0.22로 나타나 총 3개의 문항을 삭제하였다. 간호리더십의 수행준거는 ‘개인 성장과 협력으로 간호의 탁월성과 문제해결 기술을 활용하여 팀과제를 완성’하는 것으로[7] 확인되었으나, 본 연구에서 ‘개인의 성장’ 과 ‘협력’과 관련된 속성이 삭제되어 선행연구에서 확인된 리더십의 속성을 충분히 반영하지 못하였다. 따라서 개인의 성장이나 협력 활동들을 강화할 필요가 있다. 그러나 간호학과 학생들이 타부서와의 업무 조정과 같은 역할을 학습목표로 설정하고 적용하기에는 임상 실습 현장에서의 적용가능성이 떨어지는 것이 현실이다. 간호교육평가원에서는 간호리더십과 같이 전공직무역량이 잘 발휘될 수 있도록 지원하는 사회적 역량인 소프트 스킬의 강화를 요구하고 있으므로 효과적이고 유용하게 활용할 수 있는 임상현장실습의 학습목표 설정이 필요할 것으로 생각된다. 이에 따라 간호리더십 학습성과를 달성할 수 있도록 평가체계를 구축하고 이러한 현실을 반영하여 원 도구에 대한 수정도 고려해볼 수 있을 것이라 생각된다.

본 연구결과에서 나타난 학습성과 점수가 선행연구와 가장 차이가 난 것은 프로그램 학습성과 8 ‘간호 실무의 법적, 윤리적 기준의 이해와 간호실무 통합’이었다. 본 연구에서는 4.34점으로 가장 높게 나타났으나 배와 박[24]의 연구에서는 중간정도의 성취수준이었다. 최근 간호사의 역할과 기능이 확대됨에 따라 책임의 범위도 넓어지고 있고 이에 따른 인식의 변화가 나타난 것으로 사료된다. 아직까지는 간호사에 관한 규정이 미비한 상태이지만 간호법 제정이 이루어진다면 간호사가 의료인으로서 독자적 영역을 구축한 것에 비례하여 책임의 한계가 이루어지게 된다[25]. 의료사고에 대한 판례 및 지침 교육을 통해 간호사로서 법적 책임과 의무, 간호윤리를 이해하고 이를 실무에서 통합할 수 있도록 지도해야 할 것이다.

본 연구에서 간호교육 프로그램 학습성과 간접측정 도구의 전체 Cronbach’s α는 .98로 높은 수준의 내적 일관성을 보였으며 개발 당시 .91보다 높은 수준으로 나타났다. 따라서 간호교육 프로그램 학습성과 간접측정 도구는 우리나라 간호대학생의 프로그램 학습성과달성 수준을 측정하는데 사용가능한 내적 일관성의 신뢰성을 지닌 도구임이 검증되었다. 더욱이 개발 당시일 지역 2개 학교를 대상으로 하여 타당도와 신뢰도를 검증하였으나 본 연구에서 다른 지역에서 대상 학교를 확대하였음에도 선행연구와 같은 이론적 구조와 충분히 높은 수준의 내적일관성을 보였다. 따라서 본 도구는 국내 여러 간호교육기관에서 간호교육 프로그램 학습성과의 달성정도를 간접측정하기 위해 확대 적용이 가능할 수 있을 것으로 생각된다.

본 연구의 의의는 다음과 같다. 타당도와 신뢰도가 검증된 본 도구를 활용하여 학생은 졸업 학년에 스스로 자신의 프로그램 학습성과 달성 정도를 확인함으로써 능동적으로 학습성과 관리에 활용할 수 있을 것이다. 교수자는 본 연구에서 검증된 도구를 바탕으로 각 프로그램 학습성과에 대한 루브릭 개발 및 관련 교과목을 정량적으로 평가할 수 있는 평가 체계를 개발하고 이를 교육과정 운영 및 평가의 근거로 활용할 수 있을 것이다. 또한 간호대학생의 프로그램 학습성과 달성에 대한 명확한 평가와 교육과정의 개발 및 질 관리에 적극 활용하여 간호 교육의 질 향상을 도모할 수 있을 것이다.

한편, 본 연구는 간호교육 프로그램 학습성과 간접측정 도구의 타당도와 신뢰도를 검증하는 과정에서 몇 가지 연구의 제한점이 고려된다. 측정 도구의 타당도 검증을 위해서는 표준화된 측정도구를 활용한 준거 타당도를 검증해야 하지만, 본 연구에서는 준거타당도 검증이 이루어지지 않았다. 또한, 확인적 요인분석 시 각 프로그램 학습성과에 대한 문항의 수렴타당도와 판별 타당도 검증이 이루어지지 않았으므로 향후 연구에서는 보다 구체적인 분석을 할 필요가 있다.

Ⅴ. 결론 및 제언

본 연구는 김현경[9]이 개발한 간호교육 프로그램 학습성과 간접측정도구의 타당도와 신뢰도를 재검증하였다. 총 5개 대학의 간호학과 4학년 396명을 대상으로 설문조사를 하였으며 탐색적 요인분석 결과 각각 다른 요인에 부하하는 5개 문항을 삭제한 후 재분석을 시행하였다. 각 문항별로 요인부하량을 분석한 결과, 74개 문항 고유값 1.0 이상인 12개 요인이 추출되었으며 총분산은 71.71%였고 신뢰도 Cronbach’s α 값은 .98이었다.

본 연구는 대상자의 조사지역을 확장시킴으로 간호 교육 프로그램 학습성과 간접측정도구의 일반화를 향상시킨 것에 의의가 있다. 본 연구결과는 간호교육평가원이 제시한 프로그램 학습성과를 기반으로 개발되었으므로 표준화된 간접측정가도구로 활용함으로 평가도구의 다양성을 확보할 수 있고, 학습자의 자기평가 도구를 측정할 수 있으며, 타 간호교육기관과도 비교 분석할 수 있을 것이다. 프로그램 학습성과별로 개발된 도구와 비교 분석하는 연구, 직접평가도구와 간접측정 도구의 평가결과 비교 및 영향요인에 대한 연구를 제언한다.