A Study of the Development of Green Camp Evaluation Index based on the CIPP Model

CIPP 모형을 활용한 그린캠프 평가지표 연구

Abstract

The purpose of this study is to develop an evaluation index that can assess the Army training program of Green Camp. The result of the evaluation index phased-developed with the CIPP model is summarized below. First, the literature review with documents relevant to program evaluation, Green Camp field research, and expert discussions were used to select factors considered for evaluation and develop a preliminary evaluation area and item for the four areas within the CIPP evaluation model. Second, an initial survey targeting Green Camp and soldiers in the Capital Defense Command examined the preliminary reliability·validity, and the Focused Group discussions were used to supplement the evaluation index. Third, secondary surveys were conducted in four battalions in Gangwon-do and third surveys targeted officers from twelve different corps and personnels related to the Green Camp which verified descriptive statistics analysis, exploratory factor analysis, and correlation analysis in version SPSS 24. Fourth, with the validation verification procedure, 16 evaluation area and 36 evaluation index was confirmed. Fifth, the 36 evaluation index developed was subdivided into 57 indexes and the Delphi method was applied through the policy expert to formulate 43 generalized indexes. The significance of this phased research approach was considered for the institutionalization of the usage of scientific evaluation(index) and development in policy process.

연구 목적은 군 교육 프로그램인 그린캠프를 평가할 수 있는 평가지표를 개발하는 것이다. 이러한 목적으로 CIPP 평가모형을 활용하여 평가지표 개발과정을 단계화해서 진행한 연구의 결과를 요약하면 아래와 같다. 첫째, 프로그램 평가 관련 문헌연구, 그린캠프 현장 실태 조사, 전문가 토의를 통해 평가 고려요소를 도출하고 CIPP 평가모형 4개 영역의 예비 평가영역과 항목을 구성하였다. 둘째, 예비 평가항목으로 1차 설문을 수도방위사령부 그린캠프와 장병을 대상으로 조사하여 예비 신뢰도·타당도를 검사하고, 전문가 포커스 그룹 토의로 평가지표를 보완하였다. 셋째, 강원도 지역 4개 대대를 방문하여 2차 설문 조사하고, 12개 군단별 간부와 그린캠프 관련자를 대상으로 3차 조사하여 SPSS 24 통계 프로그램으로 기술통계 분석, 탐색적 요인 분석, 상관관계 분석으로 검증하였다. 넷째, 타당도 검증을 거쳐 16개 평가영역과 36개 평가지표를 결정하였다. 다섯째, 개발한 36개 평가지표를 57개 지표로 세분하고 정책전문가로 델파이 조사하여 43개 지표로 일반화하였다. 이 단계화된 연구의 의의는 정책 시행·추진과정에서 과학적 평가(지표) 개발 및 제도화에 활용될 수 있을 것이다.

I. 서론

그린캠프(Green Camp)는 군 복무¹ 에 부적응하는 병사들을(이하에서 부적응자²로 지칭함) 관리하고 적응시키는 육군의 교육 프로그램이다. 이 연구는 적응력 향상 프로그램인 그린캠프³ 를 대상으로 진행하였다. 그린 캠프는 부적응 병사들에게 맞춤식 관리 및 교육 프로그램을 제공하고 심리적 변수(變數)들을 고려하여 적응력을 향상시키는 교육이며 군단급 부대에서 운영함으로써 자살 사고 등을 최소화하여 전투력을 보존시키고, 지휘 부담을 경감하려는 목적으로 운영되는 군 교육 프로그램이다[1].

군 교육 프로그램은 학교 교육⁴ 과 부대 교육으로 크게 구분된다. 학교 교육은 육군의 20여 개 병과 학교에서 이루어지는 교육이다. 부대 교육은 야전부대에서 진행되는 직무상 교육이며, 그린캠프는 주로 군단 단위 부대에서 부적응 병사를 대상으로 2주간 이루어지는 부대 교육 프로그램이다.

육군의 부적응자는 다양한 노력에도 불구하고 증가 추세에 있다. TV조선(2018년 11월 6일 자)에 따르면, 2014년 입대자 중 정신질환으로 조기 전역한 인원이 826명에서 2017년 1,896명으로 2배 이상 늘었고, 그린캠프 입소자도 같은 기간 연평균 7%씩 증가하고 있다고 한다. 국방부 자료에 의하면 2016년 6월 30일 기준으로 도움병사⁵ 는 8,203명, 배려병사⁶ 는 27,209명으로, 이들을 합하면 육군 병사의 9.6%이다.

그린캠프 연구의 필요성을 살펴보면, 육군 병사의 약 10%인 부적응자를 효과적으로 관리하여 적응력을 높이는 것은 군 전투력 유지 및 향상에 매우 중요한 요소가 된다. 그러므로 군 복무 적응력 향상을 위한 교육 프로그램으로 운영되는 그린캠프를 효과적으로 개선하는 것은 육군의 전투력과 직결되는 사항이기 때문에 프로그램 개선연구가 매우 중요하다. 그린캠프 개선 방안을 탐색하기 위해서는, 프로그램 전 과정에 대한 성과분석과 개선 정보를 획득할 수 있는 과학적 평가가 필요하였다. 그래서 과학적ㆍ체계적 평가를 할 수 있는 평가 기준을 마련하기 위해 종합적ㆍ계량적 평가지표⁷ 개발을 연구하였다.

이 연구의 목적은 그린캠프를 실증적으로 연구하여군 교육 프로그램 평가의 객관적ㆍ체계적인 평가지표를 개발하고, 교육 정책을 개선 발전시키는데 시사점을 제공하는 것이다. 이를 위해 연구 대상 이해와 CIPP⁸평가모형 활용의 타당성을 고찰하고, 그린캠프 특성을 반영한 평가 고려요소와 평가지표를 현장 실태 조사와 전문가 토의를 통해 도출하였다. 다음으로 평가모형을 적용한 설문 조사와 전문가 토의로 신뢰도, 타당도를 검증하여, 평가영역과 평가지표를 개발하였다. 마지막으로 개발한 평가 영역과 평가지표를 일반화⁹ 하고, 활용 방향을 탐구하였다.

Ⅱ. 이론적 배경

1. 그린캠프

그린캠프는 육군 부적응자의 군 복무 적응력 향상을 위한 부대 교육 프로그램이다. 도입과정은 2011년 2월에 8군단에서 군단급 통합 운영 시범이 있었고, 현재와 같은 그린캠프는 2011년 7월에 운영되었다. 그린캠프¹⁰ 는 연대급 이하 부대에서 식별한 군 복무 부적응자를 관리 및 치유하여 자살 등 사고를 예방¹¹ 함은 물론 사단급 이하 부대가 전투 임무에 전념할 수 있는 지휘 여건을 보장하기 위해 군단급 부대에 설치하여 운영하고 있다[2].

그린캠프는 2018년 7월까지 육군의 20개 부대¹² 에서 운영하였으나, 2018년 ‘그린캠프 개선 운영지침’ 하달 이후 군단과 향토사단에 17개¹³ 그린캠프로 조정되었다. 그린캠프와 관련된 법규를 살펴보면, 2009년 처음으로 육군 규정 ‘자살예방 종합시스템’에 그린캠프 도입 관련 내용이 포함되면서 군 복무 부적응자나 자살우려자의 적응 교육 프로그램으로 규정화되었다. 2011년 부분 개정된 육군 규정 941 「사고 예방 및 처리규정 (2011.9.1.」, 제5장 제24조 ‘자살우려자 관리’에서 군단급 그린캠프 설립과 운영형태, 운영 인원 및 운영 담당자의 업무 분장, 프로그램 진행 내용, 입ㆍ퇴소 절차 등에 대한 상세한 사항이 제정되었다.

그린캠프의 운영 인원¹⁴ 은 부대별 여건과 특성에 따라 6명에서 20명까지 상이하다[2]. 기타 관계자는 야전 부대 지휘관, 입소자, 도우미, 외부 강사, 상담관, 군의관 등이 있다. 현재 운영되는 그린캠프 운영 주기는 육군 규정에 따라 3주 단위로 2주 프로그램 운영 후 1주 휴식으로 연간 15회 실시하며, 오리엔테이션 및 군법 교육, 외부 전문강사 초빙 교육, 심리검사 및 상담 등의 프로그램이 진행된다. 입소 대상자는 복무 부적응자, 자살우려자, 사고위험 유발 병사 등이다. 입소 현황은 2011년 1,579명에서 점차 증가하여 2018년은 약 5,850명이었다[3].

육군은 그린캠프 개선을 위한 평가의 중요성을 인식하고, 2018년 ‘그린캠프 개선 운영 지침’에서 운영 효과 평가체계 지침을 하달하였으며, 효과적 운영에 대한 성과를 평가하기 위한 노력은 지속하고 있다. 일례로 그린캠프 개선을 위해서 2018년 분기별 운영 효과를 평가하였으며, 그 결과는 아래 [표 1]과 같다[4].

표 1. 그린캠프 운영 효과 평가(예)

출처: 「그린캠프·병역심사관리반 개선 운영지침」, 육군본부 2018

그렇지만 그린캠프에 대한 체계적 성과관리 및 평가는 미흡하였다. 그린캠프 운영에 대한 종합적이고 과학적인 분석 없이, 육군 지침에 따라 일률적ㆍ 관행적으로 관리하였기 때문이다. 이 연구에서는 그린캠프 관리를 개선하고 운영 효과성을 높이기 위해 적합한 평가모형을 선정하고, 평가지표를 개발하였다.

2. 교육 프로그램 평가모형

그린캠프는 정형화되고 주기적으로 반복되는 일련의 교육과정으로 이루어진 교육 프로그램이다. 이러한 교육 프로그램 평가는 프로그램이 어떤 과정을 거쳐 어떤 영향을 미치는가를 중시해야 하였다[5].

평가란 어떤 대상을 개선하기 위해 활용하고, 의사결정에 필요한 대상의 정보를 기술, 획득, 제공하는 과정이다. 그리고 프로그램 평가는 프로그램 이론을 파악할 뿐만 아니라 이를 체계적으로 구축하고 각 단계에 맞는 평가의 방법과 수단을 설계하여야 한다. 프로그램 평가는 프로그램 서비스의 필요 정도, 만족도 등을 결정하는데 필요한 방법과 기능 집합체이다[6][7].

그래서 여기에서는 교육 프로그램 평가 개념, 평가모형 등을 살펴보고, 그린캠프 프로그램 전 과정을 포함 하여 과학적ㆍ종합적으로 평가하는데 적합한 평가모형을 제시하였다.

프로그램 평가과정은 기본적으로 목표(objectives)-수단(means)-계량척도(measures) 등 3단계로 구성되며[8], 평가모형은 평가 목적을 효과적으로 달성하기 위하여 특정 탐구방식을 적용하여 평가방법 및 절차를 체계화해 놓은 것이다[9]. 프로그램 평가모형은 무엇을 평가할 것인가의 평가의 틀을 제공하고, 프로그램 이론에 근거한 평가지표와 관련하여 어떠한 관점을 중시하면서 목적을 이룰 것인가에 대한 평가 기준을 설계하고 평가할 것인가에 대한 절차이다[10].

프로그램 평가모형은 목표 결과 중심, 과정 중심, 탐구방법 중심, 수혜자 중심 등 다양한 기준에 따라 분류된다. 그 중 Popham이 분류한 목표 달성 중심모형, 내재적 준거 중심의 판단모형, 외재적 준거 중심의 판단 모형, 의사결정 촉진 모형 등으로 구분한 교육 평가모형이 가장 대표적이다. 목표 달성 중심모형은 Tyler, Hammond, Metfessel과 Michael 등의 목표지향적 평가 접근모형이며, 내재적 준거 중심의 판단모형은 인정평가모형, 감식안(Connoisseurship)모형 등 프로그램 자체의 속성 및 기능을 준거로 삼아 프로그램의 장점과 가치를 판단하는 모형이다. 외재적 준거 중심의 판단모형은 탈목표 모형, 작동형태 규명법(Modus Operandi method) 등 프로그램의 효과나 산출결과의 가치를 준거로 삼아 프로그램의 가치를 평가하는 접근 모형이며, 의사결정 촉진 모형은 CIPP 모형, CSE 모형, 불일치 모형 등 평가의 의사결정 보조 기능을 강조하는 모형이다.

교육 프로그램 전 과정을 평가하는 대표적 과정 중심 평가모형은 시스템모형, 프로그램 논리 모형, Kirkpatrik 평가모형, CIPP 평가모형 등이 있다. 시스템 평가모형은 평가대상을 시스템 이론에 기반을 두고 투입, 집행 활동, 산출 등의 과정에서 구체화한 모형이다[11]¹⁵ . 시스템 이론을 단순화하여 프로그램 전체과정과 집합체에 대한 평가모형을 설명하고 있다. 프로그램 논리모형은 시스템모형과 유사하며, 특정 문제를 해결하기 위해 프로그램이 어떤 논리에 따라 실행되어야 하는가를 보여주는 모형이다[12].¹⁶ 특히 프로그램 계획에서 활동과 영향을 포괄적으로 기술ㆍ설명하고, 프로그램 전체 생애주기(기획, 실행, 평가)에 유용하다[13][14]. Kirkpatrik 평가모형은 교육 프로그램 종결 시 성과를 교육 및 학습의 논리에 따라 순차적으로 가늠하고, 교육의 목표나 성과를 확인하지 않고 평가를 진행하던 관행을 극복하도록 접근하는 논리적 모형이다[15]¹⁷ . CIPP 평가모형은 과정평가 중심의 모형이며 전체과정을 통해 개선에 대한 의사결정 정보를 획득할 수 있다.

이 연구에서는 여러 과정 중심 평가방법 중 CIPP 평가모형을 그린캠프 프로그램 평가지표를 개발하는데 적용할 모형으로 선택하였다. CIPP 평가모형은 그린캠프 전 과정을 종합적ㆍ체계적으로 평가하여, 성과 개선 정보를 탐색하는데 활용할 수 있는 최적 평가모형이다.¹⁸ 그 이유는 CIPP 평가모형이 2000년 이후 다양한 프로그램 평가에 적용되고 있으며, 유용성, 실행 가능성, 정확성 평정 결과가 탁월하고 프로그램 전 과정의 개선에 효과적이기 때문이다[16].

CIPP 평가모형은 Stufflebeam이 제안한 의사결정 지원 평가모형으로서, 프로그램의 목적 달성 여부에 초점을 두는 기존의 평가모형을 반박하고, 프로그램 개선 시 필요한 장ㆍ단점을 알려주는 평가모형이다.¹⁹ CIPP 평가모형은 상황평가(C), 투입평가(I), 과정평가(P), 산출평가(P)로 이루어진 의사결정 지원을 위한 복합적 평가모형으로서의사결정에 관심을 두고, 그에 대응하는 평가의 역할을 강조하고 있다는 점에서 다른 평가모형과 차이가 있다. CIPP 평가모형에서는 평가대상을 개선하기 위해 계획적 결정, 구조적 결정, 실천적 결정, 순환적 결정 등 4가지 결정이 이루어진다. 각 결정의 성격과 내용에 적합한 평가 요소와 구성이 평가모형의 핵심이 된다[17-19].

CIPP 평가모형과 의사결정과의 관계는 아래 [표 2] 와 같다.

표 2. CIPP 평가모형과 의사결정과의 관계

출처: 김충관(2018) 참고문헌[18] p.135

CIPP 평가모형은 핵심관련자²⁰ 의 협조 속에서 성장을 촉진하도록 계획되었다. 따라서 CIPP 평가모형은 조직의 리더와 조직원이 체계적으로 목적을 타당화하고 평가 수혜자의 요구에 맞게 체계적으로 피드백한다. 즉 문제를 진단하기 위해 상황평가를 하고, 상황평가의 문제를 해결할 수 있는 대안을 찾기 위해 투입평가를 한다. 투입평가에서 프로그램 계획을 수립ㆍ진행 준비 및 수행하면서 잘 진행되고 있는가를 보기 위해 과정평가를 한다. 그 결과로 프로그램이 성공했는가? 실패했는가를 판단하기 위해 산출평가를 하는 것이다[7].

CIPP 평가모형은 서비스와 자유 사회의 원리에 강한 지향성을 두고, 평가자와 평가 요구자가 평가 관련자들의 평가를 고려하고, 서비스를 위한 그들의 요구를 명확히 한다. 프로그램과 다른 서비스를 설계하는데 사용되는 정보를 얻고, 서비스의 효과적 적용을 평가, 지도하면서 궁극적으로 서비스의 장점, 가치 그리고 중요성을 평가한다. 이처럼 CIPP 평가모형은 서비스를 평가 ㆍ개선하고, 자원ㆍ시간ㆍ기술의 효율성을 돕기 위한 정보 제공에 유용하다. 이 때문에 CIPP 평가모형을 그린캠프 프로그램 평가척도 개발에 적합한 모형으로 선정하였다.

Ⅲ. 연구설계

이 연구에서 평가지표 개발을 4단계로 단계화하였으며, 진행한 연구 내용과 목적은 아래와 같다.

첫째, 그린캠프 프로그램 운영 개선과 관련된 요소들을 검토ㆍ분석하여 평가 고려요소로 고찰하고 평가 척도를 구상한다. 둘째, 그린캠프 관련 설문 조사와 전문가 토의로 평가척도를 개발한다. 셋째, 그린캠프 평가지표의 타당도를 검증하여 결정하고, 일반화한다.

연구절차에서 ‘평가척도 구상’ 단계는 첫 번째, 그린 캠프 운영 실태조사를 바탕으로 기존연구 학술지, 육군 자료 등을 통하여 CIPP 평가모형의 상황, 투입, 과정, 산출, 4가지 영역에 이론적 근거를 활용할 수 있도록 예비 평가영역과 항목을 구성하여 1차 설문 조사를 하였다.

두 번째, ‘평가척도 개발’에서는 전문가 집단으로 토의를 거쳐 평가지표를 설정하고, 타당도 검증을 위하여 그린캠프 관계자들에게 2차와 3차 설문 조사를 하였다. 설문지는 Likert 척도를 사용하였으며, 1은 ‘전혀 아니다’, 2는 ‘아니다’, 3은 ‘보통이다’, 4는 ‘그렇다’, 5는 ‘매우 그렇다’로 설정하였다. 야전부대와 그린캠프에서 설명ㆍ조사한 설문지를 SPSS 24버젼 통계 프로그램을 이용하여 기술통계 분석, 탐색적 요인 분석 및 신뢰도 분석, 상관관계 분석 등을 실시하였으며, 총 3차례 설문(1 차 100명, 2차 440명, 3차 568명, 총 1,108명) 조사하고, 그 결과로 다시 전문가 토의를 거쳐 평가지표를 구체화하였다.

세 번째, ‘평가지표 결정’ 단계에서 평가 영역과 지표를 검증하고 전문가 의견수렴 및 분석 결과를 반영하여 평가지표를 결정하였다.

네 번째, 결정한 그린캠프 평가지표를 정책 결정부서인 육군본부 인사참모부에서 직무수행 중인 중·대령 전문가에게 델파이 기법으로 조사ㆍ검증하여 일반화하였다.

CIPP 평가모형을 활용한 그린캠프 평가지표 개발연구를 [그림 1]과 같이 단계화하여 진행하였다.

그림 1. 그린캠프 평가지표 개발 연구절차

연구 대상은 육군의 17개²¹ 그린캠프이다.

연구방법은 먼저 그린캠프를 대상으로 실태조사 및 설문 조사²² 를 실시하였다. 그린캠프 개선과 관련된 고려 요소를 도출하기 위해 육군훈련소와 수도방위사령부 그린캠프 및 병역관리심사대 관리관 5명, 육군본부 정책담당자 2명과 토의하였다. 그린캠프 현장 실태와 자료를 조사하여 운영사항을 종합한 평가 고려요소²³ 와세부평가 고려 요소를 정리하였다.

다음으로 평가 고려 요소를 활용하여 전문가²⁴의 의견을 조사하고, 예비 평가영역 및 평가지표²⁵를 구상하였다. 예비 평가영역ㆍ항목을 구성하기 위해 기존 문헌과 정책 자료를 검토하고, 업무를 직접 수행하는 관계관, 전문가와 토의하여 델파이 기법(Delphi Method)²⁶ 으로 신뢰도를 높였다.

예비 평가지표로 구성한 1차 설문을 수도방위사령부 그린캠프 담당자들과 입소자 총 100명을 대상으로 조사하고 신뢰도와 타당도를 분석하였다. 1차 설문 결과를 활용하여 척도 개발단계의 예비 평가영역을 탐색하고 타당성 확보를 위해 전문가 집단을 편성하여 포커스 그룹(Focused Group)²⁷ 토의로 평가지표를 설정하였다.

전문가 토의로 1차 설문 결과를 개선한 2차 설문지를 사용하여 강원도 지역 4개 대대 ²⁸ 간부와 병사 440명을 대상으로 설문 조사하고 신뢰도와 타당도를 분석하여 검증하였다.

평가지표를 결정하기 위해 전ㆍ후방 군단 등을 방문하여 그린캠프 관리자와 분대장, 입소자 등 141명에게 설문하였고, 야전 지휘관(자), 간부들 427명을 포함한 총 568명에게 3차 설문 조사하여 분석, 검증하고 평가 지표를 결정하였다. 개발ㆍ결정한 평가지표를 육군본부 정책전문가²⁹ 11명에게 델파이 기법으로 조사하였다.

평가지표의 신뢰도와 타당도를 분석 검증하기 위해 SPSS 24 통계 프로그램을 사용하였다.

이 연구에서 설문 조사의 일관성 확보를 위해 반복적 측정 자료의 신뢰성을 나타내는 cronbach alpha(A, 알파)를 분석하였으며, 요인의 타당성을 확인하기 위해 변인들을 추출하여 요인을 선정하고 타당성을 검증하도록 탐색적 요인 분석³⁰ 을 실시하였다. 탐색적 요인 분석을 위한 분석방법으로는 주성분 분석(Prinicipal Component Analysis)으로 추출하고, Kaiser 정규화가 있는 Varimax(직각회전) 방식을 적용하였다³¹ .

Ⅳ. CIPP 모형을 적용한 그린캠프 평가지표

1. 그린캠프 CIPP 평가모형

지금까지 그린캠프 연구에서 프로그램 전반에 대한 종합적 개선ㆍ 평가방법을 제시한 연구는 미흡하였다. 그린캠프 전 과정에 대한 평가를 위해 상황 인식, 목표 설정, 자원 투입, 과정, 결과, 피드백 등 전체의 시스템적 연구가 요구되었기 때문에 과정 중심 평가 방법인 CIPP 평가모형이 적합하였다. 그래서 그린캠프 평가연구에서 CIPP 평가모형으로 평가지표를 개발하였다.

그린캠프 전 과정을 포함하는 관리ㆍ 운영 개선과 관련된 의사결정에 필요한 정보를 얻기 위해 ‘CIPP 평가 모형’을 활용하였으며, [그림 2]와 같은 상황평가-투입 평가-과정평가-산출평가 단계의 ‘그린캠프 CIPP 평가 모형’을 설정하여 연구하였다.

그림 2. 그린캠프 CIPP 평가모형

2. 평가 고려 요소 및 예비 평가영역 탐색

프로그램 평가지표 개발연구를 수행하기 위해서는 연구 대상의 특성을 반영하여야 한다. 특성을 반영한 평가지표를 개발할 수 있는 그린캠프의 평가 고려 요소가 필요하며, ‘예비 평가영역과 평가항목’을 설정하기 위한 사전 탐색이 필요하였다. 이 때문에 육군훈련소와 수도방위사령부 그린캠프 현장 실태를 조사하고, 문헌연구, 자료조사, 운영관계관 및 전문가들과의 토의 등으로 평가 고려 요소를 도출하였다.

그린캠프와 관련된 ‘평가 고려 요소’는 CIPP 평가모형의 4개 과정의 평가 영역별 업무 리스트와 Know-how 를 도출하였으며, 토의 참가한 전문가 집단은 그린캠프 관리관과 육군본부 업무 담당관, 업무 관련 학위자 12명으로 구성하였고, 그들의 경험과 직무 지식을 반영하였다. ‘평가 고려 요소’와 ‘세부평가 고려 요소’는 그린캠프 성과에 미치는 영향과 각 요소ㆍ 대상별 효과성에 대한 계량적 분석 검증 없이 열거ㆍ종합하여 정리하였다³² . CIPP 평가모형의 4개 과정에서 도출한 평가 고려 요소를 종합하면 총 22개 평가 영역, 세부평가 고려 요소 87개이며, 아래 [표 3]과 같다.

표 3. 그린캠프 평가 고려요소(종합)

선행연구에서 사용한 CIPP 평가모형의 평가지표와 평가 영역을 분석하여 예비 평가영역을 탐색하였다. 예비 평가영역을 설정하기 위해 활용한 선행연구에 나타난 평가역은 아래 [표 4]와 같다.

표 4. 문헌연구에 나타난 CIPP 평가영역

3. 예비 평가영역 및 평가항목 구성, 1차 설문 조사

그린캠프 평가에 사용할 예비 평가영역을 설정하기 위해 문헌연구에서 적용된 평가 영역과 프로그램 평가에서 일반적으로 사용되는 평가지표의 사례를 고찰하고, 연구 대상의 특성을 반영한 평가 고려 요소를 융합하여 전문가 토의로 평가항목을 설정하였다. CIPP 평가모형을 활용한 그린캠프 평가의 대상, 내용을 무엇으로 할 것인가에 대한 평가 고려 요소를 반영하여 상황, 투입, 과정, 산출평가 과정의 평가영역별 하위 영역과 항목을 다음과 같이 고찰하였다.

① 상황평가

상황평가에서는 그린캠프 개선을 위한 상황 인식을 바탕으로 야전 지휘관, 캠프 담당자의 요구와 기능에 맞는 목표 설정, 개선 반영 정도, 부적응자 적응력 향상을 위한 목표와 운영 방향의 적절성을 중심으로 상황평가의 평가 영역과 평가항목을 고찰하였다.

② 투입평가

투입평가에서는 그린캠프 목표 달성을 위한 프로그램 개발, 진행 준비와 그린캠프 운영을 위한 시설, 생활공간, 교육 프로그램 진행자들의 자격, 선발, 능력 등의 운영 준비ㆍ 여건과 교육대 편성, 운영을 위한 예산, 각종 지원을 중심으로 투입 평가의 평가 영역과 평가항목을 고찰하였다.

③ 과정평가

과정평가에서는 그린캠프 프로그램 적용, 입소자 재교육 등 일련의 진행 과정에 대한 사항과 교육 진행 간 지속적인 개선 사항, 진행자와 도우미 등의 교육 담당자, 교육대 운영, 그린캠프 관리 활동을 중심으로 과정 평가의 평가 영역과 평가항목을 고찰하였다.

④ 산출평가

산출평가에서는 그린캠프 운영 결과에 대한 지원 충족도, 목표 달성 여부와 입소자, 지휘관, 담당자 측면의 만족도, 부적응자의 야전 적응력 향상 등의 성과와 결과 피드백, 평가 활용을 중심으로 산출평가의 평가 영역과 평가항목을 고찰하였다.

고찰한 예비 평가영역과 항목으로 1차 설문지를 구성하여 설문 조사하였다. 1차 설문은 평가항목의 신뢰도와 타당도 검증이 가능한 범위에 들어가는지를 확인하기 위해 수도방위사령부 그린캠프와 장병 100명을 대상으로 설문 조사하였다. [표 5]에서 1차 설문의 표본 특징과 같이, 직급별 구분의 병사가 70%를 차지하였다. 이 병사들은 그린캠프 시설이 운영되고 있는 같은 소속 대의 부대원들이며 그린캠프에 대한 일정 수준의 인지가 이루어진 병사들이다.

표 5. 1차 설문 조사대상자 일반적 특성

- 설문 대상자(N=100) 직급별 구분 -

- 그린캠프 관련 경험 시 직무관계(N=100) -

*그린캠프에 입소 경험했던 회수는 1회가 14명, 2회 입소자가 2명

*도우미, 분대장 경험 회수는 1회가 14명, 2회가 4명, 3회 이상 7명.

신뢰도와 타당도 결과는 [표 6][표 7]과 같다. 4개 영역의 신뢰도 ‘Cronbach 알파’가 0.9 이상으로 내적 일관성이 확보되었고, SPSS 24 통계 프로그램의 탐색적 요인 분석 결과는 공통성 범위의 하단이 0.4 이상이고, ‘수방사 종합’의 요인적재치33는 0.422∼0.818로 설문 문항의 설명력에 타당성이 확인되었다. 즉 1차 설문 조사 결과를 통해 도출된 예비 평가항목이 연구 진행에 적합하다는 것을 확인하였다.

표 6. 1차 설문 신뢰도(cronbach알파) 분석

표 7. 1차 설문 탐색적 요인(타당도) 분석

4. 설정한 평가영역ㆍ항목 및 2차 설문 조사

1차 설문 조사에서 나타난 예비 평가영역과 항목의 미비점은 전문가 포커스 그룹 토의방식으로 보완ㆍ재 설정하였다. 그리고 보완한 평가 영역과 항목으로 2차 설문 조사하였다. 주요 보완사항은 각 평가항목의 설문 대상에 대한 명확한 구분과 설문지 표현의 명료성이 요구되었으며, 각 항목을 단순하면서 명료하게 구성하고, 평가 대상과 관련 주체의 구분이 분명해지도록 보완하며, 상황, 투입, 과정, 산출평가 4개 과정의 평가영역 연관성과 요인을 적합하게 개선하였다. CIPP 평가모형의 상황, 투입, 과정, 산출 4개 과정의 평가 영역과 평가항목을 설정하여 다음의 [표 8~표 11]로 제시하였다.

표 8. 개발된 상황평가 영역과 평가항목

표 9. 개발된 투입평가 영역과 평가항목

표 10. 개발된 과정평가 영역과 평가항목

표 11. 개발된 산출평가 영역과 평가항목

평가 영역과 항목의 2차 설문은 강원도 지역 4개 대대를 방문하여 총 440명을 대상으로 조사하였다. 분석 결과는 신뢰도가 0.9 이상으로 확인되었고, 타당도는 [표 13]과 같이 4개 야전 대대 Data를 종합한 표본의 요인적 재치가 0.480~0.829로 유의성이 높게 분석되었다.

[표 12]의 직급별 구분에서 야전 대대 장병의 85%가 일반 병사이고, 인지 수준에서 응답자의 43%가 그린캠프를 ‘모른다’고 응답하였기 때문에 표본에 대한 재설계 및 추가 검증이 필요하였다. 이 병사들은 그린캠프와 지역이 분리된 부대원들이었다.

표 12. 2차 설문 조사대상자 일반적 특성

- 설문 대상자(N=440) 직급별 구분 -

-그린캠프에 대한 인지 수준(N=440)-

표 13. 2차 설문조사 탐색적 요인(타당도) 분석

*유의한 기준 : 요인적재치 0.4 이상

5. 3차 설문 조사 및 결과

2차 설문 조사의 표본 설계상 미비점³⁴ 을 보완하기 위해 각 군단을 방문하여 그린캠프와 간부들에게 3차 설문 조사하였다. 3차 조사 대상자는 군단별 그린캠프 담당자와 입소자 등 141명과 군단별 일반 간부 427명, 총 568명이며, 조사 대상자의 일반적 특성은 아래 [표 14]와 같다. 3차 설문 조사는 평소 직무와 경험으로 그린캠프에 대해 인지하고 있는 관계자를 대상으로 조사하였다. 표본 대상은 그린캠프에 대해 일정 수준의 인지 정도로 평가지표를 판단할 수 있는 간부를 설문 대상의 약 82%로 구성하였다. 병사는 18%이지만 인지 수준을 높이기 위해서 그린캠프 입소자, 분대장 등 그린캠프에서 생활하고 있는 대상으로 조사하였다.

표 14. 3차 설문조사 대상자 일반적 특성

- 그린캠프 경험 / 직책별 구분(N=568 ) -

*그린캠프 도우미, 분대장 경험자의 54%가 3회 이상을 임무수행 하였다.

- 설문대상자(N=568 ) 직급별 구분 -

표 15. 3차 설문결과 : 기술통계, 회전 제곱 적재량, 신뢰도

*왜도의 표준오차는 0.103, 첨도의 표준오차는 0.205³⁵

3차 설문 조사의 탐색적 요인 분석과 신뢰도 결과는 아래와 같다.

① 상황평가 영역의 요인 분석에서 표본 적절성을 나타내는 KMO측도³⁶ 는 0.909로 확인되어서 다른 변수에 대한 설명력이 양호하고, Bartlett의 구형성 검정은 유의확률 0.000으로 검출되어 요인 분석 사용에 적합하였다. 회전 제곱 합 적재량 누적된 분산은 83.608%로서 총 변화량 83.6%를 설명하고 있다. 1 요인은 그린 캠프 관계자 요구, 2 요인은 그린캠프 목표 설정, 3 요인은 상황 인식, 4 요인은 그린캠프 개선 요구로 분류되었으며, 각 요인의 신뢰도는 0.76~0.87로 내적 일관성이 검증되었다.

② 투입평가 영역의 평가항목들과 요인의 회전된 성분행렬(요인적 재치)은 0.402 이상이고, 회전 제곱 합 적재량의 누적된 분산은 4개 요인 평가항목들의 총변화량 84.1%를 설명하고 있다. 1 요인은 프로그램 진행 준비, 2 요인은 그린캠프 교육대 편성 및 준비, 3 요인은 그린캠프 운영지원, 4 요인은 그린캠프 생활 여건으로 분류되었으며, 각 요인의 신뢰도는 0.79~0.87로 내적 일관성이 검증되었다.

③ 과정평가 영역에서 회전된 성분행렬의 요인적 재치는 0.571 이상으로 관련성이 높고, 회전 제곱합 적재량의 누적된 분산은 4개 요인 항목들의 총 변화량 86.2%를 설명하고 있다. 1 요인은 입소자 관리, 2 요인은 프로그램 진행, 3 요인은 야전부대 입소자 관리, 4 요인은 그린캠프 교육 지원 인력으로 분류되었고, 각 요인의 신뢰도는 0.76~0.89로 내적 일관성이 확인되었다.

④ 산출평가 영역에서 회전된 성분행렬의 요인적 재치는 0.512 이상으로 연관성이 높고, 회전 제곱합 적재량의 누적된 분산은 4개 요인 항목들의 총 변화량 87.5% 를 설명하고 있다. 1 요인은 그린캠프 목표달성과 평가 체계, 2 요인은 그린캠프 운영에 대한 야전부대 만족도, 3 요인은 그린캠프 운영지원 충족도, 4 요인은 담당자의 임무 완수 정도로 분석되었다. 설문 도구의 일관성을 검증하는 신뢰도 분석 결과는 0.76~0.93으로 검출 되어 내적 일관성이 확인되었다.

상관관계를 분석한 결과는 CIPP 평가모형 상황, 투입, 과정, 산출평가 4개 과정의 평가영역은 유의수준 0.01 이하 수준에서 유의한 상관관계 값을 나타내고, 평가영역 간의 관계는 0.034에서 0.841의 비교적 높은 관련성을 나타냈으며, 평가영역에서 관련성 분포가 별개로 동떨어진 평가지표는 없었다.

결과적으로, 이러한 타당화 과정의 검증 절차로 개발한 평가지표는 4개 영역, 16개 요인(평가영역), 36개 항목(지표)으로 결정하였다. 즉 상황평가는 그린캠프 관계자 요구(3항목), 목표 설정(3항목), 상황 인식(2항목), 그린캠프 개선 요구(1항목)로 결정하였고, 투입평 가는 프로그램 진행 준비(3항목), 그린캠프 교육대 편성 (3항목), 그린캠프 운영 지원(2항목), 그린캠프 생활 여건(1항목), 과정평가는 입소자 관리(4항목), 프로그램 진행(3항목), 야전부대 관리(1항목), 그린캠프 지원 인력(1항목), 산출평가는 그린캠프 목표 달성 및 평가체계 (4항목), 야전부대 만족도(2항목), 그린캠프 지원 충족도(2항목), 담당자 임무 완수(1항목)로 검증한 평가지표를 결정하였다.

6. 전문가 델파이 조사 및 결과

특정 연구 대상인 그린캠프의 평가지표를 다양한 프로그램에 적용할 수 있도록 일반화하는 연구가 필요하였다. 즉 CIPP 평가모형으로 개발한 평가 영역과 항목은 한 개 이상의 요소를 내포하는 등 평가 대상과 주체의 명확성이 미흡하였기 때문에 구분을 명확히 하는 일반화 연구가 필요하였다. 그래서 평가 영역과 지표를 요소별로 분리한 57개 평가지표를 육군본부 중ㆍ대령 정책 전문가를 대상으로 델파이 기법으로 조사하였다. 평가지표 일반화를 위한 델파이 조사 결과는 아래 [표 16]과 같다.

표 16. 델파이 조사 및 일반화

델파이 조사는 한 장소에 집합하여 연구 내용을 설명하고 의견이 수렴되도록 조사ㆍ토의 하였다. 평가지표로서의 적합 정도에 대해 1은 매우 적합, 2는 적합, 3은 보통, 4는 보완 필요, 5는 제외하는 것으로 조사하였다.

57개 평가지표 중 적합 정도가 2 이상이고, ‘제외’할 지표로 의견이 있는 평가지표는 (표16에 ∴ 표시) 총 7개(상황평가: 목표의 명확성 등 6개, 산출평가 : 관리자의 소요 충족도 1개)였다. 적합도에 대한 의견이 2 이상인 평가지표는 총 14개(상황평가 14개 지표 중 8개, 투입평가 지표 16개 지표 중 시설 위치의 적절성과 인사관리의 적합성 2개, 과정평가 지표 0개, 산출평가 지표 15개 중 사회적 가치 기여 등 4개)였다. 2 이상은 적합도의 상대적 중요도가 낮은 것으로 판단하였다.

Ⅴ. 맺음말

이 연구의 목적은 군 교육 프로그램의 성과를 과학적 ㆍ 체계적으로 평가할 수 있는 평가모형과 평가지표를 개발하는 것이다. 교육 프로그램 평가지표 개발의 실증연구를 위해 그린캠프를 연구 대상으로 관리운영체계를 계량적으로 평가할 수 있는 평가지표를 연구하였다.

평가지표 개발을 위해 다양한 교육 프로그램의 과학적인 평가에 널리 사용 중이며 프로그램 전 과정을 평가할 수 있는 Stufflebeam의 CIPP 평가모형을 활용하였다. 특히 CIPP 평가모형의 상황, 투입, 과정, 산출 4개 과정을 통해 그린캠프 전반에 대한 체계적인 평가지표를 개발하였다. 기존 선행연구가 없는 새로운 연구 대상에 대한 평가지표 개발을 위해 단계화하여 연구를 진행하였다. 우선 그린캠프에 대한 평가 고려 요소 및 문헌 자료를 검토 ㆍ분석하여 평가 척도를 구상하고, 다음으로 3회의 설문 조사ㆍ분석과 전문가 토의로 평가영역ㆍ지표를 개발하였다. 마지막으로 개발한 그린캠프 평가지표를 결정하고 델파이 조사로 일반화하였다.

평가지표는 문헌연구, 현장 실태조사, 설문 조사, 전문가 조사 ㆍ토의 등을 통해 개발되었으며, 설문 조사 결과와 평가지표 일반화에 전문가 의견을 반영하여 타당도를 높였다. 도출된 그린캠프 평가지표는 신뢰도 분석, 요인 분석, 상관관계 분석 등을 통해 타당도를 검증하였다.

연구 의의는 군 교육 프로그램 평가를 위한 평가지표 개발연구에서 그린캠프 프로그램을 실증연구 대상으로 처음 시도하였다는 것이다. 즉 그린캠프의 평가지표 개발은 처음 시도되었다. 이론적 기반을 확보하기 위해 문헌 연구하였으나, 이 연구에 근접한 기존연구는 없었 다. 그리고 CIPP 평가모형을 적용한 평가지표 개발은 새롭게 시도된 연구이다. 이 연구에서 도출한 그린캠프에 대한 평가 고려요소와 단계화한 연구절차와 방법은 새로운 연구 대상에 대하여 평가지표를 개발하는 연구와 향후 심화연구에 활용할 수 있을 것이다. 이 연구의 접근방법은 다른 정책, 제도와 교육 프로그램의 개선을 위한 평가체계 연구에 시사점을 줄 수 있을 것이다.

이 연구의 제한점과 대책은 새로운 교육 프로그램에 대한 평가지표 개발에서 활용할 수 있는 기존 문헌의 선행연구 자료가 부족한 상태에서 현장 조사, 전문가 토의로 평가 고려 요소를 도출하여 최초 평가항목으로 사용하였기 때문에 평가 고려요소에 대한 과학적 검증이 미흡하였다. 향후 평가 고려요소의 보완 연구가 필요하다. 그리고 관계자를 구분해서 설문 조사하지 못한 한계를 보완하기 위해서는 관계자들을 구분한 설문 조사와 검증이 이루어져야 한다. 이것은 교육 서비스 프로그램 운영 시 공급자와 수요자 입장이 상반될 수 있어서 더욱 중요하다. 후속 연구에서 개발한 평가지표로 프로그램을 평가하고 개선, 발전시킬 수 있도록 제도화 하는 연구를 해야겠다. 더 나아가 다른 정책, 제도 분야에서 평가시스템을 제도화하도록 하는 차후 연구도 필요하겠다.

이 연구의 시사점은 다른 분야의 정책과 제도 평가에서 과학적인 평가지표를 개발하여 사용하도록 법적 제도화하는 것은 미래의 정책발전을 위해서 매우 절실한 필요성이 있다는 것이다. 따라서 정책, 제도에 대한 체계적 평가와 과학적 평가지표를 활용한 주기적 평가가 반드시 이루어지도록 규정화해야 하겠다.

향후 교육 프로그램 전 과정을 포함하는 표준화된 과학적 평가지표를 개발하여 주기적으로 평가한다면 군 교육 및 정책발전에 크게 이바지할 것이다. 그리고 교육 프로그램 개선에 필요한 의사결정 정보를 획득할 수 있는 평가지표와 평가체계를 더욱 발전시킨다면, 정책 제도의 지속적인 발전과 제도화에 이바지하게 될 것이다.

* 이 논문은 목원대학교 행정학과 정책학박사 학위 논문 “군 교육 프로그램 성과 평가모형 연구”에서 평가지표의 단계적 개발과정에 중점을 두고 재구성한 논문임.