Browse > Article

The Development of the Meta-Evaluation Criteria for the Accreditation Evaluation System of Engineering Education in Korea  

Cho, Ok-Kyung (Korean Educational Development Institute)
Choi, Keumjin (Cheongju University)
Publication Information
Journal of Engineering Education Research / v.16, no.3, 2013 , pp. 28-41 More about this Journal
Abstract
The purpose of this study was to develop the Meta-Evaluation Criteria which can comprehensively and systematically evaluate and improve the Accreditation Evaluation System for Engineering Education. This will provide useful implications for establishing value, direction, and improvement remedy for Engineering Educations Accreditation System of Korea. In order to achieve the purpose of this study, Meta-Evaluation Criteria was developed to comprehensively and systematically assess and analyze the Accreditation Evaluation System of Engineering Education. The research methodology used to study these subjects: literature review, interviews with experts, Delphi survey (three times), survey, analysis of narrative opinion and secondary source. The results and conclusions of this study can be summarized as follows: First, the final Meta-Evaluation Criteria were developed so as to comprehensively and systematically assess and analyze the Accreditation Evaluation System of Engineering Education. The criteria's validity and reliability were also identified. Specific details are as follows: In a draft plan of the Meta-Evaluation Criteria, Meta-Evaluation concept was defined as evaluation on the whole range of Accreditation Evaluation System of Engineering Education. Meta-Evaluation Criteria was designed to be based on a systematic approach and applies the phased approach to the lower component to reflect evaluation's characteristics. Then validity and reliability of the developed draft plan was verified by calculating Content Validity Ratio (CVR), Degree of Consensus, Degree of Convergence and Cronbach's alpha. The final developed Meta-Evaluation Criteria obtaining validity and reliability were composed of 5 evaluation areas (environment, input, performance, result, utilization), 15 evaluation items, 68 evaluation indicators.
Keywords
Accreditation of engineering education; Meta-Evaluation; Evaluation system;
Citations & Related Records
연도 인용수 순위
  • Reference
1 김명수(2003). 공공정책평가론. 서울: 박영사.
2 강일규 ․ 박동 ․ 강상희(2010). 글로벌 인력교류 확대에 대비한 고등전문교육 인증제 실태와 과제. 서울: 한국직원능력개발원.
3 김광호(2008.09). 고등교육의 질보장 체제. 경영학교육인증심포지엄. 서울:한양대학교.
4 김명수(1993). 공공정책평가론. 서울: 박영사.
5 김병철(2008). 정부출연연구기관 평가에 대한 메타평가 모형 설계 및 적용: 경제.인문사회연구회 평가시스템을 중심으로. 박사학위논문. 서울시립대학교.
6 김성조(2011.08). 한국공학교육인증원 현황과 발전방안. 제30회 공학교육인증포럼. 서울: 국회의원회관.
7 김성훈 ․ 김신영 ․ 서민원 ․ 양길석(2009). 교육 프로그램 평가의 메타평가 기준 개발. 서울: 한국대학교육협의회.
8 김순남(2003). 학교평가의 메타평가 준거 개발. 박사학위논문. 경북대학교.
9 김순남(2006). 대학평가의 메타평가 준거 개발. 교육행정학연구, 24(2): 371-402.
10 김은환 ․ 이갑수(2002). 이공계 인력공급의 위기와 과제. CEO Information, 341: 1-21.
11 김준형 ․ 김희배 ․ 임병노 ․ 석기준 ․ 엄우용 ․ 이준(2007). 원격대학 평가의 메타평가 연구. 서울: 한국교육학술정보원.
12 김철희(2010.01). 인재개발 인증제의 논리적 배경 재검토. 2009 년도 공공부문 인재개발 우수 기관 인증제 사업 Workshop.
13 김현규 ․ 박희정(2003). 광역자치단체 합동평가체제의 실증분석. 정책분석평가학회보, 13(2): 125-148.
14 남궁근(2003). 행정조사방법론. 서울: 법문사.
15 류영수 ․ 최병대(2007). 기술영향평가의 메타평가 분석. 행정문제논집, 22(1): 1-26.
16 박종수(2002). 정보화사업 메타평가모형의 설계와 적용. 박사 학위논문. 충남대학교.
17 배호순(2008). 교육프로그램평가론. 서울: 원미사.
18 서정화 ․ 전제상(1998). 학교평가에 관한 연구. 교육연구논총, 15: 75-104.
19 신동은 ․ 최금진(2011). 한국, 일본, 대만의 공학교육인증 평가체 제 및 평가기준 비교. 교육행정학연구, 29(1): 319-345.
20 윤우영 외(2005). 공학교육인증제도의 글로벌 스탠다드에 부합 하기 위한 제도개선 방안. 서울: 산업기술재단.
21 이종성(2001). 델파이 방법. 서울: 교육과학사.
22 이건남(2008). 고등학생의 대학 전공 선택 프로그램 모형 개발. 박사학위논문. 서울대학교.
23 이란희(2010). 자원봉사센터 평가에 대한 메타평가: 서울시 자치구를 중심으로. 박사학위논문. 한양대학교.
24 이윤조(2009). 학교 환경교육 프로그램 평가 준거 개발. 박사 학위논문. 서울대학교.
25 이찬구(1997). 연구개발사업의 메타평가에 관한 연구: 정보통신 분야를 중심으로. 박사학위논문. 충남대학교.
26 임옥진(2008). 학점은행제 평가체제에 대한 메타평가. 박사학위 논문. 경북대학교.
27 정현철 ․ 서혜에(2008). 대학교 부설 과학영재교육원 평가에 대한 메타평가. 영재교육연구, 18(2): 313-341.
28 조옥경(2012). 공학교육인증 평가체제의 메타평가 준거 개발 및 적용. 박사학위논문. 홍익대학교.
29 조형석(2009). 감사원 성과감사의 메타평가에 관한 연구: 인식 조사와 내용분석을 중심으로. 박사학위논문. 성균관대학교.
30 주인중 ․ 박동열 ․ 진미석(2010). 직업기초능력 영역 및 성취기준 연구. 서울: 한국직업능력개발원.
31 최금진(2011). 민간자율 평가기구에 의한 학문분야평가의 평가 체제에 관한 연구. 교육정치학연구, 18(1): 111-141.
32 한국공학교육인증원(2007). 2007년도 (사)한국공학교육인증원 평가자 워크숍. 서울: 한국공학교육인증원
33 Chelimsky, E.(1985). Program Evaluation: Patterns and Directions. Washington, DC: The American Society for Public Administration.
34 한국공학교육인증원(2010). 고등교육 프로그램 평가 ․ 인증 인정기관 지정 신청서. 서울: 한국공학교육인증원.
35 한지영(2008). 미국과 한국의 공학교육인증 체제 비교에 대한 사례 연구. 공학교육연구, 11(1): 23-32.
36 함승연(2005). 전문대학 공학기술교육 프로그램 인증 준거에 관한 연구. 박사학위논문. 충남대학교.
37 Cook, T. D. and Gruder, C. L.(1978). Metaevaluation research. Evaluation Quarterly, 2: 5-51.   DOI
38 Dalkey, N. C.(1969). An experimental study of group opinion. Santa Monica, CA: RAND Co.
39 Larson, R. and Berliner, L.(1983). On evaluating evaluations. Policy Sciences, 16(2): 147-163.   DOI
40 Delbecq, A. L., Van de Ven, A. H., and Gustafson, D. H.(1975). Group techniques for programme planning: A guide to nominal group and delphi processes. Glenview, IL: The Scott, Foresman and Company.
41 Hsu, C. and Sandford, B. A.(2007). The delphi technique: Making sense of consensus. Practical Assessment, Research & Evaluation, 12(10): 1-8.
42 Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards. Oaks, CA: Sage Publications.
43 Lawshe, C. H.(1975). A quantitative approach to content validity. Personnel Psychology, 28: 563-575.   DOI
44 Martin, P. H.(1982). Meta-analysis, meta-evaluation and secondary analysis.
45 Orata. P. T.(1940). Evaluating evaluation. Journal of Educational Research, 33(9): 641-661.   DOI
46 Scriven, M.(1991). Evaluation thesaurus(4th ed.). Newbury Park, CA: Sage Publications.
47 Scriven, M.(1969). An introduction to meta-evaluation. Educational Product Report, 2: 36-38.
48 Stufflebeam, D. L.(1999). Program evaluation meta-evaluation cheklist: Based on the program evaluation standards. Kalamazoo, MI: Western Michigan University, The Evaluation Center.
49 Stufflebeam, D. L.(1974). Meta-evaluation. Kalamazoo, MI: Western Michigan University, The Evaluation Center.
50 Stufflebeam, D. L.(1981). Meta-evaluation: Concepts, standard, and uses. In Berk, R. A.(ed), Educational evaluation methodology: The state of the art. Boltimore, MD: The Johns Hopkins University Press.
51 Joint Committee on Standards for Educational Evaluation- Program Evaluation Standards Statements. http://www.jcsee. org/program-evaluation-standards/program-evaluation-sta ndards-statements.
52 Worthen, B. R. et al.(1997). Metaevaluation Form. http:// students.ed.uiuc.edu/catey/metaevalform.html.