• 의학교육논단
• /
• 제23권1호
• /
• pp.56-67
• /
• 2021

Educational program evaluation can improve the quality of the curriculum, instructional methods, and resources and provide useful data for making educational decisions and policies. Developing and implementing a program evaluation system is essential in competency-based medical education. The purpose of this study was to explore and establish an educational program evaluation system adapting an integrated program evaluation model to promote competency-based medical education. First, an Educational Evaluation Committee was organized, consisting of faculty, staff members, and students. The committee established an integrated program evaluation model, combining Stufflebeam's Context, Input, Process, and Product (CIPP) model of a process-oriented approach and Kirkpatrick's four-level model of an outcome-oriented approach. Kirkpatrick's model was applied to the product evaluation of the CIPP model. The committee then developed evaluation criteria, indicators, and data collection methods according to the components of the CIPP model and the four levels (reaction, learning, behavior, and results) of Kirkpatrick's model, and collected and analyzed data. Finally, the committee reported the results of evaluation to a Medical Education Quality Improvement Committee, and the results were used to improve the curriculum and student selection. To enhance the quality of education, identifying educational deficiencies and developing various elements of education in a balanced way through educational evaluation will be needed. Furthermore, it will be necessary to listen to opinions of various stakeholders, work with all members involved in education, and communicate with decision-makers in the process of educational evaluation.

• 디지털융복합연구
• /
• 제19권12호
• /
• pp.51-62
• /
• 2021

본 연구는 전문경력인사 초빙활용지원사업의 성과 관리 및 평가 체계 강화를 위해 전문경력인사의 과업 수행에 대한 체계적·포괄적 평가가 가능한 평가 요소를 개발하였다. 이를 위해 경계이론과 커크패트릭 4수준 평가 모델에 기반을 두고 사업 평가와 관련한 기존 연구를 분석하여 성과 평가 프레임워크를 개발하였다. 이후 2차에 걸친 델파이 조사 방법을 활용하여 전문경력인사의 개인 측면과 활용 기관 측면에서 성과를 측정할 수 있는 평가 요소를 도출하고, 구체적인 측정 문항을 개발하여 타당화 작업을 진행하였다. 이러한 절차를 거쳐 최종적으로 적용성, 연계성, 명확성, 적합성, 확장성 등 5가지 평가 요소를 선정하였으며, 각 요소별 구체적인 평가 목적을 수립하여 실제 전문경력인사 초빙활용지원사업의 성과 관리를 위해 적용 가능하도록 하였다. 본 연구는 1994년부터 한국연구재단에서 운영하고 있는 전문경력인사 초빙활용지원사업의 성과 관리를 위해 정량적 정성평가가 가능한 성과 평가 체계와 요소를 제시하였다는 데 의의가 있다.

• 한국컴퓨터정보학회논문지
• /
• 제17권10호
• /
• pp.185-192
• /
• 2012

콜센터는 고객과의 접촉에 있어 비대면 채널에 의해 커뮤니케이션이 이루어지기 때문에 대면 접촉에 의한 것보다 더 많은 상담사의 능력을 요구한다. 이러한 상담사의 능력개발을 위해 콜센터들은 경력과 직무에 따라 다양한 교육훈련을 실시하고 있으며, 교육훈련의 성과로 상담품질이나 생산성 향상을 실현하고자 한다. 한편, 교육훈련에는 많은 시간과 예산이 투입되기 때문에 교육훈련의 평가를 통해 현업수행에 도움이 얼마나 되고 있는지 그 효과성이 파악되고 관리되어야 할 것이다. 지금까지의 교육훈련의 평가에 대한 연구들을 보면 만족도와 학습정도를 측정하거나 학습이 행동에 전이되는 정도를 측정하는 연구가 주류를 이루어 전체적인 평가모형에 관한 연구가 필요하다. 본 연구에서는 콜센터교육훈련의 효과성을 상담사들의 인식수준에서 Kirkpatrick의 4단계 평가모형을 반영하여 반응, 학습, 행위, 결과에 대한 각 단계별 평가기준 간에 어떠한 영향관계가 있는지 알아보고, 구조방정식 모델을 사용하여 전체적인 모형의 적합도를 살펴보았다, 또한 대안모형으로 반응요인과 행위요인의 직접적인 관계를 고려하여 연구모형과 대안모형의 구조모델 적합도를 비교 분석하였다.

• 실천공학교육논문지
• /
• 제12권1호
• /
• pp.101-108
• /
• 2020

KOREATECH has operated a Co-op program called 'Industry Professional Practice (IPP)' that allows students to work full-time in relevant industries for at least four months since 2012, and also developed a systematic performance evaluation model on the basis of Kirkpatrick's four-stage assessment model. This study aims to share KOREATECH's Levels 3 and 4 evaluation results which are clearly what practitioners and academic investigators of cooperative education want to know the most. For this purpose, a questionnaire survey was conducted for KOREATECH graduates and their superiors to examine influence of IPP experiences on employment and job performance. A total of 730 alumni who graduated within last 5 years participated in the survey, with 213 (29.2%) having IPP experiences, and 162 superiors rated their subordinates on seven performance criteria. The analysis results were mixed. On the one hand, employment rate of IPP participants was 89.7%, compared to 86.8% of alumni without field experiences. Participants of the IPP program were more satisfied with their salary and felt less unfair about their career and promotion opportunities than alumni without field experiences. On the other, superiors rated their subordinates without IPP experiences slightly more positively than IPP participants in terms of job performance. These contrasting results are judged to show strengths and weaknesses of the IPP program at the same time. The limitations of the study and future research directions are discussed at the last part.