• Journal of Multimedia Information System
• /
• 제4권3호
• /
• pp.115-122
• /
• 2017

Over the years, there has been much research in blended learning. However, research regarding its use and evaluation is inconsistent, not following any specific evaluation method, and may not be applicable to local students. In this research, a case study was conducted to evaluate the environment based on three levels of Kirkpatrick's model. Methodological triangulation was the principle of data collection used in which multiple sources of evidence were triangulated to provide insights into this study. Instruments used include surveys, interviews, questionnaires and pre- and post-tests that are guided by Kirkpatrick's model. The results revealed that students were positive with the learning environment. Students enjoyed learning with multimedia and motivated to learn as well as engaged in the environment. The tests showed significant difference in their learning. Students also perceived that they have transferred their learning from face-to-face lecture into problem-based learning and learning outcome. This research contributes to the field by providing deeper insights into assessments in multimedia-based blended learning environment and empirical evidence on views, attitudes, learning and knowledge transfer of students in higher education.

• 의학교육논단
• /
• 제23권1호
• /
• pp.56-67
• /
• 2021

Educational program evaluation can improve the quality of the curriculum, instructional methods, and resources and provide useful data for making educational decisions and policies. Developing and implementing a program evaluation system is essential in competency-based medical education. The purpose of this study was to explore and establish an educational program evaluation system adapting an integrated program evaluation model to promote competency-based medical education. First, an Educational Evaluation Committee was organized, consisting of faculty, staff members, and students. The committee established an integrated program evaluation model, combining Stufflebeam's Context, Input, Process, and Product (CIPP) model of a process-oriented approach and Kirkpatrick's four-level model of an outcome-oriented approach. Kirkpatrick's model was applied to the product evaluation of the CIPP model. The committee then developed evaluation criteria, indicators, and data collection methods according to the components of the CIPP model and the four levels (reaction, learning, behavior, and results) of Kirkpatrick's model, and collected and analyzed data. Finally, the committee reported the results of evaluation to a Medical Education Quality Improvement Committee, and the results were used to improve the curriculum and student selection. To enhance the quality of education, identifying educational deficiencies and developing various elements of education in a balanced way through educational evaluation will be needed. Furthermore, it will be necessary to listen to opinions of various stakeholders, work with all members involved in education, and communicate with decision-makers in the process of educational evaluation.

• 대한치과의사협회지
• /
• 제54권1호
• /
• pp.27-38
• /
• 2016

Objectives: This study evaluated the outcomes of continuing professional education in implant dentistry using Kirkpatrick's four-level evaluation model. Material and methods: The study was carried out through a questionnaire distributed to dentists who attended a continuing professional education in implant dentistry, 2008~2012. They were asked to fill out questionnaires at least 6 months after its completion. Results: Mean ages of total 23 dentist was $44.8^{\circ}{\ae}8.2$. Mean period after completion of education was $2.7^{\circ}{\ae}1.2$. Knowledge (level 2) (r=0.71, p<0.01) and behavior (level 3) (r=0.68, p<0.01) was positively correlated with topic and methods of education in reaction (level 1). Behavior was positively correlated with knowledge (r=0.79, p<0.01). Result (level 4) was positively correlated with knowledge (r=0.64, p<0.01) and behavior (r=0.86, p<0.01). Conclusion: Reaction affects on knowledge, behavior and result in order.

• 한국실천공학교육학회논문지
• /
• 제4권2호
• /
• pp.98-103
• /
• 2012

우리나라에서 최초로 실행되는 한기대 IPP 제도는 실행과정에서 많은 어려움이 예상되며, 그 효과성 또한 아직 불확실하다. 따라서 한국형 IPP 제도의 실효성을 평가하고 프로그램 운영체계 및 과정에 대한 개선방안을 모색하기 위해 체계적인 성과평가모형의 개발이 절실하게 요구된다. 본 연구에서는 IPP 제도의 성과평가 방안을 Kirkpatrick의 4단계 평가모형에 기반하여 제시한다. 이를 위해 외국의 다양한 Co-op 평가사례를 분석하여 평가방법과 평가지표를 찾아내고, 이를 Kirkpatrick의 4단계(반응평가, 학습평가, 행동평가, 그리고 결과평가)에 매핑한다. 이러한 성과평가모형을 통해 IPP 프로그램의 성과와 문제점을 파악함으로써 고용노동부나 대학 내 학부 과 등 관련 이해관계자 집단들을 설득하고 지원을 얻는데 활용할 수 있을 뿐만 아니라 IPP 제도의 효과를 극대화시키는데 기여할 수 있을 것으로 예상된다.

• 정보관리학회지
• /
• 제34권4호
• /
• pp.173-199
• /
• 2017

교육훈련 평가는 교육프로그램과 관련한 내용을 측정, 관찰하여 품질을 평가하고 이를 통해 교육훈련 변경에 대한 근거를 제공하는 행위이다. 국립중앙도서관은 사서교육 훈련프로그램 교육과정의 성과와 질을 제고할 수 있는 평가방법의 도입이 필요한 시점이다. 이에 본 연구는 국립중앙도서관의 사서교육훈련 직무교육의 효과성을 객관적이고 복합적으로 측정할 수 있는 평가모형을 개발하는 것을 목적으로 하였다. 이를 위해 Kirkpatrick의 4단계 평가모형을 적용하였으며, 선행연구, 국립중앙도서관 사서교육훈련 교육과정 현황조사, 이해관계자 요구분석을 실시하였다. 이를 바탕으로 사서교육훈련 평가체계 방향성을 설정하기 위한 평가체계 및 평가도구를 제시하였다. 본 연구 결과는 실제 국립중앙도서관 사서교육훈련과정의 현실적인 평가체계로 활용될 수 있을 것으로 기대된다.

• 실천공학교육논문지
• /
• 제6권1호
• /
• pp.57-64
• /
• 2014

한국기술교육대학교(이하 한기대)는 학부교육과 전일제 근무를 병행하는 기업 연계형 장기실습제도(IPP)를 마련하여 2012년 8월부터 12월까지 시범사업을 운영하였고, 2013년 봄부터 본 사업을 추진하였다. 또한 IPP 프로그램의 실효성을 평가하고 프로그램 운영체계 및 과정에 대한 개선방안을 찾기 위해 Kirkpatrick의 4단계 평가모형에 기반 하여 IPP 성과평가모형을 개발하였다. 본 연구는 IPP 성과평가모형을 2013년 본 사업에 적용하여 참여학생들을 대상으로 기업체 파견 전과 후에 실시한 설문조사 결과를 분석하여 IPP 프로그램의 효과성을 평가하고, 향후 평가체계의 개선방향을 모색하고자 하였다. 설문조사 분석결과에 따르면, IPP 프로그램이 학생들의 비전공역량과 직업에 대한 태도를 개선하는데 어느 정도 효과적이었고, 학생들의 기업체 및 업무에 대한 만족도가 매우 높았던 반면, 전공역량과 IPP에 대한 인식 측면에서는 의미 있는 향상이 발견되지 않았다. 이러한 분석결과에 기반 하여 한기대 IPP 프로그램의 개선방향을 제시하였다.

• 디지털융복합연구
• /
• 제19권12호
• /
• pp.51-62
• /
• 2021

본 연구는 전문경력인사 초빙활용지원사업의 성과 관리 및 평가 체계 강화를 위해 전문경력인사의 과업 수행에 대한 체계적·포괄적 평가가 가능한 평가 요소를 개발하였다. 이를 위해 경계이론과 커크패트릭 4수준 평가 모델에 기반을 두고 사업 평가와 관련한 기존 연구를 분석하여 성과 평가 프레임워크를 개발하였다. 이후 2차에 걸친 델파이 조사 방법을 활용하여 전문경력인사의 개인 측면과 활용 기관 측면에서 성과를 측정할 수 있는 평가 요소를 도출하고, 구체적인 측정 문항을 개발하여 타당화 작업을 진행하였다. 이러한 절차를 거쳐 최종적으로 적용성, 연계성, 명확성, 적합성, 확장성 등 5가지 평가 요소를 선정하였으며, 각 요소별 구체적인 평가 목적을 수립하여 실제 전문경력인사 초빙활용지원사업의 성과 관리를 위해 적용 가능하도록 하였다. 본 연구는 1994년부터 한국연구재단에서 운영하고 있는 전문경력인사 초빙활용지원사업의 성과 관리를 위해 정량적 정성평가가 가능한 성과 평가 체계와 요소를 제시하였다는 데 의의가 있다.

• 한국컴퓨터정보학회논문지
• /
• 제17권10호
• /
• pp.185-192
• /
• 2012

콜센터는 고객과의 접촉에 있어 비대면 채널에 의해 커뮤니케이션이 이루어지기 때문에 대면 접촉에 의한 것보다 더 많은 상담사의 능력을 요구한다. 이러한 상담사의 능력개발을 위해 콜센터들은 경력과 직무에 따라 다양한 교육훈련을 실시하고 있으며, 교육훈련의 성과로 상담품질이나 생산성 향상을 실현하고자 한다. 한편, 교육훈련에는 많은 시간과 예산이 투입되기 때문에 교육훈련의 평가를 통해 현업수행에 도움이 얼마나 되고 있는지 그 효과성이 파악되고 관리되어야 할 것이다. 지금까지의 교육훈련의 평가에 대한 연구들을 보면 만족도와 학습정도를 측정하거나 학습이 행동에 전이되는 정도를 측정하는 연구가 주류를 이루어 전체적인 평가모형에 관한 연구가 필요하다. 본 연구에서는 콜센터교육훈련의 효과성을 상담사들의 인식수준에서 Kirkpatrick의 4단계 평가모형을 반영하여 반응, 학습, 행위, 결과에 대한 각 단계별 평가기준 간에 어떠한 영향관계가 있는지 알아보고, 구조방정식 모델을 사용하여 전체적인 모형의 적합도를 살펴보았다, 또한 대안모형으로 반응요인과 행위요인의 직접적인 관계를 고려하여 연구모형과 대안모형의 구조모델 적합도를 비교 분석하였다.

• 가정간호학회지
• /
• 제25권3호
• /
• pp.240-248
• /
• 2018

Purpose: The purpose of this study was to evaluate the validity of an educational program developed for geriatric visiting nurses in Seoul by assessing their satisfaction level and level of learning goal achievement. Methods: This descriptive research study was conducted to develop, implement, and evaluate the educational program in accordance with the ADDIE Instructional System Model. Participants were 170 nurses hired for the 2016 Seoul Metropolitan Government visiting service for older people. Based on Kirkpatrick's Training Evaluation Model, reaction and learning evaluations were conducted during and after the educational program. Data were analyzed using descriptive statistics. Results: The developed educational program consisted of basic and professional courses. The evaluations showed that participants were highly satisfied with the lectures and field placement. Over 90% of the participants achieved the learning achievement goals. Conclusion: The program developed for geriatric visiting nurses in Seoul is considered a valid educational program because of the participants' high levels of satisfaction and academic achievement.

• 보건행정학회지
• /
• 제26권4호
• /
• pp.373-381
• /
• 2016

Background: The purpose of this study is to evaluate the outcomes of clinical education program for nurses in regional public hospital, utilizing the Kirkpatrick's model. Methods: Kirkpatrik's 4-level model was applied to this study. Trainees were asked to fill out questionnaires in the middle and at the end of the program. Also administrators of excellent trainees were asked to fill out the questionnaires regarding nursing management performance after 1-2 months from the end of the training course. Results: All trainees had positive reactions to the clinical education program. Not only the results of individual level (satisfaction and achievement scores, academic achievement scores, practical application rate, and educational transition factors) but also the scores of organization level (nursing management performance scores) are improved. Conclusion: By showing a correlation between the effectiveness factors we need to verify the relationship between these factors in a future study. In addition, development of quantitative and qualitative performance indicators are needed. To establish a long-term education system, it is required to applying the excellent trainee's successful experiences.