Over the years, there has been much research in blended learning. However, research regarding its use and evaluation is inconsistent, not following any specific evaluation method, and may not be applicable to local students. In this research, a case study was conducted to evaluate the environment based on three levels of Kirkpatrick's model. Methodological triangulation was the principle of data collection used in which multiple sources of evidence were triangulated to provide insights into this study. Instruments used include surveys, interviews, questionnaires and pre- and post-tests that are guided by Kirkpatrick's model. The results revealed that students were positive with the learning environment. Students enjoyed learning with multimedia and motivated to learn as well as engaged in the environment. The tests showed significant difference in their learning. Students also perceived that they have transferred their learning from face-to-face lecture into problem-based learning and learning outcome. This research contributes to the field by providing deeper insights into assessments in multimedia-based blended learning environment and empirical evidence on views, attitudes, learning and knowledge transfer of students in higher education.
Educational program evaluation can improve the quality of the curriculum, instructional methods, and resources and provide useful data for making educational decisions and policies. Developing and implementing a program evaluation system is essential in competency-based medical education. The purpose of this study was to explore and establish an educational program evaluation system adapting an integrated program evaluation model to promote competency-based medical education. First, an Educational Evaluation Committee was organized, consisting of faculty, staff members, and students. The committee established an integrated program evaluation model, combining Stufflebeam's Context, Input, Process, and Product (CIPP) model of a process-oriented approach and Kirkpatrick's four-level model of an outcome-oriented approach. Kirkpatrick's model was applied to the product evaluation of the CIPP model. The committee then developed evaluation criteria, indicators, and data collection methods according to the components of the CIPP model and the four levels (reaction, learning, behavior, and results) of Kirkpatrick's model, and collected and analyzed data. Finally, the committee reported the results of evaluation to a Medical Education Quality Improvement Committee, and the results were used to improve the curriculum and student selection. To enhance the quality of education, identifying educational deficiencies and developing various elements of education in a balanced way through educational evaluation will be needed. Furthermore, it will be necessary to listen to opinions of various stakeholders, work with all members involved in education, and communicate with decision-makers in the process of educational evaluation.
Objectives: This study evaluated the outcomes of continuing professional education in implant dentistry using Kirkpatrick's four-level evaluation model. Material and methods: The study was carried out through a questionnaire distributed to dentists who attended a continuing professional education in implant dentistry, 2008~2012. They were asked to fill out questionnaires at least 6 months after its completion. Results: Mean ages of total 23 dentist was $44.8^{\circ}{\ae}8.2$. Mean period after completion of education was $2.7^{\circ}{\ae}1.2$. Knowledge (level 2) (r=0.71, p<0.01) and behavior (level 3) (r=0.68, p<0.01) was positively correlated with topic and methods of education in reaction (level 1). Behavior was positively correlated with knowledge (r=0.79, p<0.01). Result (level 4) was positively correlated with knowledge (r=0.64, p<0.01) and behavior (r=0.86, p<0.01). Conclusion: Reaction affects on knowledge, behavior and result in order.
우리나라에서 최초로 실행되는 한기대 IPP 제도는 실행과정에서 많은 어려움이 예상되며, 그 효과성 또한 아직 불확실하다. 따라서 한국형 IPP 제도의 실효성을 평가하고 프로그램 운영체계 및 과정에 대한 개선방안을 모색하기 위해 체계적인 성과평가모형의 개발이 절실하게 요구된다. 본 연구에서는 IPP 제도의 성과평가 방안을 Kirkpatrick의 4단계 평가모형에 기반하여 제시한다. 이를 위해 외국의 다양한 Co-op 평가사례를 분석하여 평가방법과 평가지표를 찾아내고, 이를 Kirkpatrick의 4단계(반응평가, 학습평가, 행동평가, 그리고 결과평가)에 매핑한다. 이러한 성과평가모형을 통해 IPP 프로그램의 성과와 문제점을 파악함으로써 고용노동부나 대학 내 학부 과 등 관련 이해관계자 집단들을 설득하고 지원을 얻는데 활용할 수 있을 뿐만 아니라 IPP 제도의 효과를 극대화시키는데 기여할 수 있을 것으로 예상된다.
교육훈련 평가는 교육프로그램과 관련한 내용을 측정, 관찰하여 품질을 평가하고 이를 통해 교육훈련 변경에 대한 근거를 제공하는 행위이다. 국립중앙도서관은 사서교육 훈련프로그램 교육과정의 성과와 질을 제고할 수 있는 평가방법의 도입이 필요한 시점이다. 이에 본 연구는 국립중앙도서관의 사서교육훈련 직무교육의 효과성을 객관적이고 복합적으로 측정할 수 있는 평가모형을 개발하는 것을 목적으로 하였다. 이를 위해 Kirkpatrick의 4단계 평가모형을 적용하였으며, 선행연구, 국립중앙도서관 사서교육훈련 교육과정 현황조사, 이해관계자 요구분석을 실시하였다. 이를 바탕으로 사서교육훈련 평가체계 방향성을 설정하기 위한 평가체계 및 평가도구를 제시하였다. 본 연구 결과는 실제 국립중앙도서관 사서교육훈련과정의 현실적인 평가체계로 활용될 수 있을 것으로 기대된다.
한국기술교육대학교(이하 한기대)는 학부교육과 전일제 근무를 병행하는 기업 연계형 장기실습제도(IPP)를 마련하여 2012년 8월부터 12월까지 시범사업을 운영하였고, 2013년 봄부터 본 사업을 추진하였다. 또한 IPP 프로그램의 실효성을 평가하고 프로그램 운영체계 및 과정에 대한 개선방안을 찾기 위해 Kirkpatrick의 4단계 평가모형에 기반 하여 IPP 성과평가모형을 개발하였다. 본 연구는 IPP 성과평가모형을 2013년 본 사업에 적용하여 참여학생들을 대상으로 기업체 파견 전과 후에 실시한 설문조사 결과를 분석하여 IPP 프로그램의 효과성을 평가하고, 향후 평가체계의 개선방향을 모색하고자 하였다. 설문조사 분석결과에 따르면, IPP 프로그램이 학생들의 비전공역량과 직업에 대한 태도를 개선하는데 어느 정도 효과적이었고, 학생들의 기업체 및 업무에 대한 만족도가 매우 높았던 반면, 전공역량과 IPP에 대한 인식 측면에서는 의미 있는 향상이 발견되지 않았다. 이러한 분석결과에 기반 하여 한기대 IPP 프로그램의 개선방향을 제시하였다.
본 연구는 전문경력인사 초빙활용지원사업의 성과 관리 및 평가 체계 강화를 위해 전문경력인사의 과업 수행에 대한 체계적·포괄적 평가가 가능한 평가 요소를 개발하였다. 이를 위해 경계이론과 커크패트릭 4수준 평가 모델에 기반을 두고 사업 평가와 관련한 기존 연구를 분석하여 성과 평가 프레임워크를 개발하였다. 이후 2차에 걸친 델파이 조사 방법을 활용하여 전문경력인사의 개인 측면과 활용 기관 측면에서 성과를 측정할 수 있는 평가 요소를 도출하고, 구체적인 측정 문항을 개발하여 타당화 작업을 진행하였다. 이러한 절차를 거쳐 최종적으로 적용성, 연계성, 명확성, 적합성, 확장성 등 5가지 평가 요소를 선정하였으며, 각 요소별 구체적인 평가 목적을 수립하여 실제 전문경력인사 초빙활용지원사업의 성과 관리를 위해 적용 가능하도록 하였다. 본 연구는 1994년부터 한국연구재단에서 운영하고 있는 전문경력인사 초빙활용지원사업의 성과 관리를 위해 정량적 정성평가가 가능한 성과 평가 체계와 요소를 제시하였다는 데 의의가 있다.
콜센터는 고객과의 접촉에 있어 비대면 채널에 의해 커뮤니케이션이 이루어지기 때문에 대면 접촉에 의한 것보다 더 많은 상담사의 능력을 요구한다. 이러한 상담사의 능력개발을 위해 콜센터들은 경력과 직무에 따라 다양한 교육훈련을 실시하고 있으며, 교육훈련의 성과로 상담품질이나 생산성 향상을 실현하고자 한다. 한편, 교육훈련에는 많은 시간과 예산이 투입되기 때문에 교육훈련의 평가를 통해 현업수행에 도움이 얼마나 되고 있는지 그 효과성이 파악되고 관리되어야 할 것이다. 지금까지의 교육훈련의 평가에 대한 연구들을 보면 만족도와 학습정도를 측정하거나 학습이 행동에 전이되는 정도를 측정하는 연구가 주류를 이루어 전체적인 평가모형에 관한 연구가 필요하다. 본 연구에서는 콜센터교육훈련의 효과성을 상담사들의 인식수준에서 Kirkpatrick의 4단계 평가모형을 반영하여 반응, 학습, 행위, 결과에 대한 각 단계별 평가기준 간에 어떠한 영향관계가 있는지 알아보고, 구조방정식 모델을 사용하여 전체적인 모형의 적합도를 살펴보았다, 또한 대안모형으로 반응요인과 행위요인의 직접적인 관계를 고려하여 연구모형과 대안모형의 구조모델 적합도를 비교 분석하였다.
Purpose: The purpose of this study was to evaluate the validity of an educational program developed for geriatric visiting nurses in Seoul by assessing their satisfaction level and level of learning goal achievement. Methods: This descriptive research study was conducted to develop, implement, and evaluate the educational program in accordance with the ADDIE Instructional System Model. Participants were 170 nurses hired for the 2016 Seoul Metropolitan Government visiting service for older people. Based on Kirkpatrick's Training Evaluation Model, reaction and learning evaluations were conducted during and after the educational program. Data were analyzed using descriptive statistics. Results: The developed educational program consisted of basic and professional courses. The evaluations showed that participants were highly satisfied with the lectures and field placement. Over 90% of the participants achieved the learning achievement goals. Conclusion: The program developed for geriatric visiting nurses in Seoul is considered a valid educational program because of the participants' high levels of satisfaction and academic achievement.
Background: The purpose of this study is to evaluate the outcomes of clinical education program for nurses in regional public hospital, utilizing the Kirkpatrick's model. Methods: Kirkpatrik's 4-level model was applied to this study. Trainees were asked to fill out questionnaires in the middle and at the end of the program. Also administrators of excellent trainees were asked to fill out the questionnaires regarding nursing management performance after 1-2 months from the end of the training course. Results: All trainees had positive reactions to the clinical education program. Not only the results of individual level (satisfaction and achievement scores, academic achievement scores, practical application rate, and educational transition factors) but also the scores of organization level (nursing management performance scores) are improved. Conclusion: By showing a correlation between the effectiveness factors we need to verify the relationship between these factors in a future study. In addition, development of quantitative and qualitative performance indicators are needed. To establish a long-term education system, it is required to applying the excellent trainee's successful experiences.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.