• Journal of Korea Technology Innovation Society
• /
• v.1 no.1
• /
• pp.125-146
• /
• 1998

본 연구의 목적은 우리나라의 대형국가연구개발프로그램인 Biotech2000프로그램에 대한 체계적인 평가를 시도하는데 있다. 대형연구개발프로그램과 그 평가에 관련된 연구가 아직 구조화되지 못한 상황이기 때문에 공공정책학분야에서 발전되어온 정책평가이론을 바탕으로 대형연구개발프로그램의 평가를 하기 위한 탐색적인 개념틀을 적립하고, 이를 바탕으로 총14년(1994-2007)의 장기대형프로그램으로 1단계를 마친 Biotech 2000프로그램을 대상으로 프로그램평가의 구성요소 및 이들간의 관계를 체계적으로 평가하여 정책적 시사점을 얻고자 하였다. 평가는 참여자와의 인터뷰조사와 생명공학관련 산·학·연 연구자에 대한 설문조사 및 그 밖의 2차 자료를 통하여 이루어졌으며, 평가의 구성요소로는 프로그램의 원칙 및 전략평가, 추진체계 및 집행평가 그리고 목표달성평가(성과 및 영향평가)를 대상으로 하였다. 본 프로그램은 범부처적인 프로그램으로 프로그램의 형성 및 집행에 있어 성공적으로 이루어지고 있는 것으로 나타났으며, 특히 프로그램의 초기단계이긴 하지만 생명공학기술의 중요성에 대한 인식의 확산에 결정적인 기여를 한 것으로 보인다. 그러나 부처간의 조정이나 연구과제의 비일관성, 산업화에 대한 전략 등의 부재가 문제인 것으로 나타났다.

• 한국신재생에너지학회:학술대회논문집
• /
• 2009.11a
• /
• pp.285-288
• /
• 2009

정부는 최근 그린홈 100만호 사업을 중심으로 각종 신재생에너지 보급률 향상을 도모하는 많은 프로그램을 기획하여 현재 약 12개의 신재생 에너지 보급지원 프로그램과 R&D 프로그램을 운영하고 있다. 그러나 현재 국내 신재생에너지 정책 및 프로그램은 차후 개선 및 체계적인 운영을 위한 조직적인 프로그램 평가 체계를 갖추고 있지 않으며 평가 기관이나 평가 주기 등 평가에 필요한 기본적인 합의와 법제적 배경 역시 미비한 상황으로 신재생에너지 프로그램의 평가 제반 시스템에 대한 근본적 고민이 필요한 시점이라고 볼 수 있다. 이에 본 연구에서는 미국 DOE(Department of Energy)산하 EERE(Energy Efficiency & Renewable Energy)의 신재생에너지 보급사업평가체계를 분석하여 EERE 프로그램 평가 방법의 국내 적용 가능성을 검토해 보았다. EERE는 미국의 에너지 효율화 및 신재생에너지 전담 사무국으로 10개의 에너지효율화 및 신재생에너지 연방정부 프로그램을 운영하고 있으며 Strategic Management system을 통해 효율적인 프로그램 관리를 시도하고 있다. 특히 General program evaluation Guideline에서는 표준화된 세부 평가 방법론을 제시하여 정례적 혹은 일회적 평가를 시행하고 있는데 이 세부 평가 방법들은 프로그램의 특성에 따라 프로그램을 운영하고 프로그램의 존속 및 개선여부를 결정하는데 결정적인 도움을 주고 있어 차후 국내에서 시행되고 있는 신재생에너지 프로그램의 정성적/정량적인 평가를 시행하는 많은 시사점을 제공할 것으로 기대된다.

• 한국신재생에너지학회:학술대회논문집
• /
• 2009.11a
• /
• pp.302-302
• /
• 2009

미국 DOE(Department of energy) 산하 EERE(the office of energy efficiency and renewable energy)에서는 시행되고 있는 일반 프로그램 평가(General Program Evaluation) 중 하나인 과정 평가(Process Evaluation)는 프로그램의 수행의 효율성과 유효성을 평가하기 위해 수행된다. EERE에서는 프로그램 별로 매 2~3년에 한번, 프로그램의 진행에 장애요인을 시행하기 위해 부정기적으로 과정평가를 수행하여 프로그램의 진행과정을 개선할 것을 제안하고 있다. 과정평가의 방법론으로는 사례연구(case study), 내용분석(content analysis), 메타평가(meta evaluation), 델파이분석(delphi-analysis), 외부 동료평가(peer review) 등의 방법론이 사용될 수 있다. 특히, EERE는 "Peer Review Guide(2004)"을 발간하여 과정평가에서 있어 외부 동료평가의 방법론을 정리하였다. 과정평가를 통해 프로그램 수행결과의 중간점검과 동시에 프로그램의 발전을 위하 전문가의 제언을 수집할 수 있다. 따라서 과정평가의 결과는 프로그램의 개선에 도움을 줄 수 있으며, 장기 과제인 경우 프로그램 관리에 효과적으로 사용될 수 있다. 우리나라의 경우, 사업 수행 시 '진도보고'나 '중간결과 발표' 등을 통하여 동일한 내용의 평가를 시행하고 있으나, 평가의 항목.시기.예산 등에 대한 지침(guideline)이 구축되었다고 볼 수 없는 상황이다. 한국의 신재생에너지 보급사업은 국가적인 중요도, 투입예산의 규모 및 수행기간 등을 고려할 때 과정평가를 통해 정기적으로 사업의 진행과정을 점검할 필요가 있다 하겠다. 따라서 신재생에너지 분야의 사업의 관리에 적용될 수 있는 EERE의 과정평가를 한국의 상황에 맞게 수정하고 이를 정규적으로 시행하는 방안에 대한 논의가 필요하다 하겠다.

• 한국지구과학회:학술대회논문집
• /
• 2006.02a
• /
• pp.83-88
• /
• 2006

본 연구에서는 교사 스스로 느끼는 평가에 대한 거부감을 최소화하면서 바람직한 평가 전문성 신장 방향과 방법을 제공할 수 있도록 과학교사를 대상으로 한 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이 프로그램은 자기반성적 관점에서 과학교사 스스로 자신의 학생 평가 전문성을 진단할 수 있는 도구와 이를 이용하여 얻은 진단 결과를 바탕으로 학생 평가 전문성 수준을 가늠해 볼 수 있는 학생 평가 전문성 등급 평정 척도와 학생 평가 전문성 신장을 위한 안내로 구성되어 있다. 이 프로그램을 개발하기 위해 본 연구에서는 과학교사의 학생 평가 전문성의 개념을 탐색하고, 바람직한 학생 평가 전문성 신장의 방향과 방법을 모색하였다. 또한 과학교사의 학생 평가 전문성 요소를 추출하여 범주별로 정리한 다음 학생 평가 전문성 요소별로 구체적인 수준과 상태를 제시한 과학교사의 학생 평가 전문성 기준을 마련하였다. 마련된 기준을 근거로 과학교사의 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이를 위해 문헌연구와 더불어 수차례의 과학교육전문가 검토 및 협의, 학교 현장 교사들의 검토 및 협의를 거치면서 수정${\cdot}$보완하는 과정을 거쳤다. 본 연구에서 개발한 과학교사의 학생 평가 전문성 자기 진단 프로그램에는 진단 내용에 과학교사의 평가에 관한 지식과 더불어 실무적인 능력과 실제로 행하고 있는 평가의 실천 내용이 포함될 수 있도록 노력하였다. 또한 교사 스스로 자신의 평가 전문성 수준을 가늠해 볼 수 있도록 전형적인 응답 유형과 채점 기준, 해설 및 평가 전문성 등급 평정 척도를 제시했고 진단 결과를 바탕으로 평가 전문성의 부족한 부분을 보완하고 신장시킬 수 있도록 간략한 전문성 신장을 위한 처방과 평가 지향에 따른 교사의 전형적인 유형을 제시하여 자기 진단 프로그램을 사용하는 교사가 전문성 개선 방향과 방법을 설정하는 데 도움을 주고자 했다. 본 연구는 과학교사 자신의 학생 평가 전문성에 대한 환심을 높이고, 이를 진단하고 신장시키는 데 도움을 줄 수 있을 뿐만 아니라, 과학교사의 학생 평가 전문성 신장을 위한 방안을 마련하려는 데에도 좋은 시사점을 제공할 것으로 판단된다. 이를 위해 과학교사의 학생 평가 전문성 진단 프로그램에 제시된 전문성 평정 기준을 좀 더 객관화하고 보완할 수 있도록 많은 교사들에게 이 프로그램을 사용해 보게 하고 그 결과를 분석하는 후속 연구가 필요하다. 또한, 본 연구에서는 진단 운항을 제작하는 데 있어 지구과학 내용을 소재로 사용하였으나 본 연구에 제시된 진단 문항 제작에 관한 해설을 참고하여 다른 과학교과 내용을 소재로 한 진단 문항 제작도 필요할 것으로 보인다.

• Journal of Engineering Education Research
• /
• v.13 no.4
• /
• pp.87-92
• /
• 2010

It is strongly desirable to continuously study the program outcomes that are one of the requirements of engineering accreditation. In this paper, the results of program outcome evaluation obtained by using four tools - exit written exams, essay tests, capstone design, and an official English test - were compared to those of program outcome evaluation obtained by a course-embedded assessment method. The former evaluation was carried out for 15 students who graduated in February 2010 by using the four evaluation tools, while the latter was performed by using a course offered in the Spring and Fall semesters in 2009. Two evaluation results revealed no large difference in almost all 12 program outcomes, which indicates that course-embedded assessment would be one of the practical and effective program outcome evaluation tools.

• The Journal of the Korea Contents Association
• /
• v.10 no.5
• /
• pp.135-143
• /
• 2010

As the broadcasting programs produced by VJ are increasing, every broadcasting company has doubts as to how their program evaluations derive the objective evaluation results and proposes their own tailored program evaluation methods considering the change of the production system. The proposed quality evaluation items represent a new model in terms of the perfectness of VJ broadcasting program production and are used as a way to revise the current evaluation methods of the broadcasting companies. To derive the items which help to find the problems of VJ broadcasting programs, 30 specialists, such as PDs, VJs, and professors, are chosen as a specialist group, and the first experiment is performed to select the evaluation items of VJ broadcasting programs. Based on the result of the degree of importance of the evaluation items, 9 VJ program evaluation items are made. Also, the second experiment is performed in order to verify the proposed evaluation criteria. As a result of the experiment, the reliability of the proposed evaluation method is .939, which is proved to be significant. The selection of the quality evaluation items considering only the VJ broadcasting programs turns out to be significant as a new quality evaluation criterion.

• 한국신재생에너지학회:학술대회논문집
• /
• 2009.11a
• /
• pp.300-300
• /
• 2009

Outcome Evaluation은 미국의 DOE(Department Of Energy)산하 EERE(Energy Efficiency and Renewable Energy)에서 프로그램 평가를 위해 사용하는 General Program Evaluation Guide에서 언급된 5가지 평가방법 중 하나로 프로그램의 결과를 측정하여 평가하는 방법이다. 이는 프로그램을 시행한 후 일정한 기간이 지난 뒤 프로그램의 목적을 달성함으로써 얻어지는 결과를 추산하여 그 기간 동안 프로그램이 의도했던 목적을 위해 얼마나 잘 수행되었는지를 보여준다. 본 연구에서는 Outcome Evaluation을 이용하여 한국에서 진행되고 있는 신재생에너지 보급사업에 대한 평가를 하였다. 현재 한국의 신재생에너지 보급사업은 크게 보급지원제도와 기반조성사업으로 나누어져 있으나 본 연구에서는 보급지원제도에 중점을 두어 평가를 진행하였다. General Program Evaluation Guide에 따르면 Outcome Evaluation의 방법론은 engineering estimation에서 survival analysis에 이르기까지 다양한 방법론을 제시하지만 본 연구에서는 Tabulation과 Correlation을 주로 활용하였다. 먼저 평가의 대상이 되는 프로그램과 시기를 정하고 평가지표를 산정한 뒤 위와 같은 방법론을 활용해 평가를 진행했고, 그 시사점을 도출하였다.

• Journal of vocational education research
• /
• v.37 no.1
• /
• pp.55-75
• /
• 2018

The purpose of this study was to develop the evaluation scales that can access hierarchically the lifelong education field training program based on relevant stakeholders. To fulfill this purpose, both qualitative and quantitative research methods were applied. First of all, four groups of stakeholders were selected such as trainees, professors, field instructors, and program inspectors. The in-depth interviews with 13 experts in the field were conducted, and as a result, the scale with hierarchy of evaluation area, evaluation section, and evaluation item for each stakeholder was developed. In order to verify the content validity of the evaluation scales, delphi surveys for each stakeholder were conducted, using 35 expert panels. After delphi survey, the scale was applied to 90 trainees, 22 professors, and 31 field instructors. SPSS program was used to analyze the descriptive statistics, validity, and reliability. Finally, the evaluation scale of the trainer was identified as 8 evaluation areas, 14 evaluation sections and 51 evaluation items. And the professor's scale consisted of 6 areas, 10 sections and 40 items. The field instructor's scale was determined as 3 areas, 7 sections and 31 items, and the program inspector's evaluation scale was confirmed as 7 areas, 15 sections, and 32 items.

• 대한공업교육학회지
• /
• v.45 no.2
• /
• pp.86-107
• /
• 2020

The purpose of this study is to increase the effectiveness and efficiency of invention education by presenting basic evaluation criteria that can be used when designing and preparing invention education programs in various educational institutions that operate invention education. The results of this study are as follows. First, the stage of the Invention Education Program was named '4P stage' as 4 stages of 'Planning, Preparation, Process, and Product'. Second, the areas of evaluation of the planning stage of the invention education program are 'goal setting, demand analysis' and curriculum design. The preparatory stage evaluation area is 'Developing an Invention Education Program, Securing Human Resources, Securing Physical Resources'. The evaluation area of the course level is 'program operation, program management, learner management'. The evaluation area of the calculation stage is 'education performance, achievement results, and education evaluation'. Invention education program evaluation criteria will play a role to enhance and manage the quality of invention education program. In addition, it is judged that this will be the basic data for developing evaluation criteria for the invention education program through the reconciliation process through reflux and the validation process of related experts at various invention education institutions.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.705-713
• /
• 2006

우리나라 지역방송은 방송의 공익성 강화를 위한 방송프로그램의 '지역성 구현'과 규모의 경제를 이루기 위한 '방송시장의 확대'라는 두 가지 지역방송 발전정책을 추진하고 있다. 그 정책실천의 하나로서 인접한 방송권역의 지역방송사(국)들 간에 방송프로그램의 제작과 편성에 있어서 다양한 교류와 협력을 확대해나가는 권역화의 과정이 있다. 그러나 그 결과물인 권역공동제작 방송프로그램에 대한 내용면 그리고 사업면의 평가 및 검증은 아직까지 이루어지지 않았다. 따라서 본 연구에서는 지역방송 간의 제작 편성교류를 통해 제작된 방송프로그램들이 내용면에서 얼마나 이상적인 지역성을 구현하고 있는지, 그리고 사업면에서 얼마나 지역시청자에게 소구력이 있는지를 평가해보고자 한다. 이 평가의 도구로써는 지역 텔레비전 프로그램 별 지역성 지수와 사업성 지수인 방송시청률을 이용한다. 다양한 지역방송프로그램이 얼마나, 어느 정도 지역성과 방송시청률을 담보하고 있는지 평가하기 위한 하나의 평가척도를 제시하고 그에 따라 각 프로그램의 지역성 정도를 구체화하고자 한다. 지역방송의 권역화 과정에서 '이상적인 지역성'의 구현과 '사업적인 안정'의 실현은 상호배타적인 실천과제가 아니라 동시에 균형적으로 추진되어야 할 중요한 목표인 것이다. 따라서 권역화 과정에 나타나고 있는 다양한 방송프로그램들을 이 두 기준에 맞추어 평가하는 것은 지역방송의 공적 가치와 사업적 토대를 동시에 고려해보는 중요한 의미를 가지게 된다.