• 기술혁신학회지
• /
• 제1권1호
• /
• pp.125-146
• /
• 1998

본 연구의 목적은 우리나라의 대형국가연구개발프로그램인 Biotech2000프로그램에 대한 체계적인 평가를 시도하는데 있다. 대형연구개발프로그램과 그 평가에 관련된 연구가 아직 구조화되지 못한 상황이기 때문에 공공정책학분야에서 발전되어온 정책평가이론을 바탕으로 대형연구개발프로그램의 평가를 하기 위한 탐색적인 개념틀을 적립하고, 이를 바탕으로 총14년(1994-2007)의 장기대형프로그램으로 1단계를 마친 Biotech 2000프로그램을 대상으로 프로그램평가의 구성요소 및 이들간의 관계를 체계적으로 평가하여 정책적 시사점을 얻고자 하였다. 평가는 참여자와의 인터뷰조사와 생명공학관련 산·학·연 연구자에 대한 설문조사 및 그 밖의 2차 자료를 통하여 이루어졌으며, 평가의 구성요소로는 프로그램의 원칙 및 전략평가, 추진체계 및 집행평가 그리고 목표달성평가(성과 및 영향평가)를 대상으로 하였다. 본 프로그램은 범부처적인 프로그램으로 프로그램의 형성 및 집행에 있어 성공적으로 이루어지고 있는 것으로 나타났으며, 특히 프로그램의 초기단계이긴 하지만 생명공학기술의 중요성에 대한 인식의 확산에 결정적인 기여를 한 것으로 보인다. 그러나 부처간의 조정이나 연구과제의 비일관성, 산업화에 대한 전략 등의 부재가 문제인 것으로 나타났다.

• 한국신재생에너지학회:학술대회논문집
• /
• 한국신재생에너지학회 2009년도 추계학술대회 논문집
• /
• pp.285-288
• /
• 2009

정부는 최근 그린홈 100만호 사업을 중심으로 각종 신재생에너지 보급률 향상을 도모하는 많은 프로그램을 기획하여 현재 약 12개의 신재생 에너지 보급지원 프로그램과 R&D 프로그램을 운영하고 있다. 그러나 현재 국내 신재생에너지 정책 및 프로그램은 차후 개선 및 체계적인 운영을 위한 조직적인 프로그램 평가 체계를 갖추고 있지 않으며 평가 기관이나 평가 주기 등 평가에 필요한 기본적인 합의와 법제적 배경 역시 미비한 상황으로 신재생에너지 프로그램의 평가 제반 시스템에 대한 근본적 고민이 필요한 시점이라고 볼 수 있다. 이에 본 연구에서는 미국 DOE(Department of Energy)산하 EERE(Energy Efficiency & Renewable Energy)의 신재생에너지 보급사업평가체계를 분석하여 EERE 프로그램 평가 방법의 국내 적용 가능성을 검토해 보았다. EERE는 미국의 에너지 효율화 및 신재생에너지 전담 사무국으로 10개의 에너지효율화 및 신재생에너지 연방정부 프로그램을 운영하고 있으며 Strategic Management system을 통해 효율적인 프로그램 관리를 시도하고 있다. 특히 General program evaluation Guideline에서는 표준화된 세부 평가 방법론을 제시하여 정례적 혹은 일회적 평가를 시행하고 있는데 이 세부 평가 방법들은 프로그램의 특성에 따라 프로그램을 운영하고 프로그램의 존속 및 개선여부를 결정하는데 결정적인 도움을 주고 있어 차후 국내에서 시행되고 있는 신재생에너지 프로그램의 정성적/정량적인 평가를 시행하는 많은 시사점을 제공할 것으로 기대된다.

• 한국신재생에너지학회:학술대회논문집
• /
• 한국신재생에너지학회 2009년도 추계학술대회 논문집
• /
• pp.302-302
• /
• 2009

미국 DOE(Department of energy) 산하 EERE(the office of energy efficiency and renewable energy)에서는 시행되고 있는 일반 프로그램 평가(General Program Evaluation) 중 하나인 과정 평가(Process Evaluation)는 프로그램의 수행의 효율성과 유효성을 평가하기 위해 수행된다. EERE에서는 프로그램 별로 매 2~3년에 한번, 프로그램의 진행에 장애요인을 시행하기 위해 부정기적으로 과정평가를 수행하여 프로그램의 진행과정을 개선할 것을 제안하고 있다. 과정평가의 방법론으로는 사례연구(case study), 내용분석(content analysis), 메타평가(meta evaluation), 델파이분석(delphi-analysis), 외부 동료평가(peer review) 등의 방법론이 사용될 수 있다. 특히, EERE는 "Peer Review Guide(2004)"을 발간하여 과정평가에서 있어 외부 동료평가의 방법론을 정리하였다. 과정평가를 통해 프로그램 수행결과의 중간점검과 동시에 프로그램의 발전을 위하 전문가의 제언을 수집할 수 있다. 따라서 과정평가의 결과는 프로그램의 개선에 도움을 줄 수 있으며, 장기 과제인 경우 프로그램 관리에 효과적으로 사용될 수 있다. 우리나라의 경우, 사업 수행 시 '진도보고'나 '중간결과 발표' 등을 통하여 동일한 내용의 평가를 시행하고 있으나, 평가의 항목.시기.예산 등에 대한 지침(guideline)이 구축되었다고 볼 수 없는 상황이다. 한국의 신재생에너지 보급사업은 국가적인 중요도, 투입예산의 규모 및 수행기간 등을 고려할 때 과정평가를 통해 정기적으로 사업의 진행과정을 점검할 필요가 있다 하겠다. 따라서 신재생에너지 분야의 사업의 관리에 적용될 수 있는 EERE의 과정평가를 한국의 상황에 맞게 수정하고 이를 정규적으로 시행하는 방안에 대한 논의가 필요하다 하겠다.

• 한국지구과학회:학술대회논문집
• /
• 한국지구과학회 2006년도 춘계학술발표회 논문집
• /
• pp.83-88
• /
• 2006

본 연구에서는 교사 스스로 느끼는 평가에 대한 거부감을 최소화하면서 바람직한 평가 전문성 신장 방향과 방법을 제공할 수 있도록 과학교사를 대상으로 한 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이 프로그램은 자기반성적 관점에서 과학교사 스스로 자신의 학생 평가 전문성을 진단할 수 있는 도구와 이를 이용하여 얻은 진단 결과를 바탕으로 학생 평가 전문성 수준을 가늠해 볼 수 있는 학생 평가 전문성 등급 평정 척도와 학생 평가 전문성 신장을 위한 안내로 구성되어 있다. 이 프로그램을 개발하기 위해 본 연구에서는 과학교사의 학생 평가 전문성의 개념을 탐색하고, 바람직한 학생 평가 전문성 신장의 방향과 방법을 모색하였다. 또한 과학교사의 학생 평가 전문성 요소를 추출하여 범주별로 정리한 다음 학생 평가 전문성 요소별로 구체적인 수준과 상태를 제시한 과학교사의 학생 평가 전문성 기준을 마련하였다. 마련된 기준을 근거로 과학교사의 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이를 위해 문헌연구와 더불어 수차례의 과학교육전문가 검토 및 협의, 학교 현장 교사들의 검토 및 협의를 거치면서 수정${\cdot}$보완하는 과정을 거쳤다. 본 연구에서 개발한 과학교사의 학생 평가 전문성 자기 진단 프로그램에는 진단 내용에 과학교사의 평가에 관한 지식과 더불어 실무적인 능력과 실제로 행하고 있는 평가의 실천 내용이 포함될 수 있도록 노력하였다. 또한 교사 스스로 자신의 평가 전문성 수준을 가늠해 볼 수 있도록 전형적인 응답 유형과 채점 기준, 해설 및 평가 전문성 등급 평정 척도를 제시했고 진단 결과를 바탕으로 평가 전문성의 부족한 부분을 보완하고 신장시킬 수 있도록 간략한 전문성 신장을 위한 처방과 평가 지향에 따른 교사의 전형적인 유형을 제시하여 자기 진단 프로그램을 사용하는 교사가 전문성 개선 방향과 방법을 설정하는 데 도움을 주고자 했다. 본 연구는 과학교사 자신의 학생 평가 전문성에 대한 환심을 높이고, 이를 진단하고 신장시키는 데 도움을 줄 수 있을 뿐만 아니라, 과학교사의 학생 평가 전문성 신장을 위한 방안을 마련하려는 데에도 좋은 시사점을 제공할 것으로 판단된다. 이를 위해 과학교사의 학생 평가 전문성 진단 프로그램에 제시된 전문성 평정 기준을 좀 더 객관화하고 보완할 수 있도록 많은 교사들에게 이 프로그램을 사용해 보게 하고 그 결과를 분석하는 후속 연구가 필요하다. 또한, 본 연구에서는 진단 운항을 제작하는 데 있어 지구과학 내용을 소재로 사용하였으나 본 연구에 제시된 진단 문항 제작에 관한 해설을 참고하여 다른 과학교과 내용을 소재로 한 진단 문항 제작도 필요할 것으로 보인다.

• 공학교육연구
• /
• 제13권4호
• /
• pp.87-92
• /
• 2010

공학인증의 여러 인증 요건들 중의 하나인 프로그램 학습성과에 대한 평가와 분석등은 평가도구 개발이라는 관점에서만 보더라도 지속적인 연구가 필요한 분야이다. 본 연구에서는 본 프로그램 학습성과 평가체제에서 제시한 절차대로 졸업시험, 에세이, 종합설계, 그리고 공인 영어점수를 평가도구로 활용한 프로그램 학습성과 평가결과와 교과목 학습성과를 이용한 프로그램 학습성과 결과를 비교하였다. 4가지 평가도구를 활용한 프로그램 학습성과 평가는 2010년 심화과정 졸업자 15명을 대상으로 하였고, 교과목 학습성과를 이용한 프로그램 학습성과는 2009년 1학기와 2학기에 개설하여 운영한 교과목을 이용하였다. 두가지 평가결과 모든 학습성과 평가에서 큰 차이를 보이지 않는 것으로 보아 교과목 학습성과를 이용한 프로그램 학습성과도 프로그램에서 활용할 수 있는 실질적인 프로그램 학습성과 평가방법 중 하나임을 알 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제10권5호
• /
• pp.135-143
• /
• 2010

VJ 제작 방송프로그램의 편성이 늘고 있는 시점에서 각 방송사의 프로그램 평가가 객관적 결과를 도출할 수 있느냐에 의문을 갖고, 제작시스템의 변화를 고려한 새로운 맞춤형 프로그램 평가방법을 제안하였다. 제안한 품질평가의 항목들은 VJ 방송프로그램의 제작완성도 평가차원의 새로운 모델을 제시하며, 현재의각 방송사의 프로그램 평가방법을 개선하는 데 활용될 수 있다. VJ 방송프로그램의 문제점을 파악해낼 수 있는 항목의 도출을 위해 1차 실험으로 방송현장의 PD, VJ, 학계 교수 등 각 10명씩 총 30명으로 전문가그룹을 선정하여, VJ 방송프로그램의 평가항목을 선정하기 위한 실험을 실시하였다. 그 결과 평가항목 중요도 분석결과를 근거로 총 9항목으로 VJ 프로그램 품질평가 항목을 설계하였다. 또한, 제안한 평가척도를 검증하기 위한 2차 실험을 실시하였다. 실험결과, 제안한 품질평가방법의 신뢰도가 .939로 나타나 의미를 부여할 수 있으며, 품질평가 항목의 선정에 있어서 VJ 방송프로그램만을 고려하여 평가한 새로운 품질평가척도로서 유의미한 결과를 갖는다.

• 한국신재생에너지학회:학술대회논문집
• /
• 한국신재생에너지학회 2009년도 추계학술대회 논문집
• /
• pp.300-300
• /
• 2009

Outcome Evaluation은 미국의 DOE(Department Of Energy)산하 EERE(Energy Efficiency and Renewable Energy)에서 프로그램 평가를 위해 사용하는 General Program Evaluation Guide에서 언급된 5가지 평가방법 중 하나로 프로그램의 결과를 측정하여 평가하는 방법이다. 이는 프로그램을 시행한 후 일정한 기간이 지난 뒤 프로그램의 목적을 달성함으로써 얻어지는 결과를 추산하여 그 기간 동안 프로그램이 의도했던 목적을 위해 얼마나 잘 수행되었는지를 보여준다. 본 연구에서는 Outcome Evaluation을 이용하여 한국에서 진행되고 있는 신재생에너지 보급사업에 대한 평가를 하였다. 현재 한국의 신재생에너지 보급사업은 크게 보급지원제도와 기반조성사업으로 나누어져 있으나 본 연구에서는 보급지원제도에 중점을 두어 평가를 진행하였다. General Program Evaluation Guide에 따르면 Outcome Evaluation의 방법론은 engineering estimation에서 survival analysis에 이르기까지 다양한 방법론을 제시하지만 본 연구에서는 Tabulation과 Correlation을 주로 활용하였다. 먼저 평가의 대상이 되는 프로그램과 시기를 정하고 평가지표를 산정한 뒤 위와 같은 방법론을 활용해 평가를 진행했고, 그 시사점을 도출하였다.

• 직업교육연구
• /
• 제37권1호
• /
• pp.55-75
• /
• 2018

본 연구는 평생교육실습 프로그램의 관련 이해당사자를 기반 하여 평생교육실습 프로그램을 다면적으로 평가할 수 있는 평가척도를 개발하는 데 목적이 있다. 이를 위해 통합연구방법 모형 중 질적연구와 양적연구를 순차적으로 실시하는 순차적 탐구 전략을 적용하였다. 연구과정은 먼저, 평생교육실습 프로그램 관련 문헌분석을 통해 주요 이해당사자를 실습생, 담당교수자, 실습지도자, 프로그램 관리자의 네 집단으로 선정하고, 이해당사자들의 평가관점 및 평가내용을 탐색하였다. 탐색된 평가내용을 보완하기 위하여 현장에서 활동 중인 13명의 전문가를 대상으로 심층면담을 실시한 후, 문헌분석과 심층면담을 통해 도출된 내용을 각 이해당사자별로 평가영역, 평가부문, 평가항목의 위계를 가진 초안을 구성하였다. 구성된 초안은 평가척도의 내용타당도를 확보하기 위해 35명의 전문가 패널을 활용하여 이해당사자별로 각각 2~3회기의 델파이 조사를 시행하였다. 이후 델파이 조사를 통해 전문가들의 의견이 반영된 평가척도를 활용하여 실습생 90명, 담당교수자 22명, 실습지도자 31명을 대상으로 적용하였다. 기술통계값, 타당도 및 신뢰도를 확인하여 평생교육실습 프로그램의 이해당사자별 평가척도를 최종 확정하였다. 본 연구의 결과로 실습생 평가척도는 8개 평가영역, 14개 평가부문, 51개 평가항목, 담당교수자 평가척도는 6개 평가영역, 10개 평가부문, 40개 평가항목으로 이루어졌다. 실습지도자 평가척도는 3개 평가영역, 7개 평가부문, 31개 평가항목으로 완성되었으며, 프로그램 관리자 평가척도는 7개 평가영역, 15개 평가부문, 32개 평가항목으로 구성되었다. 이해당사자 기반 평생교육실습 프로그램 평가척도는 평생교육실습 프로그램의 효과적인 운영을 위해 진행단계에 따른 각 이해당사자 입장의 변수들을 밝혀내어 개발된 것으로서 현장에서 실시되고 있는 프로그램의 내적 충실도를 규명하는 데 유용하고 객관적인 정보를 제공할 수 있을 것으로 기대된다.

• 대한공업교육학회지
• /
• 제45권2호
• /
• pp.86-107
• /
• 2020

이 연구의 목적은 발명교육을 운영하는 다양한 교육기관에서 발명교육 프로그램을 설계하고 준비할 때 활용할 수 있는 기초적 평가준거를 제시하여 발명교육의 효과와 효율성을 높이기 위함이다. 이에 따른 연구의 결과는 다음과 같다. 첫째, 발명교육 프로그램의 단계는 '계획(Planning), 준비(Preparation), 과정(Process), 산출(Product)'의 4단계로 '4P 단계'로 명명하였다. 둘째, 발명교육 프로그램의 계획 단계 평가 영역은 '목표 설정, 요구 분석', 교육과정 설계'이다. 준비 단계 평가 영역은 '발명교육 프로그램 개발, 인적 자원 확보, 물적 자원 확보'이다. 과정 단계 평가 영역은 '프로그램 운영, 프로그램 관리, 학습자 관리'이다. 산출 단계 평가 영역은 '교육 실적, 성취 결과, 교육 평가'이다. 이상의 발명교육 프로그램 평가준거는 발명교육 프로그램의 질을 제고하고 관리할 수 있는 역할을 할 것으로 판단된다. 또한, 다양한 발명교육 기관에서의 환류와 관계 전문가들의 타당화 과정을 통한 조정과정을 거쳐 최종적으로 발명교육 프로그램의 평가준거를 개발하는데 기초 자료가 될 것으로 판단된다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 2부
• /
• pp.705-713
• /
• 2006

우리나라 지역방송은 방송의 공익성 강화를 위한 방송프로그램의 '지역성 구현'과 규모의 경제를 이루기 위한 '방송시장의 확대'라는 두 가지 지역방송 발전정책을 추진하고 있다. 그 정책실천의 하나로서 인접한 방송권역의 지역방송사(국)들 간에 방송프로그램의 제작과 편성에 있어서 다양한 교류와 협력을 확대해나가는 권역화의 과정이 있다. 그러나 그 결과물인 권역공동제작 방송프로그램에 대한 내용면 그리고 사업면의 평가 및 검증은 아직까지 이루어지지 않았다. 따라서 본 연구에서는 지역방송 간의 제작 편성교류를 통해 제작된 방송프로그램들이 내용면에서 얼마나 이상적인 지역성을 구현하고 있는지, 그리고 사업면에서 얼마나 지역시청자에게 소구력이 있는지를 평가해보고자 한다. 이 평가의 도구로써는 지역 텔레비전 프로그램 별 지역성 지수와 사업성 지수인 방송시청률을 이용한다. 다양한 지역방송프로그램이 얼마나, 어느 정도 지역성과 방송시청률을 담보하고 있는지 평가하기 위한 하나의 평가척도를 제시하고 그에 따라 각 프로그램의 지역성 정도를 구체화하고자 한다. 지역방송의 권역화 과정에서 '이상적인 지역성'의 구현과 '사업적인 안정'의 실현은 상호배타적인 실천과제가 아니라 동시에 균형적으로 추진되어야 할 중요한 목표인 것이다. 따라서 권역화 과정에 나타나고 있는 다양한 방송프로그램들을 이 두 기준에 맞추어 평가하는 것은 지역방송의 공적 가치와 사업적 토대를 동시에 고려해보는 중요한 의미를 가지게 된다.