• 기술혁신학회지
• /
• 제12권4호
• /
• pp.819-839
• /
• 2009

R&D 규모의 확대는 평가의 효과성과 효율성 제고가 전제이다. R&D 예산 및 사업에 관한 시스템 평가는 예산의 조정 배분과 사업의 성과에 대한 평가로 구분된다. 이 논문은 예산의 조정 배분과 관련한 예산평가 시스템의 운영 측면에서 효율성 및 효과성을 제고하는 것에 중점을 둔 연구이다. 예산평가 시스템의 핵심 관점은 두 가지이다. 하나는 후행단계에서 이루어지는 사업에 대한 조사 분석과 평가의 관점을 예산평가에 보다 긴밀하게 연계시키는 것이며, 다른 하나는 이를 위해서 전반적인 종합조정의 시스템을 재조명하는 것이다. 예산은 정책 기획 집행으로 연결되는 과정이다. 사업을 매개체로 하여 정책에 부합하는 기획내용에 따라 예산을 활용하여 집행하는 것이 바람직한 것이다. 따라서 연구개발사업의 구조 체계와 예산항목(코드) 구조와의 연계 강화가 중요하다. 이것은 의사결정 시스템 차원에서 정책과 예산의 연계와 함께 이루어져야 한다. 또한 예산의 조정 배분, 정책과 사업의 성과평가, 연구개발사업 조사 분석 관련 시스템 상의 연계 강화와 운영일정에 대한 개선이 필요하다. 이를 위해서는 국가과학기술위원회(NSTC)의 기능이 정책기획 중심이 되어야 하며 정책부터 평가까지의 전과정상 객관성과 공정성이 확보될 수 있는 운영지원 체계로 개편되어야 한다. 조정 배분과 성과평가가 유기적으로 연계되는 평가 시스템이 되려면 이들의 집행일정과 조사 분석의 내용과 시기가 보다 효용성이 높아져야 한다.

• 기술혁신학회지
• /
• 제18권4호
• /
• pp.539-560
• /
• 2015

국가연구개발사업 성과평가제도는 성과와 예산의 유기적인 연계를 강화하고 있다. 본 연구는 국가연구개발사업에 관한 국회의 확정예산을 대상으로 상위평가결과에 영향을 미치는 선행요인을 예산규모, 사업수행기간, 사업의 지속성, 자체평가결과로 분류하고 이들 요인과 상위평가결과와 예산증감율의 관계를 분석하였다. 분석 결과, 예산규모, 사업수행기간, 자체평가 결과는 상위평가결과에 영향을 주는 것으로 나타났다. 또한, 자체평가결과가 예산의 증감에 영향을 주는 상위평가 결과에 가장 큰 영향을 주었다. 본 연구의 결과는 국가연구개발성과평가제도가 국가연구개발예산의 관계를 실증분석을 통해 제시했다는 측면에서 의의를 가진다.

• Agribusiness and Information Management
• /
• 제3권1호
• /
• pp.38-66
• /
• 2011

The dissemination process of agricultural research and development (R&D) results has somewhat different characteristics from that of typical R&D results. However, these characteristics are not adequately considered on the basis of an examination of the current performance system, the resulting management plans, and strategies for the application and dissemination of the results of agricultural R&D in Korea. The performance evaluation indicator exposed the problem of the inadequate consideration of the characteristics of each of these areas, particularly the lack of unified R&D-related institutions and the inadequacy of the system to monitor outcomes. To address these shortcomings in the agricultural R&D programs in Korea, the policies pertaining to agricultural R&D performance, results management, and dissemination in the U.S. and Japan were examined. Based on these investigations, we proposed strategies to improve the agricultural R&D policies in Korea.

• 지역연구
• /
• 제32권4호
• /
• pp.3-18
• /
• 2016

본 연구는 지역 R&D 성과평가를 위한 방법론으로서 비교그룹 간 분석을 적용하여 실증분석하고 있다. 분석방법론으로 기업 간 분석(between-group analysis)을 제시하고 있으며 핵심 아이디어는 두 가지 측면에서 설명될 수 있다. 첫째, R&D 사업의 효과분석을 위해서는 기간별 성과를 비교하며 분석하는 것이 당해 연도 성과만을 분석하며 비교하는 것보다 타당하다는 점이다. 둘째, 정부의 R&D 투자가 이루어지지 않은 비교집단을 선정하여 제3의 변수들의 효과를 통제한다는 점이다. 분석 결과 기업 간 분석이 의미 있게 나타났으며, 이는 수혜 기업의 성과만을 가지고 전후 비교하는 것보다 수혜를 받지 않는 대조군과의 전후 비교 평가를 통해 더 합리적이고 객관적인 성과평가를 달성할 수 있음을 시사한다.

• STI Policy Review
• /
• 제4권2호
• /
• pp.41-54
• /
• 2013

R&D is inherently an uncertain endeavor, yet now more than ever those performing R&D with public funding are called upon to clarify the utility of their research. Calls for public accountability are mounting with the increase in constraints on government budgets due to the recent worldwide economic recession, in response to which both policymakers and researchers pay much more attention to rigorously assessing publicly funded R&D. A key issue complicating R&D evaluation in these circumstances is how to adequately account for the nature and degree of risk involved in a given R&D program or project. This study deliberates on certain issues involving the measurement of ex-ante risk in public R&D evaluation: (i) information asymmetry between R&D sponsors and performers, (ii) ambiguity in the measurement of returns in both prospective and retrospective evaluation, and (iii) the dilemma between measurement error and omitted variable bias for empirical estimation of R&D performance. The study then presents an analysis of hypothetical evaluation results that apply risk-relevant weights to the annual evaluation outcomes of South Korea's national R&D programs funded during 2006~2012. In this counterfactual re-evaluation of public R&D program performance, high-risk R&D programs turn out to receive higher evaluation than non-high-risk programs. The current study suggests that R&D evaluation ignoring ex-ante risk is not only conceptually invalid since R&D activities are intrinsically uncertain endeavors, but unfair as R&D performers are asked to be accountable for the results that were in fact out of their reach.

• 인터넷정보학회논문지
• /
• 제24권6호
• /
• pp.31-39
• /
• 2023

본 연구의 목표는 통합형 국가연구개발 사업에서 정보화사업, 공공조달 등 공공수요 기반의 상용화로 연계되는 복잡한 형태의 사업성과를 측정하고 관리하기 위한 과학적이고 효율적인 성과평가 프레임워크를 제안하는데 있다. 다수의 연구기관이 참여하여 하나의 최종성과물을 이루는 통합형 국가연구개발사업과 사업의 결과물이 수요기반의 실증 및 상용화까지 이루어지는 사업의 경우, 연구개발사업을 구성하는 세부과제의 단기적 산출물을 바탕으로 성과를 평가하는 기존의 평가체계로는 통합적 연구성과물에 대한 중장기적 효과와 실용성을 평가하기에는 한계가 있다. 더욱이 국가연구개발사업의 패러다임이 효율성을 중시하는 임무중심으로 변화함에 따라, 국가연구개발과제의 성과평가도 결과의 효과와 실용성을 중심으로 변화해야 할 필요성이 제기되고 있다. 본 연구에서는 Hourglass 모델을 활용하여 각 국가연구개발과제의 성과가 단순한 단기적 산출을 넘어, 실제 그 효과성 등 실용적 관점에서 완성도를 평가하기 위한 구조적 관점의 성과평가 프레임을 제시한다. 이는 연구개발과제의 구조에 따라 Tool-System-Service-Effect로 이어지는 하향식(Top-down) 및 상향식(Bottom-up) 접근을 연계한 통합적 프레임이라 할 수 있다. 제시된 세부 평가지표와 성과평가 프레임을 실제 국가연구개발사업에 적용함으로써 지표의 타당성과 제안된 성과평가 프레임의 효용성을 검증하였으며, 이러한 결과는 향후 효율성을 강조하는 국가연구개발사업의 성과평가 체계에 대한 학술적, 정책적, 산업적 시사점을 제시할 것으로 기대된다.

• 기술혁신연구
• /
• 제30권3호
• /
• pp.35-64
• /
• 2022

최근 국가연구개발의 집행예산은 증가 추세에 있고, 이에 따라 국가연구개발사업의 양적 성과 또한 증가하고 있으나, 질적 성과의 증가세는 양적 성과 대비 취약한 것으로 나타나고 있다. 특허등급 및 기술이전효율성이 낮은 기술 등 질적 성과 부진의 원인으로 '건 수' 위주의 성과평가에 대한 개선 필요성이 제기되고 있으며, 이에 대한 대응으로 다양한 '질적 성과지표'를 이용한 성과평가가 도입되고 있다. 본 연구에서는 여러 질적 성과지표 중 주요국(미국, 유럽, 일본) 특허청에 모두 출원하여 특허의 해외경쟁력을 측정할 수 있는 '삼극특허' 창출 과제를 대상으로 연구개발사업의 질적성과 평가를 위한 성과지표로서 삼극특허에 영향을 미치는 요인을 분석하였다. 분석결과, R&D규모 요인 및 과제특성 요인 중 일부는 삼극특허 창출에 통계적으로 유의한 영향을 미치는 것으로 나타났다. 본 연구는 성과분석 측면에서 선행연구가 상대적으로 미진한 삼극특허를 관심대상으로 확장하고, 삼극특허 창출의 영향요인을 선형회귀분석(OLS)을 통해 살펴본 초기연구라는 점에서 의의가 있다.

• 기술혁신연구
• /
• 제5권2호
• /
• pp.126-154
• /
• 1997

This paper addresses a methodology for monitoring the first phase('92-94') progress and its implication fo Highly Advanced National R&D Projects (HAN or G7 project) in Korea. The authors suggest a three-stage life cycle model for the management of national R&D program; planning stage, implementing & monitoring stage, and evaluating & harvesting stage. The interim evaluation, the main focuses of this paper, is one of the key issues for the effective management of national R&D program at the implementing & monitoring stage. The conceptual framework of the interim evaluation was developed both through reviewing related literature and considering the characteristics of the HAN program. A stepwise procedure of interim evaluation was introduced: 'initial screen' and 'detailed examination'. At initial screen all 11 projects were reviewed in terms of both their relevance and performance in order to decide whether further detailed scrutiny is needed or not. If there exist critical problems on the relevance or on the intermediate progress of each project, it is to be under further detailed examination. Evaluation was initiated by the G7 Planning and Evaluation Committee, which was established for advising, directing, and monitoring the HAN Projects, with the help of large number of experts from industries, universities, and research institutes. The monitoring results were reported to the related ministries and project coordinating agencies, and reflected in the second phase.

• 디지털융복합연구
• /
• 제11권4호
• /
• pp.77-90
• /
• 2013

이 연구의 목적은 주요국의 정부 연구개발 평가제도 개선을 위한 최근 경향을 살펴 봄으로써 우리나라의 R&D평가제도 선진화를 위한 시사점을 모색하기 위함이다. 이 연구는 우리나라의 연구개발평가제도의 현황과 과제를 살펴보고, R&D 투자 상위국의 최근 연구개발사업 평가제도와 비교 분석하는 방식으로 수행되었다. 우리나라는 2006년 국가연구개발 성과평가법이 제정됨에 따라 연구개발사업 평가제도가 도입 운영되고 있다. 미국은 오바마 정부가 들어서면서 종전의 정부성과관리법을 개정('GPRA 현대화법 2010')하여 중점성과목표 관리제도를 강화하였으며, 일본은 2012년 말 '국가연구개발평가에 관한 대강적 지침'을 개정하여 연구개발 프로그램 및 결과지표 개념을 도입하였다. EU에서는 1984년부터 시작된 R&D 프레임워크프로그램(FP)에 대한 평가체계를 지속적으로 개선해 나가고 있다. 주요국의 연구개발 평가와 관련된 최근 동향으로부터 다음과 같은 시사점을 찾을 수 있다. 현행 연구개발사업 평가가 국가 과학기술정책과 기관의 고유임무 성과평가와도 연계성을 가질 수 있는 평가체계로 발전시켜 나가는 것이 중요하다. 또한 국제적인 평가연구 네트워크에 지속적인 참여 확대와 교류 활동을 통해 R&D 평가에 관한 선진 기법들을 적극적으로 수집하고, 나아가 R&D 성과관리에 관한 역량강화 프로그램과 체계적인 평가전문가 인력육성 교육시스템도 필요하다.

• 지역연구
• /
• 제31권4호
• /
• pp.71-90
• /
• 2015

본 연구는 R&D 사업의 효과분석을 위해서는 기간별 성과를 비교하며 분석하는 것이 당해 연도 성과만을 분석하며 비교하는 것보다 타당하다는 연구문제에서 출발한다. 이에 개별 기업이 지니는 성과 특성을 시계열 자료의 종적 비교 분석을 통해 기간에 따라 파악함으로써 지역연구개발사업의 효과를 입체적으로 파악하고 있다. 기업의 성과에 대한 객관적인 평가를 위해서 해당 R&D 사업 참여 기업의 매출액과 영업이익을 핵심변수로 하여 R&D 예산 투자의 경제적 성과를 중심으로 파악하고자 하였다. 경제적 성과에 대한 분석을 위해 Within 분석을 '기업 내 효과 분석'으로 조작적 정의(operational definition)하였으며 이를 토대로 국가 R&D 투자효과를 측정을 위한 방법론을 설정하였다. 분석결과 전기효과가 후기효과에 비해 큰 것으로 나타났으며 이는 지역R&D투자에 따른 성과가 지원기간 이후까지 지속되기보다 지원기간에 한시적으로 나타남을 의미한다.