• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2016년도 춘계학술대회 논문집
• /
• pp.404-430
• /
• 2016

본 연구는 과학기술계 정부출연 연구기관 평가에서 논문의 질적 평가를 위해 새로 도입된 피인용도 지표가 성과지표의 구성요건 중 적시성을 충족할 수 있는가라는 문제의식에서 출발하였다. 이에 피인용 반감기와 즉시성 지수 등 논문의 주기적 특성을 분석 활용하여 실질적인 질적 성과체계로 전환하기 위한 기관평가의 개선방향을 제시하고자 한다. 연구 결과로 기술의 발달과 의존성이 높아짐에 따라 학문의 변화속도 또한 빠르게 변화하고 있으나, 공공기술은 타 분야에 비해 인용속도가 느리고, 산업과 연관된 분야는 지식이전 속도가 빠른 것으로 분석되었다. 또한, 학문분야 특성에 따른 피인용 주기는 차이가 없었으며, 각 분야의 질적으로 우수한 논문의 평가 시 피인용 지수의 타당성을 확보하기 위해서는 6년정도의 기간이 누적된 데이터가 필요한 것으로 분석되었다. 분야별 질적 성과평가를 위해 필요한 피인용의 시간적 특성을 기술통계적으로 도출한 결과를 반영하여 임무중심형 연구기관 평가의 문제점을 도출하였다. 이를 개선하기 위한 객관적이고 타당한 질적 평가를 위한 정책적 대안을 평가주기적, 평가기준적, 평가관리적 관점으로 제시하였다.

• 기술혁신학회지
• /
• 제19권4호
• /
• pp.768-798
• /
• 2016

본 연구는 과학기술계 정부출연 연구기관 평가에서 논문의 질적 평가를 위해 새로 도입된 피인용도 지표가 성과지표의 구성요건 중 적시성을 충족할 수 있는가라는 문제의식에서 출발하였다. 이에 피인용 반감기와 즉시성 지수 등 논문의 주기적 특성을 분석 활용하여 실질적인 질적 성과체계로 전환하기 위한 기관평가의 개선방향을 제시하고자 한다. 연구 결과는 기술의 발달과 의존성이 높아짐에 따라 학문의 변화속도 또한 빠르게 변화하고 있으나, 공공기술은 타 분야에 비해 인용속도가 느리고, 산업과 연관된 분야는 지식이전 속도가 빠른 것으로 분석되고 있다. 또한, 학문분야 특성에 따른 피인용 주기는 차이가 없었으며, 각 분야의 질적으로 우수한 논문의 평가 시 피인용 지수의 타당성을 확보하기 위해서는 6년 정도의 기간이 누적된 데이터가 필요한 것으로 분석되었다. 분야별 질적 성과평가를 위해 필요한 피인용의 시간적 특성을 기술통계적으로 도출한 결과를 반영하여 임무중심형 연구기관 평가의 문제점을 도출하였다. 이를 개선하기 위한 객관적이고 타당한 질적 평가를 위한 정책적 개선방향을 제시하였다.

• 자원환경지질
• /
• 제49권4호
• /
• pp.325-333
• /
• 2016

미래창조과학부는 2013년부터 과학기술분야 출연연구기관 및 부처 직할 연구기관에 대해 임무중심형 평가를 도입하였다. 지질학의 기초과학 연구에서 자원개발 활용의 응용 개발연구, 지질 환경 자원정보 제공 및 지질박물관 운영 등의 공공서비스 제공을 수행하는 한국지질자원연구원은 2013년 과학기술분야 출연연구기관 처음으로 임무중심형 평가를 도입한 기관이다. 한국지질자원연구원의 종합평가를 위해 미래창조과학부의 과기분야 출연연구기관 임무중심형 종합평가 지침(MSIP, 2015a)을 분석한 결과, 지침의 연구개발 성과 우수성 평가지표에서 질적 우수성과 도전성 혁신성을 구분하는 세부 방법론이 필요함을 알 수 있었다. 이에 따라 본 연구에서는 과학기술 출연연구기관 임무중심형 종합평가에서 연구개발 성과의 우수성을 평가하기 위한 세부 지표를 제시하였다. 한국지질자원연구원의 세계수준연구실 국제성 평가지표, 미래창조과학부의 혁신도약형 R&D사업 추진 가이드라인과 연구개발 재도전 기회제공을 위한 가이드라인을 활용하여, 연구결과의 질적우수성에서 양적 및 질적 평가지표, 목표도전성에서 연구개발 리스크 및 혁신성 지표를 제시하였다. 이러한 지표는 기초연구에서 응용 개발연구 및 공공서비스 제공을 하는 한국지질자원연구원에서 적용되었으므로, 이후 과학기술 출연연구기관 전반에도 적용가능할 것이다.

• 인터넷정보학회논문지
• /
• 제24권6호
• /
• pp.31-39
• /
• 2023

본 연구의 목표는 통합형 국가연구개발 사업에서 정보화사업, 공공조달 등 공공수요 기반의 상용화로 연계되는 복잡한 형태의 사업성과를 측정하고 관리하기 위한 과학적이고 효율적인 성과평가 프레임워크를 제안하는데 있다. 다수의 연구기관이 참여하여 하나의 최종성과물을 이루는 통합형 국가연구개발사업과 사업의 결과물이 수요기반의 실증 및 상용화까지 이루어지는 사업의 경우, 연구개발사업을 구성하는 세부과제의 단기적 산출물을 바탕으로 성과를 평가하는 기존의 평가체계로는 통합적 연구성과물에 대한 중장기적 효과와 실용성을 평가하기에는 한계가 있다. 더욱이 국가연구개발사업의 패러다임이 효율성을 중시하는 임무중심으로 변화함에 따라, 국가연구개발과제의 성과평가도 결과의 효과와 실용성을 중심으로 변화해야 할 필요성이 제기되고 있다. 본 연구에서는 Hourglass 모델을 활용하여 각 국가연구개발과제의 성과가 단순한 단기적 산출을 넘어, 실제 그 효과성 등 실용적 관점에서 완성도를 평가하기 위한 구조적 관점의 성과평가 프레임을 제시한다. 이는 연구개발과제의 구조에 따라 Tool-System-Service-Effect로 이어지는 하향식(Top-down) 및 상향식(Bottom-up) 접근을 연계한 통합적 프레임이라 할 수 있다. 제시된 세부 평가지표와 성과평가 프레임을 실제 국가연구개발사업에 적용함으로써 지표의 타당성과 제안된 성과평가 프레임의 효용성을 검증하였으며, 이러한 결과는 향후 효율성을 강조하는 국가연구개발사업의 성과평가 체계에 대한 학술적, 정책적, 산업적 시사점을 제시할 것으로 기대된다.