• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2009년도 동계학술발표회
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• 기술혁신연구
• /
• 제30권3호
• /
• pp.35-64
• /
• 2022

최근 국가연구개발의 집행예산은 증가 추세에 있고, 이에 따라 국가연구개발사업의 양적 성과 또한 증가하고 있으나, 질적 성과의 증가세는 양적 성과 대비 취약한 것으로 나타나고 있다. 특허등급 및 기술이전효율성이 낮은 기술 등 질적 성과 부진의 원인으로 '건 수' 위주의 성과평가에 대한 개선 필요성이 제기되고 있으며, 이에 대한 대응으로 다양한 '질적 성과지표'를 이용한 성과평가가 도입되고 있다. 본 연구에서는 여러 질적 성과지표 중 주요국(미국, 유럽, 일본) 특허청에 모두 출원하여 특허의 해외경쟁력을 측정할 수 있는 '삼극특허' 창출 과제를 대상으로 연구개발사업의 질적성과 평가를 위한 성과지표로서 삼극특허에 영향을 미치는 요인을 분석하였다. 분석결과, R&D규모 요인 및 과제특성 요인 중 일부는 삼극특허 창출에 통계적으로 유의한 영향을 미치는 것으로 나타났다. 본 연구는 성과분석 측면에서 선행연구가 상대적으로 미진한 삼극특허를 관심대상으로 확장하고, 삼극특허 창출의 영향요인을 선형회귀분석(OLS)을 통해 살펴본 초기연구라는 점에서 의의가 있다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2017년도 춘계학술대회 논문집
• /
• pp.103-113
• /
• 2017

SCI(E)논문은 국가연구개발사업으로부터 도출되는 대표적 1차 산출 성과이며, R&D활동의 흐름을 파악할 수 있는 가장 중요한 지표 중 하나이다. 우리나라는 1980년대 50위권에 머물렀던 SCI(E)논문수가 1990년대를 거치면서 비약적으로 확대되었고, 최근 양적 규모 면에서는 세계 12위 수준을 유지할 만큼 괄목한 만한 성장을 이루었다. 최근 이러한 양적 확대 속에서, 논문의 질적 수준이 정체되고 있다는 문제점이 종종 거론되고 있다. 따라서 우리나라의 SCI(E)논문 성과가 가지는 질적 수준을 평가하기 위해 다양한 노력이 있어 왔다. 대표적인 SCI(E)논문의 질적 지표로 논문 피인용횟수와 저널 영향력지수가 있다. 그러나 이러한 지표는 학문 분야간 인용 특성을 반영하지 못하므로, 국내 연구자 사이에서도 다양한 순위보정영향력지수를 개발하고자 하는 시도가 있어 왔다. 본 논문에서는 그간 개발된 순위보정영향력지수를 추가적으로 보완하여, 보다 의미 있는 지표를 도출하고자 하였으며, 해당 지표를 국가연구개발사업 SCI(E)논문 성과에 적용하여 우리나라 SCI(E)논문 성과의 질적 수준을 검토하였다.

• 기술혁신학회지
• /
• 제19권4호
• /
• pp.768-798
• /
• 2016

본 연구는 과학기술계 정부출연 연구기관 평가에서 논문의 질적 평가를 위해 새로 도입된 피인용도 지표가 성과지표의 구성요건 중 적시성을 충족할 수 있는가라는 문제의식에서 출발하였다. 이에 피인용 반감기와 즉시성 지수 등 논문의 주기적 특성을 분석 활용하여 실질적인 질적 성과체계로 전환하기 위한 기관평가의 개선방향을 제시하고자 한다. 연구 결과는 기술의 발달과 의존성이 높아짐에 따라 학문의 변화속도 또한 빠르게 변화하고 있으나, 공공기술은 타 분야에 비해 인용속도가 느리고, 산업과 연관된 분야는 지식이전 속도가 빠른 것으로 분석되고 있다. 또한, 학문분야 특성에 따른 피인용 주기는 차이가 없었으며, 각 분야의 질적으로 우수한 논문의 평가 시 피인용 지수의 타당성을 확보하기 위해서는 6년 정도의 기간이 누적된 데이터가 필요한 것으로 분석되었다. 분야별 질적 성과평가를 위해 필요한 피인용의 시간적 특성을 기술통계적으로 도출한 결과를 반영하여 임무중심형 연구기관 평가의 문제점을 도출하였다. 이를 개선하기 위한 객관적이고 타당한 질적 평가를 위한 정책적 개선방향을 제시하였다.

• 대학교육
• /
• 통권148호
• /
• pp.53-61
• /
• 2007

지금까지 대학교육의 질적인 측면을 평가하려는 다양한 지표 개발이 있었다. 교육의 성과를 간접적으로 평가하는 지표들이 대표적인 사례다. 하지만 지표들이 질적인 측면을 제대로 평가하지 못한다는 한계점을 드러내왔다. 이를 볼 때 커리큘럼 평가는 해당 분야의 전문가들을 대상으로 한 동료평가 방식으로 진행하는 것이 타당하며 통계상의 오류를 방지하기 위한 보완이 뒤따라야 할 것이다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2017년도 춘계학술대회 논문집
• /
• pp.501-535
• /
• 2017

이 연구는 한국 학계가 그간 많은 성장을 일구어 왔음에도 질적 수준에 대해서 지속적인 비판을 받고 있는 현 상황에 의문을 갖고 연구를 시작하였다. 최근 연구의 질적 수준 제고를 위해 연구개발 성과평가 제도가 전면적인 변화를 겪고 있음에도 정작 한국 학술연구의 질적 수준 문제가 어떠한 양상으로 나타나고 있는지 과학적인 증거를 제시하고자 하는 노력은 지금까지 매우 미흡했다. 이에 이 연구에서는 한국 연구의 양적 성장과 질적 성장 간의 괴리가 어떠한 양상으로 나타나는지 가시적인 일면을 제시하기 위하여 한국 연구자가 포함된 모든 SCI 논문을 수집하고 이를 대학, 출연연, 기업, 해외기관, 기타 소속 저자로 구분하여 양적 추세와 피인용횟수 추세를 비교하고자 하였다. 분석결과 해외기관 소속 저자와 국내기관 소속 저자 간에 유의미한 수준의 피인용횟수 격차가 나타나고 있으며, 이러한 격차는 시간의 흐름에 따라 해소되지 않고 있는 것을 확인하였다. 또한 분야별로 격차가 다르게 나타나 생화학 분자생물학이나 신경과학 신경학 등의 분야에서 피인용횟수의 격차가 보다 높게 나타나고 있었다. 이러한 결과는 최근 한국 공공연구 영역에서 전면적으로 일어나고 있는 질적 평가체제로의 전환 움직임에 대해서 그 세부적인 설계와 차등 요건의 적절성에 대해 다시 한 번 생각해볼 수 있는 계기를 제공한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 춘계학술발표대회
• /
• pp.754-757
• /
• 2008

R&D의 경제성장 기여도에 대한 인식이 높아짐에 따라 매년 국가연구개발사업의 투자규모는 큰 폭으로 증가하였으나 연구개발의 생산성은 저조하다는 비판이 제기되고 있다. 본 연구는 연구성과 평가시스템 중 논문의 자료 수집 검증 평가에 대한 범위에서 그동안의 양적위주의 평가에서 탈피하여 연구성과에 대한 체계적이고 심층적인 분석을 통하여 논문의 질적평가의 반영을 목적으로 현재 연구성과 평가기스템의 문제점 분석을 통한 개선 방안에 대해 연구하고자 한다.

• 한국융합학회논문지
• /
• 제11권4호
• /
• pp.1-9
• /
• 2020

본 연구에서는 국내·해외의 성과평가 사례들에 대하여 조사 분석하여 시사점을 도출하고, 특허 창출 성과자료 또는 기업현황 자료의 분석을 통해 국가 R&D 성과평가 체계에 맞는 질적, 양적 특허성과 평가 지표와 평가 모형을 개발하고자 한다. 또한 이를 해외 수출 및 기술력이 우수한 특정 기업군에 적용하기 위하여 실태 조사 결과를 바탕으로 특허전략 지원사업 성과 분석 사례 연구를 하고자 한다. 본 연구를 통해 특허전략 지원사업이라는 한정된 사업 범위 또는 사업 특성에서 기인하는 성과평가 지표 개발의 한계점은 있으나 이전 연구 및 국내·해외 사례 분석을 통해 질적 평가체계를 검토하고 활용 가능한 특허성과의 평가 지표를 제시하고자 하였다. 지원사업 성과와 관련된 데이터 접근 및 수집의 문제로 인해 성과분석이 충분한 수준으로 이루어지지 못한 한계점을 가지고 있으나 그럼에도 불구하고 향후 R&D 지원사업, 특허전략 지원사업 등의 종료 후에도 추적조사를 통해 후속 성과분석 등이 이루어 질 수 있으므로 사업종료 시의 성과추적조사에 활용할 수 있는 성과지표 및 성과분석의 가이드 역할을 할 수 있을 것으로 기대된다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2016년도 춘계학술대회 논문집
• /
• pp.404-430
• /
• 2016

본 연구는 과학기술계 정부출연 연구기관 평가에서 논문의 질적 평가를 위해 새로 도입된 피인용도 지표가 성과지표의 구성요건 중 적시성을 충족할 수 있는가라는 문제의식에서 출발하였다. 이에 피인용 반감기와 즉시성 지수 등 논문의 주기적 특성을 분석 활용하여 실질적인 질적 성과체계로 전환하기 위한 기관평가의 개선방향을 제시하고자 한다. 연구 결과로 기술의 발달과 의존성이 높아짐에 따라 학문의 변화속도 또한 빠르게 변화하고 있으나, 공공기술은 타 분야에 비해 인용속도가 느리고, 산업과 연관된 분야는 지식이전 속도가 빠른 것으로 분석되었다. 또한, 학문분야 특성에 따른 피인용 주기는 차이가 없었으며, 각 분야의 질적으로 우수한 논문의 평가 시 피인용 지수의 타당성을 확보하기 위해서는 6년정도의 기간이 누적된 데이터가 필요한 것으로 분석되었다. 분야별 질적 성과평가를 위해 필요한 피인용의 시간적 특성을 기술통계적으로 도출한 결과를 반영하여 임무중심형 연구기관 평가의 문제점을 도출하였다. 이를 개선하기 위한 객관적이고 타당한 질적 평가를 위한 정책적 대안을 평가주기적, 평가기준적, 평가관리적 관점으로 제시하였다.

• 한국기술혁신학회:학술대회논문집
• /
• 한국기술혁신학회 2013년도 추계 학술대회 초록집
• /
• pp.386-392
• /
• 2013