• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• Journal of the Korean Society for information Management
• /
• v.27 no.1
• /
• pp.249-267
• /
• 2010

The h-index is a new tool for measuring research outputs based on citation and many variants of h-index have been proposed to improve the weaknesses of h-index. The h-index and its variants can be applied to institutional evaluation in three different ways. We worked out 447 practical cases of professors from 10 business schools and examined h-index and its variants. And then we compared three evaluation methods of research institution based on the h-index and its variants.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2006.08a
• /
• pp.135-142
• /
• 2006

인용을 통한 연구성과 지표인 h-지수는 2005년에 제안된 이후 공식의 간단명료함, 용이한 산출 방법, 지수의 강건성 등이 인정되면서 계량정보학 분야를 비롯한 학술 공동체의 활발한 후속 논의가 이례적으로 신속하게 이어지고 있다. 후속 연구는 주로 h-지수의 타당성 검토, h-지수를 이용한 특정 분야의 개인성과 측정 시도, h-지수의 타 영역에의 응용, h-지수의 보완 등을 주제로 전개되고 있다. 이 연구에서는 우선 h-지수와 이를 보완한 g-지수를 비롯한 변형 지수에 대해서 현재까지 전개되고 있는 논의를 살펴보았다. 그리고 인용빈도가 높지 않은 경우를 고려하여 개선한 지수를 제안하고 실험적인 측정을 시도하였다.

• Journal of the Korean Society for information Management
• /
• v.23 no.3 s.61
• /
• pp.167-186
• /
• 2006

The h-index, also called as Hirsch-index, is a new tool for measuring research outputs by citations. This h-index is not only easy to calculate, but also robust enough to handle various citation data. After its suggestion by Hirsch in 2005, many researchers applied the h-index to their own areas, and some others tried to improve the weak points of the h- index such as low discriminating power. Firstly, several of these efforts are reviewed in the present article, and then novel indexes are suggested to measure research outputs by citations more fairly and reasonably. Calculating these indexes on both artificial data and real data showed that the newly suggested indexes in this article can replace the h-index and its variants.

• Journal of Korea Technology Innovation Society
• /
• v.9 no.3
• /
• pp.538-557
• /
• 2006

The interest in performance evaluation of public R&D has been dramatically increased. Many tries have been made to measure and to evaluate the quality of research performance. Quantitative indicators are considered increasingly important for this purpose. The most widely used are the number of research articles, citations and Impact Factors. However, such indicators are strongly discipline-dependent, and hence they should be used with careful attention. In this study we tried to provide quantitative evidence on the latent problems of discipline-dependent indicators. We also tried to provide a set of quantitative indicators for evaluating publications as a result of research activities. We put our focus on the quantitative indicators reflecting the characteristics on disciplines and provided several indicators with guideline on their usage.

• Journal of the Korean Society for information Management
• /
• v.26 no.3
• /
• pp.377-394
• /
• 2009

There are some limitations in the existing bibliometric methods to satisfy the various requests of the interest parties including researchers, managers, policy makers to identify 1) which research group or researcher is the key player, and the overall trends of the particular technological sub-fields, 2) which research groups, institutions or countries mainly use their research outputs, 3) what are the spin-offs from research outputs to some scientific and technological fields, 4) in which levels they are when comparing their quantitative and qualitative research outputs to those of other competitive institutions. It is essential to develop new informetric indicators and methodologies in order to satisfy stakeholder's various demands and to strengthen qualitative analysis in measuring research performance. This study suggested informetric indicators such as article quality index, citation impact index, international cooperation index, excellent article production index and methodologies including citation analysis, text mining.

• Environmental and Resource Economics Review
• /
• v.5 no.2
• /
• pp.185-202
• /
• 1996

일반적으로 국민경제의 상태를 평가할 때, 경제성장, 물가상승률, 고용사정 및 국제수지 등 각 부문의 성과를 종합적으로 고려한다. 이들 각 부문의 성과는 개선되거나 악화되는데 있어서 동일한 추세를 보이기도 하지만 서로 상반된 움직임을 보이기도 한다. 또한 각 부문간에는 상충관계가 존재하기도 하므로, 부문간의 조화를 달성하기가 매우 어렵다는 사실도 잘 알려져 있다. 본 논문은 평균 분산 개념을 이용하여, 국민경제의 전체적 상황 및 부문간 격치를 반영하면서 직관적으로도 이해하기 쉬운 경제성과지수를 제시하고 이를 이용하여 석유파동 등이 각국경제에 미친 영향을 파악한다. 먼저 경제 각 부문별로 성과를 나타내는 경제지표로부터 시계열 평균과 분산을 계산하고 이를 이용하여 각 부문의 연도별 성과를 지수화한다. 이와같이 계산된 각 부문 지수들의 연도별 평균을 구하고 이를 해당연도의 평균적 경제성과로 해석한다. 또한 연도별로 부문별 지수간의 분산을 계산하여 이를 각 연도별 경제부문간 편차로 해석한다. 평균지수가 높을수록, 그리고 분산지수가 낮을수록 경제성과가 우수하다고 할 수 있다. 본 논문에서 제시된 방법에 따라 한국, 미국, 일본, 대만의 평균 분산 지수를 도출하여 비교 분석한 결과, 동지수가 각국의 경제실상을 잘 나타내고 있으며 두차례의 석유파동이 각국에 미친 영향을 비교하는데 유용하게 활용될 수 있음을 확인하였다.

• Journal of the Korean Society for information Management
• /
• v.33 no.4
• /
• pp.175-199
• /
• 2016

We analyzed the relationships between the co-authorship network centralities and the research performance indicators with the authors and the number of citations of the papers published for 10 years in Korean library and information science journals. In particular, the research performance indicators were calculated with normal counting and with fractional counting also. As a result of correlation analysis between the variables by setting the different ranges of the author groups to be analyzed according to the number of articles, it was possible to explain the inconsistent results of the previous studies on the correlations between the researchers' citation indicators and their co-authorship network centralities. Overall, the degree of co-authorship activities measured by collaboration coefficient showed no or negatively correlated with research performance. There were statistically significant positive correlations between the centralities and the research performance indicators, but the correlation was not significant in the analysis of the top 30 authors by number of articles.

• Korean Journal of Construction Engineering and Management
• /
• v.10 no.1
• /
• pp.69-77
• /
• 2009

Recently, a research of the urban regeneration has been performed very actively. This is one of the efforts to resolve various social and economic problems coming from the existing deteriorated building and facilities by new urban development or redevelopment. However, an urban regeneration has a characteristic to be unable to ensure the project performance due to the exposed numerous risks coming from the various and complex stake-holders, and its mega sizes. This paper proposes the method of risk performance index in order to improve an efficiency of performance measurement expanding to the risk view point from the existing integrated cost/schedule performance measurement. A risk performance index is compatible with the existing EVMS, and can make the performance measurement in 3 dimensions of the integrated cost/schedule/risk with 18 sub-indexes and variables.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2017.05a
• /
• pp.103-113
• /
• 2017

SCI(E)논문은 국가연구개발사업으로부터 도출되는 대표적 1차 산출 성과이며, R&D활동의 흐름을 파악할 수 있는 가장 중요한 지표 중 하나이다. 우리나라는 1980년대 50위권에 머물렀던 SCI(E)논문수가 1990년대를 거치면서 비약적으로 확대되었고, 최근 양적 규모 면에서는 세계 12위 수준을 유지할 만큼 괄목한 만한 성장을 이루었다. 최근 이러한 양적 확대 속에서, 논문의 질적 수준이 정체되고 있다는 문제점이 종종 거론되고 있다. 따라서 우리나라의 SCI(E)논문 성과가 가지는 질적 수준을 평가하기 위해 다양한 노력이 있어 왔다. 대표적인 SCI(E)논문의 질적 지표로 논문 피인용횟수와 저널 영향력지수가 있다. 그러나 이러한 지표는 학문 분야간 인용 특성을 반영하지 못하므로, 국내 연구자 사이에서도 다양한 순위보정영향력지수를 개발하고자 하는 시도가 있어 왔다. 본 논문에서는 그간 개발된 순위보정영향력지수를 추가적으로 보완하여, 보다 의미 있는 지표를 도출하고자 하였으며, 해당 지표를 국가연구개발사업 SCI(E)논문 성과에 적용하여 우리나라 SCI(E)논문 성과의 질적 수준을 검토하였다.