Browse > Article

Developments of Evaluation System for Qualitative Performance Measurement in Government-Supported Research Institute by Article Citation Method  

Lee, Moon Young (한국천문연구원)
Yi, Chan Goo (충남대학교 행정학부)
Publication Information
Journal of Korea Technology Innovation Society / v.19, no.4, 2016 , pp. 768-798 More about this Journal
Abstract
This study started from the awareness of the issue if the citation index newly introduced to evaluate the quality of papers satisfies the proper timing matter, which is a component of performance indicators for the evaluation of government-funded R&D institutes. Accordingly, the study will propose improvement ways to shift the previous evaluation system to quality evaluation for mission-oriented R&D institutes by analysing and using the periodical characteristics such as citation half-life and immediacy index of papers. As a result, it turned out that the speed of academic change is getting faster in proportion to the dependency on the technological development but that the citation speed in the field of public technology is relatively slower and the speed of knowledge transfer in the fields related to industry is faster. In addition, the citation index among the R&D fields showed no differences, and the minimum period for citation index measurement with validity should be over 6 years. The problems of evaluation for mission-oriented R&D institutes were deducted based on the technical and statistical analysis results of the temporal characteristic of citation necessary for quality evaluation of performance among R&D fields. To solve the problems, policy alternatives for object and valid quality evaluation were proposed from the points of evaluation period and evaluation criteria.
Keywords
Evaluation for mission-oriented R&D institutes; Quality Performance evaluation; Citation characteristics; Citation half-life and immediacy index; Period of knowledge transfer;
Citations & Related Records
Times Cited By KSCI : 7  (Citation Analysis)
연도 인용수 순위
1 박지영 (2012), "피인용 횟수의 가중치 부여 및 피인용 횟수의 표준편차와 논문수 적용이 KCI기반 학술지 평가에 미치는 영향에 관한 연구", 성균관대학교 대학원 석사학위 논문, 서울.
2 백종윤 (2009), "동료평가의 예측가능성 연구 : 학술지 게재논문 평가를 중심으로", 한국공공관리학보, 23(4): 383-399.
3 소민호.고성순 (2008), "과학기술분야 학술잡지의 반감기 측정에 의한 소장가치 연구", 한국도서관 정보학회지, 39(4): 377-395.
4 서규원.김민원.정효석 (2014), 국가연구개발사업 질적 성과지표의 세부 측정방법론, 한국과학기술기획평가원, 서울.
5 서은경 (1993), "구문.통계적 기법을 이용한 한국어 자동색인에 관한 연구", 정보관리학회지, 18: 97-124.
6 신은자 (2009), "생물학 학술지 즉시성지수(Immediacy Index)의 영향 요인에 관한 연구", 정보관리학회지, 26(4): 169-185.   DOI
7 오동훈.김영준.김용정 (2013), "상대적 순위보정지수를 활용한 주요국의 SCI 논문질적 수준 비교분석", 기술혁신연구, 21(1): 85-108.
8 유승준 (2011), 국가연구개발사업 평가 역량강화 및 발전방안 연구, 한국과학기술기획평가원, 서울.
9 유승훈.이종식.김상태 (2009), "연구개발과제의 양적, 질적 성과분석지수 개발 : IT핵심기술개발사업을 중심으로", 기술경영경제학회 2009년 동계학술대회 발표논문집, 413-433.
10 유재복.김재호 (2010), "논문 인용의 영향요인 분석", KSLA bulltin, 2: 16-27.
11 윤석경 (2007), "인용분석에 의한 행정학분야 학술지의 특성", 한국공공관리학보, 21(3): 113-139.
12 이가종 (1996), "인용분석과 과학적 연구업적평가의 이론적 고찰", 과학기술정책, 85: 26-35.
13 이가종.윤석경 (1996), "학술지 인용분석에 관한 연구", 한국행정학보, 30(2): 97-112.
14 이찬구 (2009), "연구기관 평가의 실증분석 : 평가 참여자의 인식차이를 중심으로", 기술혁신학회지, 12(1): 36-69.
15 COSEPUP (The Committee on Science, Engineering, and Public Policy) (1999), "Evaluating Federal Research Programs: Research and the Government Performance and Results Act", Committee on Science, Engineering, and Public Policy, National Academy of Science, Washington, DC.
16 Fu, L. D. and Aliferis, C. F. (2010), "Using Content-based and Bibliometric Features for Machine Learning Models to Predict Citation Counts in the Biomedical Literature", Scientometrics, 85(1): 257-270.   DOI
17 Kostoff, R. N. (1995), "Federal Research Impact Assessment: Axioms, Approaches, Appliactions", Scientometric, 34: 163-205.   DOI
18 Kostoff, R. N. and Geisler, E. (1999), "Strategic Management and Implementation of Textual Data Mining in Government Organizations", Technology Analysis & Strategic Management, 11(4): 493-525.   DOI
19 Pouris, A. (1988), "Peer Review in Scientifically Small Countries", R&D Management, 18(4): 333-340.   DOI
20 Prewitt, K. (1982), "The Public and Science Policy", Science, Technology, and Human Values, 7(39): 5-14.
21 Chan-goo, Y. (2003), "The National R&D Evaluation System in the UK: Meta-evaluation and Applicability to the Korean Case", The Uni of Manchester, Ph D. Thesis.
22 국가과학기술연구회 (2014), 국가과학기술연구회 소관 연구기관 임무 정립보고서.
23 Yi, H., Ao, X. and Ho, Y. S. (2008), "Use of Citation per Publication as an Indicator to Evaluate Pentachlorophenol Research", Scientometrics, 75(1): 67-80.   DOI
24 Merton, R. K. and Zuckerman, H. (1973), "Institutionalized Patterns of Evaluation in Science", The Sociology of Science, 460-496.
25 강대신.문성빈 (2009), "연구성과의 질적 평가를 위한 계량정보학적 분석에 관한 연구", 정보관리학회지, 26(3): 377-394.
26 구자영 (1975), "한국 화학자의 연구정보원 : 인용연구", 한국문화연구원논총, 22: 111-133.
27 국가과학기술심의회 (2014), 2015년 국가연구개발 성과평가 실시계획(안).
28 김승태.김성진.황덕규.이기종 (2009), "국가연구개발사업 성과평가 제도개선을 위한 정책적 시사점 도출 : 평가자 및 평가대상자 대상 설문결과를 중심으로", 한국정책분석평가학회 2009년 하계학술대회 발표논문집, 109-131.
29 김완종 (2012), "한국 과학기술 논문의 인용속도 및 인용빈도에 영향을 미치는 서지 요인에 관한 연구", 한국문헌정보학회지, 46(4): 285-309.   DOI
30 김흥렬 (2003), "과학기술문헌의 인용분석 연구", 정보관리학회지, 20(4): 1-21.   DOI
31 김흥범.최문정 (2009), "국가연구개발사업 평가의 질적 지표 적용방안", 한국정책학회 2009년 동계학술대회 발표논문집, 63-83.
32 남영준.서현정.김규환 (2011), "우리나라 토목공학분야 연구자의 인용형태에 관한 연구", 정보관리학회지, 28(4): 201-220.   DOI
33 조현양.조현선 (2005), "주요 4개 공학분야 연구자의 문헌인용 형태 연구", 정보관리연구, 36(2): 1-24.
34 이혁재.여운동.이상필 (2006), "연구성과의 질 제고를 위한 논문평가 모형개발", 한국기술혁신학회지, 9(3): 538-557.
35 이효숙 (1979), "인용 문헌 연구 : 한국 미생물학 분야를 중심으로", 이화여자대학교 대학원 석사학위 논문.
36 에버트 비둥(이경옥 옮김) (1995), 정책평가개론, 한울아카데미.
37 정우성.양현채 (2013), 과학계량학 연구동향 및 과학기술 정책분야 응용가능성, 한국과학기술기획평가원, 서울.
38 정진완.문수복.민상렬.이재용.최진영 (2004), "SCI : 과연 정보과학분야에서도 유효한 연구업적 평가척도인가", 정보과학회지, 22(8): 70-76.
39 최상기 (1996), "한국과 일본의 기계공학 분야의 인용분석 비교연구", 한국정보관리학회, 25: 121-141.
40 최승주 (1984), "전자계산학문헌에 대한 계량서지학적 연구", 중앙대학교 대학원 석사학위 논문, 서울.
41 한국연구재단 (2012), 국내 연구 환경에 적합한 KCI 기반 학술지 복합인용지표 개발 및 연구업적 평가 적용방안 연구, 대전.
42 한국산업기술재단 (2006), 미국의 연구개발 프로그램 평가 방법 및 체계 분석, 서울.
43 한복희 (1977), "원자력학분야 학술잡지(국내)의 인용분석", 도서관문화, 18(7): 2-6.
44 허정은.김해도.조영돈.조석민.조순로 (2008), "국가연구개발사업의 과학적 성과분석을 위한 새로운 계량지표 개발에 관한 연구", 한국기술혁신학회지, 11(3): 376-399.
45 사이언스온, "개인연구 평가에 저널인용지수 남용말라", http://scienceon.hani.co.kr/102455 (2013.5.).
46 Chubin, D. E. and Hackett, E. J. (1990), Peerless Science: Peer Review and US Science Policy, Suny Press.
47 미래창조과학부 (2013), 국가연구개발사업 표준성과지표(개정안) : 성과목표.지표 설정 가이드라인, 서울.
48 Burton, R. E. and Kebler, R. W. (1960), "The 'Half-Life' of Some Scientific and Technical Literatures", American Documentation, 11(1): 18-22.   DOI