Journal of the Korea Academia-Industrial cooperation Society (한국산학기술학회논문지)

The Korea Academia-Industrial cooperation Society (한국산학기술학회)
권호 표지
DOI QR코드

DOI QR Code

A Meta Evaluation for the Self Evaluation System of Defense R&D Programs

국방연구개발사업 자체평가시스템의 메타평가 모형분석 및 검증

  • Kim, Soon-Yeong (Defense Agency for Technology and Quality, The Graduate School of Venture, Hoseo University) ;
  • Ha, Kyu-Soo (The Graduate School of Venture, Hoseo University)
  • 김순영 (국방기술품질원, 호서대학교 벤처전문대학원) ;
  • 하규수 (호서대학교 벤처전문대학원)
  • Published : 2009.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study is the result of meta evaluation for the self evaluation of defense R&D programs in Korea. The overall meta evaluation result gained 74.3 points out of 100, so it was evaluated as 'Good'. T- test and one-way ANOVA were used to identify the difference between groups. As a result of difference analysis between groups, some evaluation items showed difference within significance level. From this analysis, it is attempted to identify possible problems and to find out the ways of improvements related to the self evaluation system of defense R&D Programs. The ultimate objective of this study is to manage the programs effectively and improve the reliability and the objectiveness of the defense R&D performances.

본 논문은 국방연구개발사업 자체평가시스템에 대한 메타평가 실증분석을 통하여 자체평가시스템 개선 및 제도발전을 도모하고, 국방예산의 비효율성을 예방하며, 연구 성과를 효율적으로 관리하기 위한 것이다. 국방연구개발 사업에 대한 메타평가결과 전체적인 총점은 74.3점을 획득하여 '보통' 수준으로 나타났다. 그리고 집단 간 차이분석을 실시한 결과 일부 평가항목에서 유의미한 차이점이 나타났다. 향후에도 본 연구결과를 토대로 국방연구개발사업 자체평가 시스템 전반에 대한 개선방안이 지속적으로 고려되어야 할 것이며, 특히, 평가결과의 활용성 및 환류성 증진 방안도 함께 모색되어야 할 것이다.

Keywords

References

  1. 김명수, "공공정책 평가론", 박영사, 2003.
  2. 노유진, "우리나라 정부부처에 있어서 정책평가결과의 저활용요인에 관한 연구", 행정논총, 제43권, 제4호, pp. 245-276, 2005.
  3. 노화준, "정책평가론", 법문사, 2006.
  4. 노화준, "정책평가론", 법문사, 2008.
  5. 류영수, "기술영향평가의 메타평가 모형개발 및 적용", 한양대학교 대학원, 박사학위논문, 2007.
  6. 문영세, "정부업무평가기본법에 대한 메타평가", 정책분석학회보, 제11권, 1호, pp. 19-45, 2001.
  7. 박종수, "정보화 사업 메타평가를 위한 CIPOU 모형개발", 충남대학교 대학원, 박사학위논문, 2003.
  8. 방위사업청, "방위력개선사업관리규정", 훈령 제13호, 2006.
  9. 송위진, 이은경, 송성수, 김병윤, "과학기술과 사회의 주요 쟁점분석 연구", 과학기술정책연구원, 2003.
  10. 이진주, 서건수, "정책평가를 위한 새로운 모형", 나남출판, 1996.
  11. 이찬구, "영국의 범부처간 과학기술정책 평가제도-메타평가와 한국에의 시사점", 한국사회와 행정연구, 제15권, 제4호, pp. 809-833, 2003.
  12. American Evaluation Association, "Guidelines for Evaluator", by Shadish W. R., D. L. Newman, M. A. Scheirer and C. Wye, San francisco, Jossey-Bass, 1995.
  13. Cook T. D. and Gruder C. L., "Metaevaluation Research", Evaluation Quarterly, Vol. 2 No. 1, pp. 5-55, 1978. https://doi.org/10.1177/0193841X7800200101
  14. Joint Committee on Standards for Educational Evaluation, "The Programme Evaluation Standards", Thousand Oaks, Sage Publications, 1994.
  15. Hong H. D., "Meta-evaluation of National Large-Scale R&D Programs : A Comparison of Evaluation Systems of 6 National R&D Programs", University of Manchester, 2000.
  16. Larson, Richard and Leni Berliner, "On Evaluating Evaluation", Policy Sciences, Vol. 16, No. 2, 1983.
  17. Leviton, Laura C & Edward F. X. Hughes, "Research on the Utilization of Evaluations: A Review and Synthesis", Evaluation Review, Vol. 5, No. 4, 1981.
  18. OECD, "Improving Evaluation Practices-Best Practice Guidelines for Evaluation and Background Paper", Paris, 1999.
  19. Owen, John M. and Patricia J. Rogers, "Program Evaluation: Forms and Approaches", International Edition, London and Thousand Oaks and New Delhi: Sage Publication, 1999.
  20. Rossi, Peter H., Mark W. Lipsey and Howard E. Freeman, "Evaluation: A Systematic Approach", Seventh Edition, Thousand Oaks and London and New Delhi: Sage Publication, 2004.
  21. Scriven M., "Evaluation Thesaurus 4th Edition", Newbury Park, CA, Sage Publications, 1991.
  22. Shepard, L. A. "A Checklist for Evaluating Large-Scale Assessment Programs 9th Edition", Occasional Paper Series, Kalamazoo: The Evaluation Center, western Michigan University, 1977.
  23. Stevenson, John F., Richard H. Longabaugh & Dwight N. Mcneil, "Metaevaluation in Human Services", The Evaluator and Management, Beverly Hills, CA, Sage Publications, 2000.
  24. Stufflebeam L., "Metaevaluation: Concepts, Standard and Uses", Educational Evaluation Methodology, The JHU Press, 1981.
  25. Vedung, Evert, "Public Policy and Program Evaluation", New Brinswick and London, Transactions Publishers, 1997.