FA/AHP 기법을 활용한 국방연구개발사업 메타평가 지표 개발에 관한 연구

A Study on the Development of Meta-Evaluation Indicators for Defense R&D Programs by Using FA/AHP Methods

국가 연구개발사업의 효율성과 생산성을 제고하기 위하여, 정부에서는 '국가연구개발사업 등의 성과 평가 및 성과관리에 관한 법률'을 제정하여 정부 각 부처의 연구개발 사업 성과의 효율성을 증대시키고 있다. 본 논문은 국방연구개발사업 자체평가시스템 측면에서 메타평가를 실시하기 위하여 요인분석(Factor Analysis)을 통한 계층분석적 의사결정기법(AHP, Analytic Hierarchy Process)을 사용한 평가지표를 개발한 결과이다. 국방연구개발사업의 메타평가를 위한 평가요소로서 평가상황, 평가투입, 평가수행, 평가결과 등 4요소로 구분하여 평가지표를 개발하였다. 평가항목 선정을 위하여 평가요소 및 평가지표간 요인분석을 실시하여 Cronbach's ${\alpha}$ 값을 측정한 결과, 평가상황요소는 0.877, 평가투입요소는 0.755, 평가결과요소는 0.792, 평가결과요소는 0.906으로 내적일관성을 고려한 신뢰성은 있는 것으로 나타났다. 그리고 평가요소 및 평가항목별 가중치 산정은 AHP기법을 사용하여 분석하였다. 분석결과 조사자의 전체 일관성 지수는 0.09로 조사자의 일관성은 있는 것으로 분석되었다.

The purpose of this study is to develop meta evaluating indicators for Defense R&D Programs in Korea. At first, the four components of this meta evaluation model were designed, which are evaluation context, evaluation input, evaluation process, evaluation output. And fifty two indicators were developed for this meta evaluation. Basic model of meta evaluation was derived from the literature review and brain storming. And this meta evaluation model was determined by adapting the result of experts who performed evaluations for Defense R&D Programs in recent years. Factor Analysis method was used to verify the validity of meta evaluation model. The survey of fifty three members turned out that Cronbach' ${\alpha}$ was over 0.6 in evaluation components and items. And the reliability of evaluation context was 0.877, that of evaluation input was 0.755, that of evaluation process was 0.755, that of evaluation output was 0.755 respectively. Analytic Hierarchy Process (AHP) method was used in assigning the evaluation weight. The survey of twenty two members showed that the Consistency Ratio was 0.09 in evaluation components and items.