A Study on Standardization Methods Using the Order of Priorities

Proposal assessments for new weapon system development such as C4I system have been applying a qualitative assessment. The main problem of qualitative assessment is that the results vary depending on the evaluator's subjective preferences and priorities. Also, if there is no discrimination of technical skills degrade, the company will be selected by bid price regardless of technical power. In order to making a fairness, We need a method to compensate for the evaluator's subjectivity and to enhance discrimination. Previous standardization method is limited because targets of the proposal assessment are minority and have similar skill level. So, The new standardized evaluation methods applicable to the proposal was presented. This way is using the priority instead of the score and has better performance than existing methods as the target numbers are smaller.

우선순위를 이용한 점수 표준화 방법 연구

지휘ㆍ통제ㆍ통신 체계와 같이 보안이 요구되고, 새로운 기술을 적용하여 새롭게 개발되어야 하는 무기체계의 업체선정은 정성적 평가인 제안서평가를 주로 적용하고 있다. 제안서평가의 주요 문제는 평가자의 주관적 성향에 따라 선호도가 달라 평가위원 구성과 점수 성향에 따라 우선순위가 달라지고, 기술능력평가의 변별력 저하 시 입찰 가격에 의해 업체가 선정된다는 것이다. 따라서 평가자의 주관적 성향을 보정함과 동시에 변별력을 높일 수 있는 방법이 필요하다. 일반적으로 적용되는 표준화 방법은 평균과 편차를 일치시키는 방법이나, 제안서평가와 같이 평가대상이 소규모이고, 평가대상별 수준이 유사한 경우 적용이 제한되었다. 이에 따라 제안서평가에 적용 가능한 새로운 표준화방법을 제시하였다. 이 방법은 평가자의 점수가 아니라 평가대상의 우선순위를 보정하는 방법으로 기존 표준화방법보다 성능이 우수하였고, 원점수를 최대한 반영함으로써 변별력을 높일 수가 있었으며 특히 평가대상수가 소규모인 경우에 더욱 성능이 우수하였다.