An Experiment for Determining Threshold of Defect Prediction Models using Object Oriented Metrics

To support an efficient management of software verification and validation activities, many defect prediction models have been proposed based on object oriented metrics. In order to apply defect prediction models, we need to determine a threshold value. Because we cannot know actually where defects are, it is difficult to determine threshold. Therefore, we performed a series of experiments to explore the issue of determining a threshold. In the experiments, we applied defect prediction models to other systems different from the system used in building the prediction model. Specifically, we have applied three models - Olague model, Zhou model, and Gyimothy model - to four different systems. As a result, we found that the prediction capabilities varied considerably with a chosen threshold value. Therefore, we need to perform a study on the determination of an appropriate threshold value to improve the applicably of defect prediction models.

객체지향 메트릭을 이용한 결함 예측 모형의 임계치 설정에 관한 실험

소프트웨어의 결함을 예측하고 검증과 확인 활동을 통하여 효율적인 자원을 관리하기 위하여 많은 연구에서 결함 예측 모형을 제안하고 있다. 하지만 기존의 연구는 예측율이 최대 효과를 보이는 임계치에 결함 예측 모형의 예측율을 평가하고 있다. 이는 측정 시스템의 결함 정보를 알고 있는 가정하에서 평가가 이루어지는 것이기 때문에 실제 결함 정보를 알 수 없는 시스템에서는 최적의 임계치를 결정할 수 없다. 그러므로 임계치 선정의 중요성을 확인하기 위하여 본 연구에서는 결함 예측 모형으로 타 시스템의 결함을 예측하는 비교 실험을 하였다. 실험은 기존에 제안된 3개의 결함 예측 모형과 4개의 시스템을 대상으로 하였고 결함 예측 모형의 임계치별 예측의 정확성을 비교하였다. 실험결과에서 임계치는 모형의 예측율과 높은 관련이 있었지만 실제 결함 정보가 확인 안 되는 시스템에 대하여 결함을 예측하는 경우에는 임계치를 선정할 수 없음을 확인하였다. 따라서 결함 예측 모형을 타 시스템에 적용하기 위하석 임계치 선정에 관한 추후 연구가 필요함을 확인하였다.