Abstract
When testing systems that incorporate probabilistic behavior, it is necessary to apply test inputs a number of times in order to give a test verdict. Interval estimation can be used to assert the correctness of probabilities where the selection of confidence interval is one of the important issues for quality of testing. The Wald interval has been widely accepted for interval estimation. In this paper, we compare the Wald interval and the Agresti-Coull interval for various sizes of samples. The comparison is carried out based on the test pass probability of correct implementations and the test fail probability of incorrect implementations when these confidence intervals are used for probability testing. We consider two-sided confidence intervals to check if the probability is close to a given value. Also one-sided confidence intervals are considered in the comparison in order to check if the probability is not less than a given value. When testing probabilities using two-sided confidence intervals, we recommend the Agresti-Coull interval. For one-sided confidence intervals, the Agresti-Coull interval is recommended when the size of samples is large while either one of two confidence intervals can be used for small size samples.
확률적 특성을 가지는 시스템의 시험을 위해서는 시험 입력을 일정 횟수만큼 반복하여 제공하고 관찰된 데이터를 기반으로 판정이 내려져야 한다. 구간 추정 기법을 이용하여 관찰된 데이터로부터 확률 값이 올바른지 여부를 판단할 수 있으며, 이 때 적절한 신뢰구간의 선택은 시험의 품질을 결정하는 중요한 요인이 된다. 본 논문에서는 다양한 크기의 표본에 대해 대표적인 구간 추정 기법인 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교 분석한다. 각 신뢰구간이 확률 값 시험에 사용되었을 경우 올바른 구현 제품이 시험을 통과할 확률과 잘못된 구현제품이 시험을 통과하지 못할 확률을 기반으로 비교 분석을 수행하며, 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 이상인지 여부를 판단하기 위한 단측검정을 사용하는 경우에 대해서도 비교 분석을 수행한다. 비교 분석 결과 양측검정의 경우 Agresti-Coull 신뢰구간을 사용할 것을 추천하며, 단측검정의 경우 큰 크기의 표본에 대해서는 Agresti-Coull 신뢰구간을, 적은 크기의 표본에 대해서는 Wald 신뢰구간 또는 Agresti-Coull 신뢰구간을 선택적으로 사용할 것을 추천한다.