A Parameter Estimation Method using Nonlinear Least Squares

We consider the problem of estimating the parameters of heavy tailed distributions. In general, maximum likelihood estimation(MLE) is the most preferred method of parameter estimation because it has good properties such as asymptotic consistency, normality and efficiency. However, MLE is not always the best solution because MLE is unstable or does not exist in some cases. This paper proposes another parameter estimation method, non-linear least squares(NLS) and compares its performance to MLE. The NLS estimator is achieved by minimizing sum of squared difference between empirical cumulative distribution function(CDF) and a theoretical distribution function. In this article, we compare the NLS method to MLE using simulated data from heavy tailed distributions. The NLS method is shown to perform better than MLE in Burr distribution when the sample size is small; in addition, it performs well in a Frechet distribution.

비선형 최소제곱법을 이용한 모수추정 방법론

우리는 두꺼운 꼬리를 갖는 분포의 모수를 추정하는 방법론을 연구하였다. 일반적으로 MLE(최대우도 추정량)가 모수추정 방법론중에 가장 많이 사용되는데, 이는 MLE가 점근적 일치성과 정규성 그리고 효율성을 가지고 있기 때문이다. 하지만 MLE가 늘 가장 좋은 추정법은 아니다. 어떤 경우에는 MLE가 존재하지 않을 수도 있고 계산이 안정적이지 않을 수도 있다. 본 논문에서는 비선형 최소제곱추정법을 이용한 모수추정 방법론을 제시하고 그 성능을 MLE와 비교하였다. NLS 추정량은 empirical CDF와 이론적 CDF의 차이의 제곱을 최소화 하는 방법론이다. 본 논문에서는 두꺼운 꼬리를 가지는 다양한 분포하에서 우리가 제안하는 NLS방법론과 MLE와의 성능을 비교하였다. 그 결과, Burr 분포에서 표본의 수가 적을 때 우리의 방법론이 MLE보다 좋은 성능을 보여주었고, Frechet 분포에서도 좋은 결과를 얻을 수 있었다.