DOI QR코드

DOI QR Code

Adaptive Kernel Estimation for Learning Algorithms based on Euclidean Distance between Error Distributions

오차분포 유클리드 거리 기반 학습법의 커널 사이즈 적응

  • Kim, Namyong (Division of Electronic, Information & Communication Eng., Kangwon University)
  • 김남용 (강원대학교 전자정보통신공학부)
  • Received : 2021.02.02
  • Accepted : 2021.05.07
  • Published : 2021.05.31

Abstract

The optimum kernel size for error-distribution estimation with given error samples cannot be used in the weight adjustment of minimum Euclidean distance between error distributions (MED) algorithms. In this paper, a new adaptive kernel estimation method for convergence enhancement of MED algorithms is proposed. The proposed method uses the average rate of change in error power with respect to a small interval of the kernel width for weight adjustment of the MED learning algorithm. The proposed kernel adjustment method is applied to experiments in communication channel compensation, and performance improvement is demonstrated. Unlike the conventional method yielding a very small kernel calculated through optimum estimation of error distribution, the proposed method converges to an appropriate kernel size for weight adjustment of the MED algorithm. The experimental results confirm that the proposed kernel estimation method for MED can be considered a method that can solve the sensitivity problem from choosing an appropriate kernel size for the MED algorithm.

오차분포 추정을 위한 커널 사이즈는 오차확률밀도 사이의 유클리드 거리를 최소화 알고리즘의 가중치 갱신에 적합한 커널 사이즈가 될 수 없다. 이 논문에서는 MED 알고리즘의 수렴 성능 향상을 위해 적응적으로 커널 사이즈를 갱신하는 방법을 제안하였다. 제안한 방식은 MED 학습 알고리즘의 가중치 갱신을 위해 커널 사이즈에 대한 오차분산의 평균변화율을 도입하여 MED의 오차에 대한 평균전력이 감소하는 방향으로 커널 사이즈를 조절하도록 하였다. 제안된 적응 커널 추정법을 무선통신 채널의 왜곡 보상에 적용하여 학습 성능을 실험하고 그 효능을 밝혔다. 오차분산에 비례한 작은 값을 가지는 기존의 오차분포 추정 위한 최적 커널 사이즈와 달리, 제안한 방법에 의한 커널 사이즈는 MED 가중치 수렴을 위한 적절한 커널 사이즈로 수렴함을 보였다. 실험 결과로부터 제안한 방법이 MED 알고리즘의 커널 사이즈 설정에 따른 민감성을 크게 해결한 방법이라고 볼 수 있다.

Keywords

References

  1. N. Kim, "Robustness to Impulsive Noise of Algorithms based on Cross-Information Potential and Delta Functions," Journal of Internet Computing and Services, vol. 17, pp. 1-6, Dec. 2017. DOI: https://doi.org/10.7472/jksii.2016.17.2.11
  2. T. Ogunfunmi and M. Deb, "On the PDF estimation for information theoretic learning for neural networks," Proceedings of APSIPA-ASC2018, Honolulu, USA, pp. 1215-1221, Nov. 2018. DOI: https://doi.org/10.23919/APSIPA.2018.8659642
  3. L. Chen, P. Honeine, "Correntropy-based robust multilayer extreme learning machines," Pattern Recognition, Elsevier, vol. 84, pp. 357-370, Dec. 2018. DOI: https://doi.org/10.1016/j.patcog.2018.07.011
  4. N. Kim and G. Lee, "Performance enhancement of algorithms based on error distributions under impulsive noise," JICS, vol. 19, pp. 49-56, June, 2018. DOI: https://doi.org/10.7472/jksii.2018.19.3.49
  5. J. Principe, Information Theoretic Learning, Springer, New York, 2010, pp. 103-140. DOI: https://doi.org/10.1007/978-1-4419-1570-2
  6. H. Radmanesh, M. Hajiabadi, "Recursive maximum correntropy learning algorithm with adaptive kernel size," IEEE Trans. Circuits and Systems, vol. 65, pp. 958-963, July 2018. DOI: https://doi.org/10.1109/tcsii.2017.2778038
  7. N. Kim, "A study on kernel size adaptation for correntropy-based learning methods," Journal of the Korea Academia-Industrial Cooperation Society, in press, 2021.
  8. E. Parzen, "On the estimation of a probability density function and the mode," Ann. Math. Stat. vol. 33, p. 1065, 1962. DOI: https://doi.org/10.1214/aoms/1177704472
  9. J. Proakis, Digital Communications, McGraw-Hill, NY, 1989, pp 438-439. ISBN10:0070517266
  10. I. Santamaria, P. Pokharel, and J. Principe, "Generalized correlation function: Definition, properties, and application to blind equalization," IEEE Trans. Signal Processing, vol. 54, pp. 2187-2197, June 2006. DOI: https://doi.org/10.1109/tsp.2006.872524