DOI QR코드

DOI QR Code

Recursive Estimation of Euclidean Distance between Probabilities based on A Set of Random Symbols

랜덤 심볼열에 기반한 확률분포의 반복적 유클리드 거리 추정법

  • Kim, Namyong (Division of Electronics, Information & Communication Engineering, Kangwon National Unversity)
  • Received : 2014.03.27
  • Accepted : 2014.06.09
  • Published : 2014.08.30

Abstract

Blind adaptive systems based on the Euclidean distance (ED) between the distribution function of the output samples and that of a set of random symbols generated at the receiver matching with the distribution function of the transmitted symbol points estimate the ED at each iteration time to examine its convergence state or its minimum ED value. The problem is that this ED estimation obtained by block?data processing requires a heavy calculation burden. In this paper, a recursive ED estimation method is proposed that reduces the computational complexity by way of utilizing the relationship between the current and previous states of the datablock. The relationship provides a ground that the currently estimated ED value can be used for the estimation of the next ED without the need for processing the whole new data block. From the simulation results the proposed recursive ED estimation shows the same estimation values as that of the conventional method, and in the aspect of computational burden, the proposed method requires only O(N) at each iteration time while the conventional block?processing method does $O(N^2)$.

송신 심볼점과 동일한 확률분포 모양을 갖도록 수신단에서 무작위로 발생시킨 N개의 랜덤 샘플에 대한 확률밀도함수와, 시스템 출력샘플들에 대한 확률밀도함수 사이의 ED 를 기반으로 설계된 블라인드 적응 시스템은 수렴에 이르렀는지 평가하거나 최소 ED 평가를 위해 매 샘플시간 마다 ED 값을 계산한다. 그런데 이 ED 값 추정은 블록 데이터 계산방식으로서 계산량이 많다는 문제점을 지니고 있다. 이 논문에서는 과도한 계산량을 줄일 수 있는 방법으로서 현재 샘플 시간의 ED 값과 다음 샘플 시간의 ED 값 사이의 관계와 다음 샘플시간의 ED 값 계산에 현재 계산된 ED 값을 활용할 수 있는 반복적 ED 추정방법을 제안하였다. 기존의 블록 처리 ED 방법은 계산량 $O(N^2)$을 가지는데 반해 반복적 ED 방법은 계산량 O(N)을 가지며, 시뮬레이션 결과에서 두 방식이 정확히 일치하는 추정결과를 산출하였다.

Keywords

References

  1. J. Principe, D. Xu and J. Fisher, Information Theoretic Learning in: S. Haykin, Unsupervised Adaptive Filtering, Wiley, (New York, USA), 2000, pp. 265-319.
  2. S. Kullback, Information Theory and Statistics, Dover Publications, New York, 1968.
  3. D. Erdogmus, Y. Rao and J. C. Principe, " Supervised training of adaptive systems with partially labeled data" Proceedings of the International Conference on ASSP, Apr. 2005. pp. v321‐v324.
  4. K. Jeong, J. Xu, D. Erdogmus, and J. Principe, "A new classifier based on information theoretic learning with unlabeled data," Neural Networks, Vol. 18, 2005, pp. 719-726. https://doi.org/10.1016/j.neunet.2005.06.018
  5. N. Kim and L. Yang, "A new criterion of information theoretic optimization and application to blind channel equalization," Journal of Korean Society for Internet Information, Vol. 10, Feb. 2009, pp.11-17.
  6. E. Parzen, "On the estimation of a probability density function and the mode," Ann. Math. Stat. Vol. 33, 1962, p.1065. https://doi.org/10.1214/aoms/1177704472

Cited by

  1. 랜덤 심볼에 기반한 정보이론적 학습법의 스텝 사이즈 정규화 vol.21, pp.2, 2014, https://doi.org/10.7472/jksii.2020.21.2.49