• Title/Summary/Keyword: information theoretic learning (ITL)

검색결과 8건 처리시간 0.024초

Maximization of Zero-Error Probability for Adaptive Channel Equalization

  • Kim, Nam-Yong;Jeong, Kyu-Hwa;Yang, Liuqing
    • Journal of Communications and Networks
    • /
    • 제12권5호
    • /
    • pp.459-465
    • /
    • 2010
  • A new blind equalization algorithm that is based on maximizing the probability that the constant modulus errors concentrate near zero is proposed. The cost function of the proposed algorithm is to maximize the probability that the equalizer output power is equal to the constant modulus of the transmitted symbols. Two blind information-theoretic learning (ITL) algorithms based on constant modulus error signals are also introduced: One for minimizing the Euclidean probability density function distance and the other for minimizing the constant modulus error entropy. The relations between the algorithms and their characteristics are investigated, and their performance is compared and analyzed through simulations in multi-path channel environments. The proposed algorithm has a lower computational complexity and a faster convergence speed than the other ITL algorithms that are based on a constant modulus error. The error samples of the proposed blind algorithm exhibit more concentrated density functions and superior error rate performance in severe multi-path channel environments when compared with the other algorithms.

코렌트로피 기반 학습 알고리듬의 커널 사이즈에 관한 연구 (A Study on Kernel Size Adaptation for Correntropy-based Learning Algorithms)

  • 김남용
    • 한국산학기술학회논문지
    • /
    • 제22권2호
    • /
    • pp.714-720
    • /
    • 2021
  • 머신 러닝 및 신호처리에 활용되고 있는 정보이론적 학습법(ITL, information theoretic learning)은 커널 사이즈(σ) 설정이 매우 민감한 어려움을 지닌다. ITL의 성능지표중 하나인 코렌트로피 함수를 최대화하는 성능지표에 대해, 기울기에 존재하는 1/σ2를 제거한 뒤 남은 커널 사이즈에 대해 적응적으로 조절하는 방법들이 연구되었다. 이 논문에서는, 1/σ2의 커널 사이즈가 실제 시스템의 민감성이나 불안정에 큰 역할을 하고 있으며 남은 부분에 존재하는 커널 사이즈에 대한 최적해는 오차의 절대값 근방에 수렴함에 따라 오히려 수렴 후 가중치 갱신을 멈추게 하는 부작용이 나타남을 밝혔다. 이에 적응적 커널 사이즈 조절 대신 적절한 상수를 선택하는 것이 보다 효과적이라는 것을 제안하였고, 실험결과에서 동일한 수렴 속도에 약 2dB 향상된 정상상태 MSE를 보였다. 제안한 방식을 더욱 열악한 다경로 채널환경에 적용하여 실험한 결과 4dB 이상의 성능향상을 보여 제안한 방식은 열악한 상황일수록 더욱 향상된 성능을 보임을 알 수 있다.

코렌트로피 이퀄라이져를 위한 새로운 커널 사이즈 적응 추정 방법 (A New Adaptive Kernel Estimation Method for Correntropy Equalizers)

  • 김남용
    • 한국산학기술학회논문지
    • /
    • 제22권3호
    • /
    • pp.627-632
    • /
    • 2021
  • 적응 신호 처리 및 머신 러닝 등에 활용되고 있는 정보 이론적 학습법(ITL, information theoretic learning)은 커널 사이즈(��) 설정이 성능에 큰 영향을 미친다. ITL 기반의 학습법의 하나인 코렌트로피 알고리듬은 충격성 잡음에 강인성과 채널 왜곡 보상 특성을 함께 지니고 있으나 커널 사이즈 선택에 매우 민감하거나 불안정한 특성도 지니고 있다. 이에, 이 논문에서는 기울기 분모에 나타나는 커널 사이즈의 세제곱이 미치는 민감성을 고려하고, 커널 사이즈의 미세 변동에 대한 오차 전력 변화율을 이용하여 커널 사이즈를 적응적으로 갱신하는 방법을 제안하여 코렌트로피 알고리듬에 적용하였다. 제안된 적응 커널 사이즈 추정 방법을 다중 경로 채널과 충격성 잡음 환경에 대해 실험하였다. 제안한 방식은 고정 커널사이즈의 기존 알고리듬에 비해 2배 빠른 수렴 속도를 나타냈고 초기 커널 사이즈 2.0 에서 6.0 에 대해 모두 적절히 수렴하는 능력을 보였다. 이에 초기 커널 사이즈 선택에 큰 여유도를 가지고 성능을 향상시킬 수 있음을 입증하였다.

A Study on the Complex-Channel Blind Equalization Using ITL Algorithms

  • 김남용
    • 한국통신학회논문지
    • /
    • 제35권8A호
    • /
    • pp.760-767
    • /
    • 2010
  • For complex channel blind equalization, this study presents the performance and characteristics of two complex blind information theoretic learning algorithms (ITL) which are based on minimization of Euclidian distance (ED) between probability density functions compared to constant modulus algorithm which is based on mean squared error (MSE) criterion. The complex-valued ED algorithm employing constant modulus error and the complex-valued ED algorithm using a self-generated symbol set are analyzed to have the fact that the cost function of the latter forces the output signal to have correct symbol values and compensate amplitude and phase distortion simultaneously without any phase compensation process. Simulation results through MSE convergence and constellation comparison for severely distorted complex channels show significantly enhanced performance of symbol-point concentration with no phase rotation.

랜덤 심볼에 기반한 정보이론적 학습법의 스텝 사이즈 정규화 (Step-size Normalization of Information Theoretic Learning Methods based on Random Symbols)

  • 김남용
    • 인터넷정보학회논문지
    • /
    • 제21권2호
    • /
    • pp.49-55
    • /
    • 2020
  • 랜덤 심볼열을 기반으로 한 정보이론적 학습법 (ITL)은 특정 확률분포를 갖도록 랜덤하게 발생시킨 심볼열을 타겟 데이터로 활용하고, 입력 데이터 사이의 확률분포 거리 최소화를 비용함수로 하여 설계된다. 이 방식의 단점으로, 고정상수를 알고리듬 갱신의 스텝사이즈로 사용하므로 입력 전력의 통계적 추이를 활용할 수 없다. 정보포텐셜 출력(information potential output, IPO)와 연관된 기울기에서는 정보포텐셜 입력(information potential input, IPI)이, 정보포텐셜 오차(information potential error, IPE)와 관련된 기울기에서는 입력자체가 입력으로 작용함을 이 연구에서 밝혀내고, 입력의 전력 추이를 따로 계산하여 스텝사이즈 (step size)를 정규화하도록 제안하였다. 제안된 알고리듬은 충격성잡음과 다중경로 페이딩 환경의 통신시스템 실험에서 기존 방식보다 약 4dB 정도 더 낮은 정상상태 오차 전력, 약 2배 이상 빠른 수렴속도를 나타냈다.

Euclidian Distance Minimization of Probability Density Functions for Blind Equalization

  • Kim, Nam-Yong
    • Journal of Communications and Networks
    • /
    • 제12권5호
    • /
    • pp.399-405
    • /
    • 2010
  • Blind equalization techniques have been used in broadcast and multipoint communications. In this paper, two criteria of minimizing Euclidian distance between two probability density functions (PDFs) for adaptive blind equalizers are presented. For PDF calculation, Parzen window estimator is used. One criterion is to use a set of randomly generated desired symbols at the receiver so that PDF of the generated symbols matches that of the transmitted symbols. The second method is to use a set of Dirac delta functions in place of the PDF of the transmitted symbols. From the simulation results, the proposed methods significantly outperform the constant modulus algorithm in multipath channel environments.

랜덤 심볼열과 결정 궤환을 사용한 자력 등화 알고리듬 (Blind Equalizer Algorithms using Random Symbols and Decision Feedback)

  • 김남용
    • 한국산학기술학회논문지
    • /
    • 제13권1호
    • /
    • pp.343-347
    • /
    • 2012
  • 결정 궤환 구조를 사용한 비선형 등화기법은 열악한 채널환경에서 발생하는 심각한 심볼간 간섭을 제거하는데 크게 요구되고 있다. 이 논문에서는 정보 이론적 학습방법과 랜덤 심볼에 기본을 두고 개발된 선형 자력 등화 알고리듬에 이 결정 궤환 구조를 적용한다. 제안된 결정 궤환 자력 등화기는 송신 심볼이 가지는 확률밀도함수와 동일한 모양을 갖도록 랜덤 심볼이 생성된다. 이 랜덤 심볼의 확률밀도함수와 등화기 출력이 가지는 확률밀도함수의 차이를 최소화함으로써 제안된 자력 등화 알고리듬은 등화된 출력 신호를 만들어낸다. 시뮬레이션 결과로부터 선형 알고리듬에 비해 향상된 수렴성능 및 오차 성능을 나타냈다.

블라인드 등화를 위한 최소 에러 엔트로피 성능기준들에 관한 연구 (A Study on the Minimum Error Entropy - related Criteria for Blind Equalization)

  • 김남용;권기현
    • 한국정보전자통신기술학회논문지
    • /
    • 제2권3호
    • /
    • pp.87-95
    • /
    • 2009
  • 정보이론적 학습 기법에 해당하는 에러 엔트로피 최소화 (MEE) 성능기준과 상호 상관 엔트로피 최대화 (MCC) 성능기준은 그 동안 깊이 있게 많은 연구가 이루어져 왔다. 에러 엔트로피 최소화 성능기준은 정보 포텐셜을 최대화하는 것으로 귀결되고 상호 상관 엔트로피 최대화 성능기준은 시스템의 출력과 원신호의 상호 상관도를 최대화하는 것으로 정의된다. 이 두 성능기준을적정 가중치를 두고 합성한 것이 기준점을 내포한 에러 엔트로피 최소화 기법 (MEEF) 인데 이 또한 많은 연구가 이루어지고 있다. 이 논문에서는 블라인드 채널 등화를 위해 CMA에 쓰이는 상수 모듈러스 에러 (CME)를 도입하여 이 정보이론적 학습기법에 적용하고자 그 가능성과 문제점을 찾고자 연구하였다. 또한 MEEF 성능기준에도 이 CME 적용가능성을 연구하였다. 연구결과로부터 CME를 적용한 MEE (MEE-CME)는 상수 모듈러스 정보를 잃게 되는 결과를 낳았다. 이 결과 MEE-CME나 MEE를 사용하는 MEEF-CME 모두에게서 수렴하지 못하거나 CME를 사용하는 다른 방식과 비교할 때 수렴이 늦게 되는 문제점을 발견하게 되었다.

  • PDF