• 제목/요약/키워드: information theoretic learning

검색결과 30건 처리시간 0.029초

Distributed Carrier Aggregation in Small Cell Networks: A Game-theoretic Approach

  • Zhang, Yuanhui;Kan, Chunrong;Xu, Kun;Xu, Yuhua
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권12호
    • /
    • pp.4799-4818
    • /
    • 2015
  • In this paper, we investigate the problem of achieving global optimization for distributed carrier aggregation (CA) in small cell networks, using a game theoretic solution. To cope with the local interference and the distinct cost of intra-band and inter-band CA, we propose a non-cooperation game which is proved as an exact potential game. Furthermore, we propose a spatial adaptive play learning algorithm with heterogeneous learning parameters to converge towards NE of the game. In this algorithm, heterogeneous learning parameters are introduced to accelerate the convergence speed. It is shown that with the proposed game-theoretic approach, global optimization is achieved with local information exchange. Simulation results validate the effectivity of the proposed game-theoretic CA approach.

Information Theoretic Learning with Maximizing Tsallis Entropy

  • Aruga, Nobuhide;Tanaka, Masaru
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 ITC-CSCC -2
    • /
    • pp.810-813
    • /
    • 2002
  • We present the information theoretic learning based on the Tsallis entropy maximization principle for various q. The Tsallis entropy is one of the generalized entropies and is a canonical entropy in the sense of physics. Further, we consider the dependency of the learning on the parameter $\sigma$, which is a standard deviation of an assumed a priori distribution of samples such as Parzen window.

  • PDF

Decision-Directed 모드와 유클리드 거리 알고리듬을 사용한 복소채널의 블라인드 등화 (Complex-Channel Blind Equalization using Euclidean-Distance Algorithms with Decision-Directed Modes)

  • 김남용
    • 한국정보전자통신기술학회논문지
    • /
    • 제3권3호
    • /
    • pp.73-80
    • /
    • 2010
  • 상수 모듈러스 오차와 두확률 밀도 함수의 유클리드 거리에 기본을 둔 블라인드 알고리듬은 정보 이론적 학습 방법의 장점에도 불구하고 복소 채널의 위상 회전을 극복하지 못해 열악한 성능을 보인다. 이 논문에서는, 출력 전력이 다중 모듈러스 값의 근방에 있을 때 decision-directed 모드로 동작하는 기법을 정보 이론적 학습에 추가하므로서 복소 채널의 위상 회전 문제를 해결할 수 있음를 보였다. 복소 채널 모델과 16 QAM 방식에 대한 시뮬레이션 결과에서 복소 채널의 위상 회전 문제가 해결되어 현격한 성능 향상을 보였다.

  • PDF

The Unsupervised Learning-based Language Modeling of Word Comprehension in Korean

  • Kim, Euhee
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권11호
    • /
    • pp.41-49
    • /
    • 2019
  • 본 연구는 비지도 기계학습 기술과 코퍼스의 각 단어를 이용하여 한국어 단어를 형태소 분석하는 언어 모델을 구축하는데 목적을 둔다. 그리고 이 언어 모델의 단어 형태소 분석의 결과와 언어 심리 실험결과에서 얻은 한국어 언어사용자의 단어 이해/판단 시간이 상관관계을 갖는지를 규명하고자 한다. 논문에서는 한국어 세종코퍼스를 언어 모델로 학습하여 형태소 분리 규칙을 통해 한국어 단어를 자동 분리하는데 발생하는 단어 정보량(즉, surprisal(놀라움) 정도)을 측정하여 실제 단어를 읽는데 걸리는 반응 시간과 상관이 있는지 분석하였다. 이를 위해 코퍼스에서 단어에 대한 형태 구조 정보를 파악하기 위해 Morfessor 알고리즘을 적용하여 단어의 하위 단위 분리와 관련한 문법/패턴을 추출하고 형태소를 분석하는 언어 모델이 예측하는 정보량과 반응 시간 사이의 상관관계를 알아보기 위하여 선형 혼합 회귀(linear mixed regression) 모형을 설계하였다. 제안된 비지도 기계학습의 언어 모델은 파생단어를 d-형태소로 분석해서 파생단어의 음절의 형태로 처리를 하였다. 파생단어를 처리하는 데 필요한 사람의 인지 노력의 양 즉, 판독 시간 효과가 실제로 형태소 분류하는 기계학습 모델에 의한 단어 처리/이해로부터 초래될 수 있는 놀라움과 상관함을 보여 주었다. 본 연구는 놀라움의 가설 즉, 놀라움 효과는 단어 읽기 또는 처리 인지 노력과 관련이 있다는 가설을 뒷받침함을 확인하였다.

Maximization of Zero-Error Probability for Adaptive Channel Equalization

  • Kim, Nam-Yong;Jeong, Kyu-Hwa;Yang, Liuqing
    • Journal of Communications and Networks
    • /
    • 제12권5호
    • /
    • pp.459-465
    • /
    • 2010
  • A new blind equalization algorithm that is based on maximizing the probability that the constant modulus errors concentrate near zero is proposed. The cost function of the proposed algorithm is to maximize the probability that the equalizer output power is equal to the constant modulus of the transmitted symbols. Two blind information-theoretic learning (ITL) algorithms based on constant modulus error signals are also introduced: One for minimizing the Euclidean probability density function distance and the other for minimizing the constant modulus error entropy. The relations between the algorithms and their characteristics are investigated, and their performance is compared and analyzed through simulations in multi-path channel environments. The proposed algorithm has a lower computational complexity and a faster convergence speed than the other ITL algorithms that are based on a constant modulus error. The error samples of the proposed blind algorithm exhibit more concentrated density functions and superior error rate performance in severe multi-path channel environments when compared with the other algorithms.

랜덤 심볼에 기반한 정보이론적 학습법의 스텝 사이즈 정규화 (Step-size Normalization of Information Theoretic Learning Methods based on Random Symbols)

  • 김남용
    • 인터넷정보학회논문지
    • /
    • 제21권2호
    • /
    • pp.49-55
    • /
    • 2020
  • 랜덤 심볼열을 기반으로 한 정보이론적 학습법 (ITL)은 특정 확률분포를 갖도록 랜덤하게 발생시킨 심볼열을 타겟 데이터로 활용하고, 입력 데이터 사이의 확률분포 거리 최소화를 비용함수로 하여 설계된다. 이 방식의 단점으로, 고정상수를 알고리듬 갱신의 스텝사이즈로 사용하므로 입력 전력의 통계적 추이를 활용할 수 없다. 정보포텐셜 출력(information potential output, IPO)와 연관된 기울기에서는 정보포텐셜 입력(information potential input, IPI)이, 정보포텐셜 오차(information potential error, IPE)와 관련된 기울기에서는 입력자체가 입력으로 작용함을 이 연구에서 밝혀내고, 입력의 전력 추이를 따로 계산하여 스텝사이즈 (step size)를 정규화하도록 제안하였다. 제안된 알고리듬은 충격성잡음과 다중경로 페이딩 환경의 통신시스템 실험에서 기존 방식보다 약 4dB 정도 더 낮은 정상상태 오차 전력, 약 2배 이상 빠른 수렴속도를 나타냈다.

코렌트로피 기반 학습 알고리듬의 커널 사이즈에 관한 연구 (A Study on Kernel Size Adaptation for Correntropy-based Learning Algorithms)

  • 김남용
    • 한국산학기술학회논문지
    • /
    • 제22권2호
    • /
    • pp.714-720
    • /
    • 2021
  • 머신 러닝 및 신호처리에 활용되고 있는 정보이론적 학습법(ITL, information theoretic learning)은 커널 사이즈(σ) 설정이 매우 민감한 어려움을 지닌다. ITL의 성능지표중 하나인 코렌트로피 함수를 최대화하는 성능지표에 대해, 기울기에 존재하는 1/σ2를 제거한 뒤 남은 커널 사이즈에 대해 적응적으로 조절하는 방법들이 연구되었다. 이 논문에서는, 1/σ2의 커널 사이즈가 실제 시스템의 민감성이나 불안정에 큰 역할을 하고 있으며 남은 부분에 존재하는 커널 사이즈에 대한 최적해는 오차의 절대값 근방에 수렴함에 따라 오히려 수렴 후 가중치 갱신을 멈추게 하는 부작용이 나타남을 밝혔다. 이에 적응적 커널 사이즈 조절 대신 적절한 상수를 선택하는 것이 보다 효과적이라는 것을 제안하였고, 실험결과에서 동일한 수렴 속도에 약 2dB 향상된 정상상태 MSE를 보였다. 제안한 방식을 더욱 열악한 다경로 채널환경에 적용하여 실험한 결과 4dB 이상의 성능향상을 보여 제안한 방식은 열악한 상황일수록 더욱 향상된 성능을 보임을 알 수 있다.

Global Optimization for Energy Efficient Resource Management by Game Based Distributed Learning in Internet of Things

  • Ju, ChunHua;Shao, Qi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권10호
    • /
    • pp.3771-3788
    • /
    • 2015
  • This paper studies the distributed energy efficient resource management in the Internet of Things (IoT). Wireless communication networks support the IoT without limitation of distance and location, which significantly impels its development. We study the communication channel and energy management in the wireless communication network supported IoT to improve the ability of connection, communication, share and collaboration, by using the game theory and distributed learning algorithm. First, we formulate an energy efficient neighbor collaborative game model and prove that the proposed game is an exact potential game. Second, we design a distributed energy efficient channel selection learning algorithm to obtain the global optimum in a distributed manner. We prove that the proposed algorithm will asymptotically converge to the global optimum with geometric speed. Finally, we make the simulations to verify the theoretic analysis and the performance of proposed algorithm.

나이브 베이시안 학습에서 정보이론 기반의 속성값 가중치 계산방법 (An Information-theoretic Approach for Value-Based Weighting in Naive Bayesian Learning)

  • 이창환
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권6호
    • /
    • pp.285-291
    • /
    • 2010
  • 본 연구에서는 나이브 베이시안 학습의 환경에서 속성의 가중치를 계산하는 새로운 방식을 제안한다. 기존 방법들이 속성에 가중치를 부여하는 방식인데 반하여 본 연구에서는 한걸음 더 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성값의 가중치를 계산하기 위하여 Kullback-Leibler 함수를 이용하여 가중치를 계산하는 방식을 제안하였고 이러한 가중치들의 특성을 분석하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 대부분의 경우에 더 좋은 성능을 제공함을 알 수 있었다.

코렌트로피 이퀄라이져를 위한 새로운 커널 사이즈 적응 추정 방법 (A New Adaptive Kernel Estimation Method for Correntropy Equalizers)

  • 김남용
    • 한국산학기술학회논문지
    • /
    • 제22권3호
    • /
    • pp.627-632
    • /
    • 2021
  • 적응 신호 처리 및 머신 러닝 등에 활용되고 있는 정보 이론적 학습법(ITL, information theoretic learning)은 커널 사이즈(��) 설정이 성능에 큰 영향을 미친다. ITL 기반의 학습법의 하나인 코렌트로피 알고리듬은 충격성 잡음에 강인성과 채널 왜곡 보상 특성을 함께 지니고 있으나 커널 사이즈 선택에 매우 민감하거나 불안정한 특성도 지니고 있다. 이에, 이 논문에서는 기울기 분모에 나타나는 커널 사이즈의 세제곱이 미치는 민감성을 고려하고, 커널 사이즈의 미세 변동에 대한 오차 전력 변화율을 이용하여 커널 사이즈를 적응적으로 갱신하는 방법을 제안하여 코렌트로피 알고리듬에 적용하였다. 제안된 적응 커널 사이즈 추정 방법을 다중 경로 채널과 충격성 잡음 환경에 대해 실험하였다. 제안한 방식은 고정 커널사이즈의 기존 알고리듬에 비해 2배 빠른 수렴 속도를 나타냈고 초기 커널 사이즈 2.0 에서 6.0 에 대해 모두 적절히 수렴하는 능력을 보였다. 이에 초기 커널 사이즈 선택에 큰 여유도를 가지고 성능을 향상시킬 수 있음을 입증하였다.