A Q-learning based channel access scheme for cognitive radios

In distributed cognitive radio networks, cognitive radio devices which perform the channel sensing individually, are seriously affected by radio channel environments such as noise, shadowing and fading such that they can not property satisfy the maximum allowable interference level to the primary user. In the paper, we propose a Q-learning based channel access scheme for cognitive radios so as to satisfy the maximum allowable interference level to the primary user as well as to improve the throughput of cognitive radio by opportunistically accessing on the idle channels. In the proposed scheme, the pattern of channel usage of the primary user will be learned through Q-learning during the pre-play learning step, and then the learned channel usage pattern will be utilized for improving the sensing performance during the Q-learning normal operation step. Through the simulation, it is shown that the proposed scheme can provide bettor performance than the conventional energy detector in terms of the interference level to primary user and the throughput of cognitive radio under both AWGN and Rayleigh fading channels.

무선 인지 시스템을 위한 Q-learning 기반 채널접근기법

가용 주파수 고갈 문제를 해결하기 위하여 제안된 무선인지기술은 특정 주파수 대역에 대해 사용면허를 가진 주사용자가 사용하지 않는 유휴채널에 접근하여 통신을 수행함으로써 주파수 효율을 향상시키는 차세대 통신기술이다. 주사용자의 유휴채널을 사용하기 위해서는 해당 채널을 현재 주사용자가 점유하고 있는지를 정확히 판단하여야 한다. 분산형 무선인지 네트워크에서 독립적으로 채널을 센싱하는 무선인지 기기의 경우 센싱의 결과가 노이즈, 쉐도윙, 페이딩과 같은 채널 환경에 영향을 많이 받으며 심지어 주사용자가 요구하는 간섭률을 보장하지 못하는 결과를 초래한다. 따라서 본 논문에서는 주사용자가 요구하는 최소 간섭량을 보장하는 동시에 기회주의적으로 채널에 접근하여 인지시스템의 처리율(처리율)을 향상시키는 Q-learning 기반의 채널접근기법을 제안한다. 제안하는 기법은 사전 학습 단계에서 주사용자의 채널사용 패턴을 Q-learning으로 학습하고 이를 Q-learning 기반 채널접근 단계에서 실제로 적용함으로써 스펙트럼 센싱 성능을 향상시킨다. 모의실험을 통해 AWGN 및 레일레이 페이딩 무선 환경에서 주사용자에 대한 간섭량 및 처리율 성능이 기존의 에너지 검출 방법에 비해 더 우수함을 확인하였다.