AQ-NAV: Reinforced Learning Based Channel Access Method Using Distance Estimation in Underwater Communication

This work tackles the problem of conventional reinforcement learning scheme which has a relatively long training time to reduce energy consumption in underwater network. The enhanced scheme adjusts the learning range of reinforcement learning based on distance estimation. It can be reduce the scope of learning. To take account the fact that the distance estimation may not be accurate due to the underwater wireless network characteristics. this research added noise in consideration of the underwater environment. In simulation result, the proposed AQ-NAV scheme has completed learning much faster than existing method. AQ-NAV can finish the training process within less than 40 episodes. But the existing method requires more than 120 episodes. The result show that learning is possible with fewer attempts than the previous one. If AQ-NAV will be applied in Underwater Networks, It will affect energy efficiency. and It will be expected to relieved existing problem and increase network efficiency.

AQ-NAV: 수중통신에서 거리 추정을 이용한 강화 학습 기반 채널 접속 기법

본 논문은 기존 강화학습 기반 수중통신 예약방식에서 성능 저하 요인 중 하나인 긴 학습 시간을 단축시킴으로써 에너지 소모를 감소시킬 수 있는 향상된 채널 접속 기법을 제안한다. 수중 무선 네트워크에서 노드 간 거리를 추정하여 이를 바탕으로 기존 강화 학습 기반 채널 접속 방법의 학습 범위의 최대, 최소치를 결정한다. 이는 기존 강화학습의 학습 범위를 줄일 수 있다. 수중 무선 네트워크 환경의 특성에 따른 거리 추정값의 오차를 고려하여 NAV 학습 범위를 고려하며, 이를 적용하기 위해 인위적으로 간섭의 크기를 변경시켜가며 학습 진행률에 대한 성능 테스트를 진행하였다. 실험 결과 기존 방법 대비 제안된 AQ-NAV 방안의 경우, 20-40회 학습에서도 360개의 학습 배열 중 평균 340-350개 이상의 학습 배열이 학습이 진행되었고 50회 이상 학습에서는 모든 학습 배열에 대하여 학습이 진행되었다. 반면, 기존 연구의 경우 학습이 120회 이상 진행되어도 360개의 배열 중 300-320개의 배열에 대한 학습이 진행되었다. 실험에서는 기존 대비 적은 횟수의 시도로 학습이 가능함을 보여준다. AQ-NAV가 수중 무선 네트워크에 적용될 경우 에너지 소비 절감을 통해 기존의 방안의 문제점을 완화하고 네트워크 성능 향상을 이룰 것으로 예상된다.