Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)
- 2019.01a
- /
- Pages.37-38
- /
- 2019
Q-learning based packet scheduling using Softmax
Softmax를 이용한 Q-learning 기반의 패킷 스케줄링
- Kim, Dong-Hyun (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
- Lee, Tae-Ho (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
- Lee, Byung-Jun (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
- Kim, Kyung-Tae (Dept. of Software, Sungkyunkwan University) ;
- Youn, Hee-Yong (Dept. of Electrical and Computer Engineering, Sungkyunkwan University)
- 김동현 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) ;
- 이태호 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) ;
- 이병준 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) ;
- 김경태 (성균관대학교 소프트웨어대학 소프트웨어학과) ;
- 윤희용 (성균관대학교 정보통신대학 전자전기컴퓨터공학과)
- Published : 2019.01.16
Abstract
본 논문에서는 자원제한적인 IoT 환경에서 스케줄링 정확도 향상을 위해 Softmax를 이용한 Q-learning 기반의 패킷 스케줄링 기법을 제안한다. 기존 Q-learning의 Exploitation과 Exploration의 균형을 유지하기 위해 e-greedy 기법이 자주 사용되지만, e-greedy는 Exploration 과정에서 최악의 행동이 선택될 수도 있는 문제가 발생한다. 이러한 문제점을 해결하기 위해 본 연구에서는 Softmax를 기반으로 다중 센서 노드 환경에서 데이터 패킷에 대한 Quality of Service (QoS) requirement 정확도를 높이기 위한 연구를 진행한다. 이 때 Temperature 매개변수를 사용하는데, 이는 새로운 정책을 Explore 하기 위한 매개변수이다. 본 논문에서는 시뮬레이션을 통하여 제안된 Softmax를 이용한 Q-learning 기반의 패킷 스케줄링 기법이 기존의 e-greedy를 이용한 Q-learning 기법에 비해 스케줄링 정확도 측면에서 우수함을 보인다.