Journal of Korea Society of Industrial Information Systems (한국산업정보학회논문지)

Korea Society of Industrial Information Systems (한국산업정보학회)
권호 표지
DOI QR코드

DOI QR Code

Deep Reinforcement Learning Based Distributed Offload Policy for Collaborative Edge Computing in Multi-Edge Networks

멀티 엣지 네트워크에서 협업 엣지컴퓨팅을 위한 심층강화학습 기반 분산 오프로딩 정책 연구

  • 정준호 (동의대학교 인공지능학과) ;
  • 윤주상 (동의대학교 인공지능학과)
  • Received : 2024.07.18
  • Accepted : 2024.10.08
  • Published : 2024.10.30
Download PDF
⟨ Previous Next ⟩

Abstract

As task offloading from user devices transitions from the cloud to the edge, the demand for efficient resource management techniques has emerged. While numerous studies have employed reinforcement learning to address this challenge, many fail to adequately consider the overhead associated with real-world offloading tasks. This paper proposes a reinforcement learning-based distributed offloading policy generation method that incorporates task overhead. A simulation environment is constructed to validate the proposed approach. Experimental results demonstrate that the proposed method reduces edge queueing time, achieving up to 46.3% performance improvement over existing approaches.

유저 디바이스의 태스크 오프로딩을 처리하는 위치가 클라우드에서 엣지로 이동함에 따라, 이를 효과적으로 처리하기 위한 자원 관리 기술의 필요성이 대두되고 있다. 많은 연구에서 강화 학습을 통해 이 문제를 해결하고자 하였으나, 실제 오프로딩 태스크에서 발생하는 오버헤드를 충분히 반영하지 못하였다. 본 논문에서는 태스크의 오버헤드를 고려한 강화학습 기반 분산 오프로딩 정책 생성 기법을 제안하고, 이를 검증하기 위한 시뮬레이션 환경을 구축하였다. 실험을 통해 해당 기법이 엣지의 큐 대기시간을 감소시켜 기존 기법 대비 최대 46.3%의 성능 향상이 있음을 보였다.

Keywords

Acknowledgement

본 논문은 과학기술정보통신부 및 정보통신기획평가원의 복합지능자율행동체SW핵심기술개발사업(RS-2024-00346798)과 부산광역시 및 (재)부산태크노파크의 BB21plus 사업으로 지원된 연구임.

References

  1. Abbas, N., Zhang, Y., Taherkordi, A. and Skeie, T. (2018). Mobile Edge Computing: A Survey, IEEE Internet of Things Journal, 5(1), 450-465. https://doi.org/10.1109/JIOT.2017.2750180.
  2. Ale, L., King, S. A., Zhang, N. and Sattar, A. R. (2021). Deep Reinforcement Learning Aided Task Partitioning and Computation Offloading in Mobile Edge Computing, The 2021 IEEE/CIC International Conference on Communications in China (ICCC), Nov. 28-30, Xiamen, China, pp. 340-345. https://doi.org/10.1109/ICCC52777.2021.9580392.
  3. Chen, J., Chen, S., Wang, Q., Cao, B., Feng, G. and Hu, J. (2019). iRAF: A Deep Reinforcement Learning Approach for Collaborative Mobile Edge Computing IoT Networks, IEEE Internet of Things Journal, 6(4), 7011-7024. https://doi.org/10.1109/JIOT.2019.2913162.
  4. Chung, M. S. and Lee, J. Y. (2018). Systemic Analysis of Research Activities and Trends Related to Artificial Intelligence(A.I.) Technology Based on Latent Dirichlet Allocation (LDA) Model, Journal of Korea Society of Industrial Information Systems, 23(3), 87-95.
  5. Kim, H. and Yu, Y. (2023). Development of a Regulatory Q&A System for KAERI Utilizing Document Search Algorithms and Large Language Model, Journal of Korea Society of Industrial Information Systems, 28(5), 31-39.
  6. Li, M., Gao, J., Zhao, L. and Shen, X. (2020). Deep Reinforcement Learning for Collaborative Edge Computing in Vehicular Networks, IEEE Transactions on Cognitive Communications and Networking, 6(4), 1122-1135. https://doi.org/10.1109/TCCN.2020.3003036.
  7. Li, Y., Qi, F., Wang, Z., Yu, X. and Shao, S. (2020). Distributed Edge Computing Offloading Algorithm Based on Deep Reinforcement Learning, IEEE Access, 8, 85204-85215. https://doi.org/10.1109/ACCESS.2020.2991773.
  8. Lim, H. and Suh, C. K. (2022). Visualization of the Intellectual Structure on the Internet of Things Focuses on the Industry 4.0, Journal of Korea Society of Industrial Information Systems, 27(6), 127-140.
  9. Satyanarayanan, M. (2017). The Emergence of Edge Computing, Computer, 50(1), 30-39. https://doi.org/10.1109/MC.2017.9.
  10. Schulman, J., Wolski, F., Dhariwal, P., Radford, A. and Klimov, O. (2017). Proximal Policy Optimization Algorithms, arXiv preprint arXiv:1707.06347.
  11. Sutton, R. S. and Barto, A. G. (1998). Reinforcement Learning: An Introduction, Cambridge, MA, MIT Press.