효율적인 자원 사용을 위한 예측기반 동적 쓰레드 풀 기법

Prediction-based Dynamic Thread Pool Model for Efficient Resource Usage

  • 발행 : 2004.04.01

초록

본 논문에서는 다중 쓰레드 기반의 서버 프로그래밍을 위한 예측 기반의 동적 쓰레드 풀 기법을 제안하였다. 기존의 쓰레드 풀(Thread fool) 모델은 고정된 쓰레드 풀(Hounded Thread Pool)모델로, 서버에 최적화된 개수의 쓰레드를 유지하면서 다수의 요청에 대해 빠르게 응답할 수 있다는 장점이 있으나, 사용자의 접속이 적을 경우에도 고정된 시스템 자원을 점유하여야 하므로, 자원의 효율적인 사용에 문제가 있다. 이를 극복하기 위해 동적으로 쓰레드 풀의 크기를 변경하는 워터마크 쓰레드 풀 모델이 개발되었고, 본 논문에서는 이를 기반으로 지수평균을 사용하여 앞으로 필요한 쓰레드의 개수를 예측하고 쓰레드를 사전에 생성하여 더욱 효율적으로 자원을 활용하도록 하는 예측기반의 동적 쓰레드 풀 기법을 제안하였다. 제안한 기법은 사용자의 요청이 많을 경우 사용자 요청에 대한 응답시간을 빠르게 하구 요청 량이 적을 경우에는 불필요한 자원을 점유하지 않게 하여 기존의 워터마크 쓰레드 풀 모델에 비해 보다 성능이 좋고 자원을 효율적으로 활용함을 실험을 통해 확인하였다.

A dynamic thread pool model is one of a multi-thread server programming model that handles many requests from users concurrently. In most cases, bounded thread pool model is used for server programming. Because it reduces a thread overhead by creating a pool of threads in advance, it ran response more quickly to users' requests. But this model always occupies system resource when there are small amount of requests, which prevents other applications from using available resources. In this paper, for the utilization of occupied but unused resources, we proposed and implemented a prediction-based dynamic thread pool scheme using customized exponential average. From the experiments, we show that this scheme outperforms hounded thread pool model and uses small resources.

키워드

참고문헌

  1. D. Schmidt, I. Pyarali, M. Spivak, and R. Cytron, 'Evaluating and Optimizing Thread Pool Strategies for Real-Time CORBA,' ACM SIGPLAN Notices, Vol 36, No 8, pp. 214-222, August 2001 https://doi.org/10.1145/384196.384226
  2. D. Schmidt and S. Vinoski, 'Object Interconnections: Comparing Alternative Programming Techniques for Multi-threaded Servers-the Thread-Pool Concurrency Model,' C++ Report, SIGS, Vol 8, No 4, April 1996
  3. DynamicTAODocumentation, http://choices.cs.uiuc.edu/2k/dynamicTAO/doc/
  4. D. Schmidt, 'Evaluating Architectures for Multithreaded CORBA Object Request Brokers,' Communications of the ACM, Special Issue on CORBA, ACM, edited by Krishnan Seetharaman, Volume 41, No. 10, October 1998 https://doi.org/10.1145/286238.286248
  5. D. Schmidt and S. Vinoski, 'Object Interconnections: Comparing Alternative Programming Techniques for Multi-threaded Servers-the Threadper-Request Concurrency Model,' C++ Report, SIGS, Vol. 8, No 2, February 1996
  6. M. Welsh, S. Gribble, E. Brewer, and D. Culler, 'A Design Framework for Highly Concurrent Systems,' Technical Report DCB/CSD-00-1108, DC Berkeley, April 2000
  7. J. Kurose and K. Ross, 'Computer Networking: a top-down approach featuring the Internet,' Addison Wesley, 2001
  8. A. Silberschartz and P. Galvin, 'Operating System Concepts,' Addison Wesley, 1997
  9. A. Concepcion, C. Stanton, and J. Tomer, 'Generic Tutorial System for the Sciences,' http://gtss.math.csusb.edu/, 1997