Journal of the Korea Society for Simulation (한국시뮬레이션학회논문지)

The Korea Society for Simulation (한국시뮬레이션학회)
권호 표지
DOI QR코드

DOI QR Code

Validation Technique of Trace-Driven Simulation Model Using Weighted F-measure

가중 F 척도를 이용한 Trace-Driven 시뮬레이션 모델의 검증 방법

  • 황보훈 (고려대학교 정보경영공학부) ;
  • 천현재 (고려대학교 정보경영공학부) ;
  • 이홍철 (고려대학교 정보경영공학부)
  • Received : 2009.10.13
  • Accepted : 2009.11.30
  • Published : 2009.12.30
Download PDF
⟨ Previous Next ⟩

Abstract

As most systems get more complicated, system analysis using simulation has been taken notice of. One of the core parts of simulation analysis is validation of a simulation model, and we can identify how well the simulation model represents the real system with this validation process. The difference between input data of two systems has an effect on the comparison between a simulation model and a real system at validation stage, and the result with such difference is not enough to ensure high credibility of the model. Accordingly, in this paper, we construct a model based on Trace-driven simulation which uses identical input data with the real system. On the other hand, to validate a model by each class, not by an unique statistic, we validate the model using a metric transformed from F-measure which estimates performance of a classifier in data mining field. Finally, this procedure enables precise validation process of a model, and it helps modification by offering feedback at the validation phase.

최근 시스템들이 복잡해지면서 시뮬레이션을 통한 시스템의 분석이 주목을 받고 있다. 시뮬레이션 분석에서 가장 핵심적인 부분 중의 하나가 시뮬레이션 모델의 검증이며, 이 과정을 통하여 시뮬레이션 모델이 얼마나 실제 시스템을 대변할 수 있는지를 판단한다. 모델의 검증에서 시뮬레이션 모델과 실제시스템의 데이터를 비교할 때 발생하는 차이는 입력 데이터의 차이에 의한 영향도 있으며, 이를 통한 모델의 검증 결과는 높은 신뢰성을 보장하지 못한다. 따라서 이 논문에서는 실제와 동일한 입력 데이터를 바탕으로 하는 Trace-Driven 시뮬레이션을 기반으로 모델을 설계하였다. 한편, 출력데이터들을 하나의 통계량을 통한 검증이 아닌 클래스 별 검증을 하기 위해 데이터마이닝 분야에서 분류기의 성능을 판단하는 F 척도를 응용하여 시뮬레이션 모델의 검증을 수행하였다. 그 결과, 제안된 검증 방법은 정밀한 모델의 검증을 가능하게 하고, 검증 시에 피드백을 제공함으로써 용이한 수정 작업을 가능하게 한다.

Keywords

References

  1. 강석복, 우정수 (2002), 통계적 추정과 가설 검정, 경문사, pp. 156-318.
  2. 강석복, 우정수 (2008), 수리통계학의 이해, 경문사, pp. 291-358.
  3. 김대학, 박숙영 (2004), SPSS를 활용한 분산분석, 교우사, pp. 39-66.
  4. 김해경, 김태수 (2003), 시계열 분석과 예측 이론, 경문사,pp. 3-16.
  5. 최규정, 권용만, 장인홍, 이장재, 이정화 (2007), 이공계를 위한 확률과 통계학, 자유아카데미, pp. 265-277.
  6. Balci, o. (1994), "Validation, verification, and testing techniques throughout the life cycle of a simulation study", Annals of Operations Research, Vol. 53, pp. 121-173. https://doi.org/10.1007/BF02136828
  7. Balci, o. (1995), "Principles and techniques of simulation validation, verification, and testing", Proceedings of the 1995 Winter Simulation Conference.
  8. Chung, C. A. (2004), Simulation modeling handbook : a practical approach, CRC Press, pp. 8-4.
  9. Harrison, S. R. (1990), "Regression of a model on realsystem output: An invalid test of model validity", Agricultural systems, Vol. 34, No. 3, pp. 183-190. https://doi.org/10.1016/0308-521X(90)90083-3
  10. Kleijen, J. P. C. (1999), "Validation of models: statistical techniques and data availability", Simulation Conference, 1999. Proceedings of the 1999 Winter, pp. 647-654.
  11. Murray-Smith, D. J. (1998), "Methods for the external validation of continuous system simulation models", Mathematical and computer modelling of dynamic systems, Vol. 4, No. 1, pp. 5-31. https://doi.org/10.1080/13873959808837066
  12. Ross, S. M. (2006), Simulation 4th Ed., Elsevier Academic Press, pp. 294-306.
  13. Sargent, R. G. (2008), "Verification and Validation of Simulation Models", Proceedings of the 2008 Winter Simulation Conference.
  14. Banks, J., Carson, S. J., Nelson, L. B., and Nicol, M. D. (2005), Discrete-event system simulation 4th ed., Pearson Prentice Hall, pp. 305-346
  15. El A. K. and Rachid (2005), "Class-based weighted fair queueing: validation and comparison by trace-driven simulation", International journal of communication systems, Vol. 18, No. 10, pp. 975-994. https://doi.org/10.1002/dac.744
  16. Hu, D., Xie, C., and CaiBin, C. (2005), "A Study of Parallel Prefetching Algorithms Using Trace-Driven Simulation", Simulation Conference 1996. Proceedings of the 1996 Winter, pp. 352-359.
  17. Kleijnen, J. P. C., Bettonvil, B. and Van, G. W. (1996), "Validation of trace-driven simulation models: regression analysis revisited", Simulation Conference 1996. Proceedings of the 1996 Winter, pp. 352-359.
  18. Law, A. M. and Kelton, W. D. (2000), Simulation modeling and analysis 3rd Ed., McGraw-Hill, pp. 283-290.
  19. Lazarevic-McManus, N., Renno, J. R. and Makris, D. (2008), "An object-based comparative methodology for motion detection based on the F-Measure", Computer vision and image understanding : CVIU, Vol. 111, No. 1, pp. 74-85. https://doi.org/10.1016/j.cviu.2007.07.007
  20. Liu, F. and Yang, M. (2009), "An Optimal Design Method for Simulation Verification Validation and Accreditation Schemes", Simulation, Vol. 85, No. 6, pp. 375-386. https://doi.org/10.1177/0037549709103652
  21. McFarland, J. and Mahadevan, S. (2008), "Multivariate significance testing and model calibration under uncertainty", Computer methods in applied mechanics and engineering, Vol. 197, No. 29/32, pp. 2467-2479. https://doi.org/10.1016/j.cma.2007.05.030
  22. Smith, E. P. and Rose, K. A. (1995), "Model goodnessof- fit analysis using regression and related techniques", Ecological modelling, Vol. 77, No. 1, pp. 49-64. https://doi.org/10.1016/0304-3800(93)E0074-D
  23. Tan, P., Steinbach, M., and Kumar, V. (2006), Introduction to data mining, Pearson Addision Wesley, pp. 294- 306.
  24. Vasermanis, E. K., Nechval, K. N., and Nechval, N. A. (2003), "Statistical validation of simulation models of observable systems", Kybernetes, Vol. 32, No. 5/6, pp. 858-869. https://doi.org/10.1108/03684920210443932
  25. Wei, X. C. and Li, E. P. (2006), "Reflection of transmitting antenna in reverberation chamber and its effect on chi-square validation", Antennas and propagation society international symposium 2006, pp. 3573-3576.
  26. Witten, I. H. and Frank, E. (2005), Data Mining : Practical Machine Learning Tools and Techniques 2nd Ed., Morgan Kaufmann series in data management systems, pp. 161-176.
  27. Zhu, Q., Gelenbe, E., and Qiao, Y. (2008), "Adaptive prefetching algorithm in disk controllers", Performance evaluation, Vol. 65, No. 5, pp. 382-395. https://doi.org/10.1016/j.peva.2007.10.001