The Automatic Coordination Model for Multi-Agent System Using Learning Method

학습기법을 이용한 멀티 에이전트 시스템 자동 조정 모델

  • 이말례 (국립여수대학교 멀티미디어학부) ;
  • 김상근 (성결대학교 컴퓨터학부)
  • Published : 2001.01.01

Abstract

Multi-agent system fits to the distributed and open internet environments. In a multi-agent system, agents must cooperate with each other through a coordination procedure, when the conflicts between agents arise. Where those are caused by the point that each action acts for a purpose separately without coordination. But previous researches for coordination methods in multi-agent system have a deficiency that they cannot solve correctly the cooperation problem between agents, which have different goals in dynamic environment. In this paper, we suggest the automatic coordination model for multi-agent system using neural network and reinforcement learning in dynamic environment. We have competitive experiment between multi-agents that have complexity environment and diverse activity. And we analysis and evaluate effect of activity of multi-agents. The results show that the proposed method is proper.

멀티 에이전트 시스템은 분산적이고 개방적인 인터넷 환경에 잘 부합된다. 멀티 에이전트 시스템에서는 각 에이전트들이 자신의 목적을 위해 행동하기 때문에 에이전트간 충돌이 발생하는 경우에 조정을 통해 협력할 수 있어야 한다. 그러나 기존의 멀티 에이전트 시스템에서의 에이전트 간 협력 방법에 관한 연구 방법들은 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협동 문제를 올바로 해결할 수 없다는 문제가 있었다. 본 논문에서는 신경망과 강화학습을 이용하여 목적 패턴을 정확히 결정할 수 없는 복잡하고 동적인 환경하에서 멀티 에이전트의 자동조정 모델을 제안한다. 이를 위해 복잡한 환경과 다양한 행동을 갖는 멀티 에이전트간의 경쟁 실험을 통해 멀티 에이전트들의 행동의 영향을 분석 평가하여 제안한 방법이 타당함을 보였다.

Keywords

References

  1. 정보윤 외2인, '강화학습을 이용한 멀티에이전트 시스템의 자동 협력 조정 모델', 한국인지과학회논문지, 제10권 제1호, pp.1-11, 1999
  2. Karia P. Sycara, 'Multiagent System,' AI MAGAZINE, Summer, 1998
  3. H. S. Nwana, L. Lee. and N. R. Jennings, 'Co-ordination in Multi-agent systems,' Software Agents and Soft Computing, Towards Enhancing Machine Intelligence, Concepts and Applications, Springer, 1997
  4. Peter Stone and Manuela Veloso, 'Multi-agent Systems : A Survey from a Machine Learning Perspective,' IEEE Trans. on Knowledge and Data Engineering, June, 1996
  5. Durfee E. H., Lesser V. R., and Corkill D. D., 'Coherent Cooperation among Communication Problem Solvers,' IEEE Trans. Computers, Vol.11, pp.1275-1291, 1987
  6. Hayes-Roth B, 'A Blackboard Architecture for Control,' Artificial Intelligence, No.25, pp.251-321, 1985 https://doi.org/10.1016/0004-3702(85)90063-3
  7. Smith R. G., 'The Contract Net Protocol : High-Level Communication and control in a Distributed Problem Solver,' IEEE Trans. On Computers. Vol.29. No.12, 1980 https://doi.org/10.1109/TC.1980.1675516
  8. Georgeff M., 'A Theory of Action for Multi-Agent Planning,' Proc. 1984 National Conf. Artificial Intelligence, pp. 121-125, August, 1984
  9. David C. Parkes and Lyle H Ungar, 'Learning and Adaption in Multiagent Systems,' AAAI workshop on Multiagent Learning Providence, June, 1997
  10. Kreifelt T. and von Martial F., 'A negotiation framework for autonomous agents,' in Demazeau Y. and Muller J. P.(Eds) : Decentrilazed AI2, Elsevier Science, 1991
  11. Werkman K. J., 'Knowledge-based model of negotiation using shareable perspectives,' Proc. Of the 10th International Workshop on DAI, Texas, 1990
  12. Sandip Sen and Edmund H. Durfee, 'The role of commitment in cooperative negotiation,' International Journal on Intelligent & Cooperative Information System, Vol.3, No.1, pp.67-81, 1994 https://doi.org/10.1142/S0218215794000053