• 제목/요약/키워드: Dynamic Coordination

검색결과 176건 처리시간 0.022초

Explicit Dynamic Coordination Reinforcement Learning Based on Utility

  • Si, Huaiwei;Tan, Guozhen;Yuan, Yifu;peng, Yanfei;Li, Jianping
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권3호
    • /
    • pp.792-812
    • /
    • 2022
  • Multi-agent systems often need to achieve the goal of learning more effectively for a task through coordination. Although the introduction of deep learning has addressed the state space problems, multi-agent learning remains infeasible because of the joint action spaces. Large-scale joint action spaces can be sparse according to implicit or explicit coordination structure, which can ensure reasonable coordination action through the coordination structure. In general, the multi-agent system is dynamic, which makes the relations among agents and the coordination structure are dynamic. Therefore, the explicit coordination structure can better represent the coordinative relationship among agents and achieve better coordination between agents. Inspired by the maximization of social group utility, we dynamically construct a factor graph as an explicit coordination structure to express the coordinative relationship according to the utility among agents and estimate the joint action values based on the local utility transfer among factor graphs. We present the application of such techniques in the scenario of multiple intelligent vehicle systems, where state space and action space are a problem and have too many interactions among agents. The results on the multiple intelligent vehicle systems demonstrate the efficiency and effectiveness of our proposed methods.

Analytical Study of the Impact of the Mobility Node on the Multi-channel MAC Coordination Scheme of the IEEE 1609.4 Standard

  • Perdana, Doan;Cheng, Ray-Guang;Sari, Riri Fitri
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권1호
    • /
    • pp.61-77
    • /
    • 2017
  • The most challenging issues in the multi-channel MAC of the IEEE 1609.4 standard is how to handle the dynamic vehicular traffic condition with a high mobility, dynamic topology, and a trajectory change. Therefore, dynamic channel coordination schemes between CCH and SCH are required to provide the proper bandwidth for CCH/SCH intervals and to improve the quality of service (QoS). In this paper, we use a Markov model to optimize the interval based on the dynamic vehicular traffic condition with high mobility nodes in the multi-channel MAC of the IEEE 1609.4 standard. We evaluate the performance of the three-dimensional Markov chain based on the Poisson distribution for the node distribution and velocity. We also evaluate the additive white Gaussian noise (AWGN) effect for the multi-channel MAC coordination scheme of the IEEE 1609.4 standard. The result of simulation proves that the performance of the dynamic channel coordination scheme is affected by the high node mobility and the AWGN. In this research, we evaluate the model analytically for the average delay on CCHs and SCHs and also the saturated throughput on SCHs.

멀티 태스크 수행을 위한 멀티에이전트의 동적 협력그래프 생성과 MAX-PLUS 방법을 통한 행동결정 (Action Selection of Multi-Agent by dynamic coordination graph and MAX-PLUS algorithm for Multi-Task Completion)

  • 김정국;임기현;이상훈;서일홍
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2006년도 하계종합학술대회
    • /
    • pp.925-926
    • /
    • 2006
  • In the multi-agent system for a single task, the action selection can be made for the real-time environment by using the global coordination space, global coordination graph and MAX-PLUS algorithm. However, there are some difficulties in multi-agent system for multi-tasking. In this paper, a real-time decision making method is suggested by using coordination space, coordination graph and dynamic coordinated state of multi-agent system including many agents and multiple tasks. Specifically, we propose locally dynamic coordinated state to effectively use MAX-PLUS algorithm for multiple tasks completion. Our technique is shown to be valid in the box pushing simulation of a multi-agent system.

  • PDF

Comparison of Sitting Balance and Coordination in Children with Spastic Cerebral Palsy Using the Korean Version of Trunk Impairment Scale (K-TIS)

  • Jung, Hye-Rim;Choi, Young-Eun
    • 대한물리의학회지
    • /
    • 제14권4호
    • /
    • pp.37-44
    • /
    • 2019
  • PURPOSE: The purpose of this study was to compare sitting balance and coordination spastic cerebral palsy in children using the Korean version of Trunk Impairment Scale (K-TIS) as well as to provide basic data about effective postural control treatment for clinicians handling these two types. METHODS: The K-TIS was measured in 29 children diagnosed with diplegic and quadriplegic cerebral palsy (18 with diplegia and 11 with quadriplegia). The average and standard scores of the children's K-TIS subscales and items of the two groups were measured. The two groups' subscales and items were analyzed by using the Mann-Whitney U test. RESULTS: Static sitting balance, dynamic sitting balance, coordination, and total score for children with diplegia were statistically high (p<.05). For all items under static sitting balance, the score for children with diplegia was higher. The first differences in the repeated items of dynamic sitting balance and coordination area that rotates between the upper and lower body were presented. CONCLUSION: The difference in balance and coordination in sitting positions is exhibited in children with diplegia and quadriplegia. For children with spastic quadriplegia, treatments should focus on static sitting balance and coordination, together with a focus on dynamic sitting balance and coordination.

웹 서비스를 위한 예외 상황 기반 동적 서비스 연결 프레임워크 (Exception based Dynamic Service Coordination Framework for Web Services)

  • 한동수;이성독;정종하
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권8호
    • /
    • pp.668-680
    • /
    • 2006
  • 인터넷상에서 접근 가능한 웹 서비스는 가용성 및 성능적 측면에서 신뢰성이 항상 보장되지는 못한다. 동적 서비스 연결 (dynamic service coordination) 기법은 웹 서비스를 호출하는 시스템이나 응용 프로그램에서 이 같이 신뢰할 수 없는 상황에 대처할 수 있는 꼭 필요한 기술이다. 웹 서비스의 신뢰적인 호출을 보장해 주기 위해서 동적 서비스 연결 기법에서는 특정 웹 서비스가 정해진 시간 내에서 응답하지 못할 경우 실행 중에 해당 웹 서비스를 다른 웹 서비스로 대체하여 수행한다. 본 논문에서는 웹 서비스를 위한 예외 상황 기반 동적 서비스 연결 프레임워크를 제안한다. 이 프레임워크에서 동적 서비스 연결에 필요한 모든 정보들은 속성 (attributes) 집합 형태에 의해서 명시적으로 기술된다. 본 논문에서 고안된 동적서비스 연결 기법은 기술된 속성 정보를 기반으로 동적 서비스 연결이 가능한 클래스 또는 워크플로우를 자동으로 생성하고, 생성된 클래스 함수를 통해 웹 서비스를 간접적으로 호출함으로써 신뢰성 있는 웹 서비스 호출을 지원한다. 제안된 방식은 웹 서비스 호출 작업이 간접적으로 이뤄지기 때문에 이에 초래되는 약간의 성능적 손실을 피할 수는 없지만, 이 방법을 통해서 얻어지는 시스템의 유연성 (flexibility) 과 신뢰성 (reliability)를 고려할 때, 다소의 성능적 손실은 많은 경우에 있어서 허용될 수 있을 것으로 예상된다.

동적 차량경로 문제에 대한 분산 알고리즘 (A Decentralized Coordination Algorithm for a Highly Dynamic Vehicle Routing Problem)

  • 이반스 소와 옥포티;정인재
    • 산업경영시스템학회지
    • /
    • 제42권4호
    • /
    • pp.116-125
    • /
    • 2019
  • The Dynamic Vehicle Routing Problem (DVRP) involves a combinatorial optimization problem where new customer demands become known over time, and old routes must be reconfigured to generate new routes while executing the current solution. We consider the high level of dynamism problem. An application of highly dynamic DVRP is the ambulance service where a patient contacts the service center, followed by an evaluation of case severity, and a visit by a practitioner/ ambulance is scheduled accordingly. This paper considers a variant of the DVRP and proposes a decentralized algorithm in which collaborators (Depot and Vehicle), both have only partial information about the entire system. The DVRP is modeled as a periodic re optimization of VRP using the proposed decentralized algorithm where collaborators exchange local information to achieve the best global objective for the current state of the system. We assume the existence of a dispatcher e.g., headquarter of the company who can communicate to vehicles in order to gather information and assigns the new visits to them. The effectiveness of the proposed decentralized coordination algorithm is further evaluated using benchmark data given in literature. The results show that the proposed method performed better than the compared algorithms which utilize the centralized coordination in 12 out of 21 benchmark problems.

학습기법을 이용한 멀티 에이전트 시스템 자동 조정 모델 (The Automatic Coordination Model for Multi-Agent System Using Learning Method)

  • 이말례;김상근
    • 정보처리학회논문지B
    • /
    • 제8B권6호
    • /
    • pp.587-594
    • /
    • 2001
  • 멀티 에이전트 시스템은 분산적이고 개방적인 인터넷 환경에 잘 부합된다. 멀티 에이전트 시스템에서는 각 에이전트들이 자신의 목적을 위해 행동하기 때문에 에이전트간 충돌이 발생하는 경우에 조정을 통해 협력할 수 있어야 한다. 그러나 기존의 멀티 에이전트 시스템에서의 에이전트 간 협력 방법에 관한 연구 방법들은 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협동 문제를 올바로 해결할 수 없다는 문제가 있었다. 본 논문에서는 신경망과 강화학습을 이용하여 목적 패턴을 정확히 결정할 수 없는 복잡하고 동적인 환경하에서 멀티 에이전트의 자동조정 모델을 제안한다. 이를 위해 복잡한 환경과 다양한 행동을 갖는 멀티 에이전트간의 경쟁 실험을 통해 멀티 에이전트들의 행동의 영향을 분석 평가하여 제안한 방법이 타당함을 보였다.

  • PDF

다이나믹 프로그래밍에 의한 두 대의 로보트를 위한 최소시간 경로계획 (A Near Minimum-Time Trajectory Planning for Two Robots Using Dynamic Programming Technique)

  • 이지홍;오영석
    • 전자공학회논문지B
    • /
    • 제29B권11호
    • /
    • pp.36-45
    • /
    • 1992
  • A numerical trajectory planning method for path-constrained trajectory planning is proposed which ensures collision-free and time-optimal motions for two robotic manipulators with limited actuator torques and velocities. For each robot, physical constraints of the robots such as limited torques or limited rotational velocities of the actuators are converted to the constraints on velocity and acceleration along the path, which is described by a scalar variable denoting the traveled distance from starting point. Collision region is determined on the coordination space according to the kinematic structures and the geometry of the paths of the robots. An Extended Coordination Space is then constructed` an element of the space determines the postures and the velocities of the robots, and all the constraints described before are transformed to some constraints on the behaviour of the coordination-velocity curves in the space. A dynamic programming technique is them provided with on the discretized Extended Coordination Space to derive a collision-free and time-optimal trajectory pair. Numerical example is included.

  • PDF

IEEE 802.11 Distributed Coordination Function에서 충돌방지를 위한 동적인 최소 경쟁윈도우의 적용 (A Dynamic Minimum Contention Window for Collision Resolution in IEEE 802.11 Distributed Coordination Function))

  • 우성제;이태진
    • 한국통신학회논문지
    • /
    • 제29권9A호
    • /
    • pp.1075-1082
    • /
    • 2004
  • 무선랜은 우선으로 근거리 디바이스들을 연결하는 통신기술로 IEEE 의 802.11 이 대표적인 프로투콜로 사용되 고 있다 IEEE 802.11 에서 정의된 DCF (Distributed Coordination Fun 이 ion) 는 사용 4 가 증가하고 부하가 커질수록 전송률 ,throughput) 과 데이터 손실률 -(drop rate) 이 커지는 단점을 가지고 있다. 본 논문에서는 무선랜 환경에서 효율적인 최소 동적윈도우 (CWmin) 의 적용을 통한 성능향상방법을 제안하고 분석과 시율레이션을 통해 제안하는 방법이 기존 DCF 보다 성능이 향상됨을 입증한다. 제안하는 동적최소윈도우 방법은 우선 스테이션의 개수가 증가 할수록 , 무선네트워크에 걸리는 부하가 커질수록 성능향상정도가 더욱 커지게 된다. 따라서 향후 고밀도 무선랜 환경에서 효과적일 것이라 기대된다.

강화학습을 이용한 멀티 에이전트 시스템의 자동 협력 조정 모델 (An Automatic Cooperative coordination Model for the Multiagent System using Reinforcement Learning)

  • 정보윤;윤소정;오경환
    • 인지과학
    • /
    • 제10권1호
    • /
    • pp.1-11
    • /
    • 1999
  • 최근 에이전트 기반 시스템 기술은 소프트웨어 시스템의 개념화, 설계, 구현을 위한 새로운 패러다임을 제공하며 많은 기대를 받아왔다. 특히 멀티 에이전트 시스템은 분산적이고 개방적인 인터넷 환경에 잘 부합되는 특징을 가지고 있어서 많은 연구가 진행되고 있다. 멀티 에이전트 시스템에서는 각 에이전트들이 자신의 목적을 위해 행동하기 때문에 에이전트간 충돌이 발생하는 경우에 조정을 통해 협력할 수 있어야 한다. 그러나 기존의 멀티 에이전트 시스템에서의 에이전트 간 협력 방법에 관한 연구 방법들은 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협동 문제를 올바로 해결할 수 없다는 문제가 있었다. 본 논문에서는 강화학습을 이용한 자동 역할 조정 방법을 통하여 에이전트가 처한 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협력 문제를 해결한다. 이를 위하여 멀티 에이전트 시스템 분야의 전통적인 문제인 추적 문제에 동적 환경과 서로 다른 목표를 갖는 에이전트들을 모델 링 하여, 두 가지 수정된 추적 문제를 제안하고 이 문제의 해결을 통하여 제안한 방법이 타당함을 보였다.

  • PDF