Balancing the Tradeoffs Between Exploration and Exploitation

As auctions become popular, developing good agent bidding strategies has been an important focus in agent-based electronic commerce research. Especially for the continuous double auctions where no single dominant strategy is known, the agent bidding strategy has practical significance. This paper introduces an adaptive agent strategy for the countinuous double auction. The central idea is to let the agent figure out at run time when the sophisticated strategy (called the p-strategy) is beneficial and when a simpler strategy is better. Balance between exploration and exploitation is achieved by using a heuristic exploration function that trades off the expected profits and the number of tries of each strategy. We have experimentally evaluated the performance of the adaptive strategy in a wide variety of environments. The experiment results indicate that the adaptive strategy outperforms the plain p-strategy when the p-strategy performs poorly, while it performs similar to the p-strategy when the p-strategy dominates the other simple strategies.

탐색 (Exploration)과 이용(Exploitation)의 상반관계의 균형에 관한 연구

전자상거래상에서 경매가 활발해짐에 따라 경매용 에이전트와 경매 에이전트의 비딩 스트레티지 개발에 관한 연구가 중요한 관심의 초점이 되고 있다. 특히, 우세한 스트레티지가 알려져 있지 않는 복잡한 경매 환경에서의 에이전트 스트레티지 개발은 실용적인 의미를 가지고 있다 이 논문은 최적의 스트레티지가 존재하지 않는 연속이중경매(Continuous Double Auction, CDA) 환경에서 사용할 수 있는 "적응성 스트레티지"를 소개한다. 적응성 스트레티지는 현재 알려져 있는 P-스트레티지에 실시간 적응력을 부가하는 것을 주 아이디어로 한다. 적응성 스트레티지는 여러 종류의 알려진 스트레티지들 중 이제까지 좋은 성능을 보여준 스트레티지를 계속 사용하려는 탐색(exploitation)과 바뀌어졌을지도 모르는 새로운 환경에 적합한 스트레티지를 찾아내려는 이용(exploration)간의 균형을 꾀하며, 이를 각 스트레티지의 기대이득과 실행횟수사이의 상반관계를 고려하는 휴리스틱 탐색 함수를 이용하여 결정한다. 실험분석의 결과, 적응성 스트레티지는 (1) P-스트레티지가 잘 작동하지 않는 환경에선 P-스트레티지보다 높은 이득을, (2) P-스트레티지가 다른 종류의 단순한 스트레티지를 앞서는 환경에서는 P-스트레티지와 비슷한 이득을 보인다.