• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권3호
• /
• pp.179-188
• /
• 2008

멀티 에이전트 강화 학습에서 해결해야 할 중요한 문제는 자신의 작업 성능에 영향을 미칠 수 있는 다른 에이전트들이 존재하는 동적 환경에서 한 에이전트가 시행착오적 상호작용을 통해 어떻게 자신의 최적 행동 정책을 학습할 수 있느냐 하는 것이다. 멀티 에이전트 강화 학습을 위한 기존 연구들은 대부분 단일 에이전트 MDP 기반의 강화 학습기법들을 큰 변화 없이 그대로 적용하거나 비록 다른 에이전트에 관한 별도의 모델을 이용하더라도 다른 에이전트에 관해 요구되는 정보나 가정이 현실적이지 못하다는 한계점을 가지고 있다. 본 논문에서는 멀티 에이전트 강화 학습기술에 기초가 되는 기본 개념들을 정형화하고 이들을 기초로 기존 연구들의 특징과 한계점을 비교한다. 그리고 새로운 행동 정책 모델을 소개한 뒤, 이것을 이용한 강화 학습 방법을 설명한다. 본 논문에서 제안하는 멀티 에이전트 강화학습 방법은 상대 모델을 이용하는 기존의 멀티 에이전트 강화 학습 연구들에서 주로 시도되었던 상대 에이전트의 Q 평가 함수 모델 대신 상대 에이전트의 행동 정책 모델을 학습하며, 표현력은 풍부하나 학습에 시간과 노력이 많이 요구되는 유한 상태 오토마타나 마코프 체인과 같은 행동 정책 모델들에 비해 비교적 간단한 형태의 행동 정책 모델을 이용함으로써 학습의 효율성을 높였다. 또한, 본 논문에서는 대표적인 적대적 멀티 에이전트 환경인 고양이와 쥐게임을 소개하고, 이 게임을 테스베드삼아 비교 실험들을 수행하고 그 결과를 설명함으로써 본 논문에서 제안하는 정책 모델 기반의 멀티 에이전트 강화 학습의 효과를 분석해본다.

• Archives of Pharmacal Research
• /
• 제29권1호
• /
• pp.50-58
• /
• 2006

Translationally controlled tumor protein (TCTP), also known as histamine releasing factor (HRF), is found abundantly in different eukaryotic cell types. The sequence homology of TCTP between different species is very high, belonging to the MSS4/DSS4 superfamily of proteins. TCTP is involved in both cell growth and human late allergy reaction, as well as having a calcium binding property; however, its primary biological functions remain to be clearly elucidated. In regard to many possible functions, the TCTP of Plasmodium falciparum (Pf) is known to bind with an antimalarial agent, artemisinin, which is activated by heme. It is assumed that the endoperoxide-bridge of artemisinin is opened up by heme to form a free radical, which then eventually alkylates, probably to the Cys14 of PfTCTP. Study of the docking of artemisinin with heme, and subsequently with PfTCTP, was carried out to verify the above hypothesis on the basis of structural interactions. The three dimensional (3D) structure of PfTCTP was built by homology modeling, using the NMR structure of the TCTP of Schizosaccharomyces pombe as a template. The quality of the model was examined based on its secondary structure and biological function, as well as with the use of structure evaluating programs. The interactions between artemisinin, heme and PfTCTP were then studied using the docking program, FlexiDock. The center of the peroxide bond of artemisinin and the Fe of heme were docked within a short distance of $2.6{\AA}$, implying the strong possibility of an interaction between the two molecules, as proposed. When the activated form of artemisinin was docked on the PfTCTP, the C4-radical of the drug faced towards the sulfur of Cys14 within a distance of $2.48{\AA}$, again suggesting the possibility of alkylation having occurred. These results confirm the proposed mechanism of the antimalarial effect of artemisinin, which will provide a reliable method for establishing the mechanism of its biological activity using a molecular modeling study.

• 한국콘텐츠학회논문지
• /
• 제14권1호
• /
• pp.537-547
• /
• 2014

본 논문에서는 ALT 보드와 NetLogo 확장 모듈을 개발하여 능동적 참여 모의실험 (Active Participatory Simulation: APS) 학습이 가능하도록 한다. 기존 참여 모의실험 학습에서도 실험이 수행되는 동안 학생들은 HubNet을 통하여 클라이언트로서 실험에 참여할 수 있다. 하지만 HubNet 서버만이 하나의 외부 모듈과 연결되기 때문에 다수의 클라이언트가 참여하는 이중초점 모델링 기반 학습이 불가능하다. 따라서 클라이언트의 참여와 실험 및 측정 데이터를 수집하기 위하여 ATmega32 기반의 ALT 보드를 개발한다. 또한 이 입력된 데이터를 HubNet 서버와 교환할 수 있는 TCP/IP 소켓 기반 Java 확장 모듈을 개발한다. ALT 보드와 확장 모듈을 통하여 APS 학습 환경 구축이 가능하다. 이를 위한 NetLogo 프로그래밍 방법을 소개하고 학습 예시를 보여 과학교육에 활용될 수 있는 방안을 모색한다.

• 한국자동차공학회논문집
• /
• 제15권1호
• /
• pp.8-15
• /
• 2007

Freeway corridors consist of urban freeways and parallel arterials that drivers can use alternatively. Ramp metering in freeways and signal control in arterials are contemporary traffic control methods that have been developed and applied in order to improve traffic conditions of freeway corridors. However, most of the existing studies have focused on either optimal ramp metering in freeways, or progression signal strategies between arterial intersections. There have been no traffic control systems in Korea that integrates the freeway ramp metering and arterial signal control. The effective control strategies for freeway operations may cause negative effects on arterial traffic. On the other hand, traffic congestion and bottleneck phenomenon of arterials due to the increasing peak-hour travel demand and ineffective signal operation may generate an accessibility problem to freeway ramps. Thus, the main function of the freeway which is the through-traffic process has not been successful. The purpose of this study is to develop an integrated control model that connects freeway ramp metering systems and signal control systems in arterial intersections. And Optimization of integrated control model which consists of ramp metering and signal control is another purpose. The design of experiment, neural network, and simulated annealing are used for optimization.

• 한국정보통신학회논문지
• /
• 제23권9호
• /
• pp.1038-1048
• /
• 2019

최근, 선박의 항해 안전을 지원하기 위한 다양한 시스템이 개발되고 있다. 이러한 시스템의 유용성을 검증하기 위해서는 실제 선박에 탑재하여 운용해보는 것이 가장 이상적이나 현실적으로는 많은 어려움이 존재한다. 그 대안으로 모델링 및 시뮬레이션(M&S) 기법을 적용한 유용성 검증 방법이 요구된다. 현실과 가장 가까운 선박 조종 시뮬레이터(FMSS)는 구축비용이 수억에서 수십억에 달하는 등 매우 고가이고, 운용을 위한 전문 인력이 필요하다는 한계가 존재한다. 이러한 이유로, 본 논문에서는 이산사건 시스템 명세(DEVS) 형식론 기반의 선박 항해 모델링 및 시뮬레이션을 통한 항해 안전 지원 시스템을 검증하기 위한 방법을 제안한다. 그 첫 단계로 SES/MB 프레임워크를 기반으로 항해 시뮬레이션 아키텍처를 설계하고, DEVS 형식론을 기반으로 선박 핵심 장비 및 항해사 에이전트를 모델링하는 것에 관한 내용을 기술한다. 이러한 내용을 바탕으로 선박 항해 시뮬레이션 시스템을 구현하고, 다양한 시나리오를 통해 충돌회피 시뮬레이션 등과 같은 항해 안전 지원 요소의 효과도 평가가 가능할 것으로 판단된다.

• 한국정보시스템학회지:정보시스템연구
• /
• 제12권2호
• /
• pp.57-72
• /
• 2003

The purpose of this paper is to propose the modeling of multiagent based SCM and implement the prototype in the Internet environment. SCM process follows the supply chain operations reference (SCOR) model which has been suggested by Supply Chain Counsil. SCOR model has been positioned to become the industry standard for describing and improving operational process in SCM. Five basic processes, plan, source, matte, deliver and return are defined in the SCOR model, through which a company establishes its supply chain competitive objectives. A supply chain is a world wide network of suppliers, factories, warehouses, distribution centers and retailers through which raw materials are acquired, transformed or manufactured and delivered to customers by autonomous or semiautonomous process. With the pressure from the higher standard of customer compliance, a frequent model change, product complexity and globalization, the combination of supply chain process with an advanced infrastructure in terms of multiagent systems have been highly required. Since SCM is fundamentally concerned with coherence among multiple decision makers, a multiagent framework based on explicit communication between constituent agents such as suppliers, manufacturers, and distributors is a natural choice. Multiagent framework is defined to perform different activities within a supply chain. Dynamic and changing functions of supply chain can be dealt with multi-agent by cooperating with other agents. In the areas of inventory management, remote diagnostics, communications with field workers, order fulfillment including tracking and monitoring, stock visibility, real-time shop floor data collection, asset tracking and warehousing, customer-centric supply chain can be applied and implemented utilizing multiagent. In this paper, for the order processing event between the buyer and seller relationship, multiagent were defined corresponding to the SCOR process. A prototype system was developed and implemented on the actual TCP/IP environment for the purchase order processing event. The implementation result assures that multiagent based SCM enhances the speed, visibility, proactiveness and responsiveness of activities in the supply chain.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 추계 학술대회 학술발표 논문집
• /
• pp.27-30
• /
• 2003

웹 기반하에서 사용자의 질의에 대한 효율적인 검색결과를 제공하기 위하여 다양한 검색 알고리즘들이 개발되어 왔으며, 이러한 알고리즘들의 대부분은 사용자의 선호도나 편의성을 고려하였다. 그러나 지금까지 개발된 검색 알고리즘들은 일반적으로 웹이라는 수평의 비계층적인 웹 환경에서 개발된 것으로서 기업의 전사적 네트워크와 같이 계층적이고 기능적으로 복잡하게 구성되어 있는 웹 기반 환경에서는 적용하기가 힘든 실정이다. 본 논문에서는 이러한 특수한 웹 기반 환경하에서 사용자에게 효율적으로 마이닝 결과를 제공할 수 있는 멀티-에이전트 기반의 웹 마이닝 시스템을 제안한다. 이를 위해 우리는 계층적 웹 기반 환경이라는 네트워크 모델을 제시하며, 제시된 웹 환경에서 적용할 수 있는 4개의 협력 에이전트와 14개의 프로세스 모듈을 가진 멀티-에이전트 기반의 웹 마이닝 시스템을 설계한다. 그리고 각 에이전트에 대한 세부기능을 계층적 환경을 고려하여 모듈별로 설명하며 특히, 새로운 머징 에이전트와 개선된 랭킹 알고리즘을 그래프 이론을 적용하여 제안한다.

• 한국경영과학회:학술대회논문집
• /
• 대한산업공학회/한국경영과학회 2004년도 춘계공동학술대회 논문집
• /
• pp.458-462
• /
• 2004

eSCM은 고객과의 주 접촉 수단으로써 다른 어떤 수단보다 비용절감과 시간적 공간적 제약을 극복할 수 있는 인터넷을 통해 공급체인을 구성하고 있는 모든 기업을 하나로 묶어 네트워크를 형성함으로써, 정보공유와 커뮤니케이션을 가능하게 하여 네트워크상의 모든 자원의 효율을 높이는 것을 목적으로 한다. 이러한 공급체인상의 모든 구성원 간의 통합이 실질적으로 효과를 나타내기 위해서는 조정된 방법으로 운영되어야 한다. 기업 환경의 새로운 변화에 유연하게 대처, 구성원간의 거래에서 정상 루트를 벗어난 예측하지 못했던 상황 즉, 고객의 변심에 따른 주문량 변경/취소, 계절적 요인으로 인한 주문량 폭주, 원자재/부품의 공급지연에 대한 납기 일정 수정 등에 대해 능동적이고 자율적으로 대처할 수 있는 공급체인 내에 Intelligent 기능을 가진 조정 에이전트를 적용한 개선된 공급체인 도입을 요구하고 있다. 따라서 본 연구에서는 eSCM의 구성원을 에이전트로 나타내어 이를 바탕으로 조정 에이전트 기반의 eSCM을 모델링하고 시뮬레이션을 통하여 그 조정 능력을 분석한다.

• 한국생물정보학회:학술대회논문집
• /
• 한국생물정보시스템생물학회 2003년도 제2차 연례학술대회 발표논문집
• /
• pp.61-65
• /
• 2003

암의 성장을 정확하게 예측할 수 있다면 암으로 고통 받는 많은 사람들에게 적절한 치료 및 처방을 내릴 수 있을 것이다. 그 동안 암의 성장을 예측하기 위하여 많은 연구가 진행되어왔는데 크게 나누어 하향식 설계 방법과 상향식 설계 방법이 있다. 하향식 방법은 전체적인 흐름을 파악하기는 쉽지만, 지역적 특성을 고려하기 어렵다는 단점이 있고, 상향식 방법은 지역적 특성은 고려하기 쉽지만, 전체적인 흐름을 파악하기 어려운 단점이 있다. 본 논문에서는 두 가지 방법을 혼합한 방법을 사용하여 지역적으로는 불규칙적인 암의 성장 모습과 암이 다른 조직으로 전이되는 모습을 동시에 관찰 할 수 있게 하였다. 아울러 시뮬레이션된 암의 모형이 실제 임상학적인 모습과 유사하다는 것을 발견하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
• /
• pp.305-310
• /
• 2010

최근 세계화의 흐름 속에 경제영역에서 더 높은 수준의 국가간 협력과 공조를 필요로 하는 실정이다. 하지만 복잡한 이해관계 속에서 적절한 무역 전략을 취하는 것은 쉬운 일이 아니다. 본 논문에서는 무역정책의 방향을 수립함에 참고하기 위한 방법으로, 국제 무역의 주체가 되는 국가를 진화 에이전트로 구성하고 이차원 공간상에 배치시켜 국제무역현상을 모델링 하였다. 국가 에이전트는 다양한 속성을 기반으로 구성되며, 진화 연산을 적용하여 무역 전략을 국제무역정세에 따라 동적으로 변화하도록 하였다. 국제무역에서 중요한 요인인 국가협력관계와 상대적 무역정책에서 파생되는 무역이익은 게임이론을 적용하여 모델링하였다. 다수의 실험을 통하여 본 모델링 방법이 실제 무역 현상을 재현함을 확인하였으며, 특히 상대 국가별 발전 정도에 따라 정책을 변화시키는 것이 자국의 이익을 추구에 중요한 요소임을 확인하였다.