• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.585-586
• /
• 2020

공정 데이터를 실시간으로 수집할 수 있는 스마트 팩토리의 장점을 활용하여, 일반적인 기계 학습 대신 강화 학습을 사용한다면 미리 요구되는 훈련 데이터 없이 행동 제어를 할 수 있다. 하지만, 현실 세계에서는 물리적 마모, 시간적 문제 등으로 인해 수천만 번 이상의 반복 학습이 불가능하다. 따라서, 본 논문에서는 시뮬레이터를 활용해 스마트 팩토리 분야에서 복잡한 환경 중 하나인 이송 설비에 초점을 둔 그리드 분류 시스템을 개발하고 협력적 다중 에이전트 기반의 강화 학습을 설계하여 효율적인 행동 제어가 가능함을 입증한다.

• KIPS Transactions on Computer and Communication Systems
• /
• v.11 no.9
• /
• pp.281-288
• /
• 2022

AGVs are often used in industrial applications to transport heavy materials around a large industrial building, such as factories or warehouses. In particular, in fulfillment centers their usefulness is maximized for automation. To increase productivity in warehouses such as fulfillment centers, sophisticated path planning of AGVs is required. We propose a scheme that can be applied to QMIX, a popular cooperative MARL algorithm. The performance was measured with three metrics in several fulfillment center layouts, and the results are presented through comparison with the performance of the existing QMIX. Additionally, we visualize the transport paths of trained AGVs for a visible analysis of the behavior patterns of the AGVs as heat maps.

• Journal of the Korea Society for Simulation
• /
• v.27 no.1
• /
• pp.1-13
• /
• 2018

Earthwork planning is one of the critical issues in a construction process management. For the construction process management, there are some different approaches such as optimizing construction with either mathematical methodologies or heuristics with simulations. This paper propose a simulated earthwork scenario and an optimal path for the simulation using a reinforcement learning. For reinforcement learning, we use two different Markov decision process, or MDP, formulations with interacting excavator agent and truck agent, sequenced learning, and independent learning. The simulation result shows that two different formulations can reach the optimal planning for a simulated earthwork scenario. This planning could be a basis for an automatic construction management.

• Proceedings of the Korea Information Assurance Society Conference
• /
• 2004.05a
• /
• pp.297-302
• /
• 2004

Internet becomes absolutely necessary tools due to rapid progress of information technology. Educational correspondence abount an age of information demand is a education focused on a learner and remote education based on information technology. WBI(Web Based Instruction) is a formation that remotly educate a learner using web, possible mutual reaction between instructor and learner, submint various studying material, has a good point to overcome spatial restriction. Internal and external standardization working is accelerated and recently XML security studies are activated using XML which is next generation web standard document format. And XML electronic signature raise interworking between digital signature systems used by various field of using XML document. Using these merit and complementing defect are main contents that users have to pay about Certification service to get CA certificate from 2004 june. This paper propose multiplex Certification remote education agent system using XML digital signature to satisfy security requirement.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.202-204
• /
• 2001

가상 세계의 공유 개념은, 특히 사용자들이 인터넷 같이 대규모 네트웍을 통해 지역적으로 분산된 경우는 복제가 수용할 수 있는 상호작용 성능을 제공하기 때문에 각 사용자의 사이트에 정보를 복제함으로써 확장된다. 그러나, 다수의 동시 갱신은 replicas간의 일관되지 않은 뷰를 일으키게 될 것이다. 따라서, 동시성 제어가 복제자들간에 일관된 상태를 유지하도록 하기 위한 중요한 요소가 된다. 우리는 단지 대상 객체의 주변에 있는 사용자들만이 소유권 요청을 다중 전송하게 하는 확장성 있는 예측기반 동시성 제어 스킴을 제안했었다. 이 작업에서, 우리는 모든 사용자들이 동일한 속도론 가지고 가상 세계를 이동한다고 가정했다. 이것은, 그러나, 좀더 사실성을 더하기 위해 사용자가 가상 세계와 상호작용을 할 매 그들의 이동속도를 변경하도록 하는 네트웍 게임같은 네트웍 가상 환경에서는 너무 common 하다. 본 논문은 다양한 속도를 가진 사자를 지원하기 위한 확장을 제안한다. 확장된 스킴은 다른 속도의 수만큼의 다중 Entity Radii를 가지며 각 속도를 가진 사용자에게 분리된 큐를 할당한다. 각 큐는 다음 소유자 후보를 예측하기 위해 동시에 예측을 수행하고 선택된 후보들간에서 최소의 Predicted Collision Time을 가지는 최종 후보자가 선택된다. 이는 사용자의 속도에 기반을 둔 적절한 Entity Radius를 사용함으로써 소유권의 timely advanced transfer과, 다른 이돔 속도와 latency를 가지는 사용자들 간의 간섭을 줄임으로써 공정(공평)한 소유권 양도, 그리고 불필요한 소유권 전송을 줄임으로써 놓은 예측 정확도를 제공한다.성을 지닌 AMMQL 학습법은 로봇축구와 같이 끊임없이 실시간적으로 변화가 일어나는 다중 에이전트 환경에서 특히 높은 효과를 볼 수 있다. 본 논문에서는 AMMQL 학습방법의 개념을 소개하고, 로봇축구 에이전트의 동적 위치 결정을 위한 학습에 어떻게 이 학습방법을 적용할 수 있는지 세부 설계를 제시한다.다.으로서 hemicellulose구조가 polyuronic acid의 형태인 것으로 사료된다. 추출획분의 구성단당은 여러 곡물연구의 보고와 유사하게 glucose, arabinose, xylose 함량이 대체로 높게 나타났다. 점미가 수가용성분에서 goucose대비 용출함량이 고르게 나타나는 경향을 보였고 흑미는 알칼리가용분에서 glucose가 상당량(0.68%) 포함되고 있음을 보여주었고 arabinose(0.68%), xylose(0.05%)도 다른 종류에 비해서 다량 함유한 것으로 나타났다. 흑미는 총식이섬유 함량이 높고 pectic substances, hemicellulose, uronic acid 함량이 높아서 콜레스테롤 저하 등의 효과가 기대되며 고섬유식품으로서 조리 특성 연구가 필요한 것으로 사료된다.리하였다. 얻어진 소견(所見)은 다음과 같았다. 1. 모년령(母年齡), 임신회수(姙娠回數), 임신기간(姙娠其間), 출산시체중등(出産時體重等)의 제요인(諸要因)은 주산기사망(周産基死亡)에 대(對)하여 통계적(統計的)으로 유의(有意)한 영향을 미치고 있어 $25{\sim}29$세(歲)의 연령군에서, 2번째 임신과 2번째의 출산에서 그리고 만삭의 임신 기간에, 출산시체중(出産時體重) $3.50{\sim}3.99kg$사이의 아

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.9
• /
• pp.407-418
• /
• 2023

The Multi-Object Goal Visual Navigation(MultiOn) is a visual navigation task in which an agent must visit to multiple object goals in an unknown indoor environment in a given order. Existing models for the MultiOn task suffer from the limitation that they cannot utilize an integrated view of multimodal context because use only a unimodal context map. To overcome this limitation, in this paper, we propose a novel deep neural network-based agent model for MultiOn task. The proposed model, MCFMO, uses a multimodal context map, containing visual appearance features, semantic features of environmental objects, and goal object features. Moreover, the proposed model effectively fuses these three heterogeneous features into a global multimodal context map by using a point-wise convolutional neural network module. Lastly, the proposed model adopts an auxiliary task learning module to predict the observation status, goal direction and the goal distance, which can guide to learn the navigational policy efficiently. Conducting various quantitative and qualitative experiments using the Habitat-Matterport3D simulation environment and scene dataset, we demonstrate the superiority of the proposed model.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.21 no.3
• /
• pp.175-181
• /
• 2021

This paper analyzes the artificial intelligence-based approach for short-term energy consumption prediction. In this paper, we employ the reinforcement learning algorithms to improve the limitation of the supervised learning algorithms which usually utilize to the short-term energy consumption prediction technologies. The supervised learning algorithm-based approaches have high complexity because the approaches require contextual information as well as energy consumption data for sufficient performance. We propose a deep reinforcement learning algorithm based on multi-agent to predict energy consumption only with energy consumption data for improving the complexity of data and learning models. The proposed scheme is simulated using public energy consumption data and confirmed the performance. The proposed scheme can predict a similar value to the actual value except for the outlier data.

• Proceedings of the IEEK Conference
• /
• 2003.11b
• /
• pp.137-140
• /
• 2003

This paper proposes a pursuing system utilizing the learning method where multiple cooperating agents emulate social behaviors of animals and insects and realize their group behaviors. Each agent contains sensors to perceive other agents in several directions and decides its behavior based on the information obtained by the sensors. In this paper, a neural network is used fir behavior decision controller. The input of the neural network is decided by the existence of other agents and the distance to the other agents. The output determines the directions in which the agent moves. The connection weight values of this neural network are encoded as genes, and the fitness individuals are determined using a genetic algorithm. Here, the fitness values imply how much group behaviors fit adequately to the goal and can express group behaviors. The validity of the system is verified through simulation.

• Journal of KIISE:Software and Applications
• /
• v.32 no.4
• /
• pp.277-289
• /
• 2005

To overcome the long design time/high computational effort/low computational performance of phylogenetic learning featuring selection and reproduction, this paper proposes a genetic representation based on XML. Since genetic programs (GP) and genetic operations of this representation are maintained by the invocation of the built-in off-the-shelf XML parser's API, the proposed approach features significant reduced time consumption of GP design process. Handling only semantically correct GPs with standard XML schema can reduce search space and computational effort. Furthermore, computational performance can be improved by the parallelism of GP caused by the utilization of XML, which is a feasible system and wire format for migration of genetic programs in heterogeneous distributed computer environments. To verify the proposed approach, it is applied to the evolution of social behaviors of multiple agents modeling the predator-prey pursuit problem. The results show that the approach can be applied for fast development and time efficiency of GPs.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.145-147
• /
• 2004

본 논문에서는 무선인터넷 환경에 적합한 개인화된 상품추천에이전트를 제안한다. 기존에 유선인터넷상의 많은 개인화 추천시스템에서는 초기 사용자 모델링을 위해 사용자에게 수많은 질의를 하고 응답을 요구하였다. 그러나 이러한 방식은 무선인터넷 환경에서 정보 전송량에 따른 높은 사용요금을 고려할 때 적용하기 힘든 방식이다. 본 제안 시스템은 사용자의 Social data률 이용하여 사용자를 비슷한 연령과 성별 그룹으로 나누고, 해당 그룹에서 구매율이 높은 상품을 우선 제시한 후, 사용자 행동을 모니터링 하여 암시적(Implicit)피드백을 통해 프로파일을 생성함으로써, 번거로운 질의-응답 과정 없이도 초기 사용자 모델링을 수행할 수 있다. 프로파일 생성 이후에는 이를 기반으로 하여 사용자몰 유사한 취향을 가진 그룹으로 다시 군집화한 후 협력적 추천을 하게 되며, 프로파일에는 해당 상품의 최종 카테고리명과 키워드를 수집함으로써, 상품의 브랜드와 규격정보를 반영한 추천이 가능하다. 또한 추천 상품과 사용자의 구매데이터와의 비교를 수행하여 사용자가 해당상품을 구매하였을 경우, 상품에 대한 취향정보는 그대로 유지하고 관련 상품을 추천하되, 구매한 상품이 중복 추천되지 않도록 하였다. 시스템 평가를 위해 프로토타입을 구현하여, 다수의 사용자에게 시스템을 이용하며 관심품목을 체크하도록 하였고. 추천횟수가 반복되며 히트율이 증가하는 결과를 통해 시스템의 학습속도와 성능을 평가하였다. 그리고 쇼핌몰에서 구매경험이 있는 사용자의 기존 구매데이터와 Social data를 이용한 초기 제시상품을 역으로 비교하여 오랜 시간과 비용 발생 없이도 초기 프로파일 생성의 유효성을 증명하였다. 포함하는 XML 질의에 대해서도 웹에서 캐쉬를 이용한 처리가 효율적임을 확인하였다.키는데 목적이 있다.RED에 비해 향상된 성능을 보여주었다.웍스 네트워크상의 다양한 디바이스들간의 네트워크 다양화와 분산화 기능을 얻을 수 있었고, 기존의 고가의 해외 솔루션인 Echelon사의 LonMaker 소프트웨어를 사용하지 않고도 국내의 순수 솔루션인 리눅스 기반의 LonWare 3.0 다중 바인딩 기능을 통해 저 비용으로 홈 네트워크 구성 관리 서버 시스템 개발에 대한 비용을 줄일 수 있다. 기대된다.e 함량이 대체로 높게 나타났다. 점미가 수가용성분에서 goucose대비 용출함량이 고르게 나타나는 경향을 보였고 흑미는 알칼리가용분에서 glucose가 상당량(0.68%) 포함되고 있음을 보여주었고 arabinose(0.68%), xylose(0.05%)도 다른 종류에 비해서 다량 함유한 것으로 나타났다. 흑미는 총식이섬유 함량이 높고 pectic substances, hemicellulose, uronic acid 함량이 높아서 콜레스테롤 저하 등의 효과가 기대되며 고섬유식품으로서 조리 특성 연구가 필요한 것으로 사료된다.리하였다. 얻어진 소견(所見)은 다음과 같았다. 1. 모년령(母年齡), 임신회수(姙娠回數), 임신기간(姙娠其間), 출산시체중등(出産時體重等)의 제요인(諸要因)은 주산기사망(周産基死亡)에 대(對)하여 통계적(統計的)으로 유의(有意)한 영향을 미치고 있어 $25{\sim}29$세(歲)의 연령군에서, 2번째 임신과 2번째의 출산에서 그리고 만삭의 임신 기간에, 출산시체중(出産時體重) $3.50{\sim}3.99kg$사이의 아