• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.393-396
• /
• 2006

강화학습은 환경과 상호작용하는 과정을 통하여 목표를 이루기 위한 전략을 학습하는 방법으로써 에이전트의 학습방법으로 많이 사용한다. 독립적인 에이전트가 아닌 상호 의사소통이 가능한 다중 에이전트 환경에서 에이전트의 학습정보를 서로 검색 및 공유가 가능하다면 환경이 거대하더라도 기존의 강화학습 보다 빠르게 학습이 이루어질 것이다. 하지만 아직 다중 에이전트 환경에서 학습 방법에 대한 연구가 미흡하여 학습정보의 검색과 공유에 대해 다양한 방법들이 요구되고 있다. 본 논문에서는 대상 에이전트 학습 정보와 주변 에이전트들의 학습 정보 사이에 편집거리를 비교하여 유사한 에이전트를 찾고 그 에이전트 정보를 강화학습 사전정보로 사용함으로써 학습속도를 향상시킨 ED+Q-Learning 시스템을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.369-372
• /
• 2002

다양한 특성들을 가지고 있는 멀티에이전트 시스템의 행동학습은 에이전트 설계에 많은 부담을 덜어준다. 특성들로부터 나오는 다양한 행동의 효과적인 학습은 에이전트들이 환경에 대한 자율성과 반응성을 높여준 수 있다. 행동학습은 model-based learning과 같은 교사학습보다는 각 상태를 바로 지각하여 학습하는 강화학습과 같은 비교사 학습이 효과적이다. 본 논문은 로봇축구환경에 에이전트들의 행동을 개선된 강화학습법인 Modular Q-learning을 적용하여 복잡한 상태공간을 효과적으로 나누어 에이전트들의 자율성과 반응성을 높일 수 있는 강화학습구조를 제안한다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.44.1-44
• /
• 2001

This paper discusses the interacting mobile robots for tele-operation system using the world wide web. In multi-agent and web-based teleoperation environment the problem of communication delay must be solved for the efficient and robust control of the system. The standard graphic user interface(GUI)is implemented using Java Programing language. The web browser is used to integrate the virtual environment and the standard GUI(Java applet) in a single user interface. Users can access a dedicated WWWserver and download the user interface. Reinforcement learning is applied to indirect control in order to autonomously operate without the need of human intervention. Java application has been developed to communicate and control multi robots using WWW. The effectiveness of our multi robots system is verified by simulation and experiments ...

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.447-450
• /
• 2021

시뮬레이션을 비롯한 많은 다중 에이전트 환경에서는 중앙 집중 훈련 및 분산 수행(centralized training with decentralized execution; CTDE) 방식이 활용되고 있다. CTDE 방식 하에서 중앙 집중 훈련 및 분산 수행 환경에서의 다중 에이전트 학습을 위한 상태 행동 가치 기반(state-action value; Q-value) 다중 에이전트 알고리즘들에 대한 많은 연구가 이루어졌다. 이러한 알고리즘들은 Independent Q-learning (IQL)이라는 강력한 벤치 마크 알고리즘에서 파생되어 다중 에이전트의 공동의 상태 행동 가치의 분해(Decomposition) 문제에 대해 집중적으로 연구되었다. 본 논문에서는 앞선 연구들에 관한 알고리즘들에 대한 분석과 실용적이고 일반적인 도메인에서의 실험 분석을 통해 검증한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권9호
• /
• pp.407-418
• /
• 2023

MultiOn(Multi-Object Goal Visual Navigation)은 에이전트가 미지의 실내 환경 내 임의의 위치에 놓인 다수의 목표 물체들을 미리 정해준 일정한 순서에 따라 찾아가야 하는 매우 어려운 시각적 탐색 이동 작업이다. MultiOn 작업을 위한 기존의 모델들은 행동 선택을 위해 시각적 외관 지도나 목표 지도와 같은 단일 맥락 지도만을 이용할 뿐, 다양한 멀티모달 맥락정보에 관한 종합적인 관점을 활용할 수 없다는 한계성을 가지고 있다. 이와 같은 한계성을 극복하기 위해, 본 논문에서는 MultiOn 작업을 위한 새로운 심층 신경망 기반의 에이전트 모델인 MCFMO(Multimodal Context Fusion for MultiOn tasks)를 제안한다. 제안 모델에서는 입력 영상의 시각적 외관 특징외에 환경 물체의 의미적 특징, 목표 물체 특징도 함께 포함한 멀티모달 맥락 지도를 행동 선택에 이용한다. 또한, 제안 모델은 점-단위 합성곱 신경망 모듈을 이용하여 3가지 서로 이질적인 맥락 특징들을 효과적으로 융합한다. 이 밖에도 제안 모델은 효율적인 이동 정책 학습을 유도하기 위해, 목표 물체의 관측 여부와 방향, 그리고 거리를 예측하는 보조 작업 학습 모듈을 추가로 채용한다. 본 논문에서는 Habitat-Matterport3D 시뮬레이션 환경과 장면 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 모델의 우수성을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2001년도 합동 추계학술대회 논문집 정보 및 제어부문
• /
• pp.428-430
• /
• 2001

다수의 자율이동로봇으로 구성되는 다개체 시스템에서의 협조행동을 위해서 각 개체는 주변환경의 인식뿐만 아니라 환경변화에 적응할 수 있는 추론능력이 요구된다. 이에 본 논문에서는 강화학습을 이용하여 동적으로 변화하는 환경 하에서 개체들이 스스로 학습하고 대처할 수 있는 협조행동 방법을 제시한다. 제안한 방법을 먹이와 포식자 문제에 적용하여 포식자 로봇간의 협조행동을 구현하였다. 여러 대로 구성된 포식자 로봇은 회피가 목적인 먹이로봇을 추적하여 포획하는 것이 임무이며 포식자 로봇들 간의 협조행동을 위해 각 상태에 따른 최적의 행동방식을 찾는데 강화학습을 이용한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.106-108
• /
• 2006

강화 학습은 누적 보상 값을 최대화할 수 있는 행동 선택 전략을 학습하는 온라인 학습의 한 형태이다. 효과적인 강화학습을 위해 학습 에이전트가 매 순간 고민해야 하는 문제가 탐험(exploitation)과 탐색(exploration)의 문제이다. 경험과 학습이 충분치 않은 상태의 에이전트는 어느 정도의 보상 값을 보장하는 과거에 경험한 행동을 선택하느냐 아니면 보상 값을 예측할 수 없는 새로운 행동을 시도해봄으로써 학습의 폭을 넓힐 것이냐를 고민하게 된다. 특히 단일 에이전트에 비해 상태공간과 행동공간이 더욱 커지는 다중 에이전트 시스템의 경우, 효과적인 강화학습을 위해서는 상태 공간 축소방법과 더불어 탐색의 기회가 많은 행동 선택 전략이 마련되어야 한다. 본 논문에서는 로봇축구 Keepaway를 위한 효율적인 다중 에이전트 강화학습 방법을 설명한다. 이 방법의 특징은 상태 공간 축소를 위해 함수근사방법의 하나인 타일 코딩을 적용하였고, 다양한 행동 선택을 위해 룰렛 휠 선택 전략을 적용한 것이다. 본 논문에서는 이 방법의 효과를 입증하기 위한 실험결과를 소개한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.1034-1035
• /
• 2020

인공지능은 스스로 학습하며 기존 통계 분석보다 탁월한 분석 역량을 지니고 있어 스마트팩토리 혁신에 새로운 전기를 마련할 것으로 기대된다. 이를 증명하듯 스마트팩토리의 주요 분야인 공정 간 연계 제어, 전문가 공정 제어, 로봇 자동화 등에서 활발한 연구가 이어지고 있다. 본 논문에서는 소포물 분류 시스템에 전통적인 룰 기반의 제어 방식 대신 다중 에이전트 강화 학습 제어 방식을 설계 및 적용하여 효과적인 행동 제어가 가능함을 입증한다.

• 한국항공우주학회지
• /
• 제40권3호
• /
• pp.215-221
• /
• 2012

본 논문에서는 추적-회피 게임에서 추적자의 추적성능을 향상시키기 위한 최적화 기법을 소개한다. 제한된 공간상에서 추적자는 도망자를 빠른 시간 내에 찾아내고 잡기 위해 확률맵을 생성하고 그 확률정보를 토대로 탐색한다. 추적자는 기존 global-max와 local-max의 장점을 취한 hybrid 추적방식을 사용하는데 이 추적방식은 global-max와 local-max 성향을 조절하는 가중치를 갖는다. 따라서 상황별 최적의 가중치를 찾기 위해 에피소드 매개변수 최적화 알고리즘을 제안하였다. 이 알고리즘은 가중치에 대한 다수의 추적-회피 게임 에피소드를 반복적으로 수행하는 동안 강화학습을 통해 보상을 누적한 후 해당 가중치의 평균보상을 최대화 하는 방향으로 황금분할법을 사용하여 최적의 가중치를 찾는다. 이 최적화 기법을 이용하여 여러 상황별 최적 추적정책을 찾기 위해 도망자 수와 공간의 크기를 변화시켜가며 각각 최적화를 수행하였고 그 결과를 분석하였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권9호
• /
• pp.281-288
• /
• 2022

산업 응용 분야에서 AGV는 공장이나 창고와 같은 대규모 산업 시설의 무거운 자재를 운송하기 위해 자주 사용된다. 특히, 주문처리 센터에서는 자동화가 가능하여 유용성이 극대화된다. 이러한 주문처리 센터와 같은 창고에서 생산성을 높이기 위해서는 AGV들의 정교한 운반 경로 제어가 요구된다. 본 논문에서는 대중적인 협력 MARL 알고리즘인 QMIX에 적용될 수 있는 구조를 제안한다. 성능은 두 종류의 주문처리 센터 레이아웃에서 세 가지의 메트릭으로 측정하였으며, 결과는 기존 QMIX의 성능과 비교하여 제시된다. 추가적으로, AGV들의 행동 패턴에 대한 가시적인 분석을 위해 훈련된 AGV들의 운반 경로를 시각화한 히트맵을 제공한다.