• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.800-803
• /
• 2020

실 환경 로봇에 강화학습을 적용하기 위해서는 가상 환경 시뮬레이션이 필요하다. 그러나 가상 환경을 구축하는 플랫폼은 모두 다르고, 학습 알고리즘의 구현에 따른 성능 편차가 크다는 문제점이 있다. 또한 학습을 적용하고자 하는 대상이 실세계의 하드웨어 사양이 낮은 스마트 로봇인 경우, 계산량이 많은 학습 알고리즘을 적용하기는 쉽지 않다. 본 연구는 해당 문제를 해결하기 위해 Unity3D에서 제공하는 강화학습 프레임인 ML-Agents 모듈을 사용하여 실 환경의 저사양 스마트 로봇에 장애물을 회피하고 탐색하는 모델의 강화학습을 적용해본다. 본 연구의 유의점은 가상 환경과 실 환경의 유사함과 일정량의 노이즈 발생 처리이다. 로봇의 간단한 행동은 원만하게 학습 및 적용가능함을 확인할 수 있었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
• /
• pp.362-364
• /
• 2003

본 논문은 액티브 네트워크 환경에서 액티브 노드를 위한 보안강화엔진의 구조와 기능을 설계하였다. 액티브 노드의 자원에 접근 시 발생되는 보안상의 문제점들을 해결하기 위한 보안강화엔진 구조를 제안하고 보안강화엔진 내에 Security, Authentication, Authorization 모듈을 두어 액티브 네트워크 환경에 노출되어있는 악의적인 위협 요소들로부터 액티브 노드들을 보호하고자 하였다. 본 논문에서는 보안강화엔진에서 Security, Authentication, Authorization 모듈의 설계 내용에 대해 기술한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.229-229
• /
• 2023

강화학습은 에이전트(agent)가 주어진 환경(environment)과의 상호작용을 통해서 상태(state)를 변화시켜가며 최대의 보상(reward)을 얻을 수 있도록 최적의 행동(action)을 학습하는 기계학습법을 의미한다. 최근 알파고와 같은 게임뿐만 아니라 자율주행 자동차, 로봇 제어 등 다양한 분야에서 널리 사용되고 있다. 상수도관망 분야의 경우에도 펌프 운영, 밸브 운영, 센서 최적 위치 선정 등 여러 문제에 적용되었으나, 설계에 강화학습을 적용한 연구는 없었다. 설계의 경우, 관망의 크기가 커짐에 따라 알고리즘의 탐색 공간의 크기가 증가하여 기존의 최적화 알고리즘을 이용하는 것에는 한계가 존재한다. 따라서 본 연구는 강화학습을 이용하여 상수도관망의 구성요소와 환경요인 간의 복잡한 상호작용을 고려하는 설계 방법론을 제안한다. 모델의 에이전트를 딥 강화학습(Deep Reinforcement Learning)으로 구성하여, 상태 및 행동 공간이 커 발생하는 고차원성 문제를 해결하였다. 또한, 해당 모델의 상태 및 보상으로 절점에서의 압력 및 수요량과 설계비용을 고려하여 적절한 수량과 수압의 용수 공급이 가능한 경제적인 관망을 설계하도록 하였다. 모델의 행동은 실제로 공학자가 설계하듯이 절점마다 하나씩 차례대로 다른 절점과의 연결 여부를 결정하는 것으로, 이를 통해 관망의 레이아웃(layout)과 관경을 결정한다. 본 연구에서 제안한 방법론을 규모가 큰 그리드 네트워크에 적용하여 모델을 검증하였으며, 고려해야 할 변수의 개수가 많음에도 불구하고 목적에 부합하는 관망을 설계할 수 있었다. 모델 학습과정 동안 에피소드의 평균 길이와 보상의 크기 등의 변화를 비교하여, 제안한 모델의 학습 능력을 평가 및 보완하였다. 향후 강화학습 모델을 통해 신뢰성(reliability) 또는 탄력성(resilience)과 같은 시스템의 성능까지 고려한 설계가 가능할 것으로 기대한다.

• 해양환경안전학회지
• /
• 제12권3호
• /
• pp.225-231
• /
• 2006

해양은 인류의 생존에 필수적인 지구 환경 및 생태계를 구성할 뿐만 아니라 인류의 번영에 필수적인 다양한 자원을 제공하고 있다. 세계 주요 해양국가들은 국내외의 해양자원안보를 강화하고 해양안전안보의 영역을 확대하고 있으며 해양안보를 위한 국제협력을 강화하고 또한 이들 업무를 추진하는 전문기관의 위상을 강화하고 있다. 우리나라도 관할해역의 확대와 더불어 산업화, 과학기술의 발달 및 사회문화의 발달에 따른 해양안보의 수요급증, 해양안보의 국제협력 증대 등 해양안보의 환경이 급변하고 있는 바, 해양안보의 집행수단 확보, 정보수집능력의 강화. 교육훈련의 강화 등 해양안보의 확보를 위한 정책의 강화가 요구된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.988-991
• /
• 2020

다양한 실세계 응용 분야들에서 공동의 목표를 위해 여러 에이전트들이 상호 유기적으로 협력할 수 있는 행동 정책을 배우는 것은 매우 중요하다. 이러한 다중 에이전트 강화 학습(MARL) 환경에서 기존의 연구들은 대부분 중앙-집중형 훈련과 분산형 실행(CTDE) 방식을 사실상 표준 프레임워크로 채택해왔다. 하지만 이러한 다중 에이전트 강화 학습 방식은 훈련 시간 동안에는 경험하지 못한 새로운 환경 변화가 실전 상황에서 끊임없이 발생할 수 있는 동적 환경에서는 효과적으로 대처하기 어렵다. 이러한 동적 환경에 효과적으로 대응하기 위해, 본 논문에서는 새로운 다중 에이전트 강화 학습 체계인 C-COMA를 제안한다. C-COMA는 에이전트들의 훈련 시간과 실행 시간을 따로 나누지 않고, 처음부터 실전 상황을 가정하고 지속적으로 에이전트들의 협력적 행동 정책을 학습해나가는 지속 학습 모델이다. 본 논문에서는 대표적인 실시간 전략게임인 StarcraftII를 토대로 동적 미니게임을 구현하고 이 환경을 이용한 다양한 실험들을 수행함으로써, 제안 모델인 C-COMA의 효과와 우수성을 입증한다.

• 선박안전
• /
• 통권38호
• /
• pp.78-91
• /
• 2015

인도네시아 선박안전성제고 및 해양환경보호 역량강화 사업은 급속도로 성장하는 인도네시아의 경제가 안전하고 지속적으로 유지될 수 있도록 해상운송, 특히 연안운송의 안전성과 관련한 인도네시아 정부의 기술역량을 강화하는 사업으로, 2012년 인도네시아 정부의 요청에 의해 시작되었다. 동 사업은 약 2년간의 사업기간을 통해 인도네시아 정부의 선박관리 역량을 강화하고, 관련 교육 인프라를 확보하는 것을 목표로 하고 있으며, 그 주요 사업내용으로는 선박검사 기술기준 자문, 선박검사관 역량강화, 선박검사 기자재 제공 및 CBT가 있다. 동사업은 한-인도네시아 간 해양분야의 첫 번째 개발협력사업으로 향후 양국간 해사산업 교류의 교두보가 될 것으로 예상된다.

• 한국지능시스템학회논문지
• /
• 제15권4호
• /
• pp.395-399
• /
• 2005

본 논문에서는 특정 주제에 관한 웹 문서들을 더욱 빠르고 정확하게 탐색하기 위하여 강화학습을 이용한 HIGH-Q 학습 알고리즘을 제안한다. 강화학습의 목적은 환경으로부터 주어지는 보상(reward)을 최대화하는 것이며 강화학습 에이전트는 외부에 존재하는 환경과 시행착오를 통하여 상호작용하면서 학습한다. 제안한 알고리즘이 주어진 환경에서 빠르고 효율적임을 보이기 위하여 넓이 우선 탐색과 비교하는 실험을 수행하고 이를 평가하였다. 실험한 결과로부터 우리는 미래의 할인된 보상을 이용하는 강화학습 방법이 정답을 찾기 위한 탐색 페이지의 수를 줄여줌으로써 더욱 정확하고 빠른 검색을 수행할 수 있음을 알 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.412-415
• /
• 2018

본 논문에서는 영상 기반 대화 연구를 위한 기존 GuessWhat?! 게임 환경의 한계성을 보완한 새로운 GuessWbat+ 게임 환경을 소개한다. 또 이 환경에서 동작하는 대화 에이전트를 위한 정책 기울기 기반의 심층 강화 학습 알고리즘인 MRRB의 설계와 구현에 대해서도 설명한다. 다양한 실험을 통해, 본 논문에서 제안한 GuessWbat+ 환경과 심층 강화 학습 알고리즘의 긍정적 효과를 입증해 보인다.

• 환경기술인
• /
• 통권60호
• /
• pp.4-7
• /
• 1991

쾌적한 실내환경은 건물구조, 건물구조의 설계, 건물의 지리적 위치, 건물관리의 기술, 거주자들의 활동상황 및 건물내에서의 환경조건 등에 의해 좌우된다. 따라서 빌딩증후군을 예방하기 위하여는 환기시설의 강화, 실내공기오염원의 제거, 빌딩의 공기공조설비에 대한 검사강화, 실내공기오염을 담당한 행정기관의 부설, 실내공기 질의 중요성에 대한 환경교육의 필요성 등이 요청된다.