• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.910-913
• /
• 2021

Successor representation (SR) 은 두뇌 내 해마의 공간 세포가 인지맵을 구성하여 환경을 학습하고, 이를 활용하여 변화하는 환경에서 유연하게 최적 전략을 수립하는 기전을 모사한 강화학습 방법이다. 특히, 학습한 환경 정보를 활용, 환경 구조 안에서 목표가 변화할 때 강인하게 대응하여 일반 model-free 강화학습에 비해 빠르게 보상 변화에 적응하고 최적 전략을 찾는 것으로 알려져 있다. 본 논문에서는 SR 기반 강화학습 알고리즘이 보상의 변화와 더불어 환경 구조, 특히 환경의 상태 천이 확률이 변화하여 보상의 변화를 유발하는 상황에서 어떠한 성능을 보이는 지 확인하였다. 벤치마크 알고리즘으로 SR 의 특성을 목적 기반 강화학습으로 통합한 SR-Dyna 를 사용하였고, 환경 상태 천이 불확실성과 보상 변화가 동시에 나타나는 2-stage 마르코프 의사결정 과제를 실험 환경으로 사용하였다. 시뮬레이션 결과, SR-Dyna 는 환경 내 상태 천이 확률 변화에 따른 보상 변화에는 적절히 대응하지 못하는 결과를 보였다. 본 결과를 통해 두뇌의 강화학습과 알고리즘 강화학습의 차이를 이해하여, 환경 변화에 강인한 강화학습 알고리즘 설계를 기대할 수 있다.

• 공기청정기술
• /
• 제28권1호
• /
• pp.29-40
• /
• 2015

중국의 급속한 산업화로 대기, 수질, 폐기물 등 환경오염문제가 심화, 고착화되면서 이를 개선하기 위해 중국 정부는 환경규제를 지속적으로 강화하고 있다. 또한 외국인 투자유치로 제조업 육성에 어느 정도 성공을 거둠에 따라 외국인 투자 유치와 제조업 경영활동에 있어 환경 이슈를 매우 중요시하고 있어 신규 및 사업확장에 제동이 걸리고 있다. 중국은 신규법인수 기준으로 우리나라의 최대 해외직접투자국이며, 제조업종에 대한 투자금액이 전체 투자금액의 88.3%를 차지하고 있다. 중국에 진출한 기업들은 중소기업이 전체 진출기업의 약 90%로 중국의 환경규제 강화는 중국에 진출한 우리 중소기업들에게 직접적인 영향을 미치고 있다. 중국 정부는 분야별 환경목표를 강화하고 오염물질배출 업체를 퇴출시키는 등 강력한 조치를 전개하고 있으며, 중앙 정부의 환경목표 강화 기조와 더불어 해당 지역민의 친환경에 대한 요구가 점차 커짐에 따라, 각 지방정부는 환경 관련 지역 목표 달성을 위해 업체 관리감독을 대폭 강화하고 있는 추세이다. 이러한 중국의 환경규제 강화는 진출 기업이나 진출을 준비하는 기업들의 설비투자비나 오염배출비용 부담 증가 등 상당한 리스크로 작용하고 있으며 향후에도 중국의 환경규제 강화 기조는 지속될 것으로 전망된다. 실제 중국에 진출한 기업들은 환경규제를 직접적으로 체감하고 있다. 규제집행의 강도가 눈에 띄게 높아져 엄격한 기준을 적용받고 처벌수위 역시 높아졌으며, 과거 관시를 통해 원만한 해결이 가능했다면 이제는 환경규제에 대해 원칙적이고 보수적인 공무원의 태도로 인해 관시로도 해결이 어려운 경우가 다반사이다. 또한, 주민들도 환경규제에 대한 인식수준이 높아짐에 따라 미미한 사안에도 즉각적인 반응을 보여 민원제기 사례가 빈번히 발생하고 환경안전 기준이 점점 높아짐에 따라 이에 대응하기 위해 환경안전 설비추가, 친환경연료 사용 등 추가적인 비용이 발생하고 있다. 이에 이미 진출한 기업들은 소재지 환경규제의 강화 전망 및 이로 인한 손실정도를 사전에 파악하고 다양한 옵션에서 대응전략을 마련해야 하며, 향후 중국 진출계획을 가지고 있는 기업들은 진출에 앞서 지역별로 차별화된 시장기회와 환경규제 강도 등 현지 실사를 통한 현장중심 리스크 분석을 실시해야 한다. 또한 이미 진출한 기업 및 진출예정 기업 모두 환경규제가 강화되고 있는 중국에서 사업을 하기 위해서는 법규와 기본원칙을 반드시 준수하고 규제가 더 강화될 것 이라는 기조를 인식할 필요가 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권7호
• /
• pp.263-270
• /
• 2021

강화학습은 학습을 통해 최적의 행동정책을 탐색하는 기법으로써, 재난 상황에서 효과적인 인명 구조 및 재난 대응 문제 해결을 위해 많이 활용되고 있다. 그러나, 기존 재난 대응을 위한 강화학습 기법은 상대적으로 단순한 그리드, 그래프와 같은 환경 혹은 자체 개발한 강화학습 환경을 통해 평가를 수행함에 따라 그 실용성이 충분히 검증되지 않았다. 본 논문에서는 강화학습 기법을 실세계 환경에서 사용하기 위해 기존 개발된 재난 시뮬레이션 환경의 복잡한 프로퍼티를 활용하는 강화학습 환경 구성과 활용 결과를 제시하고자 한다. 본 제안 강화학습 환경의 구성을 위하여 재난 시뮬레이션과 강화학습 에이전트 간 강화학습 커뮤니케이션 채널 및 인터페이스를 구축하였으며, 시뮬레이션 환경이 제공하는 고차원의 프로퍼티 정보의 활용을 위해 비-이미지 피쳐 벡터(non-image feature vector)에 이미지 변환방식을 적용하였다. 실험을 통해 본 제안 방식이 건물 화재 피해도를 기준으로 한 평가에서 기존 방식 대비 가장 낮은 건물 화재 피해를 기록한 것을 확인하였다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2019년도 춘계학술대회
• /
• pp.3-4
• /
• 2019

본 논문에서는 복잡한 해상교통 환경 하에서도 해양 안전을 도모할 수 있는 강화학습 기반 지능형 선박 항해 에이전트 개발의 사전단계로서 기존의 강화학습 환경을 분석하였다. 강화학습 기반 접근법은 선박 항해 에이전트 스스로가 복잡하고 동적인 해상교통 환경을 이해하고 주어진 목표를 달성할 수 있도록 도와주는데, 이를 위해서는 에이전트 자신을 제외한 모든 사항들이 정의되는 환경을 보다 정확하고 효과적으로 개발하는 것이 매우 중요하다. 실제 해상교통 환경은 학습 환경으로의 모델링 및 에이전트 학습의 난이도가 매우 높은 환경으로 학습환경이 가질 수 있는 여러 속성들을 적절히 설정하여 선박 항해 에이전트의 활용 목적에 맞는 가성비 높은 환경을 구축하는 것이 바람직하다.

• 자원ㆍ환경경제연구
• /
• 제8권2호
• /
• pp.175-206
• /
• 1999

본 연구는 2부문 개방거시경제모형을 이용하여 환경규제정책이 거시경제실적-국내자본 축적, 경상수지상태, 소비수준-에 미치는 영향을 동태적으로 분석하려고 한다. 정부가 환경규제를 강화할 경우, 즉 최대 허용가능한 오염배출량을 감소할 경우, 투자활동이 감소하게 되어 장기 정상상태에서 자본축적량이 감소하게 된다. 반면에, 환경규제가 강화될 경우 경제주체들은 국제채권의 구입을 늘리게 되어 새로운 정상균형상태에서 국제채권의 보유는 증가하게 된다(경상수지는 개선된다). 그러나 환경규제의 강화가 자산의 잠재가치와 두 재화의 소비에 미치는 효과는 불분명하다. 만약, 자본축적량과 최대 허용가능한 오염배출량의 변화에 따른 제조업부문의 산출고의 변화가 비제조업부문 산출고의 변화를 능가한다면, 환경규제 강화정책은 두 재화의 소비를 감소시킬 것이다. 본 연구에서는 환경규제정책의 변화를 예상한 경우와 예상하지 못한 경우, 그리고 예상하지 못한 경우에도 정책의 변화가 영구적 또는 일시적인 경우에 따라 환경규제 강화가 자본 한 단위의 시장가치 자본축적량 및 국제채권 보유에 미치는 영향을 단기 전환적 동태분석하고자 한다. 환경규제정책의 변화가 사전에 발표되어 민간 경제주체들이 정책의 변화를 예상할 수 있는 경우에는, 민간경제주체들이 정책의 변화 전에 자신들의 행동을 조정하므로 실제 정책 실시 후에는 정책이 각 경제변수에 미치는 효과는 정책을 예상하지 못한 경우보다 훨씬 줄어들게 된다. 정책 변화를 예상하지 못한 경우보다 정책 변화가 발표됨으로써 사전에 정책 변화를 예상한 경우에 환경규제 강화에 따른 자본축적량의 장기적인 감소효과가 훨씬 작게 되고, 따라서 국제채권 보유를 증가시키는(경상수지 상태를 개선시키는) 효과도 줄어들게 된다.

• 환경정책연구
• /
• 제13권1호
• /
• pp.95-118
• /
• 2014

환경교육은 기후변화에 대처하는 가장 근본적이고 중요한 방안이라고 할 수 있다. 환경부가 지정하고 재정적으로 지원하는 환경교육시범학교 제도의 운영은 환경교육 강화의 효과를 검증하기 위한 자연실험(natural experiment) 환경을 제공한다. 2011년 14차 환경교육시범학교로 지정된 학교 학생들의 가구와 인근 지역의 비시범 학교 학생들의 가구에 대한 수도요금, 전기요금, 가스요금의 제 요금 설문자료를 활용하여, 환경교육시범학교 지정을 통한 학교 환경 교육의 강화가 학생들 가정에서의 에너지 절감에 단기적으로 어떠한 영향을 미치는지를 difference-in-difference 추정을 통해 분석한다. 환경교육시범학교 지정을 통한 환경교육의 강화는 대상 가구의 전기요금과 가스요금을 비시범학교 대상 가구에 비해 유의한 수준으로 절감시키는 것으로 나타나, 학교 환경교육의 강화가 대상 가구에 파급효과를 가지고 있으며 이를 통해 단기적으로도 에너지 절감 행위를 강화시켜 줄 수 있는 것으로 분석되었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.393-396
• /
• 2006

강화학습은 환경과 상호작용하는 과정을 통하여 목표를 이루기 위한 전략을 학습하는 방법으로써 에이전트의 학습방법으로 많이 사용한다. 독립적인 에이전트가 아닌 상호 의사소통이 가능한 다중 에이전트 환경에서 에이전트의 학습정보를 서로 검색 및 공유가 가능하다면 환경이 거대하더라도 기존의 강화학습 보다 빠르게 학습이 이루어질 것이다. 하지만 아직 다중 에이전트 환경에서 학습 방법에 대한 연구가 미흡하여 학습정보의 검색과 공유에 대해 다양한 방법들이 요구되고 있다. 본 논문에서는 대상 에이전트 학습 정보와 주변 에이전트들의 학습 정보 사이에 편집거리를 비교하여 유사한 에이전트를 찾고 그 에이전트 정보를 강화학습 사전정보로 사용함으로써 학습속도를 향상시킨 ED+Q-Learning 시스템을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.548-551
• /
• 2019

강화 학습은 일반적으로 제어 로봇과 관련이 있는 순차적 의사결정을 위한 학습의 한 형태이다. 이 강화 학습은 행동에 대한 보상을 최대로 하는 정책을 학습하는 것을 목표로 한다. 하지만, 강화 학습을 실제 세계에 적용하기에는 많은 제약사항이 존재하며 실제 세계의 복잡한 환경에서 좋은 정책을 학습하는 것은 매우 어렵다. Unity는 강화 학습 시뮬레이션을 위한 전용 Toolkit을 제공한다. 이러한 이유로 Unity를 시뮬레이터로서 사용하는 것이 좋은 정책을 학습하는 훈련의 근거가 된다. 따라서 본 논문에서는 강화 학습을 실제 세계에 바로 적용시키기 전에 Unity Machine Learning Agents Toolkit을 사용하여 실제 세계와 비슷한 환경을 만들고 강화 학습을 통해 에이전트를 미리 학습시켜보는 과정을 수행해봄으로써 시뮬레이터의 필요성을 부각시킨다.

• 디지털융복합연구
• /
• 제12권8호
• /
• pp.423-430
• /
• 2014

본 연구의 목적은 뇌졸중 동물 실험 모델에서 환경 강화는 기능 회복을 향상 시키고 이로 인하여 뇌에 형태학적, 생화학과 행동에서 특징적인 변화와 그 효과들을 소개하고, 뇌졸중 환자에 환경 강화의 적용은 재활치료 및 작업치료를 포함한 다양 치료와 전 임상 실험의 중요성을 설명하고자 한다. 이 종설 논문에서는 주로 뇌졸중 동물 실험 모델에서 환경 강화로 인한 기능적 회복에 대한 효과와 신경 친화성 물질, 특정 단백질의 발현 및 임상 적용 사례 등의 연구 결과들을 소개하였다. 마지막으로 임상에서 뇌졸중 환자에게 환경 강화의 적용 가능성과 작업치료 및 재활치료의 관점에서 설명하였다.

• 환경정보
• /
• 통권400호
• /
• pp.22-25
• /
• 2012

사전환경성검토와 환경영향평가의 통합, 야생동 식물 불법포획 처벌 강화, 소형가전제품 분리배출제 도입, 신규건축물 및 숙박 목욕장 골프장의 절수설비 기준 강화 등 2012년 7월부터 달라지거나 새롭게 시행되는 주요 환경행정 내용을 정리하였으니 업무에 참고하시기 바랍니다.