• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.910-913
• /
• 2021

Successor representation (SR) 은 두뇌 내 해마의 공간 세포가 인지맵을 구성하여 환경을 학습하고, 이를 활용하여 변화하는 환경에서 유연하게 최적 전략을 수립하는 기전을 모사한 강화학습 방법이다. 특히, 학습한 환경 정보를 활용, 환경 구조 안에서 목표가 변화할 때 강인하게 대응하여 일반 model-free 강화학습에 비해 빠르게 보상 변화에 적응하고 최적 전략을 찾는 것으로 알려져 있다. 본 논문에서는 SR 기반 강화학습 알고리즘이 보상의 변화와 더불어 환경 구조, 특히 환경의 상태 천이 확률이 변화하여 보상의 변화를 유발하는 상황에서 어떠한 성능을 보이는 지 확인하였다. 벤치마크 알고리즘으로 SR 의 특성을 목적 기반 강화학습으로 통합한 SR-Dyna 를 사용하였고, 환경 상태 천이 불확실성과 보상 변화가 동시에 나타나는 2-stage 마르코프 의사결정 과제를 실험 환경으로 사용하였다. 시뮬레이션 결과, SR-Dyna 는 환경 내 상태 천이 확률 변화에 따른 보상 변화에는 적절히 대응하지 못하는 결과를 보였다. 본 결과를 통해 두뇌의 강화학습과 알고리즘 강화학습의 차이를 이해하여, 환경 변화에 강인한 강화학습 알고리즘 설계를 기대할 수 있다.

• Air Cleaning Technology
• /
• v.28 no.1
• /
• pp.29-40
• /
• 2015

중국의 급속한 산업화로 대기, 수질, 폐기물 등 환경오염문제가 심화, 고착화되면서 이를 개선하기 위해 중국 정부는 환경규제를 지속적으로 강화하고 있다. 또한 외국인 투자유치로 제조업 육성에 어느 정도 성공을 거둠에 따라 외국인 투자 유치와 제조업 경영활동에 있어 환경 이슈를 매우 중요시하고 있어 신규 및 사업확장에 제동이 걸리고 있다. 중국은 신규법인수 기준으로 우리나라의 최대 해외직접투자국이며, 제조업종에 대한 투자금액이 전체 투자금액의 88.3%를 차지하고 있다. 중국에 진출한 기업들은 중소기업이 전체 진출기업의 약 90%로 중국의 환경규제 강화는 중국에 진출한 우리 중소기업들에게 직접적인 영향을 미치고 있다. 중국 정부는 분야별 환경목표를 강화하고 오염물질배출 업체를 퇴출시키는 등 강력한 조치를 전개하고 있으며, 중앙 정부의 환경목표 강화 기조와 더불어 해당 지역민의 친환경에 대한 요구가 점차 커짐에 따라, 각 지방정부는 환경 관련 지역 목표 달성을 위해 업체 관리감독을 대폭 강화하고 있는 추세이다. 이러한 중국의 환경규제 강화는 진출 기업이나 진출을 준비하는 기업들의 설비투자비나 오염배출비용 부담 증가 등 상당한 리스크로 작용하고 있으며 향후에도 중국의 환경규제 강화 기조는 지속될 것으로 전망된다. 실제 중국에 진출한 기업들은 환경규제를 직접적으로 체감하고 있다. 규제집행의 강도가 눈에 띄게 높아져 엄격한 기준을 적용받고 처벌수위 역시 높아졌으며, 과거 관시를 통해 원만한 해결이 가능했다면 이제는 환경규제에 대해 원칙적이고 보수적인 공무원의 태도로 인해 관시로도 해결이 어려운 경우가 다반사이다. 또한, 주민들도 환경규제에 대한 인식수준이 높아짐에 따라 미미한 사안에도 즉각적인 반응을 보여 민원제기 사례가 빈번히 발생하고 환경안전 기준이 점점 높아짐에 따라 이에 대응하기 위해 환경안전 설비추가, 친환경연료 사용 등 추가적인 비용이 발생하고 있다. 이에 이미 진출한 기업들은 소재지 환경규제의 강화 전망 및 이로 인한 손실정도를 사전에 파악하고 다양한 옵션에서 대응전략을 마련해야 하며, 향후 중국 진출계획을 가지고 있는 기업들은 진출에 앞서 지역별로 차별화된 시장기회와 환경규제 강도 등 현지 실사를 통한 현장중심 리스크 분석을 실시해야 한다. 또한 이미 진출한 기업 및 진출예정 기업 모두 환경규제가 강화되고 있는 중국에서 사업을 하기 위해서는 법규와 기본원칙을 반드시 준수하고 규제가 더 강화될 것 이라는 기조를 인식할 필요가 있다.

• KIPS Transactions on Software and Data Engineering
• /
• v.10 no.7
• /
• pp.263-270
• /
• 2021

Reinforcement learning(RL) is the method to find an optimal policy through training. and it is one of popular methods for solving lifesaving and disaster response problems effectively. However, the conventional reinforcement learning method for disaster response utilizes either simple environment such as. grid and graph or a self-developed environment that are hard to verify the practical effectiveness. In this paper, we propose the design of a disaster response RL environment which utilizes the detailed property information of the disaster simulation in order to utilize the reinforcement learning method in the real world. For the RL environment, we design and build the reinforcement learning communication as well as the interface between the RL agent and the disaster simulation. Also, we apply the dimension reduction method for converting non-image feature vectors into image format which is effectively utilized with convolution layer to utilize the high-dimensional and detailed property of the disaster simulation. To verify the effectiveness of our proposed method, we conducted empirical evaluations and it shows that our proposed method outperformed conventional methods in the building fire damage.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2019.05a
• /
• pp.3-4
• /
• 2019

본 논문에서는 복잡한 해상교통 환경 하에서도 해양 안전을 도모할 수 있는 강화학습 기반 지능형 선박 항해 에이전트 개발의 사전단계로서 기존의 강화학습 환경을 분석하였다. 강화학습 기반 접근법은 선박 항해 에이전트 스스로가 복잡하고 동적인 해상교통 환경을 이해하고 주어진 목표를 달성할 수 있도록 도와주는데, 이를 위해서는 에이전트 자신을 제외한 모든 사항들이 정의되는 환경을 보다 정확하고 효과적으로 개발하는 것이 매우 중요하다. 실제 해상교통 환경은 학습 환경으로의 모델링 및 에이전트 학습의 난이도가 매우 높은 환경으로 학습환경이 가질 수 있는 여러 속성들을 적절히 설정하여 선박 항해 에이전트의 활용 목적에 맞는 가성비 높은 환경을 구축하는 것이 바람직하다.

• Environmental and Resource Economics Review
• /
• v.8 no.2
• /
• pp.175-206
• /
• 1999

본 연구는 2부문 개방거시경제모형을 이용하여 환경규제정책이 거시경제실적-국내자본 축적, 경상수지상태, 소비수준-에 미치는 영향을 동태적으로 분석하려고 한다. 정부가 환경규제를 강화할 경우, 즉 최대 허용가능한 오염배출량을 감소할 경우, 투자활동이 감소하게 되어 장기 정상상태에서 자본축적량이 감소하게 된다. 반면에, 환경규제가 강화될 경우 경제주체들은 국제채권의 구입을 늘리게 되어 새로운 정상균형상태에서 국제채권의 보유는 증가하게 된다(경상수지는 개선된다). 그러나 환경규제의 강화가 자산의 잠재가치와 두 재화의 소비에 미치는 효과는 불분명하다. 만약, 자본축적량과 최대 허용가능한 오염배출량의 변화에 따른 제조업부문의 산출고의 변화가 비제조업부문 산출고의 변화를 능가한다면, 환경규제 강화정책은 두 재화의 소비를 감소시킬 것이다. 본 연구에서는 환경규제정책의 변화를 예상한 경우와 예상하지 못한 경우, 그리고 예상하지 못한 경우에도 정책의 변화가 영구적 또는 일시적인 경우에 따라 환경규제 강화가 자본 한 단위의 시장가치 자본축적량 및 국제채권 보유에 미치는 영향을 단기 전환적 동태분석하고자 한다. 환경규제정책의 변화가 사전에 발표되어 민간 경제주체들이 정책의 변화를 예상할 수 있는 경우에는, 민간경제주체들이 정책의 변화 전에 자신들의 행동을 조정하므로 실제 정책 실시 후에는 정책이 각 경제변수에 미치는 효과는 정책을 예상하지 못한 경우보다 훨씬 줄어들게 된다. 정책 변화를 예상하지 못한 경우보다 정책 변화가 발표됨으로써 사전에 정책 변화를 예상한 경우에 환경규제 강화에 따른 자본축적량의 장기적인 감소효과가 훨씬 작게 되고, 따라서 국제채권 보유를 증가시키는(경상수지 상태를 개선시키는) 효과도 줄어들게 된다.

• Journal of Environmental Policy
• /
• v.13 no.1
• /
• pp.95-118
• /
• 2014

Environmental education is the most important and fundamental way to deal with the climate change. The school policy concentrating on environmental education, which has been established and financially supported by the Korea Ministry of Environment, provides an environment for natural experiment, examining the effect of reinforcing environmental education at schools on the energy-saving behaviours observed in the households concerned. We investigated the impact by applying the difference-in-difference measure to various utilities including water, electricity and gas between the households with children whose schools were designated as pilot environmental education schools in 2011 and the households with children attending general schools. The results showed that the households with children attending the pilot environmental education schools paid lower electricity and gas costs. This implies that environmental education provided at schools can indirectly affect the household energy saving behaviour and in turn reduce the total energy consumption in a short time.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.393-396
• /
• 2006

강화학습은 환경과 상호작용하는 과정을 통하여 목표를 이루기 위한 전략을 학습하는 방법으로써 에이전트의 학습방법으로 많이 사용한다. 독립적인 에이전트가 아닌 상호 의사소통이 가능한 다중 에이전트 환경에서 에이전트의 학습정보를 서로 검색 및 공유가 가능하다면 환경이 거대하더라도 기존의 강화학습 보다 빠르게 학습이 이루어질 것이다. 하지만 아직 다중 에이전트 환경에서 학습 방법에 대한 연구가 미흡하여 학습정보의 검색과 공유에 대해 다양한 방법들이 요구되고 있다. 본 논문에서는 대상 에이전트 학습 정보와 주변 에이전트들의 학습 정보 사이에 편집거리를 비교하여 유사한 에이전트를 찾고 그 에이전트 정보를 강화학습 사전정보로 사용함으로써 학습속도를 향상시킨 ED+Q-Learning 시스템을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.548-551
• /
• 2019

강화 학습은 일반적으로 제어 로봇과 관련이 있는 순차적 의사결정을 위한 학습의 한 형태이다. 이 강화 학습은 행동에 대한 보상을 최대로 하는 정책을 학습하는 것을 목표로 한다. 하지만, 강화 학습을 실제 세계에 적용하기에는 많은 제약사항이 존재하며 실제 세계의 복잡한 환경에서 좋은 정책을 학습하는 것은 매우 어렵다. Unity는 강화 학습 시뮬레이션을 위한 전용 Toolkit을 제공한다. 이러한 이유로 Unity를 시뮬레이터로서 사용하는 것이 좋은 정책을 학습하는 훈련의 근거가 된다. 따라서 본 논문에서는 강화 학습을 실제 세계에 바로 적용시키기 전에 Unity Machine Learning Agents Toolkit을 사용하여 실제 세계와 비슷한 환경을 만들고 강화 학습을 통해 에이전트를 미리 학습시켜보는 과정을 수행해봄으로써 시뮬레이터의 필요성을 부각시킨다.

• Journal of Digital Convergence
• /
• v.12 no.8
• /
• pp.423-430
• /
• 2014

The purpose of this article is to present the environmental enrichment(EE) method used to improve the functional recovery and change of brain plastic in animal experimental models of stroke. In animal experimental models of stroke, the environmental enrichment is effective in altering the morphological, biochemical and behavioral characteristics of the brain and thereby improving the functional outcomes. In this review article, we address the effects of EE in achieving a functional recovery in animal experimental models of stroke, thus attempting to describe them in patients with stroke from both occupational and rehabilitation perspectives.

• Bulletin of Korea Environmental Preservation Association
• /
• s.400
• /
• pp.22-25
• /
• 2012

사전환경성검토와 환경영향평가의 통합, 야생동 식물 불법포획 처벌 강화, 소형가전제품 분리배출제 도입, 신규건축물 및 숙박 목욕장 골프장의 절수설비 기준 강화 등 2012년 7월부터 달라지거나 새롭게 시행되는 주요 환경행정 내용을 정리하였으니 업무에 참고하시기 바랍니다.