• 제목/요약/키워드: Q learning

검색결과 430건 처리시간 0.024초

Collision Prediction based Genetic Network Programming-Reinforcement Learning for Mobile Robot Navigation in Unknown Dynamic Environments

  • Findi, Ahmed H.M.;Marhaban, Mohammad H.;Kamil, Raja;Hassan, Mohd Khair
    • Journal of Electrical Engineering and Technology
    • /
    • 제12권2호
    • /
    • pp.890-903
    • /
    • 2017
  • The problem of determining a smooth and collision-free path with maximum possible speed for a Mobile Robot (MR) which is chasing a moving target in a dynamic environment is addressed in this paper. Genetic Network Programming with Reinforcement Learning (GNP-RL) has several important features over other evolutionary algorithms such as it combines offline and online learning on the one hand, and it combines diversified and intensified search on the other hand, but it was used in solving the problem of MR navigation in static environment only. This paper presents GNP-RL based on predicting collision positions as a first attempt to apply it for MR navigation in dynamic environment. The combination between features of the proposed collision prediction and that of GNP-RL provides safe navigation (effective obstacle avoidance) in dynamic environment, smooth movement, and reducing the obstacle avoidance latency time. Simulation in dynamic environment is used to evaluate the performance of collision prediction based GNP-RL compared with that of two state-of-the art navigation approaches, namely, Q-Learning (QL) and Artificial Potential Field (APF). The simulation results show that the proposed GNP-RL outperforms both QL and APF in terms of smooth movement and safer navigation. In addition, it outperforms APF in terms of preserving maximum possible speed during obstacle avoidance.

심층강화학습 기반 분산형 전력 시스템에서의 수요와 공급 예측을 통한 전력 거래시스템 (Power Trading System through the Prediction of Demand and Supply in Distributed Power System Based on Deep Reinforcement Learning)

  • 이승우;선준호;김수현;김진영
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.163-171
    • /
    • 2021
  • 본 논문은 분산형 전력 시스템에서 심층강화학습 기반의 전력 생산 환경 및 수요와 공급을 예측하며 자원 할당 알고리즘을 적용해 전력거래 시스템 연구의 최적화된 결과를 보여준다. 전력 거래시스템에 있어서 기존의 중앙집중식 전력 시스템에서 분산형 전력 시스템으로의 패러다임 변화에 맞추어 전력거래에 있어서 공동의 이익을 추구하며 장기적인 거래의 효율을 증가시키는 전력 거래시스템의 구축을 목표로 한다. 심층강화학습의 현실적인 에너지 모델과 환경을 만들고 학습을 시키기 위해 날씨와 매달의 패턴을 분석하여 데이터를 생성하며 시뮬레이션을 진행하는 데 있어서 가우시안 잡음을 추가해 에너지 시장 모델을 구축하였다. 모의실험 결과 제안된 전력 거래시스템은 서로 협조적이며 공동의 이익을 추구하며 장기적으로 이익을 증가시킨 것을 확인하였다.

국내대학의 온라인교육 확대에 따른 학습자의 어려움 및 학습지원방안 (An Analysis of Learners' Difficulties and Proposal of Learning Support Plan for the Expansion of Online Education in Domestic Universities)

  • 김재엽
    • 한국건축시공학회지
    • /
    • 제21권1호
    • /
    • pp.71-78
    • /
    • 2021
  • 코로나 팬데믹과 4차산업혁명의 도래는 대학교육에도 영향을 미쳐, 많은 변화가 유발되고 있다. 이러한 변화의 하나로 온라인 교육의 확대가 있다. 본 연구는 국내대학에서 급격하게 확대된 온라인교육으로 인한 학습자들의 어려움을 분석하고, 학습 지원방안을 모색하는 것을 목적으로 하였다. 이를 위해 국내 대학의 건축공학전공 학생들을 대상으로 설문을 하였다. 그 결과 준비가 부족한 상황에서 급격히 확대된 온라인교육으로 인해, 교수와 학생의 상호작용에서 어려움이 있었던 것으로 나타났다. 비대면 온라인교육으로 인한 의사소통의 기회가 충분하지 못했고, 질의응답이나 피드백을 신속하게 받지 못한 것으로 분석되었다. 또한 본 연구는 온라인교육 학습의 어려움을 지원하기 위한 방법을 조사하였다. 학생들은 '강의일정과 같은 공지사항의 적절한 안내', '교수자의 강의노트를 학습자료로 제공' 등의 항목에서 높은 선호도를 보였다.

국내 대학 e-러닝의 운영 특징 및 수강자 요구 조사를 통한 활성화 방안 (Strategies for Revitalizing E-Learning Through Investigating the Characteristics of E-Learning and the Needs of Distance Learners in the Domestic Universities in Korea)

  • 민경배;신명희;류태호;곽선혜
    • 한국콘텐츠학회논문지
    • /
    • 제14권1호
    • /
    • pp.30-39
    • /
    • 2014
  • 본 연구는 국내 대학의 e-러닝 운영 특징은 무엇이며 이에 대한 수강자의 평가 및 요구사항은 어떠한지를 조사하여 대학 e-러닝 활성화방안을 모색하고자 하였다. 이를 위해 운영주체차원의 조사로 10개 일반대학 및 17개 사이버대학의 홈페이지와 언론보도를 분석하여 e-러닝 중점사업을 조사하였으며, 이용자차원의 조사로 Q&A게시판 내용분석 및 수강생 대상 일대일 심층면접을 진행하였다. 조사결과, 국내 대학은 모바일 스마트 캠퍼스 구축, 강의콘텐츠 다양화, 상호작용 시스템 강화, e-러닝 시스템 및 스마트기기 활용교육을 강조하고 있었다. 그러나 e-러닝 수강자들은 모바일에서의 e-러닝 환경이 학사행정에 있어서는 편리하나 과목수강과 관련해서는 불안정하거나 기능이 미흡하다고 느끼고 있었고, 강의콘텐츠는 아직도 특정 형태가 차지하는 비중이 높으며, 강의내용에 따라 차별화된 형태로 운영되는 것이 바람직하다고 응답했다. 또한 운영자 및 시스템의 상호작용보다 수강자 상호간의 상호작용이 활발하게 이루어지길 바라고 있었으며, 일반적인 스마트미디어활용교육이 아닌 강의 및 학습과 관련하여 활용할 수 있는 소셜애플리케이션에 대한 교육을 원하고 있었다. 따라서 국내 대학의 e-러닝 활성화를 위해서는 행정중심적 사업추진이 아닌 교육중심적 e-러닝 환경구축을 목표로 한 실효성 있는 노력이 필요하다.

혼합형 학습(Blended Learning) 환경에서의 공간디자인 CAD 수업 사례연구 (A Case Study of Spatial CAD Education in Blended Learning Environment)

  • 황지현;임해원
    • 한국콘텐츠학회논문지
    • /
    • 제21권10호
    • /
    • pp.115-126
    • /
    • 2021
  • 본 연구의 목적은 디자인 실기 수업의 본질은 유지하면서 다양하고 유연한 학습 환경을 제공하기 위해 블렌디드 러닝 사례를 면밀하게 분석하고, 수업 단계별로 블렌디드 러닝을 지원하는 학습 환경과 학생들의 활용도 및 교육 경험을 파악하는 것이다. 이를 위해 실제 주택 및 실내디자인 CAD 교과목에서 블렌디드 러닝을 적용하여 수업의 운영 및 내용, 수업 평가 등을 분석하였다. 수업 평가를 위해 강의 평가, LMS 활동평가, 수업을 진행한 전후 설문을 통한 블렌디드 러닝에 대한 경험 및 만족도를 조사하였다. 평가 결과는 장소와 시간의 제한 없이 실시간 피드백 기회의 부여, 다양한 상호작용의 기회 제공, 문자에 의한 대화 등 학습자의 활용도가 기존의 전통적인 대면 수업보다 우수하였다는 점에서 블렌디드 러닝 방식을 적용하는 것이 더 적절함을 시사한다. 또한, 사전조사의 결과, 네트워크나 기타 문제로 인해 집중도가 떨어지고 소통 부분에서 불편함을 느꼈다는 의견을 해결하기 위한 방안으로 디자인 실기 수업에서 이론 및 강의 부분은 비대면으로, 개별 질의응답 및 피드백은 대면 및 비대면으로 진행하여 사후조사 결과에서는 집중도와 효율성을 높일 수 있었음을 알 수 있었다. 이는 디자인 실기 수업에서 온라인 환경을 적극 활용할 수 있는 가능성을 시사한다.

유아교육 기관용 지능형 로봇의 '우리반' 콘텐츠 개발 (Intelligence Robot Contents for Early Childhood Education Settings)

  • 현은자;장시경;박현경;연혜민;김수미;박성주
    • 한국콘텐츠학회논문지
    • /
    • 제9권10호
    • /
    • pp.482-491
    • /
    • 2009
  • 본 연구는 유아기관에서 상용화되어 있는 지능형 로봇 iRobiQ에 탑재할 교사보조 콘텐츠 '우리반'을 기획하고 개발하는 것을 목적으로 하였다. 유아교육기관의 하루일과 중 iRobiQ가 교사보조로서 활용할 수 있는 기능을 추출하여 6개의 기능(출석, 활동, 갤러리, 배움터, 호명, 타이머)을 개발하였다. 유아가 매체를 다룰 때 수행하게 되는 주요 역할인 놀이자, 학습자, 사용자에 따라서 각각 오락적, 학습적, 도구적 요소를 충족시켜야 한다는 PLU 모델에 따라서 역할 모델에 따른 요소들을 기능에 반영하고자 하였다. 특히, 로봇은 정서적인 관계를 수행할 수 있기에 유아는 로봇을 친구(Companion)로서 접근할 수 있으며, 이에 따라서 또래 역할을 수행할 수 있는 정서적 요소들 또한 개발에 반영하였다. 유아기관에서 개발된 '우리반' 콘텐츠의 수용 양상을 살펴보기 위하여 4주간에 걸친 관찰을 수행한 결과, 교사와 유아 모두에게 긍정적인 반응을 얻었으며, 특히 유아의 경우에는 오락적, 정서적 요소에 더 많은 반응을 하였고, 로봇의 사용 방식이 점차 고정되는 교사와 달리 유아들은 끊임없이 새로운 요소를 탐색하였다. 개발 결과와 더불어서 향후 로봇 교사보조 콘텐츠를 개발할 때 고려해야 할 사항들을 논의한다.

간호 대학생이 인식하는 실무현장의 효과적 환경을 위한 간호리더자의 역할유형분석 (The role type analysis of nursing leader for effective environment at the practice field that nursing students recognize - Q methodology -)

  • 심인옥;송건우;이지현
    • 한국산학기술학회논문지
    • /
    • 제16권11호
    • /
    • pp.7801-7811
    • /
    • 2015
  • 간호 대학생은 임상실습기간동안 실무현장에서 다양한 학습을 하게 되며 특히 간호 리더자의 역할에 대한 중요성과 그 효과에 대해 인식하게 된다. 본 연구에서는 간호대학생이 실습 과정에서 경험한 효과적 실무환경을 위해 간호리더자의 역할에서 중요하게 작용하고 있는 부분이 무엇인지를 분석하여 그 유형을 분류하고자 한다. 이에 본 연구방법은 간호 대학생이 심층적으로 어떻게 인식하고 있는지를 파악하기 위해 Q방법을 적용하여 분석하였다. 연구 참여자는 간호대학생으로 실습 경험이 있는 자로 30명으로 구성하였고, Q표본은 간호리더자의 역할유형과 관련된 문헌, 임상실습을 경험한 학생과의 인터뷰를 통해 최종 표본을 36개의 진술문으로 구성 하였으며, QUANL PC프로그램으로 주요인을 분석하여 관련 유형을 분류하였다. 연구결과로 간호학생들이 인식하는 간호리더자의 역할유형은 4개의 유형으로 나타났으며, 제1유형은 "정의와 냉철함 유지형", 제2유형은 "동기부여를 위한 환경조성 형", 제3유형은 "인격존중 및 능력신장형", 제4유형은 "신뢰성을 통한 인간관계 중심형"으로 분류되었다. 본 연구 과정을 통해 간호학생이 실습과정에서 경험하는 실무현장의 효과적 환경을 위해 간호 리더자의 역할을 파악하여 추후 실무 환경을 위해 리더자의 역할의 중요성을 제안하고 이를 개선하는데 근거자료를 마련하고자 한다.

다중 AFLC를 이용한 SynRM 드라이브의 효율 최적화 제어 (Efficiency Optimization Control of SynRM Drive using Multi-AFLC)

  • 장미금;고재섭;최정식;강성준;백정우;김순영;정동화
    • 한국조명전기설비학회:학술대회논문집
    • /
    • 한국조명전기설비학회 2009년도 추계학술대회 논문집
    • /
    • pp.359-362
    • /
    • 2009
  • Optimal efficiency control of synchronous reluctance motor(SynRM) is very important in the sense of energy saving and conservation of natural environment because the efficiency of the SynRM is generally lower than that of other types of AC motors. This paper is proposed a novel efficiency optimization control of SynRM considering iron loss using multi adaptive fuzzy learning controller(AFLC). The optimal current ratio between torque current and exciting current is analytically derived to drive SynRM at maximum efficiency. This paper is proposed an efficiency optimization control for the SynRM which minimizes the copper and iron losses. There exists a variety of combinations of d and q-axis current which provide a specific motor torque. The objective of the efficiency optimization control is to seek a combination of d and q-axis current components, which provides minimum losses at a certain operating point in steady state. The control performance of the proposed controller is evaluated by analysis for various operating conditions. Analysis results are presented to show the validity of the proposed algorithm.

  • PDF

Forecasting tunnel path geology using Gaussian process regression

  • Mahmoodzadeh, Arsalan;Mohammadi, Mokhtar;Abdulhamid, Sazan Nariman;Ali, Hunar Farid Hama;Ibrahim, Hawkar Hashim;Rashidi, Shima
    • Geomechanics and Engineering
    • /
    • 제28권4호
    • /
    • pp.359-374
    • /
    • 2022
  • Geology conditions are crucial in decision-making during the planning and design phase of a tunnel project. Estimation of the geology conditions of road tunnels is subject to significant uncertainties. In this work, the effectiveness of a novel regression method in estimating geological or geotechnical parameters of road tunnel projects was explored. This method, called Gaussian process regression (GPR), formulates the learning of the regressor within a Bayesian framework. The GPR model was trained with data of old tunnel projects. To verify its feasibility, the GPR technique was applied to a road tunnel to predict the state of three geological/geomechanical parameters of Rock Mass Rating (RMR), Rock Structure Rating (RSR) and Q-value. Finally, in order to validate the GPR approach, the forecasted results were compared to the field-observed results. From this comparison, it was concluded that, the GPR is presented very good predictions. The R-squared values between the predicted results of the GPR vs. field-observed results for the RMR, RSR and Q-value were obtained equal to 0.8581, 0.8148 and 0.8788, respectively.

멀티에이전트 전략을 위한 방향벡터 함수 활용과 동적 환경에 적응하는 경로 추천시스템에 관한 연구 (The Application of Direction Vector Function for Multi Agents Strategy and The Route Recommendation System Research in A Dynamic Environment)

  • 김현;정태충
    • 전자공학회논문지CI
    • /
    • 제48권2호
    • /
    • pp.78-85
    • /
    • 2011
  • 본 논문에서는 운전자의 특성, 도로상황, 경로 추천을 담당하는 에이전트와 같은 동적환경정보(DEI:Dynamic Environment Information)를 반영하여 실시간으로 운전자에게 경로를 추천할 수 있는 시스템을 위해 멀티에이전트에 관한 연구를 수행하였다. DEI는 n개의 멀티 에이전트이며 운전자에게 최적화된 경로를 제공할 수 있는 경로추천시스템에 활용되는 환경변수이다. DEI가 반영되는 경로추천 시스템은 멀티 에이전트 연구의 새로운 연구 분야라 할 수 있겠다. 이를 위하여 멀티에이전트 연구의 대표적 실험 환경인 먹이추적문제를 이용하여 새로운 해법을 찾고자 하였다. 본 논문에서는 기존의 먹이추적 실험은 현실성이 결여된 멀티에이전트 연구였기에 기존의 실험환경과 달리 현실세계와 비슷한 실험환경을 제안을 하며 새로운 전략인 Ant-Q 학습을 적용한 알고리즘과 기존의 방향벡터를 활용한 전략과의 비교를 통해 새로운 환경에서의 성능의 향상을 입증할 수 있었다.