• 제목/요약/키워드: Deep Q-Network

검색결과 64건 처리시간 0.022초

마이크로그리드에서 강화학습 기반 에너지 사용량 예측 기법 (Prediction Technique of Energy Consumption based on Reinforcement Learning in Microgrids)

  • 선영규;이지영;김수현;김수환;이흥재;김진영
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권3호
    • /
    • pp.175-181
    • /
    • 2021
  • 본 논문은 단기 에너지 사용량 예측을 위해 인공지능 기반의 접근법에 대해 분석한다. 본 논문에서는 단기 에너지 사용량 예측 기술에 자주 활용되는 지도학습 알고리즘의 한계를 개선하기 위해 강화학습 알고리즘을 활용한다. 지도학습 알고리즘 기반의 접근법은 충분한 성능을 위해 에너지 사용량 데이터뿐만 아니라 contextual information이 필요하여 높은 복잡성을 가진다. 데이터와 학습모델의 복잡성을 개선하기 위해 다중 에이전트 기반의 심층 강화학습 알고리즘을 제안하여 에너지 사용량 데이터로만 에너지 사용량을 예측한다. 공개된 에너지 사용량 데이터를 통해 시뮬레이션을 진행하여 제안한 에너지 사용량 예측 기법의 성능을 확인한다. 제안한 기법은 이상점의 특징을 가지는 데이터를 제외하고 실제값과 유사한 값을 예측하는 것을 보여준다.

객체인식과 작업 스케줄링 기반 스마트 AGV (Smart AGV based on Object Recognition and Task Scheduling)

  • 이세훈;박태영;최규현;소원빈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
    • /
    • pp.251-252
    • /
    • 2019
  • 본 논문에서는 기존의 AGV보다 높은 안전성과 Task Scheduling을 바탕으로 한 효율적인 AGV를 제안하였다. AGV는 객체인식 알고리즘인 YOLO로 다른 AGV를 인식하여 자동으로 피난처로 들어간다. 또한 마커인식 알고리즘인 ar_markers를 이용하여 그 위치가 적재소인지 생산 공정인지를 판단하여 각 마커마다 멈추고 피난처에 해당하는 Marker가 인식되고 다른 AGV가 인식되면 피난처로 들어가는 동작을 한다. 이 모든 로그는 Mobius를 이용해 Spring기반의 웹 홈페이지로 확인할 수 있으며, 작업스케줄 명령 또한 웹 홈페이지에서 내리게 된다. 위 작업스케줄은 외판원, 벨만-포드 알고리즘을 적용한 뒤 강화학습알고리즘 중 하나인 DQN을 이용해 최적 값을 도출해 내고 그 값을 DB에 저장해 AGV가 움직일 수 있도록 한다. 본 논문에서는 YOLO와 Marker 그리고 웹을 사용하는 AGV가 기존의 AGV에 비해 더욱 가볍고 큰 시설이 필요하지 않다는 점에서 우수함을 보인다.

  • PDF

기계학습을 이용한 염화물 확산계수 예측모델 개발 (Development of Prediction Model of Chloride Diffusion Coefficient using Machine Learning)

  • 김현수
    • 한국공간구조학회논문집
    • /
    • 제23권3호
    • /
    • pp.87-94
    • /
    • 2023
  • Chloride is one of the most common threats to reinforced concrete (RC) durability. Alkaline environment of concrete makes a passive layer on the surface of reinforcement bars that prevents the bar from corrosion. However, when the chloride concentration amount at the reinforcement bar reaches a certain level, deterioration of the passive protection layer occurs, causing corrosion and ultimately reducing the structure's safety and durability. Therefore, understanding the chloride diffusion and its prediction are important to evaluate the safety and durability of RC structure. In this study, the chloride diffusion coefficient is predicted by machine learning techniques. Various machine learning techniques such as multiple linear regression, decision tree, random forest, support vector machine, artificial neural networks, extreme gradient boosting annd k-nearest neighbor were used and accuracy of there models were compared. In order to evaluate the accuracy, root mean square error (RMSE), mean square error (MSE), mean absolute error (MAE) and coefficient of determination (R2) were used as prediction performance indices. The k-fold cross-validation procedure was used to estimate the performance of machine learning models when making predictions on data not used during training. Grid search was applied to hyperparameter optimization. It has been shown from numerical simulation that ensemble learning methods such as random forest and extreme gradient boosting successfully predicted the chloride diffusion coefficient and artificial neural networks also provided accurate result.

지진 관측 기록을 이용한 필리핀 마닐라의 현장 증폭 특성 및 S파 속도구조 추정 (Estimation of site amplification and S-wave velocity profiles in metropolitan Manila, the Philippines, from earthquake ground motion records)

  • 야마나카 히로아키
    • 지구물리와물리탐사
    • /
    • 제14권1호
    • /
    • pp.69-79
    • /
    • 2011
  • 본 연구에서는, 필리핀의 마닐라에서 관측된 지진 기록을 통해 얇고 깊은 토양층의 S파 속도 구조와 경험적 현장 증폭 특성을 평가하였다. 지진 기록에 빛띠 역산법 (Spectral inversion technique)을 적용하여 진원, 경로 및 국지적 현장 증폭 효과들을 평가하였다. 사용한 지진 자료는 36회의 중간급 지진들의 기록을 얻었으며, 그 중에서 마닐라의 지진 관측 망에서 강한 움직임을 보인 10곳의 관측점 자료를 이용하였다. 전파경로의 추정 Q값은 54,6f 1.1으로 모사된다. 대부분의 진원의 빛띠(스펙트럼)는 오메가-스퀘어 (omega-square) 모형으로 근사 될 수 있다. 현장 증폭 특성은 지표 지질조건에 따라 특유의 특정을 보여준다. 중앙 고지대의 증폭특성은 우세 주파수를 갖지 않는데 비해, 해안 저지대 와 마리카나(Marikina) 계곡에서의 증폭특성은 1~5Hz의 우세 주파수를 갖는다. 우리는 현장 증폭 특성을 S파 속도로 변환한 후에, 증폭 특성과 상부 30m의 평균 S파 속도 구조와의 관계를 검토하였다. 낮은 주파수대의 증폭 특성은 평균 S파 속도와 좋은 상관성을 보인다. 반면, 높은 주파수대의 증폭특성은 상부 30m내의 평균 S파 속도로 충분히 설명되지 않는다. 이것은 30m보다 낮은 심도의 평균 S파 속도와 더 많이 관련되어 있다.