• 제목/요약/키워드: Stochastic optimization

검색결과 386건 처리시간 0.028초

Flexible operation and maintenance optimization of aging cyber-physical energy systems by deep reinforcement learning

  • Zhaojun Hao;Francesco Di Maio;Enrico Zio
    • Nuclear Engineering and Technology
    • /
    • 제56권4호
    • /
    • pp.1472-1479
    • /
    • 2024
  • Cyber-Physical Energy Systems (CPESs) integrate cyber and hardware components to ensure a reliable and safe physical power production and supply. Renewable Energy Sources (RESs) add uncertainty to energy demand that can be dealt with flexible operation (e.g., load-following) of CPES; at the same time, scenarios that could result in severe consequences due to both component stochastic failures and aging of the cyber system of CPES (commonly overlooked) must be accounted for Operation & Maintenance (O&M) planning. In this paper, we make use of Deep Reinforcement Learning (DRL) to search for the optimal O&M strategy that, not only considers the actual system hardware components health conditions and their Remaining Useful Life (RUL), but also the possible accident scenarios caused by the failures and the aging of the hardware and the cyber components, respectively. The novelty of the work lies in embedding the cyber aging model into the CPES model of production planning and failure process; this model is used to help the RL agent, trained with Proximal Policy Optimization (PPO) and Imitation Learning (IL), finding the proper rejuvenation timing for the cyber system accounting for the uncertainty of the cyber system aging process. An application is provided, with regards to the Advanced Lead-cooled Fast Reactor European Demonstrator (ALFRED).

신경망의 결정론적 이완에 의한 자기공명영상 분류 (Classification of Magnetic Resonance Imagery Using Deterministic Relaxation of Neural Network)

  • 전준철;민경필;권수일
    • Investigative Magnetic Resonance Imaging
    • /
    • 제6권2호
    • /
    • pp.137-146
    • /
    • 2002
  • 목적: 본 논문에서는 신경망을 이용한 자기공명영상의 분류에 있어 결정론적 이완 방법(deterministic relaxation)과 응집 군집화(agglomerative clustering) 방법에 의한 개선된 영상 분류방법을 제시한다. 제안된 방법은 신경망을 이용한 영상의 분류시 지역적 최소치로의 수렴문제와 입력 패턴의 증대로 인하여 수렴 속가 늦어지는 문제를 해결한다. 대상 및 방법: 신경망을 이용한 영상의 분류는 지역적 계산과 병렬 계산이 가능한 특성을 갖고 있어 기존의 통계적 방법을 대신하는 방법으로 주목을 받고 있다. 그러나 일반적으로 신경망에 의한 분류알고리즘이 지닌 문제점의 하나는 에너지함수가 항상 전역적 최소치로 수렴하지 않고 지역적 최소치로도 수렴할 수 있다는 점이고, 또 다른 문제점은 반복수렴을 수행하는 에너지함수의 수렴속도가 너무 늦다는 점이다. 따라서 지역적 최소치로의 수렴을 방지하고 전역적 최소치로의 수렴속도를 가속화시키기 위하여 본 논문에서는 결정적 이완 알고리즘의 하나인 MFA(Mean Field Annealing) 방법을 적용하여 지역적 최소치로의 수렴문제를 해결하는 방법을 제시한다. MFA는 모의 애닐링의 통계적 성질을 변수의 평균값에 적용하는 결정론적인 수정 법칙들로 대신하고, 이러한 평균값을 최소화함으로서 수렴속도를 개선한 방법이다 아울러 신경망이 갖고 있는 문제점인 과다한 클래스 패턴의 생성에 따른 처리속도 지연의 문제점을 해결하기 위하여 응집 군집화 알고리즘을 이용하여 영상을 구성하는 군집을 결정하여 신경망에 입력되는 값을 초기화하여 영상패턴이 증가되는 것을 제한하였다. 결과: 본 논문에서 제시된 응집 군집화 방법 및 결정론적 이완 방법은 신경망에 의한 자기공명영상의 분류 시 발생할 수 있는 지역적 최적 치로의 수렴 문제를 해결하여 전역적 최적화로 신속히 수렴함을 알 수 있었다. 결론: 본 논문에서는 클러스터의 분석과 결정론적 이완 방법에 의하여 신경망에 의한 자기공명영상의 분류결과를 향상시키기 위한 새로운 방법을 소개하였으며 실험결과를 통하여 그러한 사실을 확인할 수 있었다.

  • PDF

기후변화의 비정상성 대비 댐 운영 개선을 위한 Robust-SDP의 개발 (Development of Robust-SDP for improving dam operation to cope with non-stationarity of climate change)

  • 윤해나;서승범;김영오
    • 한국수자원학회논문집
    • /
    • 제51권spc1호
    • /
    • pp.1135-1148
    • /
    • 2018
  • 기존의 저수지 운영 연구들은 미래의 기후가 과거와 유사하다는 정상성의 가정을 전제로 하였다. 하지만 기후의 비정상성으로 인해 불확실성이 더욱 커질 경우에는 큰 불확실성에서도 안정된 최적해를 찾을 수 있는 로버스트 최적화 과정(Robust Optimization, 이하 RO)이 필요하다고 알려져 있다. RO는 입력자료의 비정상성으로 인해 야기되는 불확실성을 제어하는 로버스트 항을 목적함수에 추가하여 기존의 최적화 방법을 개선한다. 본 연구는 기후변화의 비정상성을 대비하는 저수지 운영규칙 산정을 위해 추계학적동적계획법(Stochastic Dynamic Programing, 이하 SDP)과 RO를 결합하는 Robust-SDP를 제안하였고, 이를 최근 4년간 가뭄을 겪었던 보령댐에 적용하였다. 즉, 비정상성이 반영된 미래 유입량 자료를 생성하고 이를 6가지의 평가지표와 2가지의 의사결정 지원그림을 사용하여 과거 유입량 자료로부터 산출된 저수지 운영규칙의 수행능력을 평가하였다. 그 결과, Robust-SDP가 기후의 비정상성 하에서 극단적인 물 부족 사건의 발생률과 물 부족 사건의 실패의 크기를 감소시켰지만, 작은 크기의 물 부족 발생률은 증가하는 상충관계(trade-off)를 가져옴을 확인할 수 있었다. 이를 바탕으로 의사결정자가 우선시하는 평가지표의 결과에 따라 최적화 모형을 선택할 수 있음을 제안하였다.

횡성댐 상류유역에 대한 수질관리모형의 적용 (Application of Water-Quality Management Model for Upstream Basin of Hoengsung Dam)

  • 김상호;이을래
    • 한국물환경학회지
    • /
    • 제24권2호
    • /
    • pp.239-246
    • /
    • 2008
  • In this study, an optimized deterministic water-quality model was constructed to estimate water quality of a river and lake in the upstream basin of a dam. A stochastic water-quality analysis using reliability analysis technique was applied to the model. The model was tested in the 13.9 km reach from Maeil stage station of Kyechun to Hoengsung Dam of Sum River. After finding hydraulic characteristics from nonuniform flow analysis, Broyden-Fletcher-Goldfarb-Shanno (BFGS) optimization technique for model calibration was applied to determine optimum reaction parameters, and model verification was performed based on these. The stochastic model, using Mean First­Order Second­-Moment (MFOSM) and Monte-Carlo methods, was applied to the same reach as the deterministic study. Variations of discharge and water quality in headwater were considered, as well as variations of hydraulic coefficients and reaction coefficients. The statistical results of output variables from MFOSM were similar to those from the Monte-Carlo method. Risk analysis using MFOSM and Monte-Carlo methods presented the probabilities of some locations in the Hoengsung Lake violating existing water-quality standards in terms of DO and BOD.

Vibration-based identification of rotating blades using Rodrigues' rotation formula from a 3-D measurement

  • Loh, Chin-Hsiung;Huang, Yu-Ting;Hsiung, Wan-Ying;Yang, Yuan-Sen;Loh, Kenneth J.
    • Wind and Structures
    • /
    • 제21권6호
    • /
    • pp.677-691
    • /
    • 2015
  • In this study, the geometrical setup of a turbine blade is tracked. A research-scale rotating turbine blade system is setup with a single 3-axes accelerometer mounted on one of the blades. The turbine system is rotated by a controlled motor. The tilt and rolling angles of the rotating blade under operating conditions are determined from the response measurement of the single accelerometer. Data acquisition is achieved using a prototype wireless sensing system. First, the Rodrigues' rotation formula and an optimization algorithm are used to track the blade rolling angle and pitching angles of the turbine blade system. In addition, the blade flapwise natural frequency is identified by removing the rotation-related response induced by gravity and centrifuge force. To verify the result of calculations, a covariance-driven stochastic subspace identification method (SSI-COV) is applied to the vibration measurements of the blades to determine the system natural frequencies. It is thus proven that by using a single sensor and through a series of coordinate transformations and the Rodrigues' rotation formula, the geometrical setup of the blade can be tracked and the blade flapwise vibration frequency can be determined successfully.

가변 축척 매개변수를 가진 변형 확률적 경사도 기반 필터의 해석 (Analysis of a Modified Stochastic Gradient-Based Filter with Variable Scaling Parameter)

  • 김해정
    • 한국통신학회논문지
    • /
    • 제31권12C호
    • /
    • pp.1280-1287
    • /
    • 2006
  • 본 논문은 변형 확률적 경사도 기반 (MSGB) 필터를 제안하고 그 필터가 최적화 문제에 대한 해가 될 수 있음을 보여준다. 갱신항으로 첨가된 가변적 축척 매개변수를 가진 비선형 적응 필터인 MSGB 필터의 특성을 분석 한다. 가변 매개변수의 MSGB 필터는 가변 축척 매개변수를 통하여 고정 매개변수의 MSGB 필터와 무매개변수의 MSGB 필터를 연결하는 역할을 한다. 그 안정성 영역과 오조정량도 살펴본다. 시스템 식별에 응용하여 컴퓨터 모의실험을 실행하여 MSGB 필터의 개선된 성능 특성을 보여준다.

비선형 시스템의 상태변수 추정기법 동향 (A Survey on State Estimation of Nonlinear Systems)

  • 장홍;최수항;이재형
    • 제어로봇시스템학회논문지
    • /
    • 제20권3호
    • /
    • pp.277-288
    • /
    • 2014
  • This article reviews various state estimation methods for nonlinear systems, particularly with a perspective of a process control engineer. Nonlinear state estimation methods can be classified into the following two categories: stochastic approaches and deterministic approaches. The current review compares the Bayesian approach, which is mainly a stochastic approach, and the MHE (Moving Horizon Estimation) approach, which is mainly a deterministic approach. Though both methods are reviewed, emphasis is given to the latter as it is particularly well-suited to highly nonlinear systems with slow sampling rates, which are common in chemical process applications. Recent developments in underlying theories and supporting numerical algorithms for MHE are reviewed. Thanks to these developments, applications to large-scale and complex chemical processes are beginning to show up but they are still limited at this point owing to the high numerical complexity of the method.

Genetic Algorithm-Based Coordinated Replenishment in Multi-Item Inventory Control

  • Nagasawa, Keisuke;Irohara, Takashi;Matoba, Yosuke;Liu, Shuling
    • Industrial Engineering and Management Systems
    • /
    • 제12권3호
    • /
    • pp.172-180
    • /
    • 2013
  • We herein consider a stochastic multi-item inventory management problem in which a warehouse sells multiple items with stochastic demand and periodic replenishment from a supplier. Inventory management requires the timing and amounts of orders to be determined. For inventory replenishment, trucks of finite capacity are available. Most inventory management models consider either a single item or assume that multiple items are ordered independently, and whether there is sufficient space in trucks. The order cost is commonly calculated based on the number of carriers and the usage fees of carriers. In this situation, we can reduce future shipments by supplementing items to an order, even if the item is not scheduled to be ordered. On the other hand, we can reduce the average number of items in storage by reducing the order volume and at the risk of running out of stock. The primary variables of interest in the present research are the average number of items in storage, the stock-out volume, and the number of carriers used. We formulate this problem as a multi-objective optimization problem. In a numerical experiment based on actual shipment data, we consider the item shipping characteristics and simulate the warehouse replenishing items coordinately. The results of the simulation indicate that applying a conventional ordering policy individually will not provide effective inventory management.

System-Level Analysis of Receiver Diversity in SWIPT-Enabled Cellular Networks

  • Lam, Thanh Tu;Renzo, Marco Di;Coon, Justin P.
    • Journal of Communications and Networks
    • /
    • 제18권6호
    • /
    • pp.926-937
    • /
    • 2016
  • In this paper, we study the feasibility of receiver diversity for application to downlink cellular networks, where low-energy devices are equipped with information decoding and energy harvesting receivers for simultaneous wireless information and power transfer. We compare several options that are based on selection combining and maximum ratio combining, which provide different implementation complexities. By capitalizing on the Frechet inequality, we shed light on the advantages and limitations of each scheme as a function of the transmission rate and harvested power that need to be fulfilled at the low-energy devices. Our analysis shows that no scheme outperforms the others for every system setup. It suggests, on the other hand, that the low-energy devices need to operate in an adaptive fashion, by choosing the receiver diversity scheme as a function of the imposed requirements. With the aid of stochastic geometry, we introduce mathematical frameworks for system-level analysis. We show that they constitute an important tool for system-level optimization and, in particular, for identifying the diversity scheme that optimizes wireless information and power transmission as a function of a sensible set of parameters. Monte Carlo simulations are used to validate our findings and to illustrate the trade-off that emerge in cellular networks with simultaneous wireless information and power transfer.

네트워크 대역폭 할당에 따른 전송률 응답특성을 구현해주는 모델링 기법 (Modeling Techniques of the Throughput Response Characteristics depending on the Network Bandwidth Allocation)

  • 박종진;문영성
    • 한국통신학회논문지
    • /
    • 제28권8B호
    • /
    • pp.691-698
    • /
    • 2003
  • 네트워크의 QoS를 지원하기 위해서는 환경변화에 동적으로 대처할 수 있는 자원관리 시스템이 필요하며, 이를 위해 고전적인 제어기술 분야에 사용되는 적응적인 시스템을 도입할 수 있다. 제어기술의 적용을 위해서는 네트워크의 대역폭 할당에 따른 전송률 응답특성을 구현해주는 모델의 개발이 필수적이라고 할 수 있다. 본 연구에서는 두 가지 방식의 네트워크 모델을 제안하였다. 첫째는 "동적 시스템 모델"이며 다른 하나는 "통계학적 모델"이다. 동적 시스템 모델은 네트워크의 동적 특성을 고려하여 도입하였으며, 통계학적 모델은 측정된 전송량 데이터의 분포를 고려하여 도입하였다. 제시된 두 모델의 인자 결정을 위해 최적화 기법을 사용하였으며, 제시된 두 모델이 실제 네트워크의 동작과 유사함을 살펴보았다.