• 제목/요약/키워드: Bayesian optimization

검색결과 95건 처리시간 0.028초

A Novel Method for Virtual Machine Placement Based on Euclidean Distance

  • Liu, Shukun;Jia, Weijia
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권7호
    • /
    • pp.2914-2935
    • /
    • 2016
  • With the increasing popularization of cloud computing, how to reduce physical energy consumption and increase resource utilization while maintaining system performance has become a research hotspot of virtual machine deployment in cloud platform. Although some related researches have been reported to solve this problem, most of them used the traditional heuristic algorithm based on greedy algorithm and only considered effect of single-dimensional resource (CPU or Memory) on energy consumption. With considerations to multi-dimensional resource utilization, this paper analyzed impact of multi-dimensional resources on energy consumption of cloud computation. A multi-dimensional resource constraint that could maintain normal system operation was proposed. Later, a novel virtual machine deployment method (NVMDM) based on improved particle swarm optimization (IPSO) and Euclidean distance was put forward. It deals with problems like how to generate the initial particle swarm through the improved first-fit algorithm based on resource constraint (IFFABRC), how to define measure standard of credibility of individual and global optimal solutions of particles by combining with Bayesian transform, and how to define fitness function of particle swarm according to the multi-dimensional resource constraint relationship. The proposed NVMDM was proved superior to existing heuristic algorithm in developing performances of physical machines. It could improve utilization of CPU, memory, disk and bandwidth effectively and control task execution time of users within the range of resource constraint.

Improvement of inspection system for common crossings by track side monitoring and prognostics

  • Sysyn, Mykola;Nabochenko, Olga;Kovalchuk, Vitalii;Gruen, Dimitri;Pentsak, Andriy
    • Structural Monitoring and Maintenance
    • /
    • 제6권3호
    • /
    • pp.219-235
    • /
    • 2019
  • Scheduled inspections of common crossings are one of the main cost drivers of railway maintenance. Prognostics and health management (PHM) approach and modern monitoring means offer many possibilities in the optimization of inspections and maintenance. The present paper deals with data driven prognosis of the common crossing remaining useful life (RUL) that is based on an inertial monitoring system. The problem of scheduled inspections system for common crossings is outlined and analysed. The proposed analysis of inertial signals with the maximal overlap discrete wavelet packet transform (MODWPT) and Shannon entropy (SE) estimates enable to extract the spectral features. The relevant features for the acceleration components are selected with application of Lasso (Least absolute shrinkage and selection operator) regularization. The features are fused with time domain information about the longitudinal position of wheels impact and train velocities by multivariate regression. The fused structural health (SH) indicator has a significant correlation to the lifetime of crossing. The RUL prognosis is performed on the linear degradation stochastic model with recursive Bayesian update. Prognosis testing metrics show the promising results for common crossing inspection scheduling improvement.

Online railway wheel defect detection under varying running-speed conditions by multi-kernel relevance vector machine

  • Wei, Yuan-Hao;Wang, You-Wu;Ni, Yi-Qing
    • Smart Structures and Systems
    • /
    • 제30권3호
    • /
    • pp.303-315
    • /
    • 2022
  • The degradation of wheel tread may result in serious hazards in the railway operation system. Therefore, timely wheel defect diagnosis of in-service trains to avoid tragic events is of particular importance. The focus of this study is to develop a novel wheel defect detection approach based on the relevance vector machine (RVM) which enables online detection of potentially defective wheels with trackside monitoring data acquired under different running-speed conditions. With the dynamic strain responses collected by a trackside monitoring system, the cumulative Fourier amplitudes (CFA) characterizing the effect of individual wheels are extracted to formulate multiple probabilistic regression models (MPRMs) in terms of multi-kernel RVM, which accommodate both variables of vibration frequency and running speed. Compared with the general single-kernel RVM-based model, the proposed multi-kernel MPRM approach bears better local and global representation ability and generalization performance, which are prerequisite for reliable wheel defect detection by means of data acquired under different running-speed conditions. After formulating the MPRMs, we adopt a Bayesian null hypothesis indicator for wheel defect identification and quantification, and the proposed method is demonstrated by utilizing real-world monitoring data acquired by an FBG-based trackside monitoring system deployed on a high-speed trial railway. The results testify the validity of the proposed method for wheel defect detection under different running-speed conditions.

Path-Based Computation Encoder for Neural Architecture Search

  • Yang, Ying;Zhang, Xu;Pan, Hu
    • Journal of Information Processing Systems
    • /
    • 제18권2호
    • /
    • pp.188-196
    • /
    • 2022
  • Recently, neural architecture search (NAS) has received increasing attention as it can replace human experts in designing the architecture of neural networks for different tasks and has achieved remarkable results in many challenging tasks. In this study, a path-based computation neural architecture encoder (PCE) was proposed. Our PCE first encodes the computation of information on each path in a neural network, and then aggregates the encodings on all paths together through an attention mechanism, simulating the process of information computation along paths in a neural network and encoding the computation on the neural network instead of the structure of the graph, which is more consistent with the computational properties of neural networks. We performed an extensive comparison with eight encoding methods on two commonly used NAS search spaces (NAS-Bench-101 and NAS-Bench-201), which included a comparison of the predictive capabilities of performance predictors and search capabilities based on two search strategies (reinforcement learning-based and Bayesian optimization-based) when equipped with different encoders. Experimental evaluation shows that PCE is an efficient encoding method that effectively ranks and predicts neural architecture performance, thereby improving the search efficiency of neural architectures.

하이퍼매개변수 베이지안 최적화 기법을 적용한 미래 유입량 예측 (Future inflow projection based on Bayesian optimization for hyper-parameters)

  • 쩐득충;김종호
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.347-347
    • /
    • 2022
  • 최근 데이터 사이언스의 비약적인 발전과 함께 다양한 형태의 딥러닝 알고리즘이 개발되어 수자원 분야에도 적용되고 있다. 이 연구에서는 LSTM(Long Short-Term Memory) 네트워크와 BO-LSTM이라는 베이지안 최적화(BO) 기술을 결합하여 일단위 앙상블 미래 댐유입량을 projection하는 딥 러닝 모델을 제안하였다. BO-LSTM 하이퍼파라미터 및 손실 함수는 베이지안 최적화 기법을 통해 훈련 및 최적화되며, BO 접근법은 모델의 하이퍼파라미터와 손실 함수를 높은 정확도로 빠르게 최적화할 수 있었다(R=0.92 및 NSE=0.85). 또한 미래 댐 유입량을 예측하기 위한 LSTM의 구조는 Forecasting 모형과 Proiection 모형으로 구분하여 두 모형의 장단점을 분석하였으며, 본 연구의 결과로부터 데이터 처리 단계가 모델 훈련의 효율성을 높이고 노이즈를 줄이는 데 효과적이고 미래 예측에 있어 LSTM 구조에 따른 영향을 확인할 수 있었다. 본 연구는 소양강 유역, 2020-2100년 기간 동안의 미래 예측에 적용되었다. 전반적으로, CIMIP6 데이터에 따르면 10%에서 50%의 미래 유입량 증가가 발생하는 것으로 확인되었으며, 이는 미래 강수량의 증가의 폭과 유사함을 확인하였다. 유입량 산정에 있어 신뢰할 수 있는 예측은 저수지 운영, 계획 및 관리에 있어 정책 입안자와 운영자에게 도움이 될 것입니다.

  • PDF

순환 아키텍쳐 및 하이퍼파라미터 최적화를 이용한 데이터 기반 군사 동작 판별 알고리즘 (A Data-driven Classifier for Motion Detection of Soldiers on the Battlefield using Recurrent Architectures and Hyperparameter Optimization)

  • 김준호;채건주;박재민;박경원
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.107-119
    • /
    • 2023
  • 군인의 동작 및 운동 상태를 인식하는 기술은 웨어러블 테크놀로지와 인공지능의 결합으로 최근 대두되어 병력 관리의 패러다임을 바꿀 기술로 주목받고 있다. 이때 훈련 상황에서의 평가 및 솔루션 제공, 전투 상황에서의 효율적 모니터링 기능을 의도한대로 제공하기 위해서는 상태 판별의 정확도가 매우 높은 수준으로 유지되어야만 한다. 하지만 입력 데이터가 시계열 또는 시퀀스로 주어지는 경우, 기존의 피드포워드 신경망으로는 분류 성능을 극대화하는데 한계가 발생한다. 전장에서의 군사 동작 인식을 위해 다뤄지는 인간의 행동양식 데이터(3축 가속도 및 3축 각속도)는 시의존적 특성의 분석이 요구되기 때문에, 본 논문은 순환 신경망인 LSTM(Long-short Term Memory) 네트워크를 활용하여 취득 데이터의 이동 양상 및 순서 의존성을 파악하고 여덟 가지의 대표적 군사 동작(Sitting, Standing, Walking, Running, Ascending, Descending, Low Crawl, High Crawl)을 분류하는 고성능 인공지능 모델을 제안한다. 이때, 학습 조건 및 모델 변수는 그 정확도에 결정적인 영향을 끼치지만 인간의 수동적 조정이 필요해 비용 비효율적이고 최적의 값을 보장하지 못한다. 본 논문은 기계 스스로 일반화 성능이 극대화된 조건들을 취득할 수 있도록 베이지안 최적화를 활용해 하이퍼파라미터를 최적화한다. 그 결과, 최종 아키텍쳐는 학습 가능한 파라미터의 개수가 유사한 기존의 인공 신경망과 비교해서 오차율이 62.56% 감소할 수 있었으며, 최종적으로 98.39%의 정확도로 군사 동작 인식 기능을 구현할 수 있었다.

자연 프루닝과 베이시안 선택에 의한 신경회로망 일반화 성능 향상 (Improving Generalization Performance of Neural Networks using Natural Pruning and Bayesian Selection)

  • 이현진;박혜영;이일병
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권3_4호
    • /
    • pp.326-338
    • /
    • 2003
  • 신경회로망 설계 및 모델선택의 목표는 최적의 구조를 가지는 일반화 성능이 우수한 네트워크를 구성하는 것이다. 하지만 학습데이타에는 노이즈(noise)가 존재하고, 그 수도 충분하지 않기 때문에 최종적으로 표현하고자 하는 진확률 분포와 학습 데이타에 의해 표현되는 경험확률분포(empirical probability density) 사이에는 차이가 발생한다. 이러한 차이 때문에 신경회로망을 학습데이타에 대하여 과다하게 적합(fitting)시키면, 학습데이타만의 확률분포를 잘 추정하도록 매개변수들이 조정되어 버리고, 진확률 분포로부터 멀어지게 된다. 이러한 현상을 과다학습이라고 하며, 과다학습된 신경회로망은 학습데이타에 대한 근사는 우수하지만, 새로운 데이타에 대한 예측은 떨어지게 된다. 또한 신경회로망의 복잡도가 증가 할수록 더 많은 매개변수들이 노이즈에 쉽게 적합되어 과다학습 현상은 더욱 심화된다. 본 논문에서는 통계적인 관점을 바탕으로 신경회로망의 일반화 성능을 향상시키는 신경회로 망의 설계 및 모델 선택의 통합적인 프로세스를 제안하고자 한다. 먼저 학습의 과정에서 적응적 정규화가 있는 자연기울기 학습을 통해 수렴속도의 향상과 동시에 과다학습을 방지하여 진확률 분포에 가까운 신경회로망을 얻는다. 이렇게 얻어진 신경회로망에 자연 프루닝(natural pruning) 방법을 적용하여 서로 다른 크기의 후보 신경회로망 모델을 얻는다. 이러한 학습과 복잡도 최적화의 통합 프로세스를 통하여 얻은 후보 모델들 중에서 최적의 모델을 베이시안 정보기준에 의해 선택함으로써 일반화 성능이 우수한 최적의 모델을 구성하는 방법을 제안한다. 또한 벤치마크 문제를 이용한 컴퓨터 시뮬레이션을 통하여, 제안하는 학습 및 모델 선택의 통합프로세스의 일반화 성능과 구조 최적화 성능의 우수성을 검증한다.

지역특성인자의 상호연관성을 고려한 강우-유출모형 매개변수 지역화 (Regionalization of rainfall-runoff model parameters based on the correlation of regional characteristic factors)

  • 김진국;오랑치맥 솜야;김태정;권현한
    • 한국수자원학회논문집
    • /
    • 제54권11호
    • /
    • pp.955-968
    • /
    • 2021
  • 수자원 계획 수립시 인위적인 하천수의 사용 및 조절 과정을 거치지 않는 자연유량 상태를 기반으로 이루어지며, 관측자료를 이용하거나 장기유출모형을 이용한 방법 등을 통해 산정할 수 있다. 그러나, 자연적인 유출 상태를 보이는 유역은 매우 제한적이며, 미계측유역은 수문모형을 구축한 후 이를 전이시켜 산정하는 등 신뢰성 있는 수문자료는 여전히 부족한 실정이다. 본 연구에서는 GR4J 강우-유출모형을 활용하여 14개 댐 상류 유역에 대한 매개변수 최적화를 수행하여 자연유량의 재현성을 평가하였다. 매개변수의 불확실성을 정량적으로 고려하기 위해 Bayesian 이론을 도입하였으며, 매개변수의 사후분포로부터 추출되는 다수의 매개변수를 지역화에 활용하였다. 최종적으로 최적 매개변수와 유역의 특성을 갖는 인자에 대한 상관관계를 파악해 유역특성인자를 선별하였으며, 인자 사이의 상관성을 효과적으로 고려하기 위하여 Copula 함수를 활용해 매개변수 지역화 모델로 확장하였다. 결과적으로 지역 매개변수를 활용해 산정된 유량과 14개 댐 관측 유입량이 약 0.8 이상의 높은 상관성을 확인하였다. 본 연구에서 제안한 방법론은 미계측유역의 강우-유출모형 매개변수 추정시 유역특성을 고려한 지역 매개변수의 추정이 가능하다는 측면에서 유리한 장점을 확인할 수 있으며, 동시에 불확실성 정보를 제공함으로써 미계측유역의 자연유량 예측 모형으로 활용 가능할 것으로 판단된다.

지능형 전망모형을 결합한 로보어드바이저 알고리즘 (Robo-Advisor Algorithm with Intelligent View Model)

  • 김선웅
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.39-55
    • /
    • 2019
  • 최근 은행과 증권회사를 중심으로 다양한 로보어드바이저 금융상품들이 출시되고 있다. 로보어드바이저는 사람 대신 컴퓨터가 포트폴리오 자산배분에 대한 투자 결정을 실행하기 때문에 다양한 자산배분 알고리즘이 활용되고 있다. 본 연구에서는 대표적 로보어드바이저 알고리즘인 블랙리터만모형의 강점을 살리면서 객관적 투자자 전망을 도출할 수 있는 지능형 전망모형을 제안하고 이를 내재균형수익률과 결합하여 최종 포트폴리오를 도출하는 로보어드바이저 자산배분 알고리즘을 새로이 제안하며, 실제 주가자료를 이용한 실증분석 결과를 통해 전문가의 주관적 전망을 대신할 수 있는 지능형 전망모형의 실무적 적용 가능성을 보여주고자 한다. 그동안 주가 예측에서 우수한 성과를 보여주었던 기계학습 방법 중 SVM 모형을 이용하여 각 자산별 기대수익률에 대한 예측과 예측 확률을 도출하고 이를 각각 기대수익률에 대한 투자자 전망과 전망에 대한 신뢰도 수준의 입력변수로 활용하는 지능형 전망모형을 제안하였다. 시장포트폴리오로부터 도출된 내재균형수익률과 지능형 전망모형의 기대수익률, 확률을 결합하여 최종적인 블랙리터만모형의 최적포트폴리오를 도출하였다. 주가자료는 2008년부터 2018년까지의 132개월 동안의 8개의 KOSPI 200 섹터지수 월별 자료를 분석하였다. 블랙리터만모형으로 도출된 최적포트폴리오의 결과가 기존의 평균분산모형이나 리스크패리티모형 등과 비교하여 우수한 성과를 보여주었다. 구체적으로 2008년부터 2015년까지의 In-Sample 자료에서 최적화된 블랙리터만모형을 2016년부터 2018년까지의 Out-Of-Sample 기간에 적용한 실증분석 결과에서 다른 알고리즘보다 수익과 위험 모두에서 좋은 성과를 기록하였다. 총수익률은 6.4%로 최고 수준이며, 위험지표인 MDD는 20.8%로 최저수준을 기록하였다. 수익과 위험을 동시에 고려하여 투자 성과를 측정하는 샤프비율 역시 0.17로 가장 좋은 결과를 보여주었다. 증권계의 애널리스트 전문가들이 발표하는 투자자 전망자료의 신뢰성이 낮은 상태에서, 본 연구에서 제안된 지능형 전망모형은 현재 빠른 속도로 확장되고 있는 로보어드바이저 관련 금융상품을 개발하고 운용하는 실무적 관점에서 본 연구는 의의가 있다고 판단된다.

데이터 마이닝을 이용한 단기 부하 예측 시스템 연구 (A Study of Short-Term Load Forecasting System Using Data Mining)

  • 주영훈;정근호;김도완;박진배
    • 한국지능시스템학회논문지
    • /
    • 제14권2호
    • /
    • pp.130-135
    • /
    • 2004
  • 본 논문에서는 데이터 마이닝을 이용한 단기 전력 부하 예측 시스템의 새로운 설계 기법을 제안한다. 제안된 단기 부하 예측시스템은 Takagj-Sugeno (T-S) 퍼지 모델 기반 예측기와 분류기로 구성된다. 또한, 제안된 T-S 퍼지 모델 기반 분류기는 전반부 가우시안 집합과 후반부 선형화된 베이지안 분류기로 구성된다 분류기의 파라미터들은 주어진 훈련 집합의 통계적 수치로 쉽게 얻어진다. 제안된 T-S 퍼지 모델 기반 예측기는 한 가지 입력에 대한 선형 시계열 예측기의 볼록 조합 형태를 가진다. 후반부 파라미터 추정 문제는 실제 전력 부하와 예측 전력 부하의 놈(norm)을 최소화하는 볼록 최적화 문제로 간주한다. 그 문제는 선형 행렬 부등식으로 설정됨으로써 후반부 파라미터는 추정된다. 전반부 파라미터 추정문제는 선형 시계열 예측기들이 모여진 전체 T-S 퍼지 시스템의 출력과 실제 전력 부하 사이의 에러를 최소화하는 문제이다. 이 문제는 경사치 하향 기법이 적용하여 해결되었다 제안된 기법의 유용성을 검증하기 위해 본 논문은 하루 후 24시간 전력 부하 예측과 하루 후 최고 전력부하를 예측 실험을 제공한다.