• 제목/요약/키워드: hyper parameter optimization

검색결과 34건 처리시간 0.019초

Predicting blast-induced ground vibrations at limestone quarry from artificial neural network optimized by randomized and grid search cross-validation, and comparative analyses with blast vibration predictor models

  • Salman Ihsan;Shahab Saqib;Hafiz Muhammad Awais Rashid;Fawad S. Niazi;Mohsin Usman Qureshi
    • Geomechanics and Engineering
    • /
    • 제35권2호
    • /
    • pp.121-133
    • /
    • 2023
  • The demand for cement and limestone crushed materials has increased many folds due to the tremendous increase in construction activities in Pakistan during the past few decades. The number of cement production industries has increased correspondingly, and so the rock-blasting operations at the limestone quarry sites. However, the safety procedures warranted at these sites for the blast-induced ground vibrations (BIGV) have not been adequately developed and/or implemented. Proper prediction and monitoring of BIGV are necessary to ensure the safety of structures in the vicinity of these quarry sites. In this paper, an attempt has been made to predict BIGV using artificial neural network (ANN) at three selected limestone quarries of Pakistan. The ANN has been developed in Python using Keras with sequential model and dense layers. The hyper parameters and neurons in each of the activation layers has been optimized using randomized and grid search method. The input parameters for the model include distance, a maximum charge per delay (MCPD), depth of hole, burden, spacing, and number of blast holes, whereas, peak particle velocity (PPV) is taken as the only output parameter. A total of 110 blast vibrations datasets were recorded from three different limestone quarries. The dataset has been divided into 85% for neural network training, and 15% for testing of the network. A five-layer ANN is trained with Rectified Linear Unit (ReLU) activation function, Adam optimization algorithm with a learning rate of 0.001, and batch size of 32 with the topology of 6-32-32-256-1. The blast datasets were utilized to compare the performance of ANN, multivariate regression analysis (MVRA), and empirical predictors. The performance was evaluated using the coefficient of determination (R2), mean absolute error (MAE), mean squared error (MSE), mean absolute percentage error (MAPE), and root mean squared error (RMSE)for predicted and measured PPV. To determine the relative influence of each parameter on the PPV, sensitivity analyses were performed for all input parameters. The analyses reveal that ANN performs superior than MVRA and other empirical predictors, andthat83% PPV is affected by distance and MCPD while hole depth, number of blast holes, burden and spacing contribute for the remaining 17%. This research provides valuable insights into improving safety measures and ensuring the structural integrity of buildings near limestone quarry sites.

LSTM을 이용한 주가예측 모델의 학습방법에 따른 성능분석 (A Performance Analysis by Adjusting Learning Methods in Stock Price Prediction Model Using LSTM)

  • 정종진;김지연
    • 디지털융복합연구
    • /
    • 제18권11호
    • /
    • pp.259-266
    • /
    • 2020
  • 과거 인공지능 분야에서는 지식 기반의 전문가 시스템 및 머신러닝 알고리즘들을 금융 분야에 적용하는 연구가 꾸준하게 수행되어 왔다. 특히 주식에 대한 지식 기반의 시스템 트레이딩은 이제 보편화되었고, 최근에는 대용량 데이터에 기반한 딥러닝 기술을 주가 예측에 적용하기 시작했다. 이중 LSTM은 시계열 데이터에 대한 검증된 모델로서 주가 예측에도 적용되고 있다. 본 논문에서는 주가 예측 모델로서 LSTM을 적용할 때 성능향상을 위해 고려해야 할 복잡한 매개변수 설정과 적용 함수들에 대해 적합한 조합 방법을 제안하도록 한다. 크게 가중치와 바이어스에 대한 초기화 대상과 설정 방법, 과적합을 피하기 위한 정규화 적용 대상과 설정 방법, 활성화 함수 적용 방법, 최적화 알고리즘 선택 등을 제시한다. 이 때 나스닥 상장사들에 대한 대용량 데이터를 바탕으로 각각의 방법들을 적용하여 정확도를 비교하면서 평가한다. 이를 통해 주가 예측을 위한 LSTM 적용 시 최적의 모델링 방법을 실증적인 형태로 제안하여 현실적인 시사점을 갖도록 한다. 향후에는 입력 데이터의 포맷과 길이, 하이퍼파라미터들에 대한 성능평가를 추가 수행하여 주요 설정 항목들의 조합에 대한 일반화 연구를 수행하고자 한다.

Opcode와 API의 빈도수와 상관계수를 활용한 Cerber형 랜섬웨어 탐지모델에 관한 연구 (A Study on the Cerber-Type Ransomware Detection Model Using Opcode and API Frequency and Correlation Coefficient)

  • 이계혁;황민채;현동엽;구영인;유동영
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권10호
    • /
    • pp.363-372
    • /
    • 2022
  • 최근 코로나 19 팬더믹 이후 원격근무의 확대와 더불어 랜섬웨어 팬더믹이 심화하고 있다. 현재 안티바이러스 백신 업체들이 랜섬웨어에 대응하고자 노력하고 있지만, 기존의 파일 시그니처 기반 정적 분석은 패킹의 다양화, 난독화, 변종 혹은 신종 랜섬웨어의 등장 앞에 무력화될 수 있다. 이러한 랜섬웨어 탐지를 위한 다양한 연구가 진행되고 있으며, 시그니처 기반 정적 분석의 탐지 방법과 행위기반의 동적 분석을 이용한 탐지 연구가 현재 주된 연구유형이라고 볼 수 있다. 본 논문에서는 단일 분석만을 이용하여 탐지모델에 적용하는 것이 아닌 ".text Section" Opcode와 실제 사용하는 Native API의 빈도수를 추출하고 K-means Clustering 알고리즘, 코사인 유사도, 피어슨 상관계수를 이용하여 선정한 특징정보들 사이의 연관성을 분석하였다. 또한, 타 악성코드 유형 중 웜과 Cerber형 랜섬웨어를 분류, 탐지하는 실험을 통해, 선정한 특징정보가 특정 랜섬웨어(Cerber)를 탐지하는 데 특화된 정보임을 검증하였다. 위와 같은 검증을 통해 최종 선정된 특징정보들을 결합하여 기계학습에 적용하여, 최적화 이후 정확도 93.3% 등의 탐지율을 나타내었다.

누적 가중치 변화의 시각화를 통한 심층 신경망 분석시스템 (Deep Neural Network Analysis System by Visualizing Accumulated Weight Changes)

  • 양태린;박진호
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제29권3호
    • /
    • pp.85-92
    • /
    • 2023
  • 최근 ChatGPT나 자율주행 자동차 등의 인공지능 분야의 급속한 발전으로 인해 인공지능에 대한 관심이 높아졌다. 그러나 아직 인공지능은 학습 과정에서 알 수 없는 요소가 많이 존재하여 모델을 개선하거나 최적화하기 위해서 필요 이상의 시간과 노력을 들여야 하는 경우가 많다. 따라서, 인공지능 모델의 학습 과정에서 가중치 변화를 명확하게 이해하고 해당 변화를 효과적으로 분석할 수 있는 도구 또는 방법론이 절실하게 요구되고 있다. 본 연구에서는 이러한 점을 해결하기 위해 누적 가중치 변화량을 시각화해주는 시스템을 제안한다. 시스템은 학습의 일정한 기간마다 가중치를 구하고 가중치의 변화를 누적시켜서 누적 가중치로 저장하여 3차원 공간상에 나타내게 된다. 이로 인해 보는 이로 하여금 한눈에 레이어의 구조와 현재의 가중치 변화량이 이해되기 쉽게 구성하였다. 이러한 연구를 통해 인공지능 모델의 학습 과정이 어떻게 진행되는지에 대한 이해와 모델의 성능 향상에 도움이 되는 방향으로 하이퍼 파라미터를 변경할 수 있는 지표를 얻게 되는 등 인공지능 학습 과정의 다양한 측면을 탐구할 수 있을 것이다. 이러한 시도를 통해 아직 미지의 영역으로 여겨지는 인공지능 학습 과정의 일부를 보다 효과적으로 탐색하고 인공지능 모델의 발전과 적용에 기여할 수 있을 것으로 기대된다.