• 제목/요약/키워드: Hidden layer

검색결과 512건 처리시간 0.032초

신경망 구조의 적응 Wiener 필터를 이용한 비선형 잡음감쇠기 (Nonlinear Noise Attenuator by Adaptive Wiener Filter with Neural Network)

  • 이행우
    • 한국전자통신학회논문지
    • /
    • 제18권1호
    • /
    • pp.71-76
    • /
    • 2023
  • 본 논문은 음향잡음감쇠기에서 신경망 구조의 Wiener 필터를 이용하여 비선형 잡음을 감쇠시키는 방법에 대하여 연구하였다. 이 시스템은 기존의 적응필터를 이용하는 대신 신경망 위너필터를 이용한 심층학습 알고리즘으로 비선형 잡음감쇠 성능을 개선한다. 128-neuron, 8-neuron 은닉층과 오차 역전파(back propagation) 알고리즘을 이용하여 비선형 잡음이 포함된 단일입력 음성신호로부터 음성을 추정한다. 본 연구에서 비선형 잡음에 대한 감쇠 성능을 검증하기 위하여 Keras 라이브러리를 사용한 시뮬레이션 프로그램을 작성하고 모의실험을 수행하였다. 모의실험 결과, 본 시스템은 비선형 잡음이 포함되어 있는 경우에도 위너필터 대신 FNN 필터를 사용하면 잡음감쇠 성능이 상당히 개선되는 것을 볼 수 있다. 이는 FNN 필터의 복잡한 구조가 어떤 형태의 비선형 특성도 잘 표현하기 때문이다.

사출성형공정에서 데이터의 불균형 해소를 위한 담금질모사 (Simulated Annealing for Overcoming Data Imbalance in Mold Injection Process)

  • 이동주
    • 산업경영시스템학회지
    • /
    • 제45권4호
    • /
    • pp.233-239
    • /
    • 2022
  • The injection molding process is a process in which thermoplastic resin is heated and made into a fluid state, injected under pressure into the cavity of a mold, and then cooled in the mold to produce a product identical to the shape of the cavity of the mold. It is a process that enables mass production and complex shapes, and various factors such as resin temperature, mold temperature, injection speed, and pressure affect product quality. In the data collected at the manufacturing site, there is a lot of data related to good products, but there is little data related to defective products, resulting in serious data imbalance. In order to efficiently solve this data imbalance, undersampling, oversampling, and composite sampling are usally applied. In this study, oversampling techniques such as random oversampling (ROS), minority class oversampling (SMOTE), ADASYN(Adaptive Synthetic Sampling), etc., which amplify data of the minority class by the majority class, and complex sampling using both undersampling and oversampling, are applied. For composite sampling, SMOTE+ENN and SMOTE+Tomek were used. Artificial neural network techniques is used to predict product quality. Especially, MLP and RNN are applied as artificial neural network techniques, and optimization of various parameters for MLP and RNN is required. In this study, we proposed an SA technique that optimizes the choice of the sampling method, the ratio of minority classes for sampling method, the batch size and the number of hidden layer units for parameters of MLP and RNN. The existing sampling methods and the proposed SA method were compared using accuracy, precision, recall, and F1 Score to prove the superiority of the proposed method.

Analysis of streamflow prediction performance by various deep learning schemes

  • Le, Xuan-Hien;Lee, Giha
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.131-131
    • /
    • 2021
  • Deep learning models, especially those based on long short-term memory (LSTM), have presented their superiority in addressing time series data issues recently. This study aims to comprehensively evaluate the performance of deep learning models that belong to the supervised learning category in streamflow prediction. Therefore, six deep learning models-standard LSTM, standard gated recurrent unit (GRU), stacked LSTM, bidirectional LSTM (BiLSTM), feed-forward neural network (FFNN), and convolutional neural network (CNN) models-were of interest in this study. The Red River system, one of the largest river basins in Vietnam, was adopted as a case study. In addition, deep learning models were designed to forecast flowrate for one- and two-day ahead at Son Tay hydrological station on the Red River using a series of observed flowrate data at seven hydrological stations on three major river branches of the Red River system-Thao River, Da River, and Lo River-as the input data for training, validation, and testing. The comparison results have indicated that the four LSTM-based models exhibit significantly better performance and maintain stability than the FFNN and CNN models. Moreover, LSTM-based models may reach impressive predictions even in the presence of upstream reservoirs and dams. In the case of the stacked LSTM and BiLSTM models, the complexity of these models is not accompanied by performance improvement because their respective performance is not higher than the two standard models (LSTM and GRU). As a result, we realized that in the context of hydrological forecasting problems, simple architectural models such as LSTM and GRU (with one hidden layer) are sufficient to produce highly reliable forecasts while minimizing computation time because of the sequential data nature.

  • PDF

섬진강 댐의 수문학적 예측을 위한 딥러닝 모델 활용 (Utility of Deep Learning Model for Improving Dam and Reservoir Operation: A Case Study of Seonjin River Dam)

  • 이은미;감종훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.483-483
    • /
    • 2022
  • 댐과 저수지의 운영 최적화를 위한 수문학적 예보는 현재 수동적인 댐 운영이 주를 이루면서 활용도가 높지 않다. 불확실한 기후변화나 기후재난 상황에서 우리 사회에 악영향을 최소화하기 위해 선제적으로 대응/대비할 수 있는 댐 운영 방안이 불가피하다. 강우량 예측 기술은 기후변화로 인해 제한적인 상황이다. 실례로, 2020년 8월에 섬진강의 댐이 극심한 집중 강우로 인해 무너지는 사태가 발생하였고 이로 인해 지역사회에 막대한 경제적 피해가 발생하였다. 선제적 댐 방류량 운영 기술은 또한 환경적인 변화로 인한 영향을 완화하기 위해 필요한 것이다. 제한적인 기상 예보 기술을 극복하고자 심화학습이나 강화학습 같은 인공지능 모델들의 활용성에 대한 연구가 시도되고 있다. 따라서 본 연구는 섬진강 댐의 시간당 수문 데이터를 이용하여 댐 운영을 위한 심화학습 모델을 개발하고 그 활용도를 평가하였다. 댐 운영을 위한 심화학습 모델로서 시계열 데이터 예측에 적합한 Long Sort Term Memory(LSTM)과 Gated Recurrent Unit(GRU) 알고리즘을 구축하고 댐 수위를 예측하였다. 분석 자료는 WAMIS에서 제공하는 2000년부터 2021년까지의 시간당 데이터를 사용하였다. 입력 데이터로서 시간당 유입량, 강우량과 방류량을, 출력 데이터로서 시간당 수위 자료를 각각 사용하였으며. 결정계수(R2 Score)를 통해 모델의 예측 성능을 평가하였다. 댐 수위 예측값 개선을 위해 하이퍼파라미터의 '최적값'이 존재하는 범위를 줄여나가는 하이퍼파라미터 최적화를 두 가지 방법으로 진행하였다. 첫 번째 방법은 수동적 탐색(Manual Search) 방법으로 Sequence Length를 24, 48, 72시간, Hidden Layer를 1, 3, 5개로 설정하여 하이퍼파라미터의 조합에 따른 LSTM와 GRU의 민감도를 평가하였다. 두 번째 방법은 Grid Search로 최적의 하이퍼파라미터를 찾았다. 이 두가지 방법에서는 같은 하이퍼파라미터 안에서 GRU가 LSTM에 비해 더 높은 예측 정확도를 보였고 Sequence Length가 높을수록 정확도가 높아지는 경향을 보였다. Manual Search 방법의 경우 R2가 최대 0.72의 정확도를 보였고 Grid Search 방법의 경우 R2가 0.79의 정확도를 보였다. 본 연구 결과는 가뭄과 홍수와 같은 물 재해에 사전 대응하고 기후변화에 적응할 수 있는 댐 운영 개선에 도움을 줄 수 있을 것으로 판단된다.

  • PDF

The development of four efficient optimal neural network methods in forecasting shallow foundation's bearing capacity

  • Hossein Moayedi;Binh Nguyen Le
    • Computers and Concrete
    • /
    • 제34권2호
    • /
    • pp.151-168
    • /
    • 2024
  • This research aimed to appraise the effectiveness of four optimization approaches - cuckoo optimization algorithm (COA), multi-verse optimization (MVO), particle swarm optimization (PSO), and teaching-learning-based optimization (TLBO) - that were enhanced with an artificial neural network (ANN) in predicting the bearing capacity of shallow foundations located on cohesionless soils. The study utilized a database of 97 laboratory experiments, with 68 experiments for training data sets and 29 for testing data sets. The ANN algorithms were optimized by adjusting various variables, such as population size and number of neurons in each hidden layer, through trial-and-error techniques. Input parameters used for analysis included width, depth, geometry, unit weight, and angle of shearing resistance. After performing sensitivity analysis, it was determined that the optimized architecture for the ANN structure was 5×5×1. The study found that all four models demonstrated exceptional prediction performance: COA-MLP, MVO-MLP, PSO-MLP, and TLBO-MLP. It is worth noting that the MVO-MLP model exhibited superior accuracy in generating network outputs for predicting measured values compared to the other models. The training data sets showed R2 and RMSE values of (0.07184 and 0.9819), (0.04536 and 0.9928), (0.09194 and 0.9702), and (0.04714 and 0.9923) for COA-MLP, MVO-MLP, PSO-MLP, and TLBO-MLP methods respectively. Similarly, the testing data sets produced R2 and RMSE values of (0.08126 and 0.07218), (0.07218 and 0.9814), (0.10827 and 0.95764), and (0.09886 and 0.96481) for COA-MLP, MVO-MLP, PSO-MLP, and TLBO-MLP methods respectively.

이중 구조의 파티클 필터를 이용한 강인한 위치추적 (Robust Location Tracking Using a Double Layered Particle Filter)

  • 윤근호;김대진;방승양
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권12호
    • /
    • pp.1022-1030
    • /
    • 2006
  • 위치 인식은 유비쿼터스 컴퓨팅 환경상의 중요한 부분이지만 많은 연구에도 불구하고 아직 완벽한 시스템은 존재하지 않는 상황이다. 본 연구에서는 다양한 위치 추적 시스템 중 가장 널리 사용되는 RFID 시스템을 이용하지만 수신된 RSSI 신호는 리더와 태그 안테나의 방향, 각도, 간섭에 매우 민감하여 기존 알고리즘인 파티클 필터를 이용하면 정확한 위치 추정이 힘들다. 이를 극복하기 위해, 본 연구에서는 이중 구조의 파티클 필터를 가진 강인한 위치 추적 시스템을 제안한다. 이 시스템은 하단부에서 회귀분석이나 SVM 분류기법을 이용하여 대략적인 위치를 확인한 다음, 상단부에서 파티클 필터를 이용하여 위치, 속도, 방향을 추정하는 계층적 구조를 갖고 있다. 그리고 계층 구조상에 움직임 특성이 갖는 여러 제약 사항을 반영하여 위치 추정 성능을 향상시킨다. 제안한 위치 추정 시스템을 실제 상황에 적용하고자 리더와 서버간을 스타 메쉬 네트워크로 연결하여 태그를 소지한 사람과 물체의 위치를 제안한 알고리즘을 이용하여 추정하였다. 실험 결과 제안한 위치 추적 시스템이 기존의 파티클 필터를 이용한 시스템보다 정확한 위치 추정 성능을 보임을 확인하였고 지하 시설물이 복잡하게 놓여있는 매우 열악한 운영 환경상에서도 실시간 동작을 통해 그 유용성이 입증되었다.

인공지능을 이용한 신규간호사 이직률 예측 (Artificial Intelligence to forecast new nurse turnover rates in hospital)

  • 최주희;박혜경;박지은;이창민;최병관
    • 한국융합학회논문지
    • /
    • 제9권9호
    • /
    • pp.431-440
    • /
    • 2018
  • 본 연구에서는 인공지능 기술 중 구글에서 개발하여 오픈소스로 제공하고 있는 텐서플로우(Tensorflow) 활용하여 신규간호사 이직률을 예측해 보았고, 이를 통해 전략적 인적자원관리 방안을 제시하였다. 부산지역 한 대학병원의 2010년에서 2017년 사이 퇴직한 간호사 데이터 1,018건을 수집하였다. 학습에 사용된 자료는 순서를 임의로 재배열 한 뒤 전체 데이터의 80%를 학습에, 나머지 20%를 테스트에 이용하였다. 활용된 알고리즘은 다중신경망회로(multiple neural network)로서 입력층과 출력층, 3개 층의 은닉층을 가지도록 설계 되었다. 본 연구의 결과 텐서플로우 플랫폼을 활용하여 1년 이내 이직률을 88.7%, 3년 이내 조기 이직률은 79.8%의 정확도로 예측하였고, 대상자들의 퇴직 시 연령은 20대 후반부터 30대에 집중되어 있었다. 가장 높은 빈도를 차지한 이직 사유로는 '결혼, 출산, 육아, 가정 및 개인사정'이었으나, 근무기간 1년 이하 대상자 들의 가장 높은 이직사유는 '업무 부적응 및 대인관계 문제'로 나타났다.

인공신경망을 이용한 기계식 판막의 생체외 모의 혈전현상 검출 (In-Vitro Thrombosis Detection of Mechanical Valve using Artificial Neural Network)

  • 이혁수;이상훈
    • 대한의용생체공학회:의공학회지
    • /
    • 제18권4호
    • /
    • pp.429-438
    • /
    • 1997
  • 기계식 판막은 매몰식 인공장기에 널리 사용돼 왔으며, 판막의 이상은 환자의 죽음으르 의미한다. 판막의 이상에 영향을 미치는 것은 많은 요소들이 있는데 대표적으로 기계적인 고장과 혈전현상이 있다. 그래서 비침습적으로 이것들을 발견하는 것이 필요하게 된 것이다. 이 논문의 목적은 스펙트럼의 해석과 인공신경망을 이용하여 혈전현상을 발견하는데 있다. 신호의 측정은 공압식 좌심실 보조장치에 장착한 기계식 판막으로부터 마이크로폰과 증폭기를 이용하였다. 디스크 위의 모의 혈전현상과 봉합링의 주위에 혈전현상, 20%, 40% 60%로 자라나는 혈전현상은 펠레세인과 실리콘을 이용하여 제작하였다. 기초 성능 평가를 위해 1KHz 정현파를 인가하여 시스템을 평가하였으며, 정상적인 판막과 5 종류의 혈전현상의 스펙트럼은 혈전현상의 정보를 지닌 개폐시 peak의 신호 파형에서 구하였다. 데이터의 정량적인 해석을 위해 7,000개의 입력 노드와 20개의 은닉층과 1개의 출력층으로 이루어진 인공신경망을 사용하였다. 결론적으로 훈련된 인공신경망을 사용한 결과 정상 판막과 비정상 판막을 판단하는데 90%의 판단능력을 보였다. 이상의 실험을 통해 판막의 이상유무를 신호의 스펙트럼 해석과 인공신경망을 통해 평가할수 있음을 알 수 있었다. 본 논문의 결과는 앞으로 인공장기를 몸속에 지니고 있는 환자에게서 장기의 상태를 지속적으로 감시할 수 있는 기술적 토대를 제공할 것이다.

  • PDF

단층 코어넷 다단입력 인공신경망회로의 처리용량과 사전 무게값 계산에 관한 연구 (The Capacity of Multi-Valued Single Layer CoreNet(Neural Network) and Precalculation of its Weight Values)

  • 박종준
    • 전기전자학회논문지
    • /
    • 제15권4호
    • /
    • pp.354-362
    • /
    • 2011
  • 인공신경망회로에서 아직도 안 풀리는 문제 중 하나는 회로의 처리용량에 관한 것이다. 본 논문은 인공신경망회로의 가장 기본이 되는 하나의 입력과 하나의 출력을 갖은 단층 다단 코어넷을 제안하고 그 처리 용량에 관한 수식을 유도하였다. 제안된 코어넷의 처리 용량으로 p단 입력과 q단 출력을 갖는 코어넷의 처리용량(구현 가능한 함수의 수)은 $a_{p,q}=\frac{1}{2}p(p-1)q^2-\frac{1}{2}(p-2)(3p-1)q+(p-1)(p-2)$ 이며, 입력단 p 값이 짝수이고, 출력단 q가 홀수값이면 추가로 (p-1)(p-2)(q-2)/2 만큼 감해진다. 입력 값으로 3단(level), 출력 값으로 6단을 갖는 1(3)-1(6) 모델을 시뮬레이션하여 분석한 결과, 총 216가지의 함수 조합에서 입력 레벨링 방법으로 cot(x)를 이용하여 82가지의 함수가 구현가능 함을 보였다. 이 모델의 시뮬레이션 결과 80개의 함수가 수렴(구현 가능)하였고, 나머지 수렴되지 않은 함수 중에서 2개의 함수는 무게값 공간에서 무게값 좌표를 미리 계산하여 구현 가능함으로 나와, 총 82개의 구현 가능한 함수가 있음을 보였으며, 이는 위 코어넷 처리용량에 의한 계산 값과 일치하였다.

증강형 딥러닝 기반 미세먼지 예측 시스템 (Dust Prediction System based on Incremental Deep Learning)

  • 장성봉
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.301-307
    • /
    • 2023
  • 딥러닝은 심층신경망(Deep Neural Network)을 구축하고 대량의 훈련 데이터를 수집한 후, 구축된 신경망을 오랫동안 학습 시켜야 한다. 만약, 학습이 제대로 진행되지 않거나 과적합이 발생하면, 학습은 실패하게 된다. 현재까지 개발되고 있는 딥러닝 도구들을 사용할 경우, 훈련데이터 수집과 학습에 많은 시간이 소요된다. 하지만, 모바일 환경의 급격한 도래와 센서 데이터의 증가로 인해, 신경망 학습에 걸리는 시간을 획기적으로 줄일 수 있는 실시간 증강형 딥러닝 기술에 대한 요구가 급격하게 증가하고 있다. 본 연구에서는 미세먼지 센서를 장착한 아두이노 시스템을 사용하여 실시간 증강형 딥러닝 시스템을 구현 하였다. 구현된 시스템에서는 미세먼지 데이터를 5초마다 측정하고 최대 120개가 축적이 되면, 기존에 축적된 데이터와 새로이 축적된 데이터를 데이터셋으로 사용하여 학습을 수행하도록 하였다. 학습 수행을 위한 신경망은 입력층 1개, 은닉층 1개, 출력등 1개로 구성하였다. 구현된 시스템에 대한 성능을 평가하기 위해 학습 시간과 평균 제곱근 오차(root mean square error, RMSE)를 측정 하였다. 실험 결과, 평균 학습 오차는 0.04053796이었으며, 학습주기당(1 에포크) 평균 학습 시간은 3,447 초 정도의 시간이 걸렸다.