• 제목/요약/키워드: multilayer perceptron(MLP) neural network

검색결과 56건 처리시간 0.224초

가중치 뉴런 출력의 양자화 영향을 최소화하는 다층퍼셉트론 신경망 설계 방법 (Design Method for an MLP Neural Network Which Minimizes the Effect by the Quantization of the Weights and the Neuron Outputs)

  • 권오준;방승양
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권12호
    • /
    • pp.1383-1392
    • /
    • 1999
  • 이미 학습된 다층퍼셉트론 신경망을 디지털 VLSI 기술을 사용하여 하드웨어로 구현할 경우 신경망의 가중치 및 뉴런 출력들을 양자화해야 하는 문제가 발생한다. 이러한 신경망 변수들의 양자화는 결과적으로 주어진 입력에 대한 신경망의 최종 출력에서의 왜곡을 초래한다. 본 논문에서는 먼저 이러한 양자화로 인한 신경망 출력에서의 왜곡을 통계적으로 분석하였다. 분석 결과에 의하면 입력패턴 각 성분의 제곱들의 합과 가중치의 크기들이 양자화 영향에 주로 기여하는 것으로 나타났다. 이러한 분석 결과를 이용하여 양자화를 위한 정밀도가 주어졌을 때, 양자화 영향이 최소화된 다층퍼셉트론 신경망을 설계하는 방법을 제시하였다. 그리고 제안된 방법에 의해 얻은 신경망과 오류역전파 학습방법에 의하여 얻은 신경망의 성능을 비교함으로써 제안된 방법의 효율성을 입증하였다. 실험결과는 낮은 양자화 정밀도에서도 제안된 방법이 더 좋은 성능을 보였다.Abstract When we implement a multilayer perceptron with the digital VLSI technology, we generally have to quantize the weights and the neuron outputs. These quantizations eventually cause distortion in the output of the network for a given input. In this paper first we made a statistical analysis about the effect caused by the quantization on the output of the network. The analysis revealed that the sum of the squared input components and the sizes of the weights are the major factors which contribute to the quantization effect. We present a design method for an MLP which minimizes the quantization effect when the precision of the quantization is given. In order to show the effectiveness of the proposed method, we developed a network by our method and compared it with the one developed by the regular backpropagation. We could confirm that the network developed by our method performs better even with a low precision of the quantization.

Evaluation of Environmental Factors to Determine the Distribution of Functional Feeding Groups of Benthic Macroinvertebrates Using an Artificial Neural Network

  • Park, Young-Seuk;Lek, Sovan;Chon, Tae-Soo;Verdonschot, Piet F.M.
    • Journal of Ecology and Environment
    • /
    • 제31권3호
    • /
    • pp.233-241
    • /
    • 2008
  • Functional feeding groups (FFGs) of benthic macroinvertebrates are guilds of invertebrate taxa that obtain food in similar ways, regardless of their taxonomic affinities. They can represent a heterogeneous assemblage of benthic fauna and may indicate disturbances of their habitats. The proportion of different groups can change in response to disturbances that affect the food base of the system, thereby offering a means of assessing disruption of ecosystem functioning. In this study, we used benthic macroinvertebrate communities collected at 650 sites of 23 different water types in the province of Overijssel, The Netherlands. Physical and chemical environmental factors were measured at each sampling site. Each taxon was assigned to its corresponding FFG based on its food resources. A multilayer perceptron (MLP) using a backpropagation algorithm, a supervised artificial neural network, was applied to evaluate the influence of environmental variables to the FFGs of benthic macroinvertebrates through a sensitivity analysis. In the evaluation of input variables, the sensitivity analysis with partial derivatives demonstrates the relative importance of influential environmental variables on the FFG, showing that different variables influence the FFG in various ways. Collector-filterers and shredders were mainly influenced by $Ca^{2+}$ and width of the streams, and scrapers were influenced mostly with $Ca^{2+}$ and depth, and predators were by depth and pH. $Ca^{2+}$ and depth displayed relatively high influence on all four FFGs, while some variables such as pH, %gravel, %silt, and %bank affected specific groups. This approach can help to characterize community structure and to ecologically assess target ecosystems.

다층신경망에서 하이브리드 학습 규칙의 구현에 관한 연구 (A Study on the Implementation of Hybrid Learning Rule for Neural Network)

  • 송도선;김석동;이행세
    • 한국음향학회지
    • /
    • 제13권4호
    • /
    • pp.60-68
    • /
    • 1994
  • 본 논문에서는 다층구조 순방향 신경회로망에 적용될 수 있는 것으로 입력의 특징 추출기능(Feature Extractor)이 우수한 Hebb 학습 규칙과 패턴 분류 기능(Classifier)이 우수한 BP 알고리듬을 결합한 Hybrid학습 규칙을 제안하고자 한다. 오차역전파 학습법칙을 적용한 다층구조퍼셉트론(MLP)과는 달리, 다층구조에 오차역전파 학습법칙과 Hebb학습법칙이 동시에 적용될 수 있는 Hybrid(Hebbian+BP)학습법칙은 학습시에 출력층의 연결강도를 제외한 모든 연결강도 계산에 적용되며 출력층에는 기존의 오차역전파법칙만이 적용된다. 출력층에 Hebb 학습법칙을 제외시킨것은 다층구조학습시에 학습의 수렴성에 대한 보장이 주어져 있지 않기 때문이다. 제안된 Hybrid 학습법칙의 성능평가를 위해 몇가지의 영역구분 문제에 적용한 결과 제안된 학습법이 기존의 BP보다 우수함을 보였다. 학습속도면에서는 기존의 BP법칙에 비해 훨씬 빠른 수렴속도를 보여 주었는데, 그중 한가지 예를 보면 제안된 Hybrid법칙에 의한 학습은 기존의 BP의 학습회수의 2/10만으로도 가능함을 보여주었다. 인식률에서도 제안된 법칙에 의한 결과가 BP에 의한 결과보다 최고 약 $0.77\%$ 우수하다.

  • PDF

특징집합 IG-MLP 평가 기반의 최적화된 특징선택 방법을 이용한 질환 예측 머신러닝 모델 (Optimized Feature Selection using Feature Subset IG-MLP Evaluation based Machine Learning Model for Disease Prediction)

  • 김경륜;김재권;이종식
    • 한국시뮬레이션학회논문지
    • /
    • 제29권1호
    • /
    • pp.11-21
    • /
    • 2020
  • 암을 제외한 한국인의 가장 높은 사망원인은 심뇌혈관질환으로 사망원인의 24%를 차지한다. 현재 국내 환자의 심혈관질환의 위험도 산출은 프레밍험 위험지수를 기반으로 하지만, 국외의 가이드라인에 의존하고 있어 정확도가 떨어지는 편이며, 뇌혈관질환의 예측에 대한 위험도는 산출할 수 없다. 심뇌혈관질환은 예방을 위한 조기증상들의 특징 분석이 어려워 질환예측이 힘들며, 한국인에 적합한 예측 방법이 필요하다. 본 연구의 목적은 심뇌혈관질환 데이터를 이용하여, 특징집합 IG-MLP 평가 기반의 특징선택 방법론을 시뮬레이션 하여 검증하는 것이다. 제안하는 방법은 제4~7기 국민건강영양조사 원시자료를 이용한다. 심뇌혈관질환의 예측에 중요한 특징들을 선별하기 위해, 속성들의 심뇌혈관질환에 대한 정보이득-다층신경망을 이용한 분석을 실시하며, 최종적으로 선별된 특징을 이용한 심뇌혈관질환 예측 모델을 제공한다. 제안하는 방법으로 한국인의 심뇌혈관질환에 관련된 중요한 특징들을 찾을 수 있으며, 최적화된 특징들로 구성된 예측 모델은 한국인에 대해 더욱 정확한 심뇌혈관 예측을 할 수 있다.

딥러닝 기법을 이용한 내일강수 예측 (Forecasting the Precipitation of the Next Day Using Deep Learning)

  • 하지훈;이용희;김용혁
    • 한국지능시스템학회논문지
    • /
    • 제26권2호
    • /
    • pp.93-98
    • /
    • 2016
  • 정확한 강수예측을 위해서는 예측인자 선정과 예측방법에 대한 선택이 매우 중요하다. 최근에는 강수예측 방법으로 기계학습 기법이 많이 사용되고 있으며, 그 중에서도 특히 인공신경망을 사용한 강수예측 방법은 좋은 성능을 보였다. 본 논문에서는 딥러닝 기법 중 하나인 DBN(deep belief network)를 이용한 새로운 강수예측 방법을 제안한다. DBN는 비지도 사전 학습을 통해 초기 가중치를 설정하여 기존 인공신경망의 문제점을 보완한다. 예측인자로는 기온, 전일-전주 강수일, 태양과 달 궤도 관련 자료를 선정하였다. 기온과 전일-전주 강수일은 서울에서의 1974년부터 2013년까지 총 40년간의 AWS(automatic weather system) 관측 자료를 사용하였고, 태양과 달의 궤도 관련 자료는 서울을 중심으로 계산한 결과를 사용하였다. 전체 기간에서 일부는 학습 자료로 사용하여 예측모델을 생성하였고, 나머지를 생성한 모델의 검증 자료로 사용하였다. 모델 검증 결과로 나온 예측값들은 확률값을 가지며 임계치를 이용하여 강수유무를 판별하였다. 강수 정확도의 척도로 양분예보기법 중 CSI(critical successive index)와 Bias(frequency bias)를 계산하였다. 이를 통해 DBN와 MLP(multilayer perceptron)의 성능을 비교한 결과 DBN의 강수 예측 정확도가 높았고, 수행속도 또한 2배 이상 빨랐다.

Shear behavior of geotextile-encased gravel columns in silty sand-Experimental and SVM modeling

  • Dinarvand, Reza;Ardakani, Alireza
    • Geomechanics and Engineering
    • /
    • 제28권5호
    • /
    • pp.505-520
    • /
    • 2022
  • In recent years, geotextile-encased gravel columns (usually called stone columns) have become a popular method to increasing soil shear strength, decreasing the settlement, acceleration of the rate of consolidation, reducing the liquefaction potential and increasing the bearing capacity of foundations. The behavior of improved loose base-soil with gravel columns under shear loading and the shear stress-horizontal displacement curves got from large scale direct shear test are of great importance in understanding the performance of this method. In the present study, by performing 36 large-scale direct shear tests on sandy base-soil with different fine-content of zero to 30% in both not improved and improved with gravel columns, the effect of the presence of gravel columns in the loose soils were investigated. The results were used to predict the shear stress-horizontal displacement curve of these samples using support vector machines (SVM). Variables such as the non-plastic fine content of base-soil (FC), the area replacement ratio of the gravel column (Arr), the geotextile encasement and the normal stress on the sample were effective factors in the shear stress-horizontal displacement curve of the samples. The training and testing data of the model showed higher power of SVM compared to multilayer perceptron (MLP) neural network in predicting shear stress-horizontal displacement curve. After ensuring the accuracy of the model evaluation, by introducing different samples to the model, the effect of different variables on the maximum shear stress of the samples was investigated. The results showed that by adding a gravel column and increasing the Arr, the friction angle (ϕ) and cohesion (c) of the samples increase. This increase is less in base-soil with more FC, and in a proportion of the same Arr, with increasing FC, internal friction angle and cohesion decreases.