• 제목/요약/키워드: MLP(multi-Layer perceptron)

검색결과 230건 처리시간 0.025초

FPGA 상에서 은닉층 뉴런에 최적화된 MLP의 설계 방법 (MLP Design Method Optimized for Hidden Neurons on FPGA)

  • 경동욱;정기철
    • 정보처리학회논문지B
    • /
    • 제13B권4호
    • /
    • pp.429-438
    • /
    • 2006
  • 일반적으로 신경망은 비선형성 문제를 해결하기 위해서 소프트웨어로 많이 구현되었지만, 영상처리 및 패턴인식과 같은 실시간 처리가 요구되는 응용에서는 빠른 처리가 가능한 하드웨어로 구현되고 있다. 다양한 종류의 신경망 중에서 다층 신경망(MLP: multi-layer perceptron)의 하드웨어 설계는 빠른 처리속도와 적은 면적 그리고 구현의 용이성으로 고정소수점 연산을 많이 사용하였다. 하지만 고정소수점 연산을 사용하는 하드웨어 설계는 높은 정확도의 부동소수점 연산을 많이 사용하는 소프트웨어 MLP를 쉽게 적용할 수 없는 문제점을 가진다. 본 논문에서는 높은 정확도와 높은 유연성을 가지는 부동소수점 연산을 사용하면서도 은닉층 뉴런수를 주기(cycle)로 빠르게 수행하는 MLP의 완전 파이프라이닝(fully-pipelining) 설계방법을 제안한다. MLP는 주어진 문제에 의해서 자연스럽게 입력층과 출력층의 구조가 결정되지만, 은닉층 구조는 사용자에 의해서 결정된다. 그러므로 제안된 설계방법은 많은 반복수행이 요구되는 영상처리 및 패턴인식 등의 분야에서 은닉층 뉴런수를 최적화 하여 쉽게 성능 향상을 이룰 수 있다.

화자적응 신경망을 이용한 고립단어 인식 (Isolated Word Recognition Using a Speaker-Adaptive Neural Network)

  • 이기희;임인칠
    • 전자공학회논문지B
    • /
    • 제32B권5호
    • /
    • pp.765-776
    • /
    • 1995
  • This paper describes a speaker adaptation method to improve the recognition performance of MLP(multiLayer Perceptron) based HMM(Hidden Markov Model) speech recognizer. In this method, we use lst-order linear transformation network to fit data of a new speaker to the MLP. Transformation parameters are adjusted by back-propagating classification error to the transformation network while leaving the MLP classifier fixed. The recognition system is based on semicontinuous HMM's which use the MLP as a fuzzy vector quantizer. The experimental results show that rapid speaker adaptation resulting in high recognition performance can be accomplished by this method. Namely, for supervised adaptation, the error rate is signifecantly reduced from 9.2% for the baseline system to 5.6% after speaker adaptation. And for unsupervised adaptation, the error rate is reduced to 5.1%, without any information from new speakers.

  • PDF

Client/Server구조를 이용한 PDA기반의 문자 추출 시스템 (PDA-based Text Extraction System using Client/Server Architecture)

  • 박안진;정기철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권2호
    • /
    • pp.85-98
    • /
    • 2005
  • 최근, PDA를 이용한 모바일 비젼 시스템에 관한 많은 연구가 진행되고 있다. 대부분의 PDA에서 사용하는 CPU는 실수 연산 구성요소(floating-computation component)가 없는 정수(integer)형 CPU를 사용하므로, 실수 연산이 많은 영상 처리 및 비젼 시스템에서는 많은 시간이 소요되는 단점이 있다 본 논문에서는 이를 해결하기 위해 무선 랜(LAN)으로 연결된 Client(PDA)/server(PC)구조론 이용한 시스템을 제안하며, 연속 영상에서 Client(PDA)와 Server(PC) 각각의 CPU를 이용하여 파이프라이닝 형식으로 시스템을 구축함으로써 수행 시간을 단축한다. Client(PDA)는 에지 밀도(edge density)론 이용하여 대략적인 문자 영역을 추출하며, Server(PC)는 Client(PDA)에서 대략적으로 검출된 견과를 바탕으로 정밀한 문자 영역을 추출하기 위해, MLP(multi-layer perceptron) 기반의 텍스춰 분류 방법과 연결 성분(connected component: CC) 기반의 필터링 방법을 이용한다. 본 실험에서 제안한 방법은 MLP와 CC를 이용함으로써 효과적인 문자 추출 결과를 보였으며, 파이프라이닝 형식의 Client(PDA)/server(PC)구조를 이용함으로써 빠른 수행 시간을 보였다.

Employing TLBO and SCE for optimal prediction of the compressive strength of concrete

  • Zhao, Yinghao;Moayedi, Hossein;Bahiraei, Mehdi;Foong, Loke Kok
    • Smart Structures and Systems
    • /
    • 제26권6호
    • /
    • pp.753-763
    • /
    • 2020
  • The early prediction of Compressive Strength of Concrete (CSC) is a significant task in the civil engineering construction projects. This study, therefore, is dedicated to introducing two novel hybrids of neural computing, namely Shuffled Complex Evolution (SCE) and Teaching-Learning-Based Optimization (TLBO) for predicting the CSC. The algorithms are applied to a Multi-Layer Perceptron (MLP) network to create the SCE-MLP and TLBO-MLP ensembles. The results revealed that, first, intelligent models can properly handle analyzing and generalizing the non-linear relationship between the CSC and its influential parameters. For example, the smallest and largest values of the CSC were 17.19 and 58.53 MPa, and the outputs of the MLP, SCE-MLP, and TLBO-MLP range in [17.61, 54.36], [17.69, 55.55] and [18.07, 53.83], respectively. Second, applying the SCE and TLBO optimizers resulted in increasing the correlation of the MLP products from 93.58 to 97.32 and 97.22%, respectively. The prediction error was also reduced by around 34 and 31% which indicates the high efficiency of these algorithms. Moreover, regarding the computation time needed to implement the SCE-MLP and TLBO-MLP models, the SCE is a considerably more time-efficient optimizer. Nevertheless, both suggested models can be promising substitutes for laboratory and destructive CSC evaluative models.

칼만필터와 다층퍼셉트론을 이용한 선박 오토파일럿의 자이로스코프 신호 잡음제거 (Gyroscope Signal Denoising of Ship's Autopilot using Kalman Filter and Multi-Layer Perceptron)

  • 김민규;김종화;양현
    • 해양환경안전학회지
    • /
    • 제25권6호
    • /
    • pp.809-818
    • /
    • 2019
  • 2020년 1월 1일부터 국제해사기구(IMO)는 전 세계 모든 해역을 지나가는 선박을 대상으로 선박연료유의 황 함유량 상한선을 3.5 %에서 0.5 %로 낮춰 선박으로 인해 발생하는 대기오염을 줄이기 위한 강력한 규제를 실시한다. 황 함유량이 낮은 연료유를 사용하여 대기오염 물질을 줄이는 것도 중요하지만 선박을 경제적으로 운영하여 불필요한 에너지 낭비를 줄이는 것 또한 대기오염 물질을 줄이는데 큰 도움이 된다. 따라서 선박은 잡음의 영향을 받더라도 항로를 정확하게 유지하여야 한다. 항로를 정확하게 추종하기 위해 오토파일럿 시스템이 사용되지만 오토파일럿 시스템의 성능이 아무리 우수하다 하더라도 잡음의 영향을 받게 된다면 성능에 한계를 가진다. 실제 환경에서는 자이로스코프에서 측정잡음이 더해진 회두각이 오토파일럿 시스템의 입력으로 들어가 오토파일럿 시스템의 성능을 저하시킨다. 이와 같은 문제를 해결하기 위해 상태추정에 쓰이는 Kalman Filter를 적용하여 잡음의 영향을 줄여주는 기법이 있지만 이 또한 역시 잡음의 영향을 완전히 제거시키는 것이 불가능하다. 따라서 본 논문에서는 잡음제거 성능을 더욱 더 개선시키기 위해 전진방향 구간에서는 인공지능 기술 중 하나인 다층퍼셉트론(Multi-Layer Perceptron; MLP)를 적용하고, 회전구간에서는 Kalman Filter를 적용하여 Kalman Filter만을 사용한 경우보다 우수한 잡음제거 기법을 제안한다. 시뮬레이션을 통해 제안한 방법이 Kalman Filter만을 사용한 경우보다 조타기의 오동작을 방지하여 선박의 전진방향 운동이 개선됨을 확인할 수 있다.

다층 퍼셉트론 인공신경망 모형을 이용한 가뭄예측 (Drought Forecasting Using the Multi Layer Perceptron (MLP) Artificial Neural Network Model)

  • 이주헌;김종석;장호원;이장춘
    • 한국수자원학회논문집
    • /
    • 제46권12호
    • /
    • pp.1249-1263
    • /
    • 2013
  • 장기간의 가뭄에 의한 피해를 최소화하기 위해서는 유역에 적합한 가뭄관리 대책의 수립과 함께 미래에 발생하게 될 가뭄을 미리 예측할 수 있는 기술이 구축되어야 한다. 또한 미래의 가뭄에 대한 합리적 대응 방안을 수립하기 위해서는 가뭄의 지속기간(duration)과 심도(severity)의 정량적인 예측이 선행되어야 한다. 본 연구에서는 수문 시계열의 예측에 가장 많이 이용되고 있는 대표적인 통계학적 기법인 인공신경망 모형(Artificial Neural Network Model)과 가뭄지수를 이용하여 남한지역의 서울, 대전, 대구, 광주 등의 4개 기상관측소를 선정하여 가뭄예측을시도하였다. 가뭄 예측을 위하여 남한지역 내 선정한 기상관측소의 관측된 과거 강수량 자료를 이용하여 산정된 SPI (Standardized Precipitation Index)를 입력변수로 하여 다층 퍼셉트론(Multi Layer Perceptron) 인공신경망 모델에 적용하였으며, 매개변수 보정을 위한 학습기간으로 1976~2000년과 2001~2010년을 예측을 위한 검증기간으로 선정하여, 학습 및 예측을 시도하였다. 학습된 최적의 예측모형을 이용하여 서로 다른 선행예보시간(1~6개월)을 갖고 SPI (3), SPI (6), SPI (12)별로 가뭄을 예측하였으며, 가뭄예측 결과, SPI (3)의 경우에는 1개월 선행예보에서만 좋은 결과를 나타내었으며, SPI (6)의 경우 1~3개월 후의 가뭄을 예측하는 경우에 비교적 관측자료와 잘 일치하는 결과를 나타내었다. SPI (12)의 경우에는 약5개월 후까지의 가뭄예측에 양호한 결과를 나타내었다.

인공지능 기반 전력량예측 기법의 비교 (Comparison of Power Consumption Prediction Scheme Based on Artificial Intelligence)

  • 이동구;선영규;김수현;심이삭;황유민;김진영
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권4호
    • /
    • pp.161-167
    • /
    • 2019
  • 최근 안정적인 전력수급과 급증하는 전력수요를 예측하는 수요예측 기술에 대한 관심과 실시간 전력측정을 가능하게 하는 스마트 미터기의 보급의 증대로 인해 수요예측 기법에 대한 연구가 활발히 진행되고 있다. 본 연구에서는 실제 측정된 가정의 전력 사용량 데이터를 학습하여 예측결과를 출력하는 딥 러닝 예측모델 실험을 진행한다. 그리고 본 연구에서는 데이터 전처리 기법으로써 이동평균법을 도입하였다. 실제로 측정된 데이터를 학습한 모델의 예측량과 실제 전력 측정량을 비교한다. 이 예측량을 통해서 전력공급 예비율을 낮춰 사용되지 않고 낭비되는 예비전력을 줄일 수 있는 가능성을 제시한다. 또한 본 논문에서는 같은 데이터, 같은 실험 파라미터를 토대로 세 종류의 기법: 다층퍼셉트론(Multi Layer Perceptron, MLP), 순환신경망(Recurrent Neural Network, RNN), Long Short Term Memory(LSTM)에 대해 실험을 진행하여 성능을 평가한다. 성능평가는 MSE(Mean Squared Error), MAE(Mean Absolute Error)의 기준으로 성능평가를 진행했다.

Water consumption prediction based on machine learning methods and public data

  • Kesornsit, Witwisit;Sirisathitkul, Yaowarat
    • Advances in Computational Design
    • /
    • 제7권2호
    • /
    • pp.113-128
    • /
    • 2022
  • Water consumption is strongly affected by numerous factors, such as population, climatic, geographic, and socio-economic factors. Therefore, the implementation of a reliable predictive model of water consumption pattern is challenging task. This study investigates the performance of predictive models based on multi-layer perceptron (MLP), multiple linear regression (MLR), and support vector regression (SVR). To understand the significant factors affecting water consumption, the stepwise regression (SW) procedure is used in MLR to obtain suitable variables. Then, this study also implements three predictive models based on these significant variables (e.g., SWMLR, SWMLP, and SWSVR). Annual data of water consumption in Thailand during 2006 - 2015 were compiled and categorized by provinces and distributors. By comparing the predictive performance of models with all variables, the results demonstrate that the MLP models outperformed the MLR and SVR models. As compared to the models with selected variables, the predictive capability of SWMLP was superior to SWMLR and SWSVR. Therefore, the SWMLP still provided satisfactory results with the minimum number of explanatory variables which in turn reduced the computation time and other resources required while performing the predictive task. It can be concluded that the MLP exhibited the best result and can be utilized as a reliable water demand predictive model for both of all variables and selected variables cases. These findings support important implications and serve as a feasible water consumption predictive model and can be used for water resources management to produce sufficient tap water to meet the demand in each province of Thailand.

장단기 메모리(LSTM) 및 다층퍼셉트론(MLP) 인공신경망 앙상블을 이용한 장기 강우유출모의: 삼척 오십천 유역을 대상으로 (Long term discharge simulation using an Long Short-Term Memory(LSTM) and Multi Layer Perceptron(MLP) artificial neural networks: Forecasting on Oshipcheon watershed in Samcheok)

  • 안성욱;김병식
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.206-206
    • /
    • 2023
  • 지구온난화로 인한 기후변화에 따라 평균강수량과 증발량이 증가하며 강우지역 집중화와 강우강도가 높아질 가능성이 크다. 우리나라의 경우 협소한 국토면적과 높은 인구밀도로 기후변동의 영향이 크기 때문에 한반도에 적합한 유역규모의 수자원 예측과 대응방안을 마련해야 한다. 이를 위한 수자원 관리를 위해서는 유역에서 강수량, 유출량, 증발량 등의 장기적인 자료가 필요하며 경험식, 물리적 강우-유출 모형 등이 사용되었고, 최근들어 연구의 확장성과 비 선형성 등을 고려하기 위해 딥러닝등 인공지능 기술들이 접목되고 있다. 본 연구에서는 ASOS(동해, 태백)와 AWS(삼척, 신기, 도계) 5곳의 관측소에서 2011년~2020년까지의 일 단위 기상관측자료를 수집하고 WAMIS에서 같은 기간의 오십천 하구 일 유출량 자료를 수집 후 5개 관측소를 기준으로Thiessen 면적비를 적용해 기상자료를 구축했으며 Angstrom & Hargreaves 공식으로 잠재증발산량 산정해 3개의 모델에 각각 기상자료(일 강수량, 최고기온, 최대 순간 풍속, 최저기온, 평균풍속, 평균기온), 일 강수량과 잠재증발산량, 일 강수량 - 잠재증발산량을 학습 후 관측 유출량과 비교결과 기상자료(일 강수량, 최고기온, 최대 순간 풍속, 최저기온, 평균풍속, 평균기온)로 학습한 모델성능이 가장 높아 최적 모델로 선정했으며 일, 월, 연 관측유출량 시계열과 비교했다. 또한 같은 학습자료를 사용해 다층 퍼셉트론(Multi Layer Perceptron, MLP) 앙상블 모델을 구축하여 수자원 분야에서의 인공지능 활용성을 평가했다.

  • PDF

Swarm-based hybridizations of neural network for predicting the concrete strength

  • Ma, Xinyan;Foong, Loke Kok;Morasaei, Armin;Ghabussi, Aria;Lyu, Zongjie
    • Smart Structures and Systems
    • /
    • 제26권2호
    • /
    • pp.241-251
    • /
    • 2020
  • Due to the undeniable importance of approximating the concrete compressive strength (CSC) in civil engineering, this paper focuses on presenting four novel optimizations of multi-layer perceptron (MLP) neural network, namely artificial bee colony (ABC-MLP), grasshopper optimization algorithm (GOA-MLP), shuffled frog leaping algorithm (SFLA-MLP), and salp swarm algorithm (SSA-MLP) for predicting this crucial parameter. The used dataset consists of 103 rows of information concerning seven influential parameters (cement, slag, water, fly ash, superplasticizer, fine aggregate, and coarse aggregate). In this work, the best-fitted complexity of each ensemble is determined by a population-based sensitivity analysis. The GOA distinguished its self by the least complexity (population size = 50) and emerged as the second time-effective optimizer. Referring to the prediction results, all tested algorithms are able to construct reliable networks. However, the SSA (Correlation = 0.9652 and Error = 1.3939) and GOA (Correlation = 0.9629 and Error = 1.3922) performed more accurately than ABC (Correlation = 0.7060 and Error = 4.0161) and SFLA (Correlation = 0.8890 and Error = 2.5480). Therefore, the SSA-MLP and GOA-MLP can be promising alternatives to laboratorial and traditional CSC evaluative methods.