• 제목/요약/키워드: Bayesian neural network

검색결과 133건 처리시간 0.027초

딥러닝 모형을 사용한 한국어 음성인식 (Korean speech recognition using deep learning)

  • 이수지;한석진;박세원;이경원;이재용
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.213-227
    • /
    • 2019
  • 본 논문에서는 베이즈 신경망을 결합한 종단 간 딥러닝 모형을 한국어 음성인식에 적용하였다. 논문에서는 종단 간 학습 모형으로 연결성 시계열 분류기(connectionist temporal classification), 주의 기제, 그리고 주의 기제에 연결성 시계열 분류기를 결합한 모형을 사용하였으며. 각 모형은 순환신경망(recurrent neural network) 혹은 합성곱신경망(convolutional neural network)을 기반으로 하였다. 추가적으로 디코딩 과정에서 빔 탐색과 유한 상태 오토마타를 활용하여 자모음 순서를 조정한 최적의 문자열을 도출하였다. 또한 베이즈 신경망을 각 종단 간 모형에 적용하여 일반적인 점 추정치와 몬테카를로 추정치를 구하였으며 이를 기존 종단 간 모형의 결괏값과 비교하였다. 최종적으로 본 논문에 제안된 모형 중에 가장 성능이 우수한 모형을 선택하여 현재 상용되고 있는 Application Programming Interface (API)들과 성능을 비교하였다. 우리말샘 온라인 사전 훈련 데이터에 한하여 비교한 결과, 제안된 모형의 word error rate (WER)와 label error rate (LER)는 각각 26.4%와 4.58%로서 76%의 WER와 29.88%의 LER 값을 보인 Google API보다 월등히 개선된 성능을 보였다.

인공신경망 이론을 이용한 소유역에서의 장기 유출 해석 (Forecasting Long-Term Steamflow from a Small Waterhed Using Artificial Neural Network)

  • 강문성;박승우
    • 한국농공학회지
    • /
    • 제43권2호
    • /
    • pp.69-77
    • /
    • 2001
  • An artificial neural network model was developed to analyze and forecast daily steamflow flow a small watershed. Error Back propagation neural networks (EBPN) of daily rainfall and runoff data were found to have a high performance in simulating stremflow. The model adopts a gradient descent method where the momentum and adaptive learning rate concepts were employed to minimize local minima value problems and speed up the convergence of EBP method. The number of hidden nodes was optimized using Bayesian information criterion. The resulting optimal EBPN model for forecasting daily streamflow consists of three rainfall and four runoff data (Model34), and the best number of the hidden nodes were found to be 13. The proposed model simulates the daily streamflow satisfactorily by comparison compared to the observed data at the HS#3 watershed of the Baran watershed project, which is 391.8 ha and has relatively steep topography and complex land use.

  • PDF

신경망이론을 이용한 소유역에서의 장기 유출 해석(수공) (Long Term Streamflow Forecasting in Small Watershed using Artificial Neural Network)

  • 강문성;박승우
    • 한국농공학회:학술대회논문집
    • /
    • 한국농공학회 2000년도 학술발표회 발표논문집
    • /
    • pp.384-389
    • /
    • 2000
  • A artificial neural network model was developed to analyze and forecast the flow fluctuation at small streams in the Balan watershed. Backpropagation neural networks were found to perform very well in forecasting daily streamflows. In order to deal with slow convergence and an appropriate structure, two algorithms were proposed for speeding up the convergence of the backpropagation method, and the Bayesian Information Criterion(BIC) was proposed for obtaining the optimal number of hidden nodes. From simulations using daily flows at the HS#3 watershed of the Balan Watershed Project, which is 412,5 ㏊ in size and relatively steep in landscape, it was found that those algorithms perform satisfactorily.

  • PDF

UT 신호형상 인식을 위한 Intelligence Package 개발과 Austenitic Stainless Steel Welding부 결함 분류에 관한 적용 연구 (Intelligence Package Development for UT Signal Pattern Recognition and Application to Classification of Defects in Austenitic Stainless Steel Weld)

  • 이강용;김준섭
    • 비파괴검사학회지
    • /
    • 제15권4호
    • /
    • pp.531-539
    • /
    • 1996
  • 본 연구에서는 초음파 신호형상인식법을 이용하여 용접부의 인공 결함을 분류하기 위한 연구를 실시하였다. 이를 위해 신호처리 및 특징 변수를 추출할 때에 많은 사용자 정의 변수를 가지는 신호 형상 인식 패키지를 개발하였으며 디지탈 신호처리, 특징 변수 추출, 특징 변수의 선택, 분류기 선정 등의 과정을 일괄적으로 처리하였다. 특히, 선형 분류기, 경험적 Bayesian 분류기 등의 통계적 분류기와 신경회로망 분류기를 함께 사용하여 비교, 검토하였다. 이에 관한 적용 연구로 노치와 구멍으로 이루어진 인공 결함을 분류하였다. 그 결과 인공결함 분류에서 높은 인식률을 얻었으며, 특히 적절히 학습 시켰을 경우 신경회로망 분류기가 통계적 분류기에 비하여 인식률 면에서 유리하였다.

  • PDF

적응형 신호 형상 인식 프로그램 개발과 AE법에 의한 용접부 결함 분류에 관한 적용 연구 (Development of Adaptive Signal Pattern Recognition Program and Application to Classification of Defects in Weld Zone by AE Method)

  • 이강용;임장묵;김준섭
    • 비파괴검사학회지
    • /
    • 제16권1호
    • /
    • pp.34-45
    • /
    • 1996
  • 음향 방출 신호의 수집 및 처리, 특징값 추출 및 선택, 분류기 설계 및 검증 과정 등을 수행할 수 있는 신호 형상 인식 프로그램을 개발하고, 이를 오스테나이트계 STS304 용접부의 인공 결함 분류 연구에 적용하였다. 특히 분류기로는 선형 함수 분류기, 경험적 Bayesian 분류기, 신경 회로망 분류기를 사용하였고, 센서는 광대역 센서와 공진형 센서를 사용하여 분류기간의 비교와 센서간의 차이점을 검토하였다. 그 결과 신경 회로망 분류기가 다른 분류기에 비해 높은 인식률을 주었고, 공진형 센서보다는 광대역 센서를 통해 받은 신호가 더 높은 인식률을 주었다.

  • PDF

Towards Effective Analysis and Tracking of Mozilla and Eclipse Defects using Machine Learning Models based on Bugs Data

  • Hassan, Zohaib;Iqbal, Naeem;Zaman, Abnash
    • Soft Computing and Machine Intelligence
    • /
    • 제1권1호
    • /
    • pp.1-10
    • /
    • 2021
  • Analysis and Tracking of bug reports is a challenging field in software repositories mining. It is one of the fundamental ways to explores a large amount of data acquired from defect tracking systems to discover patterns and valuable knowledge about the process of bug triaging. Furthermore, bug data is publically accessible and available of the following systems, such as Bugzilla and JIRA. Moreover, with robust machine learning (ML) techniques, it is quite possible to process and analyze a massive amount of data for extracting underlying patterns, knowledge, and insights. Therefore, it is an interesting area to propose innovative and robust solutions to analyze and track bug reports originating from different open source projects, including Mozilla and Eclipse. This research study presents an ML-based classification model to analyze and track bug defects for enhancing software engineering management (SEM) processes. In this work, Artificial Neural Network (ANN) and Naive Bayesian (NB) classifiers are implemented using open-source bug datasets, such as Mozilla and Eclipse. Furthermore, different evaluation measures are employed to analyze and evaluate the experimental results. Moreover, a comparative analysis is given to compare the experimental results of ANN with NB. The experimental results indicate that the ANN achieved high accuracy compared to the NB. The proposed research study will enhance SEM processes and contribute to the body of knowledge of the data mining field.

RBFN을 이용한 Bayesian Equalizer에서의 비선형 다층 결합 기법 (Nonlinear Multilayer Combining Techniques in Bayesian Equalizer Using Radial Basis Function Network)

  • 최수용;고균병;홍대식
    • 한국통신학회논문지
    • /
    • 제28권5C호
    • /
    • pp.452-460
    • /
    • 2003
  • 본 논문에서는 optimal Bayesian equalization solution인 RBF(radial basis function)를 이용한 등화기 (RE)의 구조를 보다 단순화하고, 비선형 왜곡 등의 심각한 정보 신호의 손상에 대한 보상 능력을 향상시키기 위하여 비선형 다층 결합을 갖는 RBF측 이용한 등화기(RNE)를 새로이 제안한다. 기존의 RE는 RBF로 구성된 은닉층의 출력 값을 선형 결합하여 등화기 출력을 얻는다. 이와 달리 새로이 제안하는 RNE는 기존의 RE에서 RBF로 구성된 은닉층의 출력 값에 대한 결합 기법으로 perceptron을 이용한 비선형 다층 결합을 사용한다. 제안한 equalizer를 결정궤환 방식이 있는 경우와 없는 경우의 등화기로 각각 구현한다. 실험 결과 제안한 등화기는 선형 간섭이 존재하는 디지털 통신 시스템과 비선형 왜곡이 존재하는 자기기록 시스템에서보다 간단한 구조로 기존의 optimal Bayesian 등화기와 거의 같거나 우수한 비트 오류 화률 성능 및 MSE(men squared error) 수렴 특성을 나타내었다.

Training an Artificial Neural Network (ANN) to Control the Tap Changer of Parallel Transformers for a Closed Primary Bus

  • Sedaghati, Alireza
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.1042-1047
    • /
    • 2004
  • Voltage control is an essential part of the electric energy transmission and distribution system to maintain proper voltage limit at the consumer's terminal. Besides the generating units that provide the basic voltage control, there are many additional voltage-controlling agents e.g., shunt capacitors, shunt reactors, static VAr compensators, regulating transformers mentioned in [1], [2]. The most popular one, among all those agents for controlling voltage levels at the distribution and transmission system, is the on-load tap changer transformer. It serves two functions-energy transformation in different voltage levels and the voltage control. Artificial Neural Network (ANN) has been realized as a convenient tool that can be used in controlling the on load tap changer in the distribution transformers. Usage of the ANN in this area needs suitable training and testing data for performance analysis before the practical application. This paper briefly describes a procedure of processing the data to train an Artificial Neural Network (ANN) to control the tap changer operating decision of parallel transformers for a closed primary bus. The data set are used to train a two layer ANN using three different neural net learning algorithms, namely, Standard Backpropagation [3], Bayesian Regularization [4] and Scaled Conjugate Gradient [5]. The experimental results are presented including performance analysis.

  • PDF

Multi-Sensor Signal based Situation Recognition with Bayesian Networks

  • Kim, Jin-Pyung;Jang, Gyu-Jin;Jung, Jae-Young;Kim, Moon-Hyun
    • Journal of Electrical Engineering and Technology
    • /
    • 제9권3호
    • /
    • pp.1051-1059
    • /
    • 2014
  • In this paper, we propose an intelligent situation recognition model by collecting and analyzing multiple sensor signals. Multiple sensor signals are collected for fixed time window. A training set of collected sensor data for each situation is provided to K2-learning algorithm to generate Bayesian networks representing causal relationship between sensors for the situation. Statistical characteristics of sensor values and topological characteristics of generated graphs are learned for each situation. A neural network is designed to classify the current situation based on the extracted features from collected multiple sensor values. The proposed method is implemented and tested with UCI machine learning repository data.

역전파 학습 알고리즘을 이용한 콘크리트와 부착된 FRP 판의 부착강도 모델 개발 (Development of Bond Strength Model for FRP Plates Using Back-Propagation Algorithm)

  • 박도경
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제10권2호
    • /
    • pp.133-144
    • /
    • 2006
  • FRP 판은 외부 부착된 보강 판의 효과적인 부착강도의 증진으로 실질적으로 부착강도에 대한 많은 연구가 수행되어왔다. 선행연구자들은 이러한 부착강도를 알아보기 위하여 다양한 변수를 설정하여 실험을 통하여 FRP 판의 부착강도를 규명하였다. 그러나, 이러한 부착강도를 알아보기 위한 실험은 장비구축의 비용과 시간 소비가 많이 되고 수행하기 어렵기 때문에 국한적으로 수행되고 있다. 본 연구는 선행연구자들의 부착실험 데이터를 다양한 신경망 모형과 알고리즘을 적용하여 최적의 인공신경망 모형을 개발하는데 그 목적이 있다. 인공신경망 모형의 출력층은 부착강도, 입력층은 FRP 판의 두께, 폭, 부착 길이, 탄성계수, 인장강도와 콘크리트의 압축강도, 인장강도, 폭을 변수로 선정하여 학습을 수행하였다. 개발된 인공신경망 모형은 역전파 학습 알고리즘을 적용하였으며, 오차는 0.001범위에 수렴되도록 학습을 하였다. 또한, 일반화 과정은 Bayesian 기법을 도입함으로써 보다 일반화된 방법으로 과대적합의 문제를 해소하였다. 개발된 모형의 검증은 학습에 이용되지 않은 다른 선행연구자들의 부착강도 결과 값과 비교함으로서 실시하였다.