• 제목/요약/키워드: 신경망 모델선정

검색결과 129건 처리시간 0.025초

CTC를 적용한 CRNN 기반 한국어 음소인식 모델 연구 (CRNN-Based Korean Phoneme Recognition Model with CTC Algorithm)

  • 홍윤석;기경서;권가진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.115-122
    • /
    • 2019
  • 지금까지의 한국어 음소 인식에는 은닉 마르코프-가우시안 믹스쳐 모델(HMM-GMM)이나 인공신경망-HMM을 결합한 하이브리드 시스템이 주로 사용되어 왔다. 하지만 이 방법은 성능 개선 여지가 적으며, 전문가에 의해 제작된 강제정렬(force-alignment) 코퍼스 없이는 학습이 불가능하다는 단점이 있다. 이 모델의 문제로 인해 타 언어를 대상으로 한 음소 인식 연구에서는 이 단점을 보완하기 위해 순환 신경망(RNN) 계열 구조와 Connectionist Temporal Classification(CTC) 알고리즘을 결합한 신경망 기반 음소 인식 모델이 연구된 바 있다. 그러나 RNN 계열 모델을 학습시키기 위해 많은 음성 말뭉치가 필요하고 구조가 복잡해질 경우 학습이 까다로워, 정제된 말뭉치가 부족하고 기반 연구가 비교적 부족한 한국어의 경우 사용에 제약이 있었다. 이에 본 연구는 강제정렬이 불필요한 CTC 알고리즘을 도입하되, RNN에 비해 더 학습 속도가 빠르고 더 적은 말뭉치로도 학습이 가능한 합성곱 신경망(CNN)을 기반으로 한국어 음소 인식 모델을 구축하여 보고자 시도하였다. 총 2가지의 비교 실험을 통해 본 연구에서는 한국어에 존재하는 49가지의 음소를 판별하는 음소 인식기 모델을 제작하였으며, 실험 결과 최종적으로 선정된 음소 인식 모델은 CNN과 3층의 Bidirectional LSTM을 결합한 구조로, 이 모델의 최종 PER(Phoneme Error Rate)은 3.26으로 나타났다. 이는 한국어 음소 인식 분야에서 보고된 기존 선행 연구들의 PER인 10~12와 비교하면 상당한 성능 향상이라고 할 수 있다.

신경망으로 구축된 불확실성 모델을 이용한 전투기 날개의 강건 최적 설계 (Robust Design Optimization of a Fighter Wing Using an Uncertainty Model Constructed by Neural Network)

  • 김주현;김병곤;전상욱;전용희;이동호
    • 한국항공우주학회지
    • /
    • 제36권2호
    • /
    • pp.99-104
    • /
    • 2008
  • 본 연구에서는 신경망에 기반한 불확실성 모델을 이용하여 전투기 날개 형상의 강건 최적 설계를 수행하였다. 불확실성 모델을 구축하기 위하여 공력성능과 이들의 민감도 정보를 중심합성법으로 선정된 실험점에서 구하였으며, 이 때 3차원 오일러 방정식과 adjoint변수방법이 사용되었다. 또한 비선형성 모사능력이 뛰어난 신경망모델을 이용함으로써 공력성능계수의 민감도 정보를 효율적이고 정확하게 예측하는 것이 가능하였다. 이와 같은 방법으로 구하여진 강건 최적 설계 결과로부터, 불확실성 모델의 변동과 신뢰도 수준의 변화가 증가할수록 목적함수 및 제약조건에 대한 강건성이 향상되는 것을 확인할 수 있었다.

상호정보량기법과 웨이블렛변환을 적용한 인공신경망의 하천유량 예측 활용 (Application on Prediction of Stream Flow using Artificial Neural Network with Mutual Information and Wavelet Transform)

  • 류용준;정영훈;신주영;허준행
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2012년도 학술발표회
    • /
    • pp.116-116
    • /
    • 2012
  • 하천유역 내의 인자를 이용하여 댐의 하천유량(stream flow)을 예측하는 일은 수문특성의 연구와 자연재해에 대한 대비 및 수공구조물과 방재시설의 설계 시 중요한 역할을 한다. 이러한 연구는 과거부터 활발히 이루어졌으며, 아직도 보다 높은 정확도의 결과를 얻기 위해 많은 연구들이 이루어지고 있다. 특히 기존의 유역 내 자료를 통해 비선형적 모델인 인공신경망(artificial neural network)을 이용한 하천유량을 예측하는 연구 역시 활발히 이루어지고 있다. 본 연구의 목적은 여러 유역인자들 중 하천유량에 가장 영향을 미치는 변수를 추출하고 보다 정확한 예측모델을 구축하는 것이다. 기존의 입력자료 선정기법중의 하나인 상호정보량(mutual information)과 수문기상자료의 비선형 동역학적 성분을 추출하는 웨이블렛 변환(wavelet transform)을 사용하여 인공신경망에 적용시켰다. 인공신경망을 적용하는 경우, 수문자료에 있어서 변수의 선택과 자료의 상태가 강우예측의 결과에 큰 영향을 미친다. 이러한 변수의 선택에 있어서 상호정보량을 바탕으로 한 인공신경망 입력변수 선택기법이 많이 사용되고 있다. 일반적으로 시계열자료는 경향성(trend), 주기성(periodicity) 및 추계학적 성분(stochastic component)의 선형조합으로 가정될 수 있으며, 특히 경향성과 주기성은 시계열 모형을 위해 제거되어야 할 결정론적 성분으로 취급한다. 즉. 수문 기상자료에 포함되어 있는 경향성과 주기성과 같은 비선형 동역학적 잡음(nonlinear dynamical noise)을 제거하고 입력자료의 카오스적 거동을 보이는 성분을 분리하기 위해 웨이블렛 변환을 사용하였다. 대상유역은 한강 유역에 포함되어 있는 충주댐으로 선택하였다. 유역 내 다양한 인자들과 하천유량사이의 상호정보량을 구해 영향력이 가장 큰 변수를 추출하고, 그 자료를 웨이블렛 변환을 적용하여 인공신경망의 입력자료로 사용하였다. 본 논문에서는 위와 같은 과정을 이용해 추정한 하천유량 결과와 기존의 방법인 상호정보량을 이용해 인공신경망을 적용한 결과를 실제자료와 비교하였다.

  • PDF

RCP4.5 기후변화 시나리오와 인공신경망을 이용한 우리나라 확률강우량의 변화 (The change of rainfall quantiles calculated with artificial neural network model from RCP4.5 climate change scenario)

  • 이주형;허준행;김기주;김영오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.130-130
    • /
    • 2022
  • 기후변화로 인한 기상이변 현상으로 폭우와 홍수 등 수문학적 극치 사상의 출현 빈도가 잦아지고 있다. 따라서 이러한 기상이변 현상에 적응하기 위하여 보다 정확한 확률강우량 측정의 필요성이 증가하고 있다. 대장 지점의 미래 확률강우량 계산을 위해선 기후변화 시나리오의 비정상성을 고려해야 한다. 본 연구는 비정상적인 미래 기후에서 확률강우량이 어떻게 변화하는지 측정하는 것을 목표로 한다. Representative Concentration Pathway (RCP4.5)에 따른 우리나라의 확률강우량 계산에 인공신경망을 포함한 정상성, 비정상성 확률강우량 산정 모델들이 사용되었다. 지점빈도해석(AFA), 홍수지수법(IFM), 모분포홍수지수법(PIF), 인공신경망을 이용한 Quantile & Parameter regression technique(QRT & PRT)이 정상성 자료에 대해 확률강우량을 계산하는 모델로 사용되었으며, 비정상성 자료에 대해서는 비정상성 지점빈도해석(NS-AFA), 비정상성 홍수지수법(NS-IFM), 비정상성 모분포홍수지수법(NS-PIF), 인공신경망을 사용한 비정상성 Quantile & Parameter regression technique(NS-QRT & NS-PRT)이 사용되었다. Rescaled Akaike information criterion(rAIC)를 사용한 불확실성 분석과 적합도 검정을 통해서 generalized extreme value(GEV) 분포형 모델이 정상성 및 비정상성 확률강우량 산정에 가장 적합한 모델로 선정되었다. 이후, 관측자료가 GEV(0,0,0)을 따르고 시나리오 자료가 GEV(1,0,0)을 따르는 지점들을 선택하여 미래의 확률강우량 변화를 추정하였다. 각 빈도해석 모델들은 몬테카를로 시뮬레이션을 통해 bias, relative bias(Rbias), root mean square error(RMSE), relative root mean square error(RRMSE)를 바탕으로 측정하여 정확도를 계산하였으며 그 결과 QRT와 NS-QRT가 각각 정상성과 비정상성 자료로부터 가장 정확하게 확률강우량을 계산하였다. 본 연구를 통해 향후 기후변화의 영향으로 확률강우량이 증가할 것으로 예상되며, 비정상성을 고려한 빈도분석 또한 필요함을 제안하였다.

  • PDF

역전파 신경망을 이용한 주가 예측 (Stock Price Prediction Using Backpropagation Neural Network)

  • 박사준;이상훈;고삼일;김기태
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.328-330
    • /
    • 2002
  • 본 논문에서는 역전파 신경망(Backpropagation Neural Network)을 시계열 데이터인 주가 데이터를 이용한 주가 예측의 정확도를 향상시키기 위한 학습 방법으로 적용하였다. 실제 증권거래소의 종목 데이터에서 비교적 등락폭이 안정적인 각 산업분야별 5개 기업의 5일 이동평균선 데이터 240개를 훈련 데이터로, 20개는 테스트 데이터로 이용하였다. 선정된 입력 데이터를 은닉층의 개수와 은닉 노드의 개수 등을 달리 하면서 10,000번의 훈련을 통해서 실험 하였으며, 그 결과 1개의 은닉층을 사용한 네트워크1은 20개의 테스트 데이터 사이의 19개의 신호 중 14개를 예측하였고, 2개의 은닉층을 사용한 네트워크 2는 16개를 예측하였다. 시험 결과를 통해서 보듯이 은닉층을 2개 사용하였을 때 보다 좋은 실험 결과를 얻을 수 있었으며, 역전파 신경망 모델이 주가 예측에 적합하다는 것이 증명되었다.

  • PDF

단계적 회귀분석과 인공신경망 모형을 이용한 광양항 석탄·철광석 물동량 예측력 비교 분석 (A Comparative Analysis of the Forecasting Performance of Coal and Iron Ore in Gwangyang Port Using Stepwise Regression and Artificial Neural Network Model)

  • 조상호;남형식;류기진;류동근
    • 한국항해항만학회지
    • /
    • 제44권3호
    • /
    • pp.187-194
    • /
    • 2020
  • 항만의 주요 정책 및 향후 운영계획 수립 시 정확한 물동량 예측에 관한 연구는 매우 중요하며 이러한 중요성으로 인해 관련 연구가 활발히 수행되고 있다. 본 논문에서는 국내 최대 석탄 및 철광석 처리 항만인 광양항을 대상으로 단계적 회귀분석과 인공신경망모형을 활용하여 모형간 예측력을 비교하였다. 2009년 1월부터 2019년 1월까지 총 121개월의 월별자료를 활용하였으며 석탄 및 철광석 물동량에 영향을 주는 요인을 선정하여 공급관련요인과 시장·경제관련요인으로 분류하였다. 단계적 회귀분석 결과, 광양항 석탄 물동량 예측모형의 경우, 입항선박 톤수, 석탄가격 및 대미환율이 최종변수로 선정되었고 철광석 물동량 예측모형의 경우, 입항선박 톤수, 철광석가격이 최종변수로 선정되었다. 인공신경망모형의 경우, 모델 성능에 영향을 미치는 다양한 Hyper-parameters를 조정하며 최적 모델을 선정하는 시행착오법을 사용하였다. 분석결과 인공신경망모형이 단계적 회귀분석에 비해 우수한 예측성능을 나타내었으며 예측 모형별 예측값과 실측값을 그래프 상 비교 시에도 인공신경망모형이 단계적 회귀분석에 비해 고·저점을 유사하게 나타냈다.

GA-SVM을 이용한 결함 경향이 있는 소프트웨어 모듈 예측 (Predicting Defect-Prone Software Module Using GA-SVM)

  • 김영옥;권기태
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권1호
    • /
    • pp.1-6
    • /
    • 2013
  • 소프트웨어의 결함 경향 모듈 예측을 위해 SVM 분류기가 우수한 성능을 보인다는 연구들이 많지만, SVM에서 필요한 파라미터 선정 시 매 커널마다 다르게 선정해야 하고, 파라미터의 변경에 따른 결과예측을 위해 알고리즘을 반복적으로 수행해야 하는 불편함이 있다. 따라서 본 논문에서는 SVM의 파라미터 선정 시 유전알고리즘을 이용하여 스스로 찾게 하는 GA-SVM 모델을 구현하였다. 그리고 분류 성능 비교를 위해 신경망의 역전파알고리즘을 이용하여 분류했던 기존 논문과 비교 분석한 결과, GA-SVM 모델의 성능이 더 우수함을 확인하였다.

최적의 지하댐 입지 선정을 위한 효율적 평가 방법 개발 (Development of an Efficient Method to Evaluate the Optimal Location of Groundwater Dam)

  • 정진아;박은규
    • 자원환경지질
    • /
    • 제53권3호
    • /
    • pp.245-258
    • /
    • 2020
  • 본 연구에서는 다양한 지하댐 입지조건에 대한 수치 모사 결과에 인공신경망 기반 반응 표면법을 적용함으로써 지하댐 건설에 따른 지하수 저류 가능량을 객관적으로 비교 및 평가할 수 있는 예측 모델을 구축하였다. 입지조건으로 기반암 및 충적층의 수리전도도, 하도의 깊이, 하도의 지하수 유동 방향으로의 경사가 고려되었다. 다양한 시나리오를 이용한 몬테카를로 기반 수치 모사 결과를 종합한 결과, 암반층 수리전도도 및 하도의 깊이가 지하댐 저유 효율에 가장 큰 영향을 미치는 것을 확인할 수 있었으며, 하도의 지하수 유동 방향으로의 경사도가 가장 미약한 영향력을 가지는 것을 확인할 수 있었다. 이와 같은 수치 모사 결과를 기반으로 설정된 입지조건과 이의 결과를 입력 및 출력으로 하는 인공신경망 기반 예측 모델을 구축하였다. 인공신경망 기반 예측 모델의 성능 평가 결과, 모델을 통해 예측된 저유량과 실제 수치 모사를 통해 산정된 저유량 간의 상관성이 0.9 이상의 높은 수치를 보임을 확인하였다. 따라서, 본 연구를 통해 개발된 비선형 예측 모델이 지하댐 개발 대상 지역에 대한 수치 모사 수행 없이 지하댐 건설에 따른 저유량을 즉각적으로 산정하는 데 효과적으로 활용될 수 있을 것으로 판단된다. 또한, 개발된 예측 모델은 서로 다른 지역의 저유 가능량을 보다 객관적이고 효율적으로 비교하는데 이용될 수 있다. 따라서 개발된 모델은 국내 전 지역에 대하여 지하댐 개발 최적 입지를 선정하기 위한 효율적 도구로 활용될 수 있을 것으로 기대된다.

증류공정 내부 온도 예측을 위한 머신 러닝 모델 개발 (Development of Machine Learning Model for Predicting Distillation Column Temperature)

  • 권혁원;오광철;정용철;조형태;김정환
    • 공업화학
    • /
    • 제31권5호
    • /
    • pp.520-525
    • /
    • 2020
  • 본 연구에서는 증류공정의 제품 생산단 온도 예측을 위한 머신러닝 기반 모델을 개발하였다. 증류공정의 제어는 제품 생산단의 온도를 통해 이루어지고 있어 제어를 위해 정확한 온도 예측이 필요하다. 증류공정에서 온도는 다양한 변수들과 복잡한 비선형의 관계를 형성하고 있으며 시계열 데이터의 특성이 있어 이를 예측하기 위해 순환신경망 기반 알고리즘을 이용하였다. 모델 개발 과정에서 적절한 예측 알고리즘을 선정하기 위해 세 가지 순환신경망 기반 알고리즘과 배치 사이즈 조절하여 제품 생산단 온도를 예측하기 위한 가장 적저한 모델을 선정하였다. LSTM128 모델이 제품 생산단 온도를 예측하기 위한 가장 적절한 모델로 선정되었다. 선정된 모델을 활용하여 실제 공정 운전데이터에 적용한 결과 RMSE 0.0791, R2 0.924의 성능을 보였다.

오일 생산정에서 쵸크사이즈와 가스주입량에 따른 생산성 예측 인공신경망 모델 개발 (Development of Productivity Prediction Model according to Choke Size and Gas Injection Rate by using ANN(Artificial Neural Network) at Oil Producer)

  • 한동권;권순일
    • 한국가스학회지
    • /
    • 제22권6호
    • /
    • pp.90-103
    • /
    • 2018
  • 본 연구에서는 초크크기와 가스주입량을 조절함으로써 일반 유정이나 가스리프트가 적용된 유정에서 최적생산량을 산출할 수 있는 두 가지 인공신경망 모델을 개발하였다. 개발된 모델들의 입력자료는 용해가스-오일비, 물 생산 비율, 저류층압력, 초크크기 또는 가스주입량이고 출력자료는 정두압력과 오일 생산량으로 구성하였다. 먼저 육상 유정 시스템에 대하여 입력자료의 민감도 분석을 통해 각 변수의 범위를 결정하였고, 노달분석을 수행하여 초크크기 선정 모델에 1,715개, 가스주입량 선정 모델에 1,225개의 훈련자료를 각각 생성하였다. 동일한 저류층 자료에 대해 노달분석과 인공신경망 모델 결과를 비교해보면 두 모델 모두 결정계수 값이 0.99 이상으로 상관관계가 매우 높은 것으로 확인되었다. 또한 초크크기 선정 모델의 정두압력과 오일 생산량의 평균절대백분율오차는 각각 0.55%, 1.05%이고, 가스주입량 선정 모델의 정두압력과 오일 생산량의 평균절대백분율오차는 각각 1.23%, 2.67%로 개발된 모델의 정확도가 높은 것으로 확인되었다.