• 지능정보연구
• /
• 제22권2호
• /
• pp.127-142
• /
• 2016

딥러닝은 인공신경망(neural network)이라는 인공지능분야의 모형이 발전된 형태로서, 계층구조로 이루어진 인공신경망의 내부계층(hidden layer)이 여러 단계로 이루어진 구조이다. 딥러닝에서의 주요 모형은 합성곱신경망(convolutional neural network), 순환신경망(recurrent neural network), 그리고 심층신뢰신경망(deep belief network)의 세가지라고 할 수 있다. 그 중에서 현재 흥미로운 연구가 많이 발표되어서 관심이 집중되고 있는 모형은 지도학습(supervised learning)모형인 처음 두 개의 모형이다. 따라서 본 논문에서는 지도학습모형의 가중치를 최적화하는 기본적인 방법인 오류역전파 알고리즘을 살펴본 뒤에 합성곱신경망과 순환신경망의 구조와 응용사례 등을 살펴보고자 한다. 본문에서 다루지 않은 모형인 심층신뢰신경망은 아직까지는 합성곱신경망 이나 순환신경망보다는 상대적으로 주목을 덜 받고 있다. 그러나 심층신뢰신경망은 CNN이나 RNN과는 달리 비지도학습(unsupervised learning)모형이며, 사람이나 동물은 관찰을 통해서 스스로 학습한다는 점에서 궁극적으로는 비지도학습모형이 더 많이 연구되어야 할 주제가 될 것이다.

• 한국정보처리학회논문지
• /
• 제4권7호
• /
• pp.1749-1758
• /
• 1997

전력수요의 예측은 예측기간에 따라 중장기 전력수요 예측과 단기 부하 예측으로 구분할 수 있다. 기존의 단기 부하예측은 주로 역전파 알고리즘(back propagation algorithm)다층퍼셉트론을 이용하여 예측을 하였으나 이는 학습시간이 많이 걸릴 뿐만 아니라 학습도중에 지역최소점(local minima)에 빠져 학습이 계속되지 못한다는 문제가 있다. 본 논문은 이러한 역전파 알고리즘의 문제점을 해결할 수 있는 방법으로 Radial Basis 함수(Radial Basis Function)를 이용하여 동적 단기부하 예측 모형을 제안한다. Radial Basis 함수는 하나의 은닉층(hidden layer)을 갖고 있으며, 전방향(feed-forward)학습을 한다는 특징이 있다. 본 논문에서 제안한 단기 부하 예측모형은 학습을 하기 위하여 시간대별 부하량을 클러스터링 하고, 이 클러스터의 중심값을 Radial Basis 함수의 은닉층으로 하여 학습을 한 다음 예측하고자 하는 패턴을 한 단위로 하여 시단대별로 예측하였다. 기존의 연구에서의 클러스터링 방법으로는 통계학의 K-Means 방법이나 Kohonen의 LVQ(Learning Vector Quantization)을 주로 이용하였으나 본 논문에서는 패턴의 분류에 있어서 다른 알고리즘보다 편차가 작은 Pal, et. al.의 GLVQ(Generalized LVQ) 알고리즘을 이용하였다. 본 논문에서 이용한 데이타는 1995년 3월 1일-3일, 6월 1일-3일, 7월 1일-3일, 9월 1일-3일, 11월 1일-3일의 72시간 데이타를 입력하여 월별 4일의 24시간의 예측시간으로 예측하였다. 실험결과 월별 1일과 3일까지의 학습데이타로 1시간 후의 부하량을 24시간동안 예측한 결과 1.3795%의 평균 오차율로 예측하였다.

• 한국음향학회지
• /
• 제18권8호
• /
• pp.94-99
• /
• 1999

성 인식 알고리즘에서 높은 인식률을 보이는 방법은 hidden Markov mode1(HMM)과 신경망의 혼합 형태이다. 이것은 통계적인 모델과 신경망 모델의 장점을 혼용하는 방법이다. 본 연구에서 제안하는 인식 알고리듬은 반연속 HMM과 radial basis function(RBF)의 새로운 형태의 혼합 구조로써 반연속 HMM 파라미터 중에서 관측 확률을 결정하는 가중치(혼합확률밀도함수계수)확률을 Baum-Welch 추정 이후 RBF로로써 재 추정하는 인식 모델을 제안한다. 제안한 방법은 RBF의 은닉층(hidden layer)의 기본 함수(basis function)와 반연속 HMM의 확률 밀도 함수의 유사함을 고려한 것으로 RBF의 학습 및 추정된 가중치로써 보다 음성 파형을 분별력 있게 구분하고자 하는 것이다. 모의 실험 결과는 반연속 HM만을 사용 할 때 보다 제안한 반연속 HMM/RBF 혼합 구조가 비 학습 화자에 대한 인식률을 개선함으로써 단순히 반연속 HMM만을 사용하는 것 보다 훨씬 분별력이 높은 방법임을 보여준다.

• 정보처리학회논문지B
• /
• 제8B권6호
• /
• pp.699-704
• /
• 2001

본 논문에서는 혼성 모듈 구조의 recurrent 시간지연신경회로망(time-delay neural network)과 HMM(hidden Markov model)을 결합한 음성인식을 위한 새로운 구조에 대해 연구하였다. 시간지연신경회로망에서는 윈도우 크기를 확장하는 것이 인식률 향상에 유리하므로 이를 위해 첫 번째 은닉층에 궤환 구조를 사용하여 윈도우 크기를 실제로 크게 하지 않고도 동일한 효과를 얻을 수 있도록 하였다. 다음 이 시간지연신경망에서 입력된 음소의 특징 벡터의 시간에 따라 변화하는 성질을 잘 처리 할 수 있도록 시간지연신경회로망의 입력층을 복수의 상태로 나누어 음소특징의 시간축에 대한 각 상태마다 특징 감지기를 갖도록 하였다. 이때 시간지연신경회로망은 전체 음성인식 영역에 적용될 수 있도록 모듈 방식의 구조로 구성되었다. 그리고 이 모듈 구조 시간지연신경망의 출력 벡터를 HMM에 연결하여 서로 결합 하므로써 양 구조의 장점을 취하는 혼성 구조의 인식시스템을 구성하였고 이때 이 혼성 구조에서 효율적으로 적용할 수 있는 HMM 파라미터 smoothing 방법을 제시하였다.

• 한국콘텐츠학회논문지
• /
• 제10권6호
• /
• pp.166-174
• /
• 2010

다층퍼셉트론이 충분한 중간층 노드 수를 지니면 임의의 함수를 근사시킬 수 있다는 이론적 연구결과에 기초하여, 다층퍼셉트론을 실제 문제에 응용하는 경우에 일반적으로 입력층, 중간층, 출력층으로 이루어진 3층 구조의 다층퍼셉트론을 사용한다. 그렇지만, 이러한 구조의 다층퍼셉트론은 입력벡터가 여러 가지 성질로 이루어진 복잡한 문제의 경우 좋은 일반화 성능을 보이지 않는다. 이 논문에서는 입력 벡터가 여러 가지 정보를 지닌 데이터들로 구성되어 있는 문제인 경우에 계층적 구조를 지닌 다층퍼셉트론의 구성으로 성능을 향상시키는 방법을 제안한다. 즉, 입력데이터를 섭-벡터로 구분한 후 섭-벡터별로 다층퍼셉트론을 적용시키며, 이 섭-벡터별로 적용된 하위층 다층퍼셉트론으로부터 인식 결과를 받아서 최종 결정을 하는 상위 다층퍼셉트론을 구현한다. 제안한 방법의 효용성은 단백질의 구조를 예측하는 문제를 통하여 확인한다.

• 환경영향평가
• /
• 제14권2호
• /
• pp.55-62
• /
• 2005

This study applied the Neural Network and Fuzzy theory to show water-purity control and preventive measure in water quality forecasting of the future river. This study picked out NAJU and HAMPYUNG as the subject of investigation and used monthly the water quality and the outflow data of KWANGJU2, NAJU, YOUNGSANNPO and HAMPYUNG from 1995 to 1999 to forecast BOD, COD, T-N, T-P water density. The datum from 1995 to 1999 are used for study and that of 2000 are used for verification. To develop model of water quality forecasting, firstly, this research formed Neural Network model and divided Neural Network model into two case - the case of considering lag and not considering. And this study selected optimal Neural Network model through changing the number of hidden layer based on input layer(n) from n to 3n. Through forecasting result, the case without considering lag showed more precise simulated result. Accordingly, this study intended to compare, analyse that Fuzzy model using the method without considering lag with Neural Network model. As a result, this study found that the model without considering lag in Neural Network Network shows the most excellent outcome. Thus this study examined a forecasting accuracy, analyzed result and verified propriety through appling the method of water quality forecasting using Neural Network and Fuzzy Algorithms to the actual case.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.34-36
• /
• 2022

기존 텍스트 감성 분석 모델에서는 일반적으로 전체 텍스트를 직접 모델링하고, 텍스트 내용 간의 계층적 관계를 덜 고려한다. 그러나 감정분석의 구현에서는 많은 텍스트가 여러 감정으로 뒤섞여 있다. 전체의 의미론적 모델링을 직접 수행하면 감성분석 모델의 판단 난도가 높아져 혼합 감정 문장의 분류에 적용하기 어려울 수 있다. 따라서 본 논문에서는 텍스트 계층을 고려한 감성 분석 모델 BHGCN을 제안한다. 이 모델에서는 BERT의 각 레이어의 숨겨진 상태의 출력이 노드로 사용되며, 상위 레이어와 하위 레이어 사이에 직접 연결이 이루어져 의미 계층이 있는 그래프 네트워크를 구축한다. BHGCN 모델은 계층별 의미론에 주의를 기울일 뿐만 아니라 계층적 관계에도 주의를 기울이기 때문에 혼합 감성 분류 작업을 처리하는 데 적합하다. 본 논문에서는 비교 실험을 통해 제안하는 BHGCN 모델이 명백한 경쟁 우위를 보인다는 것을 입증하였다.

• 융합신호처리학회논문지
• /
• 제2권3호
• /
• pp.79-85
• /
• 2001

본 논문에서는 퍼지 보상기와 자기구성 신경회로망을 이용하여 3축 매니퓰레이터의 역 기구학 해를 구하는 방법을 제안한다. 가우시안 위치 함수를 활성화 함수로 사용하는 자기구성 신경회로망은 학습 시작시 1개의 은닉층 노드를 가지고 학습을 하면서 점차적으로 은닉층의 노드수를 증가시킴으로서 최적의 노드수를 얻을 수 있으며, 퍼지 보상기는 신경회로망의 양호한 학습비를 얻는다. 이와 같이 시스템을 구성하여 빠른 학습속도와 학습비의 개선 그리고 빠른 정상상태로의 수렴을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제11권6호
• /
• pp.505-509
• /
• 2001

본 연구에서는 학습기근을 갖는 결정론적 볼츠만 머신의 은닉충 뉴런에 비단조 활성화 함수를 적요한 경위의 학습성능을 XOR 문제와 ADD 학습에 대하여 수지 시뮬레이션을 통하여분석한다. 단조 활성화함수를 사용한 경우와 비교하여 학습 수렴률, 학습안정도, 및 학습 속도에 있어서 성능이 크게 향상됨을 확인하였다. 또한 네트워크의 막전위 분포를 조사함으로서 end-cut-off 타입의 비단조 함수를 이용한 경우에 나타는 다음 층의 뉴런에 영향을 주지 않는 뉴런의 출현, 즉, 신경회로망에 있어서 은닉층 뉴런늬 수을 자율적으로 조정하는것을 확인하였따. 이것은 학습문제에 대하여 네트워크 은닉층 뉴런의 수를 명확하게 결정할수 없는 현재의 상황에 있어서는 새로운 돌파구가 될것으로 기대된다.

• 조명전기설비학회논문지
• /
• 제26권9호
• /
• pp.73-79
• /
• 2012

In this paper, we study on how to determine the number of hidden layer neurons in neural network for predicting defect size of steam generator tube. It was reported in the literature that the number of hidden layer neurons can be efficiently determined with the help of cross-validation. Although the cross-validation provides decent estimation performance in most cases, the performance depends on the selection of validation set and rather poor performance may be led to in some cases. In order to avoid such a problem, we propose to use multifold cross-validation. Through the simulation study, it is shown that the estimation performance of defect width (defect depth, respectively) attains 94% (99.4%, respectively) of the best performance achievable among the considered neuron numbers.