• 한국지능시스템학회논문지
• /
• 제5권3호
• /
• pp.83-91
• /
• 1995

본 연구에서는 종래에 학습법으로 널리 이용되고 있는 역전파학습법의 문제점으로 지적되어 온 학습에 많은 시간이 걸리는 점과 국소적 최적해에 해가 수렴하여 오차가 충분히 작게 되지 않는 등의 문제점을 해결하기 위해, Hu에 의해 고안된 random tabu 탐색법을 이용하여 신경회로망의 연결강도를 최적화하는 학습알고리즘을 새로이 제안하였다. 그리고 이 방법을 배타적 논리합 문제에 적용하여 기존의 역전파학습법과 학습상수 $, $에 tabu탐색법을 이용한 결과와 비교 검토하여 본 방법이 국소적 최적해에 수렴하지 않고 수렴정도를 개선할 수 있음을 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
• /
• pp.1275-1278
• /
• 2003

본 논문에서는 오차 역전파 알고리즘의 전역 최소값을 찾지 못하는 문제점에 대해서 설명하였고, 이 문제를 해결하기 위한 방법으로 유전자 알고리즘에 대해서 설명하였다. 오차 역전파 알고리즘은 기본적으로 경도 하강법을 따른다. 따라서 신경망의 각 가중값 행렬이 만드는 고차의 오차 평면이 대부분의 문제에서 다수의 국부 최소값들을 가지는게 일반적인데, 가중값의 변화가 한방으로 진행하기 시작하여, 오차가 증가되어지는 언덕이 학습 계수보다 크다면 더 이상 학습은 진행되지 않고 거기에서 빠져나가지 못한다. 따라서 초기의 위치가 중요한 역할을 하는데, 이 문제를 해결하기 위해서 유전자 알고리즘을 이용한 신경망 초기화 방법을 제안하였다. 끝으로, 간단한 실험으로 제안된 방법을 구현하고 결과에 대해서 논하였다

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 추계학술발표대회
• /
• pp.35-38
• /
• 2006

다층 퍼셉트론(MLP) 학습 이론인 오류 역전파 알고리즘은 델타룰과 최급 하강법을 사용하기 때문에 학습시 많은 시간이 소요된다는 단점을 가지고 있다. 때문에 신경망에서의 잘못된 초기 가중치 선택은 오류 역전파 알고리즘을 사용하는 신경망에서의 현격한 학습 성능저하를 발생시키게 된다. 본 논문에서는 학습시 오류 역전파 알고리즘의 수렴시간을 개선하기 위한 신경망의 동적 초기 가중치 선택 알고리즘을 제안한다. 이 알고리즘은 학습전 기존의 선택 가중치와 모든 가중치가 1.0 또는 -1.0 값을 가지는 가중치 집합에서 가중치 변동률을 선측정하여 이들 중 가장 변동률이 큰 경우를 초기 가중치 집합으로 선정하게 된다. 즉, 초기의 가중치 변동률을 차후 성능을 판단하는 지표로 사용하여 잘못된 가중치 선택으로 인한 최악의 학습효율의 가능성을 배제시키고 다층 신경망의 학습특성상 평균 이상의 학습효율을 보장하는 초기 가중치 선택방법이다.

• Asia pacific journal of information systems
• /
• 제5권1호
• /
• pp.36-51
• /
• 1995

본 논문에서는 비구조적인 의사결정문제를 효과적으로 해결하기 위하여 감독학습 인공신경망 모형과 비감독학습 인공신경망 모형을 결합한 하이브리드 인공신경망 모형인 HYNEN(HYbrid NEural Network) 모형을 제안한다. HYNEN모형은 주어진 자료를 클러스터화 하는 CNN(Clustering Neural Network)과 최종적인 출력을 제공하는 ONN(Output Neural Network)의 2단계로 구성되어 있다. 먼저 CNN에서는 주어진 자료로부터 적정한 퍼지규칙을 찾기 위하여 클러스터를 구성한다. 그리고 이러한 클러스터를 지식베이스로하여 ONN에서 최종적인 의사결정을 한다. CNN에서는 SOFM(Self Organizing Feature Map)과 LVQ(Learning Vector Quantization)를 클러스터를 만든 후 역전파학습 인공신경망 모형으로 이를 학습한다. ONN에서는 역전파학습 인공신경망 모형을 이용하여 각 클러스터의 내용을 학습한다. 제안된 HYNEN 모형을 우리나라 기업의 도산자료에 적용하여 그 결과를 다변량 판별분석법(MDA:Multivariate Discriminant Analysis)과 ACLS(Analog Concept Learning System) 퍼지 ARTMAP 그리고 기존의 역전파학습 인공신경망에 의한 실험결과와 비교하였다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 1995년도 추계학술대회논문집; 한국종합전시장, 24 Nov. 1995
• /
• pp.280-283
• /
• 1995

계층형 신경회로망은 학습능력이나 비선형사상능력을 가지고 있고, 그 특징을 이용하여 패턴인식이나 동정 및 제어 등에의 적용이 시도되어 성과를 올리고 있다. 현재, 그 학습법으로 널리 이용되고 있는 것이 역전파학습법으로 최급 강하법이나 공액경사법 등의 최적화 방법이 적용되고 있지만, 학습에 많은 시간이 걸리는 점, 국소적 최적해(local minima)에 해의 수렴이 이루어져 오차가 충분히 작게 되지 않는 점 등이 문제점으로 지적되고 있다. 본 논문에서는 Hu에 의해 고안된 random 탐색법과 조합된 random tabu 탐색법으로 최적결합계수를 구하는 학습알고리즘으로, 국소적 최적해에 수렴하는 것을 방지하고, 수렴정도를 개선하는 새로운 방법을 이용하여 회전기계의 이상진동진단에 적용가능성을 검토하고 오차역전파법에 의한 진단결과와 비교검토한다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 1994년도 추계학술대회논문집; 한국종합전시장, 18 Nov. 1994
• /
• pp.121-125
• /
• 1994

본 논문에서는 Hu에 의해 고안된 random 탐색법과 조합된 tabu 탐색법(radnom tabu 탐색법)을 결합계수를 구하는 학습 알고리즘으로 직접 사용하여 국소적 최적해에 수렴하는 것을 방지하고, 수렴정도를 개선하는 새로운 방법을 제안한다. 이 방법을 배타적 논리합 문제에 적용하여 역전파법 및 tabu 탐색법을 이용한 오차역전파법과 비교한다. 그리고, 각 파라메터가 오차함수의 수렴에 미치는 영향을 조사한다.

• 한국음향학회지
• /
• 제12권6호
• /
• pp.21-27
• /
• 1993

계층형 신경망은 패턴 분류를 위해 사용되어 왔다. 이것은 주어진 교사패턴들의 학습으로 원하는 입력-출력 간의 매핑을 할 수 있기 때문이다. 신경망은 타겟ㅌ트 패턴이 입력 패턴의 카테고리에 일치할 때 타겟트 패턴을 학습하므로서 사후 확률을 근사화할 수 있다. 그리고 입력 공간을 부분 공간으로 나누어 학습 데이터들의 비율로서 만든 타겟트 벡터들로 학습한 신경망은 확률밀도 함수를 나타낼 수 있다. 본 연구에서는 역전파 학습법을 이용한 계층형 NN 과 코드북으로서 사후 확률과 확률밀도함수의 측정방법을 제안하였다. VQ 로 추정한 사후확률고 확률밀도함수를 이용하여 학습이 필요없는 RBF network 의 일종인 PNN으로 모음 인식을 수행 하였다. 인식 실험에서 PNN 의 결과는 역전파 학습법을 이용항 3층 신경망과 VQ 의 평균 인식율과 비교되었다. VQ-PNN의 인식율이 다른 것보다 우수하게 나타났다.

• 한국지능시스템학회논문지
• /
• 제8권5호
• /
• pp.98-106
• /
• 1998

본 논문에서는 신경망의 학습성능을 개선하기 위해 확룰적 근사법과 공액기울기법에 기초를 둔 새로운 학습방법을 제안하였다. 제안된 방법에서는 확률적 근사법과 공액기울기법을 조합 사용한 전역 최적화 기법의 역전파 알고리즘을 적용함으로써 학습성능을 최대한 개선할 수 있도록 하였다. 확률적 근사법은 국소최소점을 벗어나 전역최적점에 치우친 근사점을 결정해 주는 기능을 하도록 하며, 이점을 초기값으로 하여 결정론적 기법의 공액기울기법을 적용함으로써 빠른 수렴속도로 전역최적점으로의 수렴확률을 놓였다. 제안된 방법을 패리티 검사와 패턴 분류에 각각 적용하여 그 타당성과 성능을 확인한 결과 제안된 방법은 초기값을 무작위로 설정하는 기울기하강법에 기초를 둔 기존의 역전파 알고리즘이나 확률적 근사법과 기울기하강법에 기초를 둔 역전파 알고리즘에 비해 최적해로의 수렴 확률과 그 수렴속도가 우수함을 확인할 수 있었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2002년도 추계학술대회 및 정기총회
• /
• pp.162-165
• /
• 2002

Q-learning은 강화학습의 한 방법으로서, 여러 분야에 널리 응용되고 있는 기법이다. 최근에는 Linear Quadratic Regulation(이하 LQR) 문제에 성공적으로 적용된 바 있는데, 특히, 시스템모델의 파라미터에 대한 구체적인 정보가 없는 상태에서 적절한 입력과 출력만을 가지고 학습을 통해 문제를 해결할 수 있어서 상황에 따라서 매우 실용적인 대안이 될 수 있다. Neural Q-learning은 이러한 Q-learning의 Q-value를 MLP(multilayer perceptron) 신경망의 출력으로 대치시킴으로써, 비선형 시스템의 최적제어 문제를 다룰 수 있게 한 방법이다. 그러나, Neural Q방식은 신경망의 구조를 먼저 결정한 후 역전파 알고리즘을 이용하여 학습하는 절차를 취하기 때문에, 시행착오를 통하여 신경망 구조를 결정해야 한다는 점, 역전파 알고리즘의 적용으로 인해 신경망의 연결강도 값들이 지역적 최적해로 수렴한다는 점등의 문제점을 상속받는 한계가 있다. 따라서, 본 논문에서는 Neural-0 학습의 도구로, 역전파 알고리즘으로 학습되는 MLP 신경망을 사용하는 대신 최근 들어 여러 분야에서 그 성능을 인정받고 있는 서포트 벡터 학습법을 사용하는 방법을 택하여, $\varepsilon$-SVR(Epsilon Support Vector Regression)을 이용한 Q-value 근사 기법을 제안하고 관련 수식을 유도하였다. 그리고, 모의 실험을 통하여, 제안된 서포트 벡터학습 기반 Neural-Q 방법의 적용 가능성을 알아보았다.

• 전력전자학회논문지
• /
• 제5권2호
• /
• pp.131-139
• /
• 2000

일반적으로 시스템 인식과 제어에 이용하는 다층 신경회로망은 기존의 역전파 알고리즘을 이용한다. 그러나 결선강도에 대한 오차의 기울기를 구하는 방법이기 때문에 국부적 최소점에 빠지기 쉽고, 수렴속도가 매우 늦으며 초기 결선강도 값들이나 학습계수에 민감하게 반응한다. 이와 같은 단점을 개선하기 위하여 확장된 칼만 필터링 기법을 역전파 알고리즘에 결합하였으나 계산상의 복잡성 때문에 망의 크기가 증가하면 실제 적용할 수 없다. 최근 신경회로망을 선형과 비선형 구간으로 구분하고 칼만 필터링 기법을 도입하여 수렴속도를 빠르게 하고 초기 결선강도 값에 크게 영향을 받지 않도록 개선하였으나, 여전히 은닉층의 선형 오차값을 역전파 알고리즘에 의해서 계산하기 때문에 학습계수에 민감하다는 단점이 있다. 본 논문에서는 위에서 언급한 기존의 신경회로망 알고리즘의 문제점을 개선하기 위하여 은닉층의 목표값을 최적기법에 의하여 직접계산하고 각각의 결선강도 값은 반복최소 자승법으로 온라인 학습하는 알고리즘을 제안하고 이들 신경회로망 알고리즘과 비교하고자 한다. 여러 가지 시뮬레이션과 실험을 통하여 제안된 방법이 초기 결선강도에 크게 영향을 받지 않으며, 기존의 학습계수 선정에 따른 문제점을 해결함으로써 신경회로망 모델에 기초한 실시간 제어기 설계에 응용할 수 있도록 하였다. 또한, 유도전동기의 속도추정과 제어에 적용하여 좋은 결과를 보였다.