• 한국정보과학회논문지:소프트웨어및응용
• /
• 제33권12호
• /
• pp.999-1007
• /
• 2006

역전파 학습 방법은 속도가 느리고, 지역 최소점이나 고원에 빠져 수렴에 실패하는 경우가 많다고 알려져 있다. 이제까지 알려진 역전파의 대체 방법들은 수렴 속도와 변수에 따른 수렴의 안정성 사이에서 불균형이라는 대가를 치루고 있다. 기존의 전통적인 역전파에서 발생하는 위와 같은 문제점 중, 특히 지역 최소점을 탈피하는 기능을 추가하여 적은 저장 공간으로 안정성이 보장되면서도 빠른 수렴속도를 유지하는 알고리즘을 제안한다. 이 방법은 전체 신경망을 은닉층-출력층(hidden to output)을 의미하는 상위 연결(upper connections)과 입력층-은닉층(input to hidden)을 의미하는 하위 연결(lower connections) 2개로 분리하여 번갈아 훈련을 시키는 분리 학습방법을 적용한다. 본 논문에서 제안하는 알고리즘은 다양한 classification 문제에 적용한 실험 결과에서 보듯이 전통적인 역전파 및 기타 개선된 알고리즘에 비해 계산량이 적고, 성능이 매우 좋으며 높은 신뢰성을 보장한다.

• 한국수자원학회논문집
• /
• 제33권2호
• /
• pp.247-262
• /
• 2000

본 연구에서는 낙동강유역의 주요 수위표지점중 진동수위표지점에서 홍수위를 예측하기위한 신경망모형인 WSANN모형이 제시되었다. WSANN모형은 모멘트방법, 초기조건의 개선 및 적응학습속도에 의해 보완되어진 개선된 역전파훈련 알고리즘을 이용하였고, 본 연구에 사용된 자료는 훈련자료와 테스팅자료로 분할하였으며, 최적 은닉층 노드수를 결정하기 위하여 은닉층노드와 임계학습횟수로부터 경험식이 유도되었다. 그리고 WSANN모형의 보정은 4개의 훈련자료에 의해 실시되었으며, WSANN22와 WSANN32모형이 모델의 검증에 사용될 최적모형으로 결정되었다. 모형의 검증은 훈련되지 않은 2개의 테스팅자료를 이용하여 모형의 적합성을 평가하기 위하여 이루어 졌으며, 통계분석의 결과를 통하여 홍수위를 합리적으로 예측하는 것으로 나타났다. 따라서 본 연구의 결과를 기본으로 신경망기법을 이용한 실시간 홍수예경보 시스템의 구축 및 홍수위의 제어에 관한 지속적인 연구가 필요것으로 사료된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 추계학술발표대회
• /
• pp.3-6
• /
• 2006

멀티레벨의 feed-forward 네트워크에 대한 학습 방법은 기울기 방법과 전역 최적화방법으로 나눌 수 있다. 역전파 또는 그 변형적인 방법들과 같은 기울기 하강 방법은 편리하기 때문에 여러 분야에서 다양하게 사용되고 있다. 하지만, 역전파와 관련된 가장 큰 문제는 지역 최소점에 빠진다는 것이다. 따라서 본 논문에서 기울기 하강 방법의 단순성을 침범하지 않고 지역 최소점을 극복할 수 있는 개선된 기울기 하강 방법을 제안한다. 제안하는 방법은 상위 연결과 하위연결을 분리하여 훈련하고 평가하기 때문에 이원적인 기울기 하강 방법이라 칭한다. 그렇기 때문에, 은닉층 유닛의 목표 값들은 하위 연결의 평가 툴로써 사용한다. 논문에서 제안하는 방법의 성능은 다양한 실험을 통해서 검증된다.