• 전자공학회논문지CI
• /
• 제39권4호
• /
• pp.19-27
• /
• 2002

역전파 알고리즘의 성능 개선을 위해서 학습율을 자동 조정하는 방식을 제안하였다. 제안한 방식은 각각의 연결강도의 학습율을 퍼지 논리 시스템을 이용하여 자동 조정하는 방식으로 각각의 연결강도에 대해서 ${\Delta}$와 $\bar{{\Delta}}$를 구하여 퍼지 논리 시스템의 입력으로 사용하고, 학습율을 출력으로 사용하였다. 제안한 방식을 N-패리티 문제, 함수 근사, 숫자 패턴 분류에 대한 시뮬레이션 결과 일반적인 역전파 알고리즘, 모멘텀 방식, Jacobs의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 한국통신학회논문지
• /
• 제21권8호
• /
• pp.2119-2132
• /
• 1996

본 연구에서는 구간 벡터의 비선형 사상의 근사를 행하기 위한 4가지 신경회로망의 학습 알고리즘을 제안한다. 제안된 방법에 있어서, 신경회로망의 학습에 이용되는 입출력 데이터 쌓은 구간으로 구성되어 있다. 첫번째 방법은 전처리된 학습용 데이터 상을 통상의 역전파 알고리즘에 직접 응용하는 것이고, 두번째 방법은 두 개의 역전파 알고리즘을 이용하는 것이다. 세번째 방법은 구간 입출력 데이터를 처리할 수 있는 역전파 알고리즘으로 확장한 것이다. 마지막 방법은 구간 결합강도 및 구간 역치를 가진 신경회로망으로 확장한 것이다. 제안된 이 방법들은 컴퓨터 시뮬레이션에 의해 서로 비교 평가된다.

• 인지과학
• /
• 제4권2호
• /
• pp.181-200
• /
• 1994

다층 신경망의 학습에 있어서 역전파 알고리즘은 시스템이 지역적 최소치에 빠질수 있고,탐색공간의 피라미터들에 의해 신경망 시스템의 성능이 크게 좌우된다는 단점이 있다.이러한 단점을 보완하기 의해 유전자 알고리즘이 신경망의 학습에 도입도었다.그러나 유전자 알고리즘에는 역전파 알고리즘과 같은 미세 조정되는 지역적 탐색(fine-tuned local search) 을 위한 메카니즘이 존재하지 않으므로 시스템이 전역적 최적해로 수렴하는데 많은 시간을 필요로 한다는 단점이 있다. 따라서 본 논문에서는 역전파 알고리즘의 기울기 강하 기법(gradient descent method)을 교배나 돌연변이와 같은 유전 연산자로 둠으로써 유전자 알고리즘에 지역적 미세 조정(local fine-tuning)을 위한 메카니즘을 제공해주는 새로운 형태의 GA-BP 방법을 제안한다.제안된 방법의 유용성을 보이기 위해 3-패러티 비트(3-parity bit) 문제에 실험하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.477-480
• /
• 2005

본 논문에서는 신경망과 유전자 알고리즘의 장점을 결합하고, 개선된 유전자 알고리즘 기반의 역전파 신경망 알고리즘을 이용한 신경망 학습 효과를 살펴 본다. 유전자 알고리즘을 이용한 신경망 학습은 비선형 함수를 이용하여 발생시킨 모의 자료를 통하여 수행하고 학습 수렴의 정도와 학습 속도 등을 비교할 수 있는 모의실험 결과를 일반 신경망 학습 결과와 함께 제시한다. 모의실험의 결과로서 유전자 알고리즘을 적용한 신경망 제어기가 일반 신경망 학습 결과보다 수렴 정확도 및 학습 속도에서 더 좋은 결과를 나타내 주고 있다.

• 한국정보통신학회논문지
• /
• 제9권4호
• /
• pp.883-889
• /
• 2005

다층 구조 신경망에서 널리 사용되는 오류 역전파 알고리즘은 초기 가중치와 불충분한 은닉층의 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ART-1에서 경계 변수의 설정에 따라 인식률이 저하되는 문제점을 개선하기 위하여 ART-1과 퍼지 단층 지도 학습 알고리즘을 결합한 ATR-1 기반 퍼지 다층 지도 학습 알고리즘을 제안 한다. 자가 생성을 이용한 제안된 퍼지 지도 학습 알고리즘은 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART-1을 적용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 주민등록증 영상을 대상으로 실험한 결과, 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상도 개선되었다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 1998년도 춘계학술발표 논문집
• /
• pp.135-140
• /
• 1998

본 논문에서는 신경회로망에서 가장 널리 쓰이고 있는 오차 역 전파 알고리즘(Error Back-propagation) 을 사용하여 스캐너를 모델링함으로써 스캐너의 원색 재현을 위한 방법을 제시하였다. 이것은 스캐너의 하드웨어적 특성을 고려, 입력된 영상의 원색과 출력물의 색과 일치시키는 방법이다. 우선, 오차 역전파 알고리즘에 대하여 학습 규칙을 살펴보고 학습을 위한 데이터를 추출하기 위해 고르게 분포된 색 샘플들을 계측기로 측정하여 칼라 공간에서의 X, Y, Z 값을 얻어낸다. 그 중에서 표본 샘플을 추출한다. 그리고 이를 스캐너로 스캐닝하여 얻은 R, G, B값을 오차 역전파 알고리즘의 입력값으로, 목표값은 X, Y, Z값을 사용하여 학습시킨다. 학습하는 동안 샘플 색상의 수와 중간층의 수, 노드의 수를 변화시킴으로써 최적의 결과를 얻도록 실험하였다. 결론에서는 서로간의 결과를 분석한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 추계학술발표논문집
• /
• pp.129-132
• /
• 2002

본 논문은 웨이브렛 변환 다중해상도 분해(multi-resolution Analysis : MRA)와 적응성 뉴로-퍼지 인터페이스 시스템(Adaptive Neuro-Fuzzy Inference System : ANFIS)을 기반으로 한 웨이브렛 신경망을 가지고 임의의 비선형 함수 학습 근사화를 개선하는 것이다. ANFIS 구조는 벨형 퍼지 함수로 구성이 되었고, 웨이브렛 신경망은 전파 알고리즘과 역전파 신경망 알고리즘으로 구성되었다. 여기 웨이브렛 구성은 단일 크기이고, ANFIS 기반 웨이브렛 신경망의 학습을 위해 역전파 알고리즘을 사용하였다. 1차원과 2차원 함수에서 웨이브렛 전달 파라미터 학습과 ANFIS의 벨형 소속 함수를 이용한 ANFIS 모델 기반 웨이브렛 신경망의 웨이브렛 기저 수 감소와 수렴 속도 성능이 기존의 알고리즘 보다 개선되었음을 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제8권2호
• /
• pp.163-171
• /
• 1997

공학 분야에서 신경망에 대한 관심은 신호처리, 로보틱스, 컨트롤, 문자인식, 패턴인식 그리고 컴퓨터 그래픽 분야등에서 연구되고 있으며, 이들은 함수근사응용과 밀접한 관련이있다. 통계학 분야에서는 패턴인식의 판별분석, 주성분분석, 회귀분석 그리고 군집분석을 위한 신경망등에 대한 연구가 활발히 이루어지고 있다. 문자인식을 위한 다층 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있으나 이 알고리즘은 긴 훈련기간, 극소점 문제, 이상치(outlier)에 민감하다는 단점을 지니고 있다. 이상치에 민감한 일반적인 역전파 알고리즘의 단점을 극복하기 위해 이상치에 민감하지 않은 로버스트 알고리즘의 필요성이 대두되었다. 본 논문에서는 통계물리에서 자주 사용하는 방법을 이용하여 제안한 로버스트 역전파 알고리즘을 문자인식에 적용하여 일반적인 역전파 알고리즘의 문자인식 성능과 비교하였다.

• 전자공학회논문지CI
• /
• 제37권1호
• /
• pp.21-31
• /
• 2000

본 논문에서는 이산 시간 신경망 제어 시스템의 안정도에 대한 해석을 하도록 한다. 우선 리아프노프의 직접법을 이용하여 신경망제어기를 포함하고 있는 시스템의 안정조건을 체계적으로 유도하고 이 유도된 안정조건을 반영하여 수정된 역전파 알고리즘을 제안한다. 이 수정된 역전파 알고리즘은 유도된 신경망 제어기 시스템의 안정조건을 반영한 학습 규칙이고 따라서 이를 이용하여 학습된 신경망 제어기의 경우 안정성을 보장하게 된다. 끝으로 컴퓨터 모의 실험에서는 제안한 신경망 제어 시스템의 안정조건과 이를 반영한 수정 역전파 알고리즘을 통하여 주어진 플랜트를 학습 제어하도록 한다.

• 지능정보연구
• /
• 제16권3호
• /
• pp.1-14
• /
• 2010

역전파 알고리즘은 오랫동안 부도예측모형 관련한 연구에 많이 적용되어왔다. 역전파 알고리즘을 사용하기전에 필히 고려해야 할 중요한 요소들로는 네트워크 구조, 학습요소, 정규화 방법 등이다. 하지만 신경망 성과를 향상시키기 위한 네트워크 구조 및 학습요소 최적화 관련한 연구는 기존의 연구들에서 많이 이루어 졌지만 데이터 정규화와 관련한 연구는 아직 많이 이루어지지 않았다. 따라서 본 연구에서는 유전자 알고리즘을 기반으로 하는 정규화 기법을 제시하였다. 최적의 입력데이터 정규화를 위하여 본 연구에서는 우선 각각의 서로 다른 정규화 기법들을 동일 가중치를 두어 일반화 시켰으며 유전자 알고리즘을 이용하여 최적의 가중치를 찾음으로써 최적화된 입력변수 정규화가 이루어지도록 하였다. 제안한 방법론을 검증하기 위하여 부도예측 데이터를 이용하여 실험을 하였으며 제안하는 방법과 기존 다른 방법들간의 비교를 통하여 그 타당성을 검증하였다.