• Communications for Statistical Applications and Methods
• /
• 제4권2호
• /
• pp.327-332
• /
• 1997

다층 신경망은 비모수 회귀함수 추정의 한 방법이다. 다충 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있다. 그러나 이 알고리즘은 이상치에 매우 민감하여 이상치를 포함하고 있는 자료에 대하여 원하지 않는 회귀함수를 추정한다. 본 논문에서는 통계물리에서 자주 사용하는 방법을 이용하여 로버스트 역전파 알고리즘을 제안하고 수학적으로 신경망과 매우 유사한 PRP(projection pursuit regression) 방법, 일반적인 역전파 알고리즘과 모의실험을 통해 비교 분석한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 춘계종합학술대회
• /
• pp.457-461
• /
• 2005

본 논문에서는 RGB 컬러 정보와 오류 역전파 알고리즘을 이용한 신 차량 번호판 인식 방법을 제안한다. 차량 영상에서 평균 Blue값을 이용하여 차량 영상을 보정한다. 보정된 차량 영상에서 순수 Red픽셀과 현재 픽셀의 차이와 순수 Green 픽셀과 현재의 픽셀의 차이를 각각 구하여 Red 후보 영역과 Green 후보 영역으로 구분한다. 구분된 2개의 후보 영역의 픽셀 값을 오류 역전파 알고리즘에 적용하여 최종 Green 영역을 찾는다. 그리고 오류 역전파 알고리즘에 의해서 Green 영역으로 판명된 영역을 제외한 영역들은 잡음으로 처리한다. 잡음이 제거된 영역에 대해 수평 및 수직 히스토그램의 빈도수를 이용하여 번호판 영역을 추출한다. 추출된 번호판 영역에서 윤곽선 추적 알고리즘을 적용하여 개별 코드들을 추출하고, 오류 역전파 알고리즘을 적용하여 개별 코드들을 인식한다. 제안된 차량 번호판 추출 및 인식 방법의 성능을 평가하기 위하여 실제 비영업용 신 차량 번호판에 적용한 결과, 제안된 번호판 추출 방법이 기존의 HSI 정보를 이용한 번호판 추출 방법보다 추출률이 개선되었고 제안된 차량 번호판 인식 방법이 효율적인 것을 확인하였다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2003년도 춘계학술대회
• /
• pp.484-489
• /
• 2003

본 논문에서는 역전파 알고리즘의 성능 개선을 위해 퍼지 논리 시스템을 이용한 학습률 자동 조정 방법을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 $\varepsilon$ 보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성의 총 개수를 퍼지 논리 시스템에 적용하여 학습률과 모멘텀을 동적으로 조정한다. 제안된 방법을 XOR 문제와 숫자패턴 문제에 적용하여 실험한 결과, 기존의 역전파 알고리즘, 모멘텀 방식, Jacob의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
• /
• pp.1275-1278
• /
• 2003

본 논문에서는 오차 역전파 알고리즘의 전역 최소값을 찾지 못하는 문제점에 대해서 설명하였고, 이 문제를 해결하기 위한 방법으로 유전자 알고리즘에 대해서 설명하였다. 오차 역전파 알고리즘은 기본적으로 경도 하강법을 따른다. 따라서 신경망의 각 가중값 행렬이 만드는 고차의 오차 평면이 대부분의 문제에서 다수의 국부 최소값들을 가지는게 일반적인데, 가중값의 변화가 한방으로 진행하기 시작하여, 오차가 증가되어지는 언덕이 학습 계수보다 크다면 더 이상 학습은 진행되지 않고 거기에서 빠져나가지 못한다. 따라서 초기의 위치가 중요한 역할을 하는데, 이 문제를 해결하기 위해서 유전자 알고리즘을 이용한 신경망 초기화 방법을 제안하였다. 끝으로, 간단한 실험으로 제안된 방법을 구현하고 결과에 대해서 논하였다

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.333-335
• /
• 1998

에러 역전파 신경망에서 학습속도와 수렴률은 초기 가중의 분포에 따라 크게 영향을 받는다. 본 연구에서는 이를 위하여 비교사 학습 신경망(Hebbian learning rule)을 이용한 새로운 초기 가중치 결정 방법을 제안한다. 또는 비교사 학습 신경망이 에러 역전파 신경망 학습에 적당하도록 은닉층의 각 뉴런과 연결된 가중치의 norm을 이용하여 학습하였다. 시뮬레이션을 통하여 기존 에러 역전파 신경망 학습과 그 성능을 비교한 결과 제안한 초기 가중치 표현이 학습속도와 수렴능력에서 우수함을 나타낸다.

• 한국정보통신학회논문지
• /
• 제8권2호
• /
• pp.464-470
• /
• 2004

본 논문에서는 역전파 알고리즘의 성능 개선을 위해 퍼지 제어 시스템을 적용하여 학습률을 자동으로 조정하는 개선된 역전파 알고리즘을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 $\varepsilon$ 보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성과 부정확성의 개수를 퍼지 제어 시스템에 적용하여 학습률을 동적으로 조정한다. 제안된 방법을 XOR 문제와 숫자 패턴 분류에 적용하여 실험한 결과, 기존의 역전파 알고리즘, 모멘텀 방식, Jacob의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 추계학술발표논문집
• /
• pp.226-230
• /
• 2001

오류 역전파 알고리즘을 영상 인식에 적용한 경우 은닉층의 노드 수를 경험적으로 설정하여야 하는 문제점이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘의 은닉층 노드 수를 동적으로 설정하는 문제를 해결하기 위해 ART1을 수정하여 지도 학습 방법과 결합한 자가 생성 지도 학습 알고리즘을 제안하였다. 제안된 학습 알고리즘의 성능을 평가하기 위해 콘테이너 영상의 문자 및 숫자 인식 문제에 적용하여 기존의 오류 역전파 알고리즘과 성능을 비교, 분석하였다. 실험 결과에서는 제안된 자가 생성 지도 학습알고리즘이 기존의 오류 역전과 알고리즘보다 지역 최소화에 빠질 가능성이 감소하였으며 학습 시간과 수렴성이 개선되었을 뿐만 아니라, 영상 인식에 적용할 수 있는 가능성도 제시하였다.

• 한국정보처리학회논문지
• /
• 제5권11호
• /
• pp.3010-3023
• /
• 1998

유전자 알고리즘은 염색체 집단을 이용하는 탐색이므로 전역적인 최적해의 탐색 성능은 우수하여 최적해에 근접한 한점까지의 수렴속도는 빠르지만 탐색 메카니즘이 없기 때문에 최적해 근처의 탐색에서는 수렴 속도가 떨어지는 단점이 있고, 역전파 알고리즘은 개체 수준의 탐색이므로 지역적 미세조정의 탐색능력은 우수하지만 전역적 탐색기능이 없어 지역적 최적해로 수렴하는 경우가 있다. 본 논문에서는 수렴 속도가 향상된 윤곽선 추출을 위하여 유전자와 역전파 알고리즘을 병행해서 실행하는 윤곽선 추출방법을 제안하였다. 윤곽선 추출 방법은 먼저 유전자 알고리즘을 이용하여 최적의 연결강도와 오프셋 값을 계산한다. 다음으로 이 값을 역전파 학습 알고리즘 학습의 파라미터의 초기값으로 한 반복 학습으로 최적의 윤곽선 구조를 추출하였다. 제안된 알고리즘은 유전자 알고리즘 또는 역전파 알고리즘 단독으로 실행한 경우보다 수렴속도가 향상된 결과를 보여 주었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 춘계종합학술대회
• /
• pp.467-471
• /
• 2005

본 논문에서는 명암도 변화 및 윤곽선 추적 알고리즘과 개선된 오류 역전파 알고리즘을 이용한 차량 번호판 인식 방법을 제안한다. 비영업용 차량 영상을 대상으로 차량 번호판 영역을 추출하기 위해 명암도 변화 특성을 이용하여 차량 번호판 영역을 추출한다. 추출된 차량 번호판 영역에 반복 이진화 방법을 적용하여 차량 번호판의 영역을 이진화하고, 이진화된 차량 번호판 영역에 대해서 윤곽선 추적 알고리즘을 적용하여 개별 코드를 추출한다. 추출된 개별 코드 인식은 일반화된 델타 학습 방법에 Delta-bar-Delta 알고리즘을 적용하여 학습률을 동적으로 조정하는 개선된 오류 역전파 알고리즘을 적용한다. 제안된 방법의 인식 성능을 평가하기 위하여 실제 비영업용 차량 번호판에 적용한 결과, 기존의 차량 번호판 인식 방법보다 효율적인 것을 확인하였다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
• /
• pp.308-314
• /
• 2002

본 논문은 2인용 보드게임의 정보에 대한 전략을 학습할 수 있는 방법을 유전자기반 역전파 신경회로망과 Temporal Difference학습알고리즘을 이용하여 제안하였다. 학습의 과정은 역전파에 의한 초기학습에 이어 국부해의 단점을 극복하기 위하여 미세학습으로 유전자알고리즘을 이용하였다. 시스템의 구성은 탐색을 담당하는 부분과 기물의 수를 발생하는 부분으로 구성되어 있다. 수의 발생부분은 보드의 상태에 따라서 갱신되고, 탐색커널은 αβ탐색을 기본으로 유전자알고리즘을 이용하여 가중치를 최적화하는 유전자기반 역전파 신경회로망과 TD학습을 결합하여 게임에 대해 양호한 평가함수를 학습하였다. 일반적으로 많은 학습을 통하여 평가함수의 정확도가 보장되면 승률이 학습의 양에 비례함을 알 수 있었다.