• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.333-335
• /
• 1998

에러 역전파 신경망에서 학습속도와 수렴률은 초기 가중의 분포에 따라 크게 영향을 받는다. 본 연구에서는 이를 위하여 비교사 학습 신경망(Hebbian learning rule)을 이용한 새로운 초기 가중치 결정 방법을 제안한다. 또는 비교사 학습 신경망이 에러 역전파 신경망 학습에 적당하도록 은닉층의 각 뉴런과 연결된 가중치의 norm을 이용하여 학습하였다. 시뮬레이션을 통하여 기존 에러 역전파 신경망 학습과 그 성능을 비교한 결과 제안한 초기 가중치 표현이 학습속도와 수렴능력에서 우수함을 나타낸다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.694-696
• /
• 2005

본 논문에서는 개선된 유전자 알고리즘과 역전파 신경망 알고리즘의 특징을 살펴보고, 비선형 모의자료를 이용하여 개선된 유전자 알고리즘 기반의 신경망 학습 효과와 역전파 신경망 알고리즘을 이용한 신경망 학습 효과를 비교해 본다. 유전자 알고리즘을 이용한 신경망 학습에는 개선된 신경망 제어기를 이용한다. 역전파 알고리즘을 이용한 신경망 학습에는 일반화 성능향상을 위한 인자들의 결합효과를 이용한다. 모의실험을 통하여 두 가지의 학습에서 학습 수령의 정도와 학습 속도 등을 비교하는 모의실험 결과를 개선된 유전자 알고리즘과 신경망 알고리즘의 학습 결과와 항께 제시한다. 모의실험의 결과로서 유전자 알고리즘을 적용한 개선된 신경망 제어기를 통한 학습 결과가 일반 신경망 학습 결과보다 초기 가중값을 작은 범위에서 발생시킬 때 수렴 정확도 및 학습 속도에서 좋은 결과를 나타내 주고 있다.

• Communications for Statistical Applications and Methods
• /
• 제4권2호
• /
• pp.327-332
• /
• 1997

다층 신경망은 비모수 회귀함수 추정의 한 방법이다. 다충 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있다. 그러나 이 알고리즘은 이상치에 매우 민감하여 이상치를 포함하고 있는 자료에 대하여 원하지 않는 회귀함수를 추정한다. 본 논문에서는 통계물리에서 자주 사용하는 방법을 이용하여 로버스트 역전파 알고리즘을 제안하고 수학적으로 신경망과 매우 유사한 PRP(projection pursuit regression) 방법, 일반적인 역전파 알고리즘과 모의실험을 통해 비교 분석한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2000년도 춘계종합학술대회
• /
• pp.188-194
• /
• 2000

이동 통신에서 제한된 대역폭 채널에 내부 심볼 간섭을 감소시키기 위해, 등화기 기법을 필요로한다. 채널간의 비선형 왜곡을 효율적으로 다루는 대안을 가진 신경망을 사용하여 새로운 활성 함수로 구성된 적응 역전파 알고리즘을 연구한다. 신경망은 적응 역전파 알고리즘을 통해 신호를 복조하도록 학습한다. 특히 수정된 적응 역전파 알고리즘이 근접된 최적 수행성을 갖는 단일 및 다중 사용자 검출을 위한 샘플링 기법은 다중 사용자 환경에서 필요한 수신기들의 수행성을 평가하기 위한 시뮬레이션을 위하여 사용이 된다. 채널간의 비선형 왜곡에 효율적으로 다루기 위한 대안을 가진 신경망을 적용하여 본 논문에서 는 새로운 활성 함수로 구성된 적응 역전파 알고리즘을 제안하고, 컴퓨터 시뮬레이션에 의해서 분석된다. 반복적 최소 평균 자승(RLS) 알고리즘을 적용한 기존 수신기 및 적응 역전파 신경망과 비교하여, 채널 왜곡이 비선형 일 때에 비트 에러율(BER)이 현저하게 개선됨을 나타낸다. 적응 역전파 알고리즘 기법을 통해 기존 수신기와 신경망을 사용한 수신기의 수행을 컴퓨터 시뮬레이션을 통해 비교 분석하여 제안된 신경망 수신기의 성능이 우수함을 인증한다.

• Journal of the Korean Data and Information Science Society
• /
• 제28권6호
• /
• pp.1327-1336
• /
• 2017

본 연구에서는 단기 예측을 위한 자기회귀누적이동평균모형, 역전파 신경망 및 유전자 알고리즘의 결합 적용에 대하여 논의하고 이를 통한 유전자-신경망 알고리즘의 효용성을 살펴본다. 일반적으로 역전파 알고리즘은 지역 최소값에 수렴될 수 있는 단점이 있기 때문에, 여기서는 예측 정확도를 높이기 위해 역전파 신경망 구조를 최적화하고 유전자 알고리즘을 결합한 유전자-신경망 알고리즘 기반 예측모형을 구축한다. 실험을 통한 오차 비교는 KOSPI 지수를 이용한다. 결과는 이 연구에서 제안된 유전자-신경망 모형이 역전파 신경망 모형과 비교할 때 예측 정확도에서 어느 정도 유의한 효율성을 보여주고자 한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
• /
• pp.1275-1278
• /
• 2003

본 논문에서는 오차 역전파 알고리즘의 전역 최소값을 찾지 못하는 문제점에 대해서 설명하였고, 이 문제를 해결하기 위한 방법으로 유전자 알고리즘에 대해서 설명하였다. 오차 역전파 알고리즘은 기본적으로 경도 하강법을 따른다. 따라서 신경망의 각 가중값 행렬이 만드는 고차의 오차 평면이 대부분의 문제에서 다수의 국부 최소값들을 가지는게 일반적인데, 가중값의 변화가 한방으로 진행하기 시작하여, 오차가 증가되어지는 언덕이 학습 계수보다 크다면 더 이상 학습은 진행되지 않고 거기에서 빠져나가지 못한다. 따라서 초기의 위치가 중요한 역할을 하는데, 이 문제를 해결하기 위해서 유전자 알고리즘을 이용한 신경망 초기화 방법을 제안하였다. 끝으로, 간단한 실험으로 제안된 방법을 구현하고 결과에 대해서 논하였다

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.19-20
• /
• 2017

인공지능이 사회적으로 대두되면서 많은 양의 관련 연구가 시작되고 있다. 본 논문에서는 다층 퍼셉트론 신경망에서 역전파 학습의 진행 과정을 시각화 하는 것을 목표로 하고 있다. 다층 퍼셉트론 신경망은 학습의 진행 과정과 그 방식은 잘 알려져 있으나 각 신경의 값이 어떻게 변화되어 가는 지는 눈에 보이지 않는다. 이러한 과정에 대해 시각화를 통해 값이 변하는 과정을 눈으로 쉽게 관찰할 수 있도록 하는 것이 이 논문의 목표이다. 본 연구결과는 향후 다층 퍼셉트론 신경망을 기반으로 하는 다른 모델의 시각화에 대한 기초자료로 활용될 수 있을 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 추계학술발표대회
• /
• pp.35-38
• /
• 2006

다층 퍼셉트론(MLP) 학습 이론인 오류 역전파 알고리즘은 델타룰과 최급 하강법을 사용하기 때문에 학습시 많은 시간이 소요된다는 단점을 가지고 있다. 때문에 신경망에서의 잘못된 초기 가중치 선택은 오류 역전파 알고리즘을 사용하는 신경망에서의 현격한 학습 성능저하를 발생시키게 된다. 본 논문에서는 학습시 오류 역전파 알고리즘의 수렴시간을 개선하기 위한 신경망의 동적 초기 가중치 선택 알고리즘을 제안한다. 이 알고리즘은 학습전 기존의 선택 가중치와 모든 가중치가 1.0 또는 -1.0 값을 가지는 가중치 집합에서 가중치 변동률을 선측정하여 이들 중 가장 변동률이 큰 경우를 초기 가중치 집합으로 선정하게 된다. 즉, 초기의 가중치 변동률을 차후 성능을 판단하는 지표로 사용하여 잘못된 가중치 선택으로 인한 최악의 학습효율의 가능성을 배제시키고 다층 신경망의 학습특성상 평균 이상의 학습효율을 보장하는 초기 가중치 선택방법이다.

• 한국통신학회논문지
• /
• 제22권11호
• /
• pp.2432-2438
• /
• 1997

본 논문은 CCD 카메라로부터 얻어진 차량 영상에서 번호판 영역이 일정한 패턴의 광강도를 지니는 특징을 이용하여 번호판 영역을 추출학 문자인식을 개선하기 위하여 단일 역전파 신경망 대신 다중 역전파 신경망으로 차량 번호판 인식 시스템을 구현하였다. 본 논문의 실험 결과, 효율적인 문자 영역의 추출이 가능하고, 기존의 단일 역전파 방법보다 학습 시간이 단축되고 인식율이 향상됨을 보인다.

• Journal of the Korean Data and Information Science Society
• /
• 제9권2호
• /
• pp.345-355
• /
• 1998

다층전방향 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있으나 이 알고리즘은 긴 훈련시간, 극소점 문제, 이상치에 민감하다는 단점을 가지고 있다. 한편 실제문제에서는 많은 경우에 자료에 과대오차와 이상치가 포함되게 된다. 따라서 과대 오차에 민감하지 않고, 이상치의 영향을 최소화시키는 로버스트 역전파 알고리즘의 필요성이 대두되었다. 본 논문에서는 기존의 두종류의 로버스트 역전파 알고리즘을 이론적으로 비교하고 비선형 회귀 함수추정과 문자인식과 같은 패턴인식 문제에 적용하여 실험결과를 분석한다. 그리고 향후 연구과제로 신경망 학습을 위해 베이지안 기법의 사용을 제안한다.