• 제목/요약/키워드: Multilayer Perceptrons

검색결과 65건 처리시간 0.021초

다층퍼셉트론의 성능향상을 위한 출력노드 수 증가 (Increasing Output Nodes for Performance Improvement of Multilayer Perceptrons)

  • 오상훈
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2006년도 추계 종합학술대회 논문집
    • /
    • pp.13-15
    • /
    • 2006
  • 다층퍼셉트론을 패턴인식 문제에 적용하는 경우 대부분 하나의 클래스 당 하나의 출력노드를 할당한다. 이 논문에서는 class 당 출력노드 수를 증가시키는 경우에 다층퍼셉트론의 성능이 향상되는 지 고립단어 인식 문제의 시뮬레이션을 통하여 고찰하였다. 시뮬레이션 결과 출력노드 수가 하나인 경우보다 증가시킨 경우 더 나은 성능을 얻었다.

  • PDF

다층퍼셉트론의 잡음 강건성 (On the Noise Robustness of Multilayer Perceptrons)

  • 오상훈
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 추계종합학술대회 논문집
    • /
    • pp.213-217
    • /
    • 2003
  • 이 논문에서는 MLP(Multilayer Perceptron)가 지닌 잡음 강건성에 대한 통계학적 분석을 하였다. 또한, MLP의 잡음 강건성을 향상시키기 위한 선형적 전처리 단계로써, ICA(independent component analysis)와 PCA(principle component analysis)를 고려하여, 이들이 지닌 잡음처리 효과를 분석한후, MLP와 접목시 나타나는 잡음 강건성의 향상 여부를 필기체 숫자 인식의 시뮬레이션으로 확인하였다.

  • PDF

다층퍼셉트론의 출력 노드 수 증가에 의한 성능 향상 (Performance Improvement of Multilayer Perceptrons with Increased Output Nodes)

  • 오상훈
    • 한국콘텐츠학회논문지
    • /
    • 제9권1호
    • /
    • pp.123-130
    • /
    • 2009
  • 일반적으로 다층퍼셉트론을 패턴인식 문제에 적용할 경우 클래스 당 하나의 출력 노드를 배정하고, 이 출력 노드의 인덱스가 입력 패턴의 클래스를 뜻하도록 한다. 이 논문에서는 이와 달리 다층퍼셉트론의 성능 향상을 위하여 클래스 당 출력노드 수를 증가시키는 방법을 제안한다. 두 개의 클래스 문제를 대상으로 클래스 발생확률이 동일하고 각 클래스 내에서 출력노드가 균일분포를 지닌다는 가정 하에, 이 방법의 효용성을 확률론적인 유도를 통하여 증명하였다. 그리고, 50개의 고립단어 인식의 시뮬레이션으로 출력노드를 증가 시킬 경우 성능이 향상됨을 확인하였다.

다층퍼셉트론의 강하 학습을 위한 최적 학습률 (Optimal Learning Rates in Gradient Descent Training of Multilayer Perceptrons)

  • 오상훈
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.99-105
    • /
    • 2004
  • 이 논문은 다층퍼셉트론의 학습을 빠르게 하기 위한 최적 학습률을 제안한다. 이 학습률은 한 뉴런에 연결된 가중치들에 대한 학습률과, 중간층에 가상의 목표값을 설정하기 위한 학습률로 나타난다. 그 결과, 중간층 가중치의 최적 학습률은 가상의 중간층 목표값 할당 성분과 중간층 오차함수를 최소화 시키고자하는 성분의 곱으로 나타난다. 제안한 방법은 고립단어인식과 필기체 숫자 인식 문제의 시뮬레이션으로 효용성을 확인하였다.

  • PDF

다층퍼셉트론의 잡음 강건성 분석 및 향상 방법 (An Analysis of Noise Robustness for Multilayer Perceptrons and Its Improvements)

  • 오상훈
    • 한국콘텐츠학회논문지
    • /
    • 제9권1호
    • /
    • pp.159-166
    • /
    • 2009
  • 이 논문에서는 다층퍼셉트론(MLP:Multilayer Perceptron)에서 입력에 잡음이 섞인 경우 출력노드의 확률밀도 함수를 유도하고, 이의 적분으로 잡음에 의하여 패턴이 오인식될 확률을 유도하였다. 그리고, 이를 향상시키는 선형적 방법을 제안하였다. 즉, 독립성분분석(ICA: independent component analysis)과 주성분분석(PCA: principle component analysis)를 적용하여, 이들이 지닌 잡음 처리 효과를 SNR(Signal-to-Noise Ratio) 관점에서 분석하였다. 그리고 이들이 잡음을 처리한 후 MLP에 입력 시 나타나는 잡음 강건성을 필기체 숫자 인식의 시뮬레이션으로 확인하였다.

다충신경망을 위한 온라인방식 학습의 개별학습단계 최적화 방법 (Local-step Optimization in Online Update Learning of Multilayer Perceptrons)

  • Tae-Seung, Lee;Ho-Jin, Choi
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.700-702
    • /
    • 2004
  • A local-step optimization method is proposed to supplement the global-step optimization methods which adopt online update mode of internal weights and error energy as stop criterion in learning of multilayer perceptrons (MLPs). This optimization method is applied to the standard online error backpropagation(EBP) and the performance is evaluated for a speaker verification system.

  • PDF

다층퍼셉트론에 의한 불균현 데이터의 학습 방법 (Classification of Imbalanced Data Using Multilayer Perceptrons)

  • 오상훈
    • 한국콘텐츠학회논문지
    • /
    • 제9권7호
    • /
    • pp.141-148
    • /
    • 2009
  • 최근에 클래스 분포의 불균형이 심한 데이터의 학습 문제가 그 중요도에 비하여 만족할만한 성능을 얻기 어려운 관계로 관심이 고조되고 있다. 이 문제에 대한 접근 방법은 데이터 레벨의 불균형 해소, 알고리즘 레벨에서의 비용함수 도입, 인식기의 앙상블에 의한 성능향상 등으로 분류된다. 이 논문은 알고리즘 레벨의 접근 방법으로써, 다층퍼셉트론 신경회로망에 고차의 오차함수를 사용하여 불균형 데이터를 학습하는 방법을 제시한다. 즉, 소수클래스의 학습을 강화시키고 다수 클래스의 학습을 약화시키는 형태로 가 중치를 변경시킨다. 클래스 불균형이 심한 유방암 검사와 갑상선 진단 데이터의 학습을 통하여 제안한 방법이 MSE(mean-squaerd error), 2단계 방법 및 문턱조정 방법보다 우수함을 확인한다.

다층 퍼셉트론의 층별 학습 가속을 위한 중간층 오차 함수 (A New Hidden Error Function for Training of Multilayer Perceptrons)

  • 오상훈
    • 한국콘텐츠학회논문지
    • /
    • 제5권6호
    • /
    • pp.57-64
    • /
    • 2005
  • 다층 퍼셉트론의 학습을 빠르게 하기 위한 방법으로 층별 학습이 제안되었었다. 이 방법에서는 각 층별로 오차함수가 주어지고, 이렇게 층별로 주어진 오차함수를 최적화 방법을 사용하여 감소시키도록 학습이 이루어진다. 이 경우 중간층 오차함수가 학습의 성능에 큰 영향을 미치는 데, 이 논문에서는 층별 학습의 성능을 개선하기 위한 중간층 오차함수를 제안한다. 이 중간층 오차함수는 출력층 오차함수에서 중간층 가중치의 학습에 관계된 성분을 유도하는 형태로 제안된다. 제안한 방법은 필기체 숫자 인식과 고립단어인식 문제의 시뮬레이션으로 효용성을 확인하였다.

  • PDF

패턴인식 문제에 대한 다층퍼셉트론의 설계 방법 (Design of Multilayer Perceptrons for Pattern Classifications)

  • 오상훈
    • 한국콘텐츠학회논문지
    • /
    • 제10권5호
    • /
    • pp.99-106
    • /
    • 2010
  • 다층퍼셉트론 혹은 전방향 신경회로망이 임의의 함수를 근사시킬 수 있다는 이론적 연구결과에 기초하여 많은 분야에 응용되고 있다. 이 다층퍼셉트론을 실제 문제에 응용하는 경우에 여러 가지 파라미터 혹은 학습 방법 등을 결정하여야 한다. 이 논문에서는 패턴인식 문제에 다층퍼셉트론을 적용하는 경우에 실제 결정하여야 할 파라미터의 결정방법과 학습 방법에 대하여 논의한다. 이 논의는 각층의 노드 수 결정 방법, 다층 퍼셉트론의 가중치 초기화, 그리고, 성능향상을 위하여 학습에 사용되는 여러 가지 오차 함수, 데이터 불균형 문제의 학습, 깊은 구조 등을 다루었다.

A Method of Determining the Scale Parameter for Robust Supervised Multilayer Perceptrons

  • Park, Ro-Jin
    • Communications for Statistical Applications and Methods
    • /
    • 제14권3호
    • /
    • pp.601-608
    • /
    • 2007
  • Lee, et al. (1999) proposed a unique but universal robust objective function replacing the square objective function for the radial basis function network, and demonstrated some advantages. In this article, the robust objective function in Lee, et al. (1999) is adapted for a multilayer perceptron (MLP). The shape of the robust objective function is formed by the scale parameter. Another method of determining a proper value of that parameter is proposed.