• 제목/요약/키워드: 계층별 학습

검색결과 76건 처리시간 0.025초

다층퍼셉트론의 오류역전파 학습과 계층별 학습의 비교 분석 (Comparative Analysis on Error Back Propagation Learning and Layer By Layer Learning in Multi Layer Perceptrons)

  • 곽영태
    • 한국정보통신학회논문지
    • /
    • 제7권5호
    • /
    • pp.1044-1051
    • /
    • 2003
  • 본 논문은 MLP의 학습 방법으로 사용되는 EBP학습, Cross Entropy함수, 계층별 학습을 소개하고, 필기체 숫자인식 문제를 대상으로 각 학습 방법의 장단점을 비교한다. 실험 결과, EBP학습은 학습 초기에 학습 속도가 다른 학습 방법에 비해 느리지만, 일반화 성능이 좋다. 또한, EBP학습의 단점을 보안한 Cross Entropy 함수는 학습 속도가 EBP학습보다 빠르다. 그러나, 출력층의 오차 신호가 목표 벡터에 대해 선형적으로 학습하기 때문에, 일반화 성능이 EBP학습보다 낮다. 그리고, 계층별 학습은 학습 초기에, 학습 속도가 가장 빠르다. 그러나, 일정한 시간 후, 더 이상 학습이 진행되지 않기 때문에, 일반화 성능이 가장 낮은 결과를 얻었다. 따라서, 본 논문은 MLP를 응용하고자 할 때, 학습 방법의 선택 기준을 제시한다.

음성인식기의 변별력있는 학습 알고리즘들 (Discriminative Training Algorithms for Speech Recognizers)

  • 나경민
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
    • /
    • pp.166-171
    • /
    • 1994
  • 기존의 음성인식기들은 일반적으로 간단하면서도 성능이 우수한 계층별 학습에 의해서 설계된다. 계층별 학습은 통계적 패턴인식에서의 ML 추정기법처럼 모델간의 독립성이 보장되고 무한한 양의 학습데이타가 주어진다는 가정에 기초하고 있다. 그러나, 대상어휘집합에 음운학적으로 유사한 어휘가 많이 포함되어 있는 인식문제에 있어서는 모델간의 독립성이 보장되지 못하고, 실제 주어지는 grktmqepdlk의 양도 제한되므로 기존의 합습알고리즘에는 한계가 있다. 따라서 본 논문에서는 그러한 가정상의 문제점으로 생기는 인식기의 성능저하를 개선할 수 있는 변별력 있는 학습알고리즘들을 검토하고 그의 일반적인 접근방법들에 대해서 논의한다.

  • PDF

상관 계수를 이용한 다층퍼셉트론의 계층별 학습 (A Layer-by-Layer Learning Algorithm using Correlation Coefficient for Multilayer Perceptrons)

  • 곽영태
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.39-47
    • /
    • 2011
  • 다층퍼셉트론의 계층별 학습 방법의 하나인 Ergezinger 방법은 출력 노드가 1개로 구성되어 있고, 출력층의 가중치를 최소자승법으로 학습하기 때문에 출력층의 가중치에 조기포화 현상이 발생할 수 있다. 이런 조기 포화현상은 학습 시간과 수렴 속도에 장애가 된다. 따라서, 본 논문은 Ergezinger의 학습 방법을 출력층에서 벡터 형태로 학습할 수 있는 알고리즘으로 확대하고 학습 시간과수렴 속도를 개선하기 위해서 학습 상수를 도입한다. 학습상수는 은닉층 가중치 조정 시, 새로이 계산된 가중치와 기존 가중치의 상관 관계를 계산하여 학습 상수에 반영하는 가변적인 방법이다. 실험은 제안된 방법과 기존 방법의 비교를 위해서 iris 문제와 비선형 근사화 문제를 대상으로 실험하였다. 실험에서, 제안 방법은 기존 Ergezinger 방법보다 학습 시간과 수렴 속도에서 우수한 결과를 얻었으며, 상관 관계를 고려한 CPU time 측정에서도 제안한 방법이 기존 방법보다 약 35%의 시간을 절약할 수 있었다.

다층퍼셉트론의 은닉노드 근사화를 이용한 개선된 오류역전파 학습 (Modified Error Back Propagation Algorithm using the Approximating of the Hidden Nodes in Multi-Layer Perceptron)

  • 곽영태;이영직;권오석
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권9호
    • /
    • pp.603-611
    • /
    • 2001
  • 본 논문은 학습 속도가 계층별 학습처럼 빠르며, 일반화 성능이 우수한 학습 방법을 제안한다. 제안한 방법은 최소 제곡법을 통해 구한 은닉층의 목표값을 이용하여 은닉층의 가중치를 조정하는 방법으로, 은닉층 경사 벡터의 크기가 작아 학습이 지연되는 것을 막을 수 있다. 필기체 숫자인식 문제를 대상으로 실험한 결과, 제안한 방법의 학습 속도는 오류역전파 학습과 수정된 오차 함수의 학습보다 빠르고, Ooyen의 방법과 계층별 학습과는 비슷했다. 또한, 일반화 성능은 은닉노드의 수에 관련없이 가장 좋은 결과를 얻었다. 결국, 제안한 방법은 계층별 학습의 학습 속도와 오류역전파 학습과 수정된 오차 함수의 일반화 성능을 장점으로 가지고 있음을 확인하였다.

  • PDF

BL(Blended Learning)기반 프로토콜 분석 학습 시스템 (The Learning System of Protocol Analysis based on BL(Blended Learning))

  • 김현성;박문화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.1173-1176
    • /
    • 2008
  • 프로토콜 분석기는 어플리케이션 성능 관리나 트래픽 분석을 위해 인터넷의 각 계층별 프로토콜을 분석해주는 소프트웨어 툴로서 기업에서는 많이 쓰이고 있다. 그러나 대부분의 학교에서는 아직도 네트워크 강의가 교과서 중심의 이론 위주 교육으로 실시되고 있다. 본 논문에서는 각 계층별 프로토콜의 동작원리를 강의할 때 마다 온라인으로 프로토콜 분석기를 사용하여 스스로 실습을 통해 학습 효과를 높일 수 있도록 BL기반의 학습 시스템을 설계 하였다.

계층별 메트릭 생성을 이용한 계층적 Gaussian ARTMAP의 설계 (A Design of Hierarchical Gaussian ARTMAP using Different Metric Generation for Each Level)

  • 최태훈;임성길;이현수
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권8호
    • /
    • pp.633-641
    • /
    • 2009
  • 본 논문에서는 아날로그 데이터 처리가 가능하고, 온라인 학습, 학습 중 새로운 클래스 추가등의 특징을 가진 패턴 인식기를 제안하였다. 제안한 패턴 인식기는 계층적 구조를 가지고 있으며, 각 레벨별로 서로 다른 메트릭을 적용하여 분류 성능을 향상 시켰다. 제안한 패턴 인식기는 신경망 기반의 패턴 인식 알고리즘인 Gaussian ARTMAP 모델을 기반으로 하고 있다. Gaussian ARTMAP 모델을 계층적으로 구성하고, 계층마다 서로 다른 특징을 학습하도록 하기 위하여 Principal Component Emphasis (P.C.E) 방법을 제안하였으며, 이를 이용하여 새로운 메트릭을 생성하는 방법을 제안하였다. P.C.E는 학습된 입력 데이터들의 분산을 이용하여 클래스 내의 공통 속성을 나타내는 분산이 작은 차원을 제거하고 패턴 간의 서로 다른 속성을 나타내는 분산이 큰 차원만 유지하는 방법이다. 제안한 알고리즘의 학습 과정에서 교사 신호와 다르게 분류된 패턴이 발생하면 잘못 분류 된 클래스와 입력된 패턴을 분리하기 위하여 P.C.E를 수행하고 하위 노드에서 학습하게 된다. 실험 결과 제안한 모델은 기존에 제안된 패턴 인식 모델들 보다 높은 분류 성능을 가지고 있음을 확인하였다.

귀납적 학습방법들의 분류성능 비교 : 기업신용평가의 경우 (Classification Performance Comparison of Inductive Learning Methods : The Case of Corporate Credit Rating)

  • 이상호;지원철
    • 지능정보연구
    • /
    • 제4권2호
    • /
    • pp.1-21
    • /
    • 1998
  • 귀납적 학습방법들의 분류성능을 비교 평가하기 위하여 대표적 분류문제의 하나인 신용평가 문제를 사용하였다. 분류기로서 사용된 귀납적 학습방법론들은 통계학의 다변량 판별분석(MDA), 기계학습 분야의 C4.5, 신경망의 다계층 퍼셉트론(MLP) 및 Cascade Correlation Network(CCN)의 4 가지이며, 학습자료로는 국내 3개 신용평가기관이 발표한 신용등급 및 공포된 재무제표를 사용하였다. 신용등급 예측의 정확도에 의한 분류성능을 평가하였는데 연도별 평가와 시계열 평가의 두 가지를 실시하였다. Cascade Correlation Network이 가장 좋은 분류성능을 보였지만 4가지 분류기들 사이에 통계적으로 유의한 차이는 발견되지 않았다. 이는 사용된 학습자료가 갖는 한계로 인한 것으로 추정되지만, 성능평가 과정에 있어 학습자료의 전처리 과정이 분류성과의 제고에 매우 유효함이 입증되었다.

  • PDF

수준별 컴퓨팅 사고력 교육을 위한 퍼지평가 시스템 (Fuzzy evaluation system for level-based Computational Thinking Skill Education)

  • 한승의
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.641-642
    • /
    • 2020
  • 최근 교육서비스 시장은 학습자의 수준을 고려한 수준별 교육으로 나아가고 있다. 이때 학습자 수준의 진단을 위하여 다양한 방법의 진단평가가 연구되고 있으며 평가 기준의 언어적 모호함을 해결하기 위해 퍼지 이론을 도입한 평가 방법 역시 하나의 방법으로 대두되고 있다. 본 논문에서는 컴퓨팅 사고력 교육 역시 수준별 교육으로 나아가기 위해 컴퓨팅 사고력 학습을 계층화 하고, 학습자가 학습 시작전 퍼지 추론을 바탕으로 한 진단 평가를 실시하여 학습자 수준에 맞는 교육 커리큘럼의 진입점을 찾아 맞춤형 컴퓨팅 교육을 제공할 수 있도록 하는 퍼지 평가 시스템을 연구·개발한다.

  • PDF

복잡계 네트워크를 이용한 강화 학습 구현 (Reinforcement Learning with Small World Network)

  • 이승준;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.232-234
    • /
    • 2004
  • 강화 학습(Reinforcement Learning)을 실제 문제에 적용하는 데 있어 가장 큰 문제는 차원성의 저주(Curse of dimensionality)이다. 문제가 커짐에 따라 목적을 이루기 위해서 더 않은 단계의 판단이 필요하고 이에 따라 문제의 해결이 지수적으로 어려워지게 된다. 이를 해결하기 위칠 문제를 여러 단계로 나누어 단계별로 학습하는 계층적 강화 학습(Hierarchical Reinforcement Learning)이 제시된 바 있다. 하지만 대부분의 계층적 강화 학습 방법들은 사전에 문제의 구조를 아는 것을 전제로 하며 큰 사이즈의 문제를 간단히 표현할 방법을 제시하지 않는다. 따라서 이들 방법들도 실제적인 문제에 바로 적용하기에는 적합하지 않다. 이러한 문제점들을 해결하기 위해 복잡계 네트워크(Complex Network)가 갖는 작은 세상 성질(Small world Property)에 착안하여 자기조직화 하는 생장 네트워크(Self organizing growing network)를 기반으로 한 환경 표현 모델이 제안된 바 있다. 이러한 모델에서는 문제 크기가 커지더라도 네트워크의 사이즈가 크게 커지지 않기 때문에 문제의 난이도가 크기에 따라 크게 증가하지 않을 것을 기대할 수 있다. 본 논문에서는 이러한 환경 모델을 사용한 강화 학습 알고리즘을 구현하고 실험을 통하여 각 모델이 강화 학습의 문제 사이즈에 따른 성능에 끼치는 영향에 대해 알아보았다.

  • PDF

계층적 인공신경망을 이용한 구성을 갖춘 곡의 자동생성 (Automatic Generation of a Configured Song with Hierarchical Artificial Neural Networks)

  • 김경환;정성훈
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권4호
    • /
    • pp.641-647
    • /
    • 2017
  • 본 논문에서는 자동작곡에서 계층적 인공신경망을 이용하여 전/중/후 별로 곡의 멜로디가 전개되는 구성을 갖춘 곡을 자동으로 생성하는 방법을 제안한다. 첫 번째 계층에서는 하나의 인공신경망을 사용하여 기존의 곡을 학습시키거나 혹은 무작위 멜로디를 학습시키고 박자후처리를 하여 곡을 출력한다. 두 번째 계층에서는 첫 번째 인공신경망이 만든 멜로디를 전/중/후별로 세 개의 인공신경망에 학습한 후 곡을 출력한다. 두 번째 계층의 세 개의 인공신경망에서는 반복을 만들기 위하여 전/중/후 별로 마디구분을 이용한 반복을 적용하며 이후 박자/화성/조성후처리를 수행하여 곡을 완성한다. 실험결과 구성을 갖춘 곡이 생성됨을 확인하였다.