• 제목/요약/키워드: 오류역전파

검색결과 93건 처리시간 0.023초

가중치 뉴런 출력의 양자화 영향을 최소화하는 다층퍼셉트론 신경망 설계 방법 (Design Method for an MLP Neural Network Which Minimizes the Effect by the Quantization of the Weights and the Neuron Outputs)

  • 권오준;방승양
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권12호
    • /
    • pp.1383-1392
    • /
    • 1999
  • 이미 학습된 다층퍼셉트론 신경망을 디지털 VLSI 기술을 사용하여 하드웨어로 구현할 경우 신경망의 가중치 및 뉴런 출력들을 양자화해야 하는 문제가 발생한다. 이러한 신경망 변수들의 양자화는 결과적으로 주어진 입력에 대한 신경망의 최종 출력에서의 왜곡을 초래한다. 본 논문에서는 먼저 이러한 양자화로 인한 신경망 출력에서의 왜곡을 통계적으로 분석하였다. 분석 결과에 의하면 입력패턴 각 성분의 제곱들의 합과 가중치의 크기들이 양자화 영향에 주로 기여하는 것으로 나타났다. 이러한 분석 결과를 이용하여 양자화를 위한 정밀도가 주어졌을 때, 양자화 영향이 최소화된 다층퍼셉트론 신경망을 설계하는 방법을 제시하였다. 그리고 제안된 방법에 의해 얻은 신경망과 오류역전파 학습방법에 의하여 얻은 신경망의 성능을 비교함으로써 제안된 방법의 효율성을 입증하였다. 실험결과는 낮은 양자화 정밀도에서도 제안된 방법이 더 좋은 성능을 보였다.Abstract When we implement a multilayer perceptron with the digital VLSI technology, we generally have to quantize the weights and the neuron outputs. These quantizations eventually cause distortion in the output of the network for a given input. In this paper first we made a statistical analysis about the effect caused by the quantization on the output of the network. The analysis revealed that the sum of the squared input components and the sizes of the weights are the major factors which contribute to the quantization effect. We present a design method for an MLP which minimizes the quantization effect when the precision of the quantization is given. In order to show the effectiveness of the proposed method, we developed a network by our method and compared it with the one developed by the regular backpropagation. We could confirm that the network developed by our method performs better even with a low precision of the quantization.

뇌전도와 심박변이를 이용한 감성 분석 알고리즘에 대한 연구 (A Study on Algorithm of Emotion Analysis using EEG and HRV)

  • 전기환;오주영;박순희;정연만;양동일
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권10호
    • /
    • pp.105-112
    • /
    • 2010
  • 의료 분야의 감성 및 심리 치료를 확장하여 이와 관련된 기술을 일반 생활에 접목하고, 또한 생체신호를 이용하여 보다 쾌적한 삶의 환경을 구축하려는 연구가 활발하게 진행되고 있다. 본 논문에서는 뇌전도(EEG : electroencephalogram)와 심전도(ECG : electrocardiogram)의 심박변이도(HRV : Heart Rate Variability)의 패턴을 분석하여 평온, 집중, 긴장, 우울의 네 가지 감성을 분류하고 추론하기 위한 감성추론시스템을 설계하고 구현하였다. 많은 감성 인식 연구가 얼굴이나 음성의 인식에 의하여 이루어지고 있으며, 생체신호를 이용한 추론 연구의 경우에도, 뇌전도나 심전도 등의 단일 생체신호의 분석에 의하여 이루어지고 있다. 본 논문에서는 단일 생체신호가 아닌 뇌전도와 심전도신호를 조합하여 복합적으로 분석함으로서 단일 생체신호의 분석 연구보다 추론의 정확도를 높였으며, 감성 추론을 위한 엔진으로지도 학습과 비지도학습의 RBFN(Radial Basis Function Network) 신경망을 적용하여 오류역전파 알고리즘의 지역 최소점과 수렴속도가 느린 단점을 보완하였다.

심전도 신호의 리드 III 파형을 이용한 바이오인식 (Design of Biometrics System Using ECG Lead III Signals)

  • 민철홍;김태선
    • 전자공학회논문지SC
    • /
    • 제48권6호
    • /
    • pp.43-50
    • /
    • 2011
  • 바이오인식 기술은 패스워드나 IC 카드와 같이 분실의 우려가 없어 다양한 분야에 응용되고 있으나, 변조가 가능하며 측정방식에 따라 측정자에게 거부감을 줄 수 있다는 단점을 가지고 있다. 이러한 문제점을 해결하기 위해 심전도(ECG)를 이용한 바이오인식 기술에 대한 연구가 진행되고 있으나, 기존의 심전도 바이오인식기술은 심장질환을 측정하는 정형화된 심전도 리드 II 파형을 이용했기 때문에 바이오인식에는 적합하지 못했다. 따라서 본 논문에서는 심전도 리드 III 파형을 이용한 새로운 바이오인식 기술을 제안한다. 측정된 심전도 리드 III 파형은 잡음을 제거하기 위해 필터링을 한 후 AAV 알고리즘을 이용하여 파형의 정점을 찾고, 그 정점을 기준으로 원신호에서 파형을 분류하였다. 추출된 파형을 4가지 타입으로 정의하고 그를 기반으로 꼭짓점 및 세부파형모양, 파형진폭 및 간격 등 총 22가지의 특징들을 추출하였다. 추출된 특징은 오류역전파 신경회로 망인식기를 통해 분류되었다. 심전도 리드 III 파형을 이용한 바이오인식을 위해 31명의 측정자와 데이터베이스에 없는 5명의 측정자, 총 36명을 대상으로 심전도 바이오인식을 실험한 결과 특이도(specificity) 100%, 민감도(sensitivity) 95.59%, 정확도(accuracy) 99.17%의 특성을 보였다.

Smith-Waterman 정렬 알고리즘을 이용한 온라인 필기체 숫자인식 (Online Handwritten Digit Recognition by Smith-Waterman Alignment)

  • 문원호;최연석;이상걸;차의영
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권9호
    • /
    • pp.27-33
    • /
    • 2011
  • 본 논문에서는 필기체 문자의 Convex-Concave한 곡선 특징을 문자로 변환하고 추출된 문자를 Smith-Waterman 정렬 알고리즘을 이용하여 온라인 필기체 숫자 인식 방법을 제안한다. 필기체 숫자 인식을 위한 입력 데이터는 시간에 순서적인 좌표로 순서화하고 전처리의 입력데이터로 적용된다. 필기자의 개성이 표현된 필기체 문자는 크기, 회전, 곡선 비율이 다양한 형태로 나타난다. 따라서 본 논문에서는 곡선의 Convex-Concave 특징을 이용하여 크기, 회전에 강인한 특징을 추출한다. 추출된 특징은 문자로 변환하고 Smith-Waterman 정렬 알고리즘의 입력데이터로 적용한다. 본 논문에서는 실시간 필기체 숫자를 대상으로 실험한 결과, 오류역전파 신경 회로망을 적용한 것과 비교하여 제안된 방법이 좋은 성능을 보였다.

핸드오프 호 손실율 가능성 분포에 의한 무선망의 퍼지 신경망 호 수락제어 (Fuzzy Neural Networks-Based Call Admission Control Using Possibility Distribution of Handoff Calls Dropping Rate for Wireless Networks)

  • 이진이
    • 한국항행학회논문지
    • /
    • 제13권6호
    • /
    • pp.901-906
    • /
    • 2009
  • 본 논문에서는 퍼지추론과 신경망 학습을 이용하여 무선망의 핸드오프호 손실율 가능성 분포의 상한계 값을 추정하고, 이를 기반으로 한 호 수락제어를 제안한다. 퍼지규칙의 소속함수는 신경망 오류역전파 알고리즘으로 튜닝하고, 핸드오프호 손실율의 상한계 값은 퍼지집합의 가중치 평균에 기초하여 추정한다. 이 방법은 호 손실율 값을 실제보다 과도하게 큰 값으로 추정하는 것을 방지하고, 추정된 값이 실제값보다 작을 때는 실시간적으로 자기보상을 실시하여 호 수락 제어시 호 손실율을 줄인다. 시뮬레이션을 통하여 제안한 방법에 의한 핸드오프 호 손실율의 상한계 값의 추정성능을 보이고, 이를 이용한 호 수락제어 방법이 핸드오프 호 손실율을 사용자가 원하는 핸드오프 호 손실율 이하로 유지할 수 있음을 보인다.

  • PDF

이동 에이전트를 이용한 병렬 인공신경망 시뮬레이터 (The Parallel ANN(Artificial Neural Network) Simulator using Mobile Agent)

  • 조용만;강태원
    • 정보처리학회논문지B
    • /
    • 제13B권6호
    • /
    • pp.615-624
    • /
    • 2006
  • 이 논문은 이동 에이전트 시스템에 기반을 둔 가상의 병렬분산 컴퓨팅 환경에서 병렬로 수행되는 다층 인공신경망 시뮬레이터를 구현하는 것을 목적으로 한다. 다층 신경망은 학습세션, 학습데이터, 계층, 노드, 가중치 수준에서 병렬화가 이루어진다. 이 논문에서는 네트워크의 통신량이 상대적으로 적은 학습세션 및 학습데이터 수준의 병렬화가 가능한 신경망 시뮬레이터를 개발하고 평가하였다. 평가결과, 학습세션 병렬화와 학습데이터 병렬화 성능분석에서 약 3.3배의 학습 수행 성능 향상을 확인할 수 있었다. 가상의 병렬 컴퓨터에서 신경망을 병렬로 구현하여 기존의 전용병렬컴퓨터에서 수행한 신경망의 병렬처리와 비슷한 성능을 발휘한다는 점에서 이 논문의 의의가 크다고 할 수 있다. 따라서 가상의 병렬 컴퓨터를 이용하여 신경망을 개발하는데 있어서, 비교적 시간이 많이 소요되는 학습시간을 줄임으로서 신경망 개발에 상당한 도움을 줄 수 있다고 본다.

신경회로망을 이용한 가전기기 전기 사용량 모니터링 및 예측 (Monitoring and Prediction of Appliances Electricity Usage Using Neural Network)

  • 정경권;최우승
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.137-146
    • /
    • 2011
  • 에너지 소모에 대한 증가되는 소비자의 관심을 지원하기 위하여 가전기기의 에너지 모니터링과 예측 방식을 제안한다. 제안한 시스템은 0.5초마다 전류 센서를 지나가는 전류량을 측정하는 스마트 플러그라는 일반 전기 콘센트로 설계하고, 신경회로망의 훈련과 시험 데이터를 얻기 위해 평균기온, 최저기온, 초고기온, 습도, 일조시간의 날씨 정보를 입력 데이터로 사용하고, 스마트 플러그를 통한 전기 사용량을 목표값으로 사용하였다. 훈련을 위한 실험데이터를 사용하여 역전파 알고리즘을 기반으로 한 신경회로망을 구성하였다. 입력과 출력 데이터의 비선형 매핑을 위해 다층신경회로망을 사용하였다. 제안한 신경회로망 모델은 상관관계 계수가 0.9965로 우수하게 전기 사용량을 예측할 수 있는 것을 확인하였으며, 예측의 평균 제곱 오차는 0.02033이다.

다중 판별자를 가지는 동적 삼차원 뉴로 시스템 (A Dynamic Three Dimensional Neuro System with Multi-Discriminator)

  • 김성진;이동형;이수동
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권7호
    • /
    • pp.585-594
    • /
    • 2007
  • 오류역전파 방법을 이용하는 신경망들은 패턴들의 학습시간이 매우 오래 걸리고 또한 추가학습과 반복학습의 한계를 가지며, 이런 단점을 보완할 수 있는 이진신경망(Binary Neural Network, BNN)이 Aleksander에 의해 제안되었다. 그러나 BNN도 반복학습에 있어서는 단점을 가지고 있으며, 일반화 패턴을 추출하기 어렵다. 본 논문에서는 BNN의 구조를 개선하여 반복학습과 추가학습이 가능할 뿐 아니라, 특징점들까지 추출할 수 있는 다중 판별자를 가지는 삼차원 뉴로 시스템을 제안한다. 제안된 모델은 기존의 BNN을 기반으로 하여 만들어진 이차원 특징을 가지는 Single Layer Network(SLN)에 귀환회로가 추가되어 특징점들을 누적할 수 있는 삼차원 신경망이다. 학습을 통해 누적된 정보는 판별자의 각 신경세포에 임계치를 조정함으로써 일반화 패턴을 추출할 수 있다. 그리고 생성된 일반화 패턴을 인식에 재사용함으로써 반복학습의 효율성을 높였다. 최종 판정 단계에서는 Maximum Response Detector(MRD)를 이용하였다. 본 논문에서 제안한 시스템을 평가하기 위하여 NIST에서 제공하는 숫자 자료를 이용하였으며, 99.3%의 인식률을 얻었다.

신경망을 이용한 풍력 발전시스템의 피치제어 (Pitch Angle Controller of Wind Turbine System Using Neural Network)

  • 홍민호;고승윤;김호찬;허종철;강민제
    • 한국산학기술학회논문지
    • /
    • 제15권2호
    • /
    • pp.1059-1065
    • /
    • 2014
  • 풍력발전시스템은 정격풍속미만에서는 토크를 제어하여 바람의 에너지를 최대로 하고 정격풍속이상에서는 피치를 제어하여 발전량을 정격으로 유지한다. 본 논문에서는 풍력발전시스템의 피치제어를 신경망을 이용하여 제어하는 방안을 제시한다. 피치제어의 목적은 정격풍속 이상에서 발전기의 회전속도를 일정하게 제어하여, 결과적으로 발전기의 출력을 정격전력으로 유지한다. 이 논문에서는 신경망 피치제어기의 성능을 향상시키기 위하여 발전기의 정격회전속도와 현재 회전속도 차이를 풍속과 함께 신경망의 입력으로 사용하는 방법을 제안하였다. 신경망의 훈련 알고리즘은 오류역전파(error back-propagation) 방법이 사용되었고, Matlab/Simulink를 사용하여 제어가 원활하게 되는 것을 확인하였다.

지지벡터기계를 이용한 다중 분류 문제의 학습과 성능 비교 (Learning and Performance Comparison of Multi-class Classification Problems based on Support Vector Machine)

  • 황두성
    • 한국멀티미디어학회논문지
    • /
    • 제11권7호
    • /
    • pp.1035-1042
    • /
    • 2008
  • 이진 분류기로서 지지벡터기계는 다양한 응용을 통해 이진 분류 문제에서 기존의 패턴 분류기들보다 우수한 성능을 보였다. 지지벡터기계의 바탕이 되는 최대 마진 분류 이론을 다중 분류 문제에 확장은 어려움이 있다. 이 논문에서는 다중 분류 문제를 위한 지지벡터기계의 학습 전략을 논의하였으며 성능 비교를 수행하였다. 학습 데이터의 분배 전략에 따라 지지벡터기계는 고유의 이진 분류 특징을 수정하지 않고 다중분류 문제에 쉴게 적용될 수 있다. 다양한 벤치마킹 데이터에 대해 선택된 학습 전략, 커널함수, 학습 소요시간 등에 따라 성능비교가 수행되었고 오류역전파 학습의 신경망의 테스트 결과와 비교되었다. 신경망 모델과 비교 실험에서 지지벡터기계는 일반적인 다중 분류 문제에 응용성과 효과가 있음을 보였다.

  • PDF