• 제목/요약/키워드: Delta-bar-delta Learning

검색결과 20건 처리시간 0.024초

홍용 문자 코드 집합을 위한 계층적 다중문자 인식기 (Hierarchical Multi-Classifier for the Mixed Character Code Set)

  • 김도현;박재현;김철기;차의영
    • 한국정보통신학회논문지
    • /
    • 제11권10호
    • /
    • pp.1977-1985
    • /
    • 2007
  • 문자 인식은 인공지능의 한 분야로써 자동화 시스템, 로봇, HCI 분야에서 그 응용성 이 증대되고 있는 첨단 기술이다. 본 논문에서는 숫자, 기호, 영어, 한글이 여러 가지 형태로 조합되어 사용될 수 있는 영역에서의 문자 인식을 위해 인식 문자 집합과 대표 문자를 도입하였다. 여러 가지 조합의 언어 집합에 따른 소규모 인식기를 계층적으로 조합하여 인식 결과의 정확성을 높이고 시간 비용을 줄일 수 있는 효율적인 인식기 구조를 제안하였다. 그리고 학습 성능이 우수한 Delta-bar-delta 알고리즘을 이용하여 개별 소규모 인식기를 학습한 다음 다양한 개별 문자를 대상으로 그 인식 성능을 살펴본 결과 99%의 인식률을 획득함으로써 혼용 언어 문자 인식의 효율성과 신뢰성을 증명하였다.

퍼지 RBF 네트워크의 학습 성능 개선 (Learning Performance Improvement of Fuzzy RBF Network)

  • 김재용;김광백
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2005년도 춘계학술대회 학술발표 논문집 제15권 제1호
    • /
    • pp.335-339
    • /
    • 2005
  • 본 논문에서는 퍼지 RBF 네트워크의 학습 성능을 개선하기 위하여 Delta-bar-Delta 알고리즘을 적용하여 학습률을 동적으로 조정하는 개선된 퍼지 RBF 네트워크를 제안한다. 제안된 학습 알고리즘은 일반화된 델타 학습 방법에 퍼지 C-Means 알고리즘을 결합한 방법으로, 중간층의 노드를 자가 생성하고 중간층과 출력충의 학습에는 일반화된 델타 학습 방법에 Delta-bar-Delta 알고리즘을 적용하여 학습률을 동적으로 조정하여 학습 성능을 개선한다. 제안된 RBF 네트워크의 학습 성능을 평가하기 위하여 컨테이너 영상에서 추출한 40개의 식별자를 학습 데이터로 적용한 결과, 기존의 ART2 기반 RBF 네트워크와 기존의 퍼지 RBF 네트워크 보다 학습 시간이 적게 소요되고, 학습의 수렴성이 개선된 것을 확인하였다.

  • PDF

개선된 Max-Min 신경망을 이용한 콘크리트 균열 인식 (Recognition of Concrete Surface Cracks Using Enhanced Max-Min Neural Networks)

  • 김광백;박현정
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권2호
    • /
    • pp.77-82
    • /
    • 2007
  • 본 논문에서는 콘크리트 표면 균열의 방향성을 효율적으로 인식하기 위하여 영상처리 기법을 적용하여 균열을 자동으로 검출하고 개선된 Max-Min 신경망을 제안하여 균열의 방향성을 자동으로 인식하는 기법을 제안한다. 균열 영상에서 빛의 영향을 효율적으로 보정하기 위해 모폴로지 기법인 채움 연산을 적용하고 Sobel 마스크를 적용하여 균열의 에지를 추출한 후, 반복 이진화를 적용하여 균열 영상을 이진화한다. 이진화된 균열 영상에서 2차례에 걸쳐 잡음 제거 연산을 수행한 후, 균열을 추출한다. 본 논문에서는 Max-Min 신경망을 개선하여 추출된 균열의 방향성을 자동으로 인식한다. 개선된 Max-Min 신경망은 delta-bar-delta 알고리즘을 적용하여 학습률을 자동으로 조정한다. 실제 콘크리트 표면 균열 영상을 대상으로 실험한 결과, 개선된 Max-Min 신경망이 균열의 방향성 인식에 효율적임을 확인하였다.

  • PDF

망막 세포 특성에 의한 영상인식에 관한 연구 (A Study on Image Recognition based on the Characteristics of Retinal Cells)

  • 조재현;김도현;김광백
    • 한국정보통신학회논문지
    • /
    • 제11권11호
    • /
    • pp.2143-2149
    • /
    • 2007
  • 최근 시각 장애인을 위한 인공망막 모델 구현에 관한 연구 중 시피질 자극기 기술은 시각 자극 전달의 중간 단계를 생략하고 직접 뇌세포를 자극하는 것이다. 본 논문에서는 망막에서 시각 피질로 시각정보를 전달할 때 발생하는 시각 피질의 특성, 즉 방향성에 대한 반응 특성을 특징 데이터로 구성하여 인식함으로써 인간 시각 정보 처리와 유사한 영상 추출 및 인식 모델을 제안한다. 제안된 방법은 영상의 특징을 추출 한 후 Delta-bar-delta 기반 오류 역전파 알고리즘을 적용하여 영상의 특징들을 인식한다. 제시된 방법의 성능을 분석하기 위하여 다양한 숫자 패턴들을 대상으로 실험한 결과, 제안된 망막 세포로부터 전달된 정보를 방향성에 대한 민감성을 고려하여 영상의 특성을 추출하여 인식하는 모델이 기존의 영상 추출 및 인식 모델보다 인식률에 있어서는 별 차이가 없지만 다양한 실험에서 확인할 수 있듯이 인간 시각과 같이 인식 성능이 민감하지 않는 것을 알 수 있었다.

Heart Attack Prediction using Neural Network and Different Online Learning Methods

  • Antar, Rayana Khaled;ALotaibi, Shouq Talal;AlGhamdi, Manal
    • International Journal of Computer Science & Network Security
    • /
    • 제21권6호
    • /
    • pp.77-88
    • /
    • 2021
  • Heart Failure represents a critical pathological case that is challenging to predict and discover at an early age, with a notable increase in morbidity and mortality. Machine Learning and Neural Network techniques play a crucial role in predicting heart attacks, diseases and more. These techniques give valuable perspectives for clinicians who may then adjust their diagnosis for each individual patient. This paper evaluated neural network models for heart attacks predictions. Several online learning methods were investigated to automatically and accurately predict heart attacks. The UCI dataset was used in this work to train and evaluate First Order and Second Order Online Learning methods; namely Backpropagation, Delta bar Delta, Levenberg Marquardt and QuickProp learning methods. An optimizer technique was also used to minimize the random noise in the database. A regularization concept was employed to further improve the generalization of the model. Results show that a three layers' NN model with a Backpropagation algorithm and Nadam optimizer achieved a promising accuracy for the heart attach prediction tasks.

퍼지 기반 잡음 제거 방법과 ART2 기반 자가 생성 지도 학습 알고리즘을 이용한 컨테이너 인식 시스템 (Container Image Recognition using Fuzzy-based Noise Removal Method and ART2-based Self-Organizing Supervised Learning Algorithm)

  • 김광백;허경용;우영운
    • 한국정보통신학회논문지
    • /
    • 제11권7호
    • /
    • pp.1380-1386
    • /
    • 2007
  • 본 논문에서는 퍼지 기반 잡음 제거 방법과 ART2 기반 자가 생성 지도 학습 알고리즘을 이용한 운송 컨테이너 식별자 인식 시스템을 제안한다. 일반적으로 운송 컨테이너의 식별자들은 글자색이 검정색 또는 흰색으로 이루어져 있는 특징이 있다. 이러한 특성을 고려하여 원 컨테이너 영상에 대해 검은색과 흰색을 제외한 모든 부분을 잡음으로 처리하기 위해 퍼지를 이용한 잡음 판단 방법을 적용하여 식별자 영역과 잡음을 구별한다. 그리고 Sobel 마스크를 이용하여 에지를 검출하고, 추출된 에지를 이용하여 수직 블록과 수평 블록을 검출하여 컨테이너의 식별자 영역을 추출하고 이진화한다. 이진화된 식별자 영역에 대해 8 방향 윤곽선 추적 알고리즘을 적용하여 개별 식별자를 추출한다. 개별 식별자 인식을 위해 ART2 기반 자가 생성 지도 학습 알고리즘을 제안하여 개별 식별자 인식에 적용한다. ART2 기반 자가 생성 지도 학습 알고리즘은 일반화된 델타 학습 방법과 Delta-bar-Delta 알고리즘을 적용하여 학습 성능을 개선한다. 실제 컨테이너 영상을 대상으로 실험한 결과, 기존의 식별자 추출 방법보다 제안된 식별자 추출 방법이 개선되었다. 그리고 기존의 식별자 인식 알고리즘보다 제안된 ART2 기반 자가 생성 지도 학습 알고리즘이 식별자의 학습 및 인식에 있어서 우수한 성능이 있음을 확인하였다.

다층 구조 신경회로망의 학습 속도 향상을 위한 활성화 함수의 변화 (Variation of activation functions for accelerating the learning speed of the multilayer neural network)

  • 이병도;이민호
    • 센서학회지
    • /
    • 제8권1호
    • /
    • pp.45-52
    • /
    • 1999
  • 이 논문에서는 오차 역전파 학습 알고리듬의 학습 속도를 향상시키기 위한 새로운 학습 방법을 제안한다. 제안하고자 하는 방법은 시그모이드 형태를 갖는 신경회로망의 활성화 함수(activation function) 자체에 고차항(higher order)을 적절히 이용하여 초기 학습 단계에서 발생할 수 있는 조기 포화(premature saturation) 현상을 계산량의 큰 증가 없이 효과적으로 대처할 수 있다. 고차항을 이용함으로써 은닉층 활성화 함수의 도합수가 작은 값으로 감소함에 따라 신경망의 연결 강도를 학습시키는 학습율은 적응적으로 큰 값을 갖게 된다. 또한, 은닉층에 고차항을 이용하는 제안한 방법에 모멘텀(momentum) 학습 알고리듬을 결합하는 새로운 hybrid 학습 방법을 제안한다. 컴퓨터 모의 실험을 통해 제안하고자 하는 학습 방법과 기존의 방법들과의 학습 속도 성능을 비교한다.

  • PDF

학습률 및 모멘텀의 자동 조정 방법과 ART2를 이용한 개선된 RBF네트워크 (Enhanced RBF Network by Using Auto-Turning Method of Learning Rate, Momentum and ART2)

  • 주영호;김태경;김광백
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2003년도 추계 학술대회 학술발표 논문집
    • /
    • pp.91-94
    • /
    • 2003
  • 본 논문에서는 RBF 네트워크의 중간층과 출력층 사이의 연결강도를 효율적으로 조정하기 위해 퍼지 논리 시스템을 이용하여 학습률과 모멘텀을 동적으로 조정하는 개선된 RBF 네트워크를 제안한다. 입력층과 중간층 사이의 학습 구조로 ART2를 적용하고 중간층과 출력층 사이의 연결 강도 조정 방법으로는 제안된 학습률 자동 조정 방식을 적용한다. 제안된 방법의 학습 성능을 평가하기 위해 기존의 delta-bar-delta 알고리즘, 기존의 ART2 기반의 RBF 네트워크와 비교 분석한 결과, 제안된 방법이 학습 속도와 수렴성에서 개선된 것을 확인하였다.

  • PDF

ART2 기반 자가 생성 지도 학습 알고리즘을 이용한 컨테이너 인식 시스템 (Container Image Recognition using ART2-based Self-Organizing Supervised Learning Algorithm)

  • 정병희;김재용;조재현;김광백
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 추계종합학술대회
    • /
    • pp.393-398
    • /
    • 2005
  • 본 논문에서는 ART2 기반 자가 생성 지도 학습 알고리즘을 이용한 운송 컨테이너 식별자 인식 시스템을 제안한다. 일반적으로 운송 컨테이너의 식별자들은 글자의 색이 검정색 또는 흰색으로 이루어져 있는 특징이 있다. 이러한 특성을 고려하여 원 컨테이너 영상에 대해 검은색과 흰색을 제외한 모든 부분을 잡음으로 처리하기 위해 퍼지를 이용한 잡은 판단 방법을 적용하여 식별자 영역과 잡음을 구별한다. 식별자 영역을 제외한 잡음 영역을 전체 영상의 평균 픽셀값으로 대체시킨다. 그리고 Sobel 마스크를 이용하여 에지를 검출하고, 추출된 에지를 이용하여 수직 블록과 수평 블록을 검출하여 컨테이너의 식별자 영역을 추출하고 이진화한다. 이진화된 식별자 영역에 대해 검정색의 빈도수를 이용하여 흰바탕과 민바탕을 구분하고 8방향 윤곽선 추적 알고리즘을 적용하여 개별 식별자를 추출한다. 개별 식별자 인식을 위해 ART2 기반 자가 생성 지도 학습 알고리즘은 입력층과 은닉층 사이에 ART2를 적용하여 은닉층의 노드를 생성하고, 은닉층과 출력층 사이에 일반화된 델타 학습 방법과 Delta-bar-Delta 알고리즘을 적용하여 학습 성능을 개선한다. 실제 컨테이너 영상을 대상으로 실험한 결과, 기존의 식별자 추출 방법보다 제안된 식별자 추출 방법이 개선되었다. 그리고 기존의 식별자 인식 알고리즘보다 제안된 ART2 기반 자가 생성 지도 학습 알고리즘이 식별자의 학습 및 인식에 있어서 우수한 성능이 있음을 확인하였다.

  • PDF

The extension of the largest generalized-eigenvalue based distance metric Dij1) in arbitrary feature spaces to classify composite data points

  • Daoud, Mosaab
    • Genomics & Informatics
    • /
    • 제17권4호
    • /
    • pp.39.1-39.20
    • /
    • 2019
  • Analyzing patterns in data points embedded in linear and non-linear feature spaces is considered as one of the common research problems among different research areas, for example: data mining, machine learning, pattern recognition, and multivariate analysis. In this paper, data points are heterogeneous sets of biosequences (composite data points). A composite data point is a set of ordinary data points (e.g., set of feature vectors). We theoretically extend the derivation of the largest generalized eigenvalue-based distance metric Dij1) in any linear and non-linear feature spaces. We prove that Dij1) is a metric under any linear and non-linear feature transformation function. We show the sufficiency and efficiency of using the decision rule $\bar{{\delta}}_{{\Xi}i}$(i.e., mean of Dij1)) in classification of heterogeneous sets of biosequences compared with the decision rules min𝚵iand median𝚵i. We analyze the impact of linear and non-linear transformation functions on classifying/clustering collections of heterogeneous sets of biosequences. The impact of the length of a sequence in a heterogeneous sequence-set generated by simulation on the classification and clustering results in linear and non-linear feature spaces is empirically shown in this paper. We propose a new concept: the limiting dispersion map of the existing clusters in heterogeneous sets of biosequences embedded in linear and nonlinear feature spaces, which is based on the limiting distribution of nucleotide compositions estimated from real data sets. Finally, the empirical conclusions and the scientific evidences are deduced from the experiments to support the theoretical side stated in this paper.