• 제목/요약/키워드: Back-Propagation Learning Algorithm

검색결과 386건 처리시간 0.023초

직교 기저함수 기반의 혼합 신경회로망 구조 (Structure of the Mixed Neural Networks Based On Orthogonal Basis Functions)

  • 김성주;서재용;조현찬;김성현;김홍태
    • 전자공학회논문지CI
    • /
    • 제39권6호
    • /
    • pp.47-52
    • /
    • 2002
  • 웨이블릿 함수의 경우 스케일링 함수에서 비롯되었으며, 스케일과 중심을 결정함으로써 신경회로망의 노드로 구성된다. 본 논문에서는 웨이블릿 함수를 이용하여 망을 구성하는 과정에 스케일링 함수를 은닉층의 노드로 복합 구성한 구조를 제안하고자 한다. 제안한 구조의 특징은 스케일링 함수를 이용하여 대강 근사(rough approximation)를 행한 다음, 웨이블릿 함수를 이용하여 미세 근사(fine approximation)를 행하도록 신경회로망의 은닉층을 복합 구성하는 데 있다. 또한, 복합 신경회로망을 구성하는 과정에서 미세 근사에 필요한 웨이블릿 함수의 개수를 유전 알고리즘을 이용하여 결정하는 초기 구조의 최적화를 도모하고자 한다.

Estrus Detection in Sows Based on Texture Analysis of Pudendal Images and Neural Network Analysis

  • Seo, Kwang-Wook;Min, Byung-Ro;Kim, Dong-Woo;Fwa, Yoon-Il;Lee, Min-Young;Lee, Bong-Ki;Lee, Dae-Weon
    • Journal of Biosystems Engineering
    • /
    • 제37권4호
    • /
    • pp.271-278
    • /
    • 2012
  • Worldwide trends in animal welfare have resulted in an increased interest in individual management of sows housed in groups within hog barns. Estrus detection has been shown to be one of the greatest determinants of sow productivity. Purpose: We conducted this study to develop a method that can automatically detect the estrus state of a sow by selecting optimal texture parameters from images of a sow's pudendum and by optimizing the number of neurons in the hidden layer of an artificial neural network. Methods: Texture parameters were analyzed according to changes in a sow's pudendum in estrus such as mucus secretion and expansion. Of the texture parameters, eight gray level co-occurrence matrix (GLCM) parameters were used for image analysis. The image states were classified into ten grades for each GLCM parameter, and an artificial neural network was formed using the values for each grade as inputs to discriminate the estrus state of sows. The number of hidden layer neurons in the artificial neural network is an important parameter in neural network design. Therefore, we determined the optimal number of hidden layer units using a trial and error method while increasing the number of neurons. Results: Fifteen hidden layers were determined to be optimal for use in the artificial neural network designed in this study. Thirty images of 10 sows were used for learning, and then 30 different images of 10 sows were used for verification. Conclusions: For learning, the back propagation neural network (BPN) algorithm was used to successful estimate six texture parameters (homogeneity, angular second moment, energy, maximum probability, entropy, and GLCM correlation). Based on the verification results, homogeneity was determined to be the most important texture parameter, and resulted in an estrus detection rate of 70%.

유방 초음파 영상에서 질감 특성을 이용한 악성종양 분석 (Analysis of Malignant Tumor Using Texture Characteristics in Breast Ultrasonography)

  • 조진영;예수영
    • 융합신호처리학회논문지
    • /
    • 제20권2호
    • /
    • pp.70-77
    • /
    • 2019
  • 조기 유방암을 진단하기 위해서는 유방초음파 판독이 매우 중요하다. 초음파 검사는 초음파장비에 따라 화질의 차이가 심하게 나타날 뿐만 아니라 검사자의 경험과 숙련 정도에 따라 진단의 차이가 크게 나타난다. 따라서 정확한 진단과 치료를 위하여 객관적인 판단기준이 필요하다. 이에 본 연구에서는 GLCM(Gray Level Co-occurrence Matrix) 알고리듬을 적용하여 질감 특성을 분석하고 특징파라미터들을 추출하여 신경망분류기를 이용하여 유방암을 진단하였다. 유방초음파 영상은 정상 조직과 양성, 악성 종양으로 분류하여 질감 특성 파라미터 6가지를 추출하였다. 유방초음파검사로 진단된 정상 영상, 악성 및 양성종양 영상 각각 14증례를 대상으로 추출된 6개의 파라미터들을 적용하여 다층 퍼셉트론 신경망구조 역전파 학습방법으로 학습을 시켰다. 학습된 모델에 정상 유방 영상 51증례, 양성종양 영상 62증례, 악성종양 영상 74증례의 영상을 사용하여 분류한 결과 95.2%의 분류율을 나타내었다.

FNN 및 PNN에 기초한 FPNN의 합성 다층 추론 구조와 알고리즘 (The Hybrid Multi-layer Inference Architectures and Algorithms of FPNN Based on FNN and PNN)

  • 박병준;오성권;김현기
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제49권7호
    • /
    • pp.378-388
    • /
    • 2000
  • In this paper, we propose Fuzzy Polynomial Neural Networks(FPNN) based on Polynomial Neural Networks(PNN) and Fuzzy Neural Networks(FNN) for model identification of complex and nonlinear systems. The proposed FPNN is generated from the mutually combined structure of both FNN and PNN. The one and the other are considered as the premise part and consequence part of FPNN structure respectively. As the consequence part of FPNN, PNN is based on Group Method of Data Handling(GMDH) method and its structure is similar to Neural Networks. But the structure of PNN is not fixed like in conventional Neural Networks and self-organizing networks that can be generated. FPNN is available effectively for multi-input variables and high-order polynomial according to the combination of FNN with PNN. Accordingly it is possible to consider the nonlinearity characteristics of process and to get better output performance with superb predictive ability. As the premise part of FPNN, FNN uses both the simplified fuzzy inference as fuzzy inference method and error back-propagation algorithm as learning rule. The parameters such as parameters of membership functions, learning rates and momentum coefficients are adjusted using genetic algorithms. And we use two kinds of FNN structure according to the division method of fuzzy space of input variables. One is basic FNN structure and uses fuzzy input space divided by each separated input variable, the other is modified FNN structure and uses fuzzy input space divided by mutually combined input variables. In order to evaluate the performance of proposed models, we use the nonlinear function and traffic route choice process. The results show that the proposed FPNN can produce the model with higher accuracy and more robustness than any other method presented previously. And also performance index related to the approximation and prediction capabilities of model is evaluated and discussed.

  • PDF

인공신경회로망을 이용한 압밀응력비에 따른 정규압밀점토의 비배수전단강도 예측 (Prediction of Undrained Shear Strength of Normally Consolidated Clay with Varying Consolidation Pressure Ratios Using Artificial Neural Networks)

  • 이윤규;윤여원;강병희
    • 한국지반공학회논문집
    • /
    • 제16권1호
    • /
    • pp.75-81
    • /
    • 2000
  • 일반적으로 자연상태의 흙은 이방성을 나타내며, 이러한 흙의 이방성이 응력-변형률 거동에 미치는 영향은 매우 크다. 따라서 본 연구에서는 인공신경회로망 모델을 이용하여 압밀응력비 변화에 따른 정규압밀점토의 응력-변형률 거동을 모델링하고 비배수전단강도를 예측하여 보았다. 이때 사용된 신경회로망은 일반화된 델타규칙으로도 불리우는 오차역전파 학습 알고리즘을 이용한 다층신경회로망이다. 신경회로망의 학습은 인공퇴적 점토시료를 이용, 연직압밀응력과 압밀응력비를 다르게 정규압밀시킨후 비배수전단시험을 실시하여 얻어진 시험 결과를 이용하였고, 학습된 신경회로망을 이용하여 학습시 제외되었던 압밀응력비 상태에서의 비배수전단강도를 추론하여 본 결과 예측치와 실측치가 잘 일치하였다. 검토결과 실측치와 추론치 사이에는 결정계수($r^2$) 0.973 이상의 높은 상관관계가 있음을 확인하였다. 따라서, 본 연구결과는 점토의 비배수전단강도를 예측함에 있어서 인공신경회로망모델의 적용 가능성을 보여주었다.

  • PDF

Multi-FNN Identification Based on HCM Clustering and Evolutionary Fuzzy Granulation

  • Park, Ho-Sung;Oh, Sung-Kwun
    • International Journal of Control, Automation, and Systems
    • /
    • 제1권2호
    • /
    • pp.194-202
    • /
    • 2003
  • In this paper, we introduce a category of Multi-FNN (Fuzzy-Neural Networks) models, analyze the underlying architectures and propose a comprehensive identification framework. The proposed Multi-FNNs dwell on a concept of fuzzy rule-based FNNs based on HCM clustering and evolutionary fuzzy granulation, and exploit linear inference being treated as a generic inference mechanism. By this nature, this FNN model is geared toward capturing relationships between information granules known as fuzzy sets. The form of the information granules themselves (in particular their distribution and a type of membership function) becomes an important design feature of the FNN model contributing to its structural as well as parametric optimization. The identification environment uses clustering techniques (Hard C - Means, HCM) and exploits genetic optimization as a vehicle of global optimization. The global optimization is augmented by more refined gradient-based learning mechanisms such as standard back-propagation. The HCM algorithm, whose role is to carry out preprocessing of the process data for system modeling, is utilized to determine the structure of Multi-FNNs. The detailed parameters of the Multi-FNN (such as apexes of membership functions, learning rates and momentum coefficients) are adjusted using genetic algorithms. An aggregate performance index with a weighting factor is proposed in order to achieve a sound balance between approximation and generalization (predictive) abilities of the model. To evaluate the performance of the proposed model, two numeric data sets are experimented with. One is the numerical data coming from a description of a certain nonlinear function and the other is NOx emission process data from a gas turbine power plant.

암반터널 예비설계를 위한 인공신경회로망 전문가 시스템의 개발 (Development of an Artificial Neural Network Expert System for Preliminary Design of Tunnel in Rock Masses)

  • 이철욱;문현구
    • 한국지반공학회지:지반
    • /
    • 제10권3호
    • /
    • pp.79-96
    • /
    • 1994
  • 인공신경회로망을 이용하여 터널굴착설계를 위한 전문가 시스템 NESTED를 개발하였다. 이를 위하여 지하 암반의 안정성을 평가할 수 있는 신경회로망 모델과 대표적인 암반분류법인 RMR과 Q 시스템 사이의 상관관계를 결정할 수 있는 신경회로망 모델을 사용하였다. 또한 사용된 모델과 전산화된 암반분류법 프로그램이 동일한 사용자 환경을 통해 운용될 수 있도록 통합 시스템을 구성하였다. NESTED에 사용된 신경회로망의 구조는 역전파 학습 알고리즘을 채용한 다층 역전파 신경 회로망이다. 전문가 시스템에 필요한 지식기반을 구축하기 위해 이전의 현장 시공사례로 학습과정을 수행함으로써 불완전하거나 오류가 포함된 정보를 처리할 수 있는 공학 데이터베이스를 개발하였다. 일련의 실험을 통해 전문가 시스템을 현장사례에 적용해보고 여기서 출력된 결과를 문헌에 보고된 자료와 비교하였다. 이 결과 암반의 파괴거동을 추정하고 이에 따른 보강시기의 변화를 정확히 예측하는 신경회로망의 추론능력을 확인할 수 있었다. 이처럼 본 연구를 통해 개발된 신경회로망 전문가 시스템을 암반터널에 적용할 경우 부족한 지질자료에 대해 합리적인 기준을 제공하고 터널의 예비설계에 필요한 보강설계를 제시할 수 있었다.

  • PDF

R의 neuralnet을 활용한 신경망분석 (Neural network analysis using neuralnet in R)

  • 백재욱
    • 산업진흥연구
    • /
    • 제6권1호
    • /
    • pp.1-7
    • /
    • 2021
  • 본 연구는 다층 퍼셉트론과 지도형 학습알고리즘에 대해 알아보았고, 아울러 neuralnet이라는 패키지를 사용하여 공변수들과 반응변수 간의 함수적 관계를 어떻게 모델링하는지 살펴보았다. 본 연구에서 적용된 알고리즘은 반응변수 값의 실제치와 예측치 간의 비교에 근거한 오차함수의 최소화를 위한 모수인 가중치들의 계속적인 조정을 특징으로 한다. 본 연구에서 설명하는 neuralnet 패키지는 활성화함수와 오차함수를 주어진 상황에 맞게 적절히 선택하고 나머지 매개변수들은 기본값으로 둘 수 있다. 본 연구에서 살펴본 불임 데이터에 대해 neuralnet 패키지를 활용한 결과 4개의 독립변수 중에서 age는 불임에 영향력이 거의 없음을 파악할 수 있었다. 아울러 신경망의 가중치는 -751.6부터 7.25에 이르기까지 다양한 값을 취하며, 첫 번째 은닉층의 절편은 -92.6과 7.25이며, 첫 번째 은닉뉴런으로 가는 공변수 age, parity, induced, spontaneous에 대한 가중치는 각각 3.17, -5.20, -36.82, -751.6임을 파악했다.

신경회로망을 이용한 휴대용 전자 혀 시스템의 설계 (Design of E-Tongue System using Neural Network)

  • 정영창;김동진;김정도;정우석
    • 한국산학기술학회논문지
    • /
    • 제6권2호
    • /
    • pp.149-158
    • /
    • 2005
  • 본 논문은 이온 선택성 전극을 모듈화한 MACS를 사용하여 시스템의 크기를 축소할 수 있었고, PDA를 사용함으로써 측정된 데이터를 장소에 구애받지 않고 분석할 수 있는 휴대용 전자혀 시스템을 개발하였다. MACS는 ${NH_4}^+$, $Na^+$, $Cl^-$, ${NO_3}^-$, $K^+$, $Ca^{2+}$, $Na^+$, pH의 7종의 이온 선택성 전극을 이용하여 구성하였으며, 초기화 및 교정과정과 완충용액에 의한 안정화 과정을 거친 후 MACS로 시료에 대한 각각의 이온선택성 전극의 변화를 측정한다. 이렇게 각 전극으로부터 측정된 데이터를 이용하여 신경회로망 알고리즘으로 측정된 시료의 종류를 구분할 수 있다. 실험은 분류가 어렵다고 알려진 고급양주와 저급양주를 분류하는 것으로 진행되었으며, 성공적이며 우수한 실험 결과를 얻었다 이로부터 사용된 알고리즘이 휴대용 전자혀 시스템에 적절히 사용될 수 있음을 밝혔으며, 실제 휴대용 전자혀 시스템에 간단한 학습에 의해 적용될 수 있을 것으로 생각된다.

  • PDF

유전알고리즘을 이용한 신경망 구조 및 파라미터 최적화 (Neural Network Structure and Parameter Optimization via Genetic Algorithms)

  • 한승수
    • 한국지능시스템학회논문지
    • /
    • 제11권3호
    • /
    • pp.215-222
    • /
    • 2001
  • 신경망은 선형 시스템뿐만 아니라 비선형 시스템에 있어서도 탁월한 모델링 및 예측 성능을 갖고 있다. 하지만 좋은 성능을 갖는 신경망을 구현하기 위해서는 최적화 해야할 파라미터들이 있다. 은닉층의 뉴런의 수, 학습율, 모멘텀, 학습오차 등이 그것인데 이러한 파라미터들은 경험에 의해서, 또는 문헌들에서 제시하는 값들을 선택하여 사용하는 것이 일반적인 경향이다. 하지만 신경망의 전체적인 성능은 이러한 파라미터들의 값에 의해서 결정되기 때문에 이 값들의 선택은 보다 체계적인 방법을 사용하여 구하여야 한다. 본 논문은 유전 알고리즘을 이용하여 이러한 신경망 파라미터들의 최적 값을 찾는데 목적이 있다. 유전 알고리즘을 이용하여 찾은 파라미터들을 사용하여 학습된 신경망의 학습오차와 예측오차들을 심플렉스 알고리즘을 이용하여 찾는 파라미터들을 사용하여 학습된 신경망의 오차들과 비교하여 본 결과 유전 알고리즘을 이용하여 찾을 파라미터들을 이용했을 때의 신경망의 성능이 더욱 우수함을 알 수 있다.

  • PDF