• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.27-29
• /
• 2008

시스템 분석에 주로 사용하는 자료 중에는 비선형 자료와 시계열 등이 있다. 이들 자료는 그 함축적인 관계가 매우 복잡하여 전통적인 통계분석 도구로 분석하는데 어려움이 많다. 본 연구에서는 현실 세계에서 다양하게 나타나는 복잡성을 다루기 위하여 하이브리드 진화 신경망 모델링 접근 방법으로 자료를 모형화 하고 이를 통한 학습의 적합도를 살펴본다. 비선형 자료 등을 모형화하기 위한 학습은 역전파 신경망 기법을 이용한다. 학습의 효율을 높이기 의해서 격자감소 학습 알고리즘과 함께 이용하는 유전자 알고리즘은 네트워크 구조를 최적화 시킬 수 있는 초기가중값을 이용한 전역 최소값을 찾는데 이용한다. 학습 결과를 통해 제안된 하이브리드형 접근방법의 학습이 보다 효율적임을 살펴보기 위하여 유전자 알고리즘으로 최적화된 신경망 학습 알고리즘을 비선형 모의자료의 학습에 적용하여 보았다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.9 no.4
• /
• pp.396-403
• /
• 1999

본 논문에서는 새로운 블록기반 신경망을 제안하고 블록기반 신경망의 패턴류 성능을 확인하였다. 블록기반 신경망은 4개의 가변 입출력을 가지는 블록을 기본 구성요소로하고 있으며 블록들의 2차원배열 형태로 이루어진다. 블록기반 신경망은 재구성가능 하드웨어에 의하여 구현이 용이하고 구조 및 가중치의 최적화에 진화 알고리즘을 적용시킬수 있는 새로운 신경망 모델이다. 블록 기반 신경망의 구조와 가중치를 재고성 가능 하드웨어(FPGA)의 비트열에 대응시키고 유전자 알고리즘에 의하여 전역최적화를 하여 구조와 가중치를 최적화한다. 유전 알고리즘에 의하여 설계된 블록기반 신경망을 비선형 결정평면을 가지는 여러 학습패턴에 적용하여 패턴분류 성능을 확인하였다.

• Proceedings of the KIEE Conference
• /
• 2007.07a
• /
• pp.1815-1816
• /
• 2007

본 논문에서는 데이터의 특성을 이용한 정보 입자 기반 퍼지 뉴럴 네트워크의 연속적 최적화를 제안한다. 데이터들간의 거리를 중심으로 C-Means 클러스터링 알고리즘을 이용하여 멤버쉽 함수를 정의하고 각 중심의 후반부 중심값을 이용하여 후반부 학습에 적용한다. 구조/파라미터 동정에 있어서 실수 코딩 기반 유전자 알고리즘을 이용하여 입력변수의 수, 입력 변수의 선택, 멤버쉽함수의 수, 후반부 형태와 같은 시스템의 입력 구조와 전반부 멤버쉽함수의 정점 및 학습율과 모멘텀 계수와 같은 파라미터를 최적으로 동정한다. 또한, 구조 연산과 파라미터 연산의 연속적 동조 방법을 이용하여 퍼지 뉴럴 네트워크를 최적화한다. 제안된 퍼지 뉴럴 네트워크는 삼각형 멤버쉽 함수를 이용하며, 후반부 추론에는 간략, 선형, 변형된 2차식을 이용한다. 제안된 퍼지 뉴럴 네트워크는 표준 모델로서 널리 사용되는 수치적인 예를 통하여 평가한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.333-335
• /
• 1999

일반적으로 자기구성 지도에서는 구조가 초기에 결정되어 학습이 끝날때까지 변하기 않기 때문에 각 문제에 대한 구조를 반복된 실험을 통해서 최적화시켜야 한다. 그러나, 지도의 구조가 학습중에 적절하게 변경된다면, 해당 문제에 가장 알맞은 구조의 지도를 생성할 수 있을 것이다. 이 논문에서는 기존의 적응형 자기 구성 지도의 비교사 학습방법에 LVQ 알고리즘을 이용한 교사 학습방법을 결합한 구조 적응형 자기 구성 지도 모델을 제안한다. 이 방법은 일반적인 자기구성 지도 알고리즘보다 작은 수의 노드를 가지고 높은 성능을 보일 뿐만 아니라, 자기 구성 지도의 특성인 위상 보존도 잘 이루어진다. 오프라인 필기 숫자 데이터로 실험한 결과, 제안한 방법이 유용함을 알 수 있었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.43-43
• /
• 2022

유해 조류 대발생은 전국 각지의 인공호소나 하천에서 다발적으로 발생하며, 경관을 해치고 수질을 오염시키는 등 수자원에 부정적인 영향을 미친다. 본 연구에서는 인공호소에서 발생하는 유해 조류 대발생을 예측하기 위해 심층학습 기법을 이용하여 예측 모델을 개발하고자 하였다. 대상 지점은 대청호의 추동 지점으로 선정하였다. 대청호는 금강유역 중류에 위치한 댐으로, 약 150만명에 달하는 급수 인구수를 유지 중이기에 유해 남조 대발생 관리가 매우 중요한 장소이다. 학습용 데이터 구축은 대청호의 2011년 1월부터 2019년 12월까지 측정된 수질, 기상, 수문 자료를 입력 자료를 이용하였다. 수질 예측 모델의 구조는 다중 레이어 퍼셉트론(Multiple Layer Perceptron; MLP)으로, 입력과 한 개 이상의 은닉층, 그리고 출력층으로 구성된 인공신경망이다. 본 연구에서는 인공신경망의 은닉층 개수(1~3개)와 각각의 레이어에 적용되는 은닉 노드 개수(11~30개), 활성함수 5종(Linear, sigmoid, hyperbolic tangent, Rectified Linear Unit, Exponential Linear Unit)을 각각 하이퍼파라미터로 정하고, 모델의 성능을 최대로 발휘할 수 있는 조건을 찾고자 하였다. 하이퍼파라미터 최적화 도구는 Tensorflow에서 배포하는 Keras Tuner를 사용하였다. 모델은 총 3000 학습 epoch 가 진행되는 동안 최적의 가중치를 계산하도록 설계하였고, 이 결과를 매 반복마다 저장장치에 기록하였다. 모델 성능의 타당성은 예측과 실측 데이터 간의 상관관계를 R2, NSE, RMSE를 통해 산출하여 검증하였다. 모델 최적화 결과, 적합한 하이퍼파라미터는 최적화 횟수 총 300회에서 256 번째 반복 결과인 은닉층 개수 3개, 은닉 노드 수 각각 25개, 22개, 14개가 가장 적합하였고, 이에 따른 활성함수는 ELU, ReLU, Hyperbolic tangent, Linear 순서대로 사용되었다. 최적화된 하이퍼파라미터를 이용하여 모델 학습 및 검증을 수행한 결과, R2는 학습 0.68, 검증 0.61이었고 NSE는 학습 0.85, 검증 0.81, RMSE는 학습 0.82, 검증 0.92로 나타났다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.10 no.2
• /
• pp.267-274
• /
• 2015

In this paper the optimal structure of a neural network based on OpenCV for a golf ball recognition and the intensity of ROI(Region Of Interest) are calculated. The system is composed of preprocess, image processing and machine learning, and a learning model is obtained by multi-layer perceptron using the inputs of 7 Hu's invariant moments, box ration extracted by vertical and horizontal length or ${\pi}$ calculated by area of ROI. Simulation results show that optimal numbers of hidden layer and the node of neuron are selected to 2 and 9 respectively considering the recognition rate and running time, and optimal intensity of ROI is selected to 200.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.858-859
• /
• 2022

본 논문에서는 프린지 패턴을 생성하는 딥러닝 기반의 WGAN-GP 네트워크의 최적화 방법을 제안한다. 기존의 복소 프린지 패턴 생성을 위한 GAN 모델은 생성의 정확도뿐만 아니라 학습의 안정성이 다소 부족하였다. 이에 따라 WGAN-GP 등의 업그레이드 된 방법을 사용하였지만, 네트워크 구조 및 파라미터에 따른 최적화가 필요하다. 보다 정확도 높은 정확도를 가진 프린지 패턴 생성을 위해 learning rate decay 사용하여 학습된 결과를 epoch 별 그래프로 최적화 전의 결과와 비교하고, 홀로그램과 복원 결과에 대한 PSNR 을 비교한다.

• Proceedings of the KIEE Conference
• /
• 2007.10a
• /
• pp.405-406
• /
• 2007

본 논문에서는 FCM 기반 퍼지 뉴럴네트워크 구조를 제안하고 진화 알고리즘을 이용한 FCM 기반 퍼지 뉴럴네트워크의 구조와 파라미터의 최적화 방법을 제시한다. 클러스터링 알고리즘은 퍼지 뉴럴 네트워크에서 멤버쉽함수의 중심점과 반경 등을 결정하는 학습에 일반적으로 사용된다. 제안된 FCM 기반 뉴럴 네트워크에서 멤버쉽함수는 가우시안, 삼각형 타입등의 정해진 형태를 사용하지 않고 데이터들 사이의 거리에 관계된 계산을 수행하는 FCM에 의해 결정된다. 후반부는 상수형, 선형, 2차식 등의 다양한 다항식 구조로 표현될 수 있으며 다항식의 계수는 LSE를 이용하여 결정한다. FCM 기반 퍼지 뉴럴 네트워크는 퍼지규칙의 수, 입력변수의 선택, 후반부 다항식의 차수, FCM의 퍼지화 계수의 결정은 성능에 많은 차이가 있으며 이러한 구조와 파라미터의 최적화가 요구된다. 본 논문에서는 유전자 알고리즘을 이용하여 FCM 기반 퍼지뉴럴네트워크의 구조에 관련된 입력변수의 수, 퍼지규칙의 수 그리고 후반부 다항식의 차수와 파라미터에 관련된 퍼지화 계수를 최적화 한다. 제안된 방법은 비선형 시스템의 모델링에 적용하여 성능을 분석하였다.

• Journal of Korea Multimedia Society
• /
• v.6 no.1
• /
• pp.136-147
• /
• 2003

To achieve an optimal performance for a given problem, we need an integrative process of the parameter optimization via learning and the structure optimization via model selection. In this paper, we propose an efficient optimization method for improving generalization performance by considering the property of each sub-method and by combining them with common theoretical properties. First, weight parameters are optimized by natural gradient teaming with adaptive regularization, which uses a diverse error function. Second, the network structure is optimized by eliminating unnecessary parameters with natural pruning. Through iterating these processes, candidate models are constructed and evaluated based on the Bayesian Information Criterion so that an optimal one is finally selected. Through computational experiments on benchmark problems, we confirm the weight parameter and structure optimization performance of the proposed method.

• Proceedings of the KIEE Conference
• /
• 2006.07d
• /
• pp.2073-2074
• /
• 2006

본 논문에서는 PSO를 이용한 뉴로-퍼지 모델의 구조 및 파라미터 동정을 실시한다. 진화연산 기법의 무작위 탐색 능력과 오차 미분기반 학습에서의 수렴 특성을 가진 PSO를 이용하여 학습이 진행되는 동안 모델의 구조 및 파라미터를 주어진 학습 데이터에 적합하도록 최적화 시킨다. 또한 모델의 크기를 결정하는 규칙의 수 결정을 클러스터링 기법을 이용하여 소속함수의 수가 증가하더라도 규칙이 지수함수적으로 증가하는 문제를 해결하였다. 제안된 기법의 유용성을 시뮬레이션을 통해 보이고자 한다.