• Journal of Practical Engineering Education
• /
• v.14 no.2
• /
• pp.305-312
• /
• 2022

In this paper, we focused on training to create and optimize a basic data prediction model. And we proposed a gradient descent training method of machine learning that is widely used to optimize data prediction models. It visually shows the entire operation process of gradient descent used in the process of optimizing parameter values required for data prediction models by applying the differential method and teaches the effective use of mathematical differentiation in machine learning. In order to visually explain the entire operation process of gradient descent, we implement gradient descent SW in a spreadsheet. In this paper, first, a two-variable gradient descent training method is presented, and the accuracy of the two-variable data prediction model is verified by comparison with the error least squares method. Second, a three-variable gradient descent training method is presented and the accuracy of a three-variable data prediction model is verified. Afterwards, the direction of the optimization practice for gradient descent was presented, and the educational effect of the proposed gradient descent method was analyzed through the results of satisfaction with education for non-majors.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.186-186
• /
• 2022

강수 및 침투 등으로 발생하는 지하수위의 변동을 예측하는 것은 지하수 자원의 활용 및 관리에 필수적이다. 지하수위의 변동은 지하수 자원의 활용 및 관리뿐만이 아닌 홍수 발생과 지반의 응력상태 등에 직접적인 영향을 미치기 때문에 정확한 예측이 필요하다. 본 연구는 인공신경망 중 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용한 지하수위 예측성능 향상을 위해 MLP의 구조 중 Optimizer를 개량하였다. MLP는 입력자료와 출력자료간 최적의 상관관계(가중치 및 편향)를 찾는 Optimizer와 출력되는 값을 결정하는 활성화 함수의 연산을 반복하여 학습한다. 특히 Optimizer는 신경망의 출력값과 관측값의 오차가 최소가 되는 상관관계를 찾는 연산자로써 MLP의 학습 및 예측성능에 직접적인 영향을 미친다. 기존의 Optimizer는 경사하강법(Gradient Descent, GD)을 기반으로 하는 Optimizer를 사용했다. 하지만 기존의 Optimizer는 미분을 이용하여 상관관계를 찾기 때문에 지역탐색 위주로 진행되며 기존에 생성된 상관관계를 저장하는 구조가 없어 지역 최적해로 수렴할 가능성이 있다는 단점이 있다. 본 연구에서는 기존 Optimizer의 단점을 개선하기 위해 지역탐색과 전역탐색을 동시에 고려할 수 있으며 기존의 해를 저장하는 구조가 있는 메타휴리스틱 최적화 알고리즘을 이용하였다. 메타휴리스틱 최적화 알고리즘 중 구조가 간단한 화음탐색법(Harmony Search, HS)과 GD의 결합모형(HS-GD)을 MLP의 Optimizer로 사용하여 기존 Optimizer의 단점을 개선하였다. HS-GD를 이용한 MLP의 성능검토를 위해 이천시 지하수위 예측을 실시하였으며 예측 결과를 기존의 Optimizer를 이용한 MLP 및 HS를 이용한 MLP의 예측결과와 비교하였다.

• Proceedings of the KIEE Conference
• /
• 1999.07g
• /
• pp.2833-2835
• /
• 1999

이 논문에서는 임의의 시스템 동정에 사용되는 적응필터의 계수를 최적화시키는 방법으로 광범위하게 사용되어지고 있는 기존의 적응 알고리즘인 Least Mean Square(LMS)방법과 최근들어 다양한 최적화 문제에 응용되고 있는 유전자 알고리즘(GA)을 합성한 하이브리드 형태의 적응 알고리즘을 사용한다. 이 알고리즘은 TIR 필터를 설계하는데 있어, 경사하강법의 개념을 사용함으로써 야기되는 지역 수렴문제의 단점을 보완하기 위해, 미분과 같은 결정론적인 규칙없이 단지 확률적인 연산자만으로 진행하는 유전자 알고리즘을 이용한다. 그리고 유전자 알고리즘에 있어서 확률적인 연산을 사용함으로써 발생하는 많은 계산량과 느린 수렴속도 문제를 LMS의 경사하강법을 이용하여 보완한다. 이처럼 유전자 알고리즘이 지닌 장점과 LMS 알고리즘이 갖는 장점을 이용하여 각 알고리즘이 지니는 단점을 서로 보완함으로써 알고리즘의 성능을 향상시키고 이 향상된 알고리즘을 이용하여 최적 필터계수를 찾는다 이렇게 얻은 필터계수값을 이용하여 적응 필터의 성능을 확인 평가한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.11
• /
• pp.1357-1363
• /
• 2019

In this paper, we compares the performance of the gredient descent optimizers of the Faster Region-based Convolutional Neural Network (R-CNN) model for the chromosome object detection in digital images composed of human metaphase chromosomes. In faster R-CNN, the gradient descent optimizer is used to minimize the objective function of the region proposal network (RPN) module and the classification score and bounding box regression blocks. The gradient descent optimizer. Through performance comparisons among these four gradient descent optimizers in our experiments, we found that the Adamax optimizer could achieve the mean average precision (mAP) of about 52% when considering faster R-CNN with a base network, VGG16. In case of faster R-CNN with a base network, ResNet50, the Adadelta optimizer could achieve the mAP of about 58%.

• Proceedings of the KIEE Conference
• /
• 2008.10b
• /
• pp.247-248
• /
• 2008

본 논문에서는 TYPE-2 퍼지 추론 기반의 RBF 뉴럴 네트워크(TYPE-2 Radial Basis Function Neural Network, T2RBFNN)를 설계하고 PSO(Particle Swarm Optimization) 알고리즘을 이용하여 모델의 파라미터를 동정한다. 제안된 모델의 은닉층은 TYPE-2 가우시안 활성 함수로 구성되며, 출력층은 Interval set 형태의 연결가중치를 갖는다. 여기에서 규칙 전반부 활성함수의 중심 선택은 C-means 클러스터링 알고리즘을 이용하고, 규칙 후반부 Interval set 형태의 연결가중치 결정에는 경사 하강법(Gradient descent method)을 이용한 오류 역전파 알고리즘을 사용하여 학습한다. 또한, 최적의 모델을 설계하기 위한 학습율 및 활성함수의 활성화 영역 결정에는 입자 군집 최적화(PSO; Particle Swarm Optimization) 알고리즘으로 동조한다. 마지막으로, 제안된 모델의 평가를 위하여 모의 데이터 집합(Synthetic dadaset)을 적용하고 근사화 및 일반화 능력에 대하여 토의한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.24 no.3
• /
• pp.398-404
• /
• 2020

In this paper, we propose a new design method of signal constellation of the spiral quadrature amplitude modulation (QAM) exploiting a modified gradient descent search algorithm and its binary mapping rule. Unlike the conventional method, the new method, which uses and the constellation optimization algorithm and the maximum number of iterations as a parameter for the iterative design, is more robust to phase noise. And the proposed binary mapping rule significantly reduces the average Hamming distance of the spiral constellation. As a result, the proposed spiral QAM constellation has much improved error performance compared to the conventional ones even in a very severe phase noise environment. It is, therefore, considered that the proposed QAM may be a useful modulation format for coherent optical communication systems and orthogonal frequency division multiplexing (OFDM) systems.

• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.1952-1953
• /
• 2011

본 논문에서는 다항식 기반 Radial Basis Function(RBF)신경회로망(Polynomial based Radial Basis function Neural Network)을 설계하고 이를 n-클래스 패턴 분류 문제에 적용한다. 제안된 다항식기반 RBF 신경회로망은 입력층, 은닉층, 출력층으로 이루어진다. 입력층은 입력 벡터의 값들을 은닉층으로 전달하는 기능을 수행하고 은닉층과 출력층사이의 연결가중치는 상수, 선형식 또는 이차식으로 이루어지며 경사 하강법에 의해 학습된다. Networks의 최종 출력은 연결가중치와 은닉층 출력의 곱에 의해 퍼지추론의 결과로서 얻어진다. 패턴분류기의 최적화는 PSO(Particle Swarm Optimization)알고리즘을 통해 이루어진다. 그리고 제안된 패턴분류기는 실제 얼굴인식 시스템으로 응용하여 직접 CCD 카메라로부터 입력받은 데이터를 영상 보정, 얼굴 검출, 특징 추출 등과 같은 처리 과정을 포함하여 서로 다른 등록인물의 n-클래스 분류 문제에 적용 및 평가되어 분류기로써의 성능을 분석해본다.

• Proceedings of the KIEE Conference
• /
• 2005.07d
• /
• pp.2552-2554
• /
• 2005

제어기 설계에서 이득여유와 위상여유는 견실성 및 안정도 판별의 중요한 척도로 사용되며, 그 중 위상여유는 시스템의 성능지수와 관련된다. 이와 같은 이유로 이득여유와 위상여유의 안정도를 고려한 제어기의 설계방법이 연구되어지고 있다. 근래 Weng Khuen Ho와 Chang Chieh Hang이 제안한 설계방법은 복잡한 계산을 필요로 하는 arctan 함수를 1차 선형함수로 근사화 하여 복잡도를 감소시키면서도 원하는 이득여유와 위상여유를 만족시키는 제어기의 파라미터를 찾았다. 하지만 이 방법은 실제의 arctan 함수를 사용하는 것이 아니라 근사화된 수식을 사용함으로써 오차가 수반되어 원하는 설계조건을 만족 하지 못한다. 따라서 본 논문은 이러한 오차를 최소화하기 위해서 최적화 알고리즘을 이용한 이득여유와 위상여유를 보상하는 PID 제어기를 설계하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.18 no.6
• /
• pp.842-848
• /
• 2008

This paper deal with uncertainty problem by using Type-2 fuzzy logic set for nonlinear system modeling. We design Type-2 fuzzy logic system in which the antecedent and the consequent part of rules are given as Type-2 fuzzy set and also analyze the performance of the ensuing nonlinear model with uncertainty. Here, the apexes of the antecedent membership functions of rules are decided by C-means clustering algorithm and the apexes of the consequent membership functions of rules are learned by using back-propagation based on gradient decent method. Also, the parameters related to the fuzzy model are optimized by means of particle swarm optimization. The proposed model is demonstrated with the aid of two representative numerical examples, such as mathematical synthetic data set and Mackey-Glass time series data set and also we discuss the approximation as well as generalization abilities for the model.

• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.1956-1957
• /
• 2011

본 연구는 White LED를 이용하여 주변 밝기 변화에 빠르게 적응하는 퍼지 뉴로 Dimming Control System을 설계한다. 본 논문에서는 방사형기저함수 신경회로망(Radial Basis Function Neural Network: RBFNN)을 설계하여 실제 White LED Dimming Control System에 적용시켜 모델의 근사화 및 일반화 성능을 평가한다. 제안한 모델에서의 은닉층은 방사형기저함수를 사용하여 적합도를 구현하였고, 후반부의 연결가중치는 경사하강법을 사용한다. 이때 멤버쉽 함수의 중심점은 HCM 클러스터링 (Hard C-Means Clustering)을 적용하여 결정한다. 연결가중치는 4가지 형태의 다항식을 대입하여 출력을 평가하였다. 최종 출력의 최적화를 위하여 PSO(Particle Swarm Optimization)을 이용하여 은닉층 노드수 및 다항식 형태를 결정한다. 본 논문에서 제안한 LED Dimming Control System은 Atmega8535를 사용하여 PWM 제어 방식을 사용하고, 조도계(Cds)를 이용하여 LED의 밝기에 따른 주변의 밝기를 감지하여 조명에 적응시키는 방법을 적용하였다.