• International Journal of Computer Science & Network Security
• /
• 제21권6호
• /
• pp.200-206
• /
• 2021

Fraud in e-commerce transaction increased in the last decade especially with the increasing number of online stores and the lockdown that forced more people to pay for services and groceries online using their credit card. Several machine learning methods were proposed to detect fraudulent transaction. Neural networks showed promising results, but it has some few drawbacks that can be overcome using optimization methods. There are two categories of learning optimization methods, first-order methods which utilizes gradient information to construct the next training iteration whereas, and second-order methods which derivatives use Hessian to calculate the iteration based on the optimization trajectory. There also some training refinements procedures that aims to potentially enhance the original accuracy while possibly reduce the model size. This paper investigate the performance of several NN models in detecting fraud in e-commerce transaction. The backpropagation model which is classified as first learning algorithm achieved the best accuracy 96% among all the models.

• 대한수학회지
• /
• 제61권2호
• /
• pp.395-408
• /
• 2024

There have been numerous studies on the characteristics of the solutions of ordinary differential equations for optimization methods, including gradient descent methods and alternating direction methods of multipliers. To investigate computer simulation of ODE solutions, we need to trace pseudo-orbits by real orbits and it is called shadowing property in dynamics. In this paper, we demonstrate that the flow induced by the alternating direction methods of multipliers (ADMM) for a C² strongly convex objective function has the eventual shadowing property. For the converse, we partially answer that convexity with the eventual shadowing property guarantees a unique minimizer. In contrast, we show that the flow generated by a second-order ODE, which is related to the accelerated version of ADMM, does not have the eventual shadowing property.

• 통합자연과학논문집
• /
• 제11권4호
• /
• pp.204-208
• /
• 2018

Comparison of different optimizer performance in photovoltaic power modeling using artificial neural deep learning techniques is described in this paper. Six different deep learning optimizers are tested for Long-Short-Term Memory networks in this study. The optimizers are namely Adam, Stochastic Gradient Descent, Root Mean Square Propagation, Adaptive Gradient, and some variants such as Adamax and Nadam. For comparing the optimization techniques, high and low fluctuated photovoltaic power output are examined and the power output is real data obtained from the site at Mokpo university. Using Python Keras version, we have developed the prediction program for the performance evaluation of the optimizations. The prediction error results of each optimizer in both high and low power cases shows that the Adam has better performance compared to the other optimizers.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.157-165
• /
• 2020

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• 디지털융복합연구
• /
• 제17권10호
• /
• pp.251-258
• /
• 2019

앞으로의 시대는 인공지능을 이용한 다양한 분야에 다양한 제품이2 생성될 것이다. 이러한 시대에 인공지능의 학습 방법의 동작 원리를 알고 이를 정확하게 활용하는 것은 상당히 중요한 문제이다. 이 논문은 지금까지 알려진 인공지능 학습 방법을 소개한다. 인공지능의 학습은 수학의 고정점 반복 방법(fixed point iteration method)을 기반으로 하고 있다. 이 방법을 기반으로 수렴 속도를 조절한 GD(Gradient Descent) 방법, 그리고 쌓여가는 양을 누적하는 Momentum 방법, 마지막으로 이러한 방법을 적절히 혼합한 Adam(Adaptive Moment Estimation) 방법 등이 있다. 이 논문에서는 각 방법의 장단점을 설명한다. 특히, Adam 방법은 조정 능력을 포함하고 있어 기계학습의 강도를 조정할 수 있다. 그리고 이러한 방법들이 디지털 신호에 어떠한 영향을 미치는 지에 대하여 분석한다. 이러한 디지털 신호의 학습과정에서의 변화는 앞으로 인공지능을 이용한 작업 및 연구를 수행함에 있어 정확한 활용과 정확한 판단의 기준이 될 것이다.

• International Journal of Control, Automation, and Systems
• /
• 제3권4호
• /
• pp.640-645
• /
• 2005

Closed-loop model-free optimization of positive feedback time delay controllers for dominant time delay systems is presented. Iterative feedback tuning (IFT) is applied to the tuning of positive feedback time delay controller. Three experiments are carried out to perform the model-free gradient descent optimization. The initial controller parameters and duration in specifying the cost function are suggested. The effects of step size, filter function and time weighting function on the performance of the optimized controlled are given. Simulation and experimental studies are included to demonstrate the effectiveness of the tuning scheme.

• 전자공학회논문지B
• /
• 제33B권4호
• /
• pp.201-208
• /
• 1996

This paper proposes an efficient method for improving the training performance of the neural network using a hybrid of backpropagation algorithm and dynamic tunneling system.The backpropagation algorithm, which is the fast gradient descent method, is applied for high-speed optimization. The dynamic tunneling system, which is the deterministic method iwth a tunneling phenomenone, is applied for blobal optimization. Converging to the local minima by using the backpropagation algorithm, the approximate initial point for escaping the local minima is estimated by the pattern classification, and the simulation results show that the performance of proposed method is superior th that of backpropagation algorithm with randomized initial point settings.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.319-334
• /
• 2024

본 연구의 목적은 인공지능 수학교과서의 최적화 내용에서 사용하는 구체적 대상이 명명하기와 담론적 조작을 통해 담론적 대상으로 전환되는 과정을 분석함으로써 인공지능 기반 수학적 대상들에 대한 담론적 구성을 밝히는 것이었다. 이러한 목적을 달성하기 위해 5종의 고등학교 인공지능 수학교과서의 최적화 내용에서 사용하는 구체적 대상을 추출하고, 담론적 대상을 분석할 수 있는 인공지능 기반 수학적 대상들에 대한 담론적 구성과 담론적 조작 분석틀을 개발하였다. 연구 결과, 최적화 내용의 손실함수 단원과 경사하강법 단원에서 사용하는 구체적 대상은 총 15개였으며, 명명하기와 담론적 조작을 통해 추상적 담론 대상으로 창발하는 구체적 대상은 1개인 것으로 나타났다. 이러한 연구 결과는 문서화된 교육과정 측면에서 인공지능 기반 수학적 대상들에 대한 담론적 구성을 구체화하고 학생들이 인공지능 기반 수학적 담론을 탐구적으로 개발할 수 있는 실천 방안을 제공할 수 있다는데 그 의의가 있을 뿐 아니라, 인공지능 기반 수학적 대상에 대한 효과적인 담론적 구성과정과 교육과정 개발에 시사점을 제공할 수 있을 것이다.

• 한국정보통신학회논문지
• /
• 제24권3호
• /
• pp.398-404
• /
• 2020

본 논문에서는 변형 경사하강검색법을 이용한 새로운 나선 직교진폭변조 신호성상도와 이를 위한 이진사상규칙을 제시한다. 기존 방법과는 달리 새로운 검색법은 반복설계를 위한 파라미터로 최대 반복 횟수와 함께 성상도 최적화 알고리즘을 사용하여 위상잡음에 더욱 강인한 나선 직교진폭변조 성상도를 생성한다. 또한, 제시된 이진사상기법은 신호성상도에서 동일한 경계를 공유하는 필드 수를 조정함으로써 성상도의 평균 해밍거리를 크게 감소시키는 것으로 나타났다. 그 결과, 제안된 나선 직교진폭변조는 매우 심한 수준의 위상잡음 환경에서도 기존 성상도에 비하여 훨씬 향상된 심볼오류성능을 가지는 것으로 확인되었다. 따라서 제안된 나선 직교진폭변조는 위상잡음의 영향이 크게 나타나는 코히어런트 광통신시스템과 직교 주파수분할다중화 시스템에 유용한 변조방법인 것으로 판단된다.

• 문화기술의 융합
• /
• 제9권3호
• /
• pp.647-654
• /
• 2023

딥러닝은 이미지, 텍스트와 같이 복잡한 데이터를 분류 및 인식하는데 유용한 방법으로 딥러닝 기법의 정확도는 딥러닝이 인터넷상의 AI 기반의 서비스를 유용하게 하는데 기초가 되었다. 그러나 딥러닝에서 훈련에 사용되는 방대한 양의 사용자 데이터는 사생활 침해 문제를 야기하였고 사진이나 보이스와 같이 사용자이 개인적이고 민감한 데이터를 수집한 기업들이 데이터들을 무기한으로 소유한다. 사용자들은 자신의 데이터를 삭제할 수 없고 사용되는 목적도 제한할 수 없다. 예를 들면, 환자 진료기록에 대한 딥러닝 기술을 적용하기 원하는 의료기관들과 같은 데이터소유자들은 사생활과 기밀유지 문제로 환자의 데이터를 공유할 수 없고 딥러닝 기술의 혜택을 받기 어렵다. 우리는 멀티 파티 시스템에서 다수의 작업자들이 입력 데이터집합을 공유하지 않고 신경망 모델을 공동으로 사용할 수 있는 프라이버시 보존 기술을 적용한 딥러닝 방법을 설계한다. 변형된 확률적 경사 하강에 기초한 최적화 알고리즘을 이용하여 하위 집합을 선택적으로 공유할 수 있는 방법을 이용하였고 결과적으로 개인정보를 보호하면서 학습 정확도를 증가시킨 학습을 할 수 있도록 하였다.