• 제목/요약/키워드: Batch Learning Method

검색결과 48건 처리시간 0.021초

Robust tuning of quadratic criterion-based iterative learning control for linear batch system

  • Kim, Won-Cheol;Lee, Kwang-Soon
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1996년도 Proceedings of the Korea Automatic Control Conference, 11th (KACC); Pohang, Korea; 24-26 Oct. 1996
    • /
    • pp.303-306
    • /
    • 1996
  • We propose a robust tuning method of the quadratic criterion based iterative learning control(Q-ILC) algorithm for discrete-time linear batch system. First, we establish the frequency domain representation for batch systems. Next, a robust convergence condition is derived in the frequency domain. Based on this condition, we propose to optimize the weighting matrices such that the upper bound of the robustness measure is minimized. Through numerical simulation, it is shown that the designed learning filter restores robustness under significant model uncertainty.

  • PDF

3D Cross-Modal Retrieval Using Noisy Center Loss and SimSiam for Small Batch Training

  • Yeon-Seung Choo;Boeun Kim;Hyun-Sik Kim;Yong-Suk Park
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권3호
    • /
    • pp.670-684
    • /
    • 2024
  • 3D Cross-Modal Retrieval (3DCMR) is a task that retrieves 3D objects regardless of modalities, such as images, meshes, and point clouds. One of the most prominent methods used for 3DCMR is the Cross-Modal Center Loss Function (CLF) which applies the conventional center loss strategy for 3D cross-modal search and retrieval. Since CLF is based on center loss, the center features in CLF are also susceptible to subtle changes in hyperparameters and external inferences. For instance, performance degradation is observed when the batch size is too small. Furthermore, the Mean Squared Error (MSE) used in CLF is unable to adapt to changes in batch size and is vulnerable to data variations that occur during actual inference due to the use of simple Euclidean distance between multi-modal features. To address the problems that arise from small batch training, we propose a Noisy Center Loss (NCL) method to estimate the optimal center features. In addition, we apply the simple Siamese representation learning method (SimSiam) during optimal center feature estimation to compare projected features, making the proposed method robust to changes in batch size and variations in data. As a result, the proposed approach demonstrates improved performance in ModelNet40 dataset compared to the conventional methods.

두 이종 혼합 모형에서의 수정된 경사 하강법 (Adaptive stochastic gradient method under two mixing heterogenous models)

  • 문상준;전종준
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권6호
    • /
    • pp.1245-1255
    • /
    • 2017
  • 온라인 학습은 자료가 실시간으로 혹은 배치 단위로 축적되는 상황에서 주어진 목적함수의 해를 계산하는 방법을 말한다. 온라인 학습 알고리즘 중 배치를 이용한 확률적 경사 하강법 (stochastic gradient decent method)은 가장 많이 사용되는 방법 중 하나다. 이 방법은 구현이 쉬울 뿐만 아니라 자료가 동질적인 분포를 따른다는 가정 하에서 그 해의 성질이 잘 연구되어 있다. 하지만 자료에 특이값이 있거나 임의의 배치가 확률적으로 이질적 성질을 가질 때, 확률적 경사 하강법이 주는 해는 큰 편이를 가질 수 있다. 본 연구에서는 이러한 비정상 배치 (abnormal batch) 있는 자료 하에서 효과적으로 온라인 학습을 수행할 수 있는 수정된 경사 하강 알고리즘 (modified gradient decent algorithm)을 제안하고, 그 알고리즘을 통해 계산된 해의 수렴성을 밝혔다. 뿐만 아니라 간단한 모의실험을 통해 제안한 방법의 이론적 성질을 실증하였다.

Mini-Batch Ensemble Method on Keystroke Dynamics based User Authentication

  • Ho, Jiacang;Kang, Dae-Ki
    • International journal of advanced smart convergence
    • /
    • 제5권3호
    • /
    • pp.40-46
    • /
    • 2016
  • The internet allows the information to flow at anywhere in anytime easily. Unfortunately, the network also becomes a great tool for the criminals to operate cybercrimes such as identity theft. To prevent the issue, using a very complex password is not a very encouraging method. Alternatively, keystroke dynamics helps the user to solve the problem. Keystroke dynamics is the information of timing details when a user presses a key or releases a key. A machine can learn a user typing behavior from the information integrate with a proper machine learning algorithm. In this paper, we have proposed mini-batch ensemble (MIBE) method which does the preprocessing on the original dataset and then produces multiple mini batches in the end. The mini batches are then trained by a machine learning algorithm. From the experimental result, we have shown the improvement of the performance for each base algorithm.

배치 정규화와 CNN을 이용한 개선된 영상분류 방법 (An Improved Image Classification Using Batch Normalization and CNN)

  • 지명근;전준철;김남기
    • 인터넷정보학회논문지
    • /
    • 제19권3호
    • /
    • pp.35-42
    • /
    • 2018
  • 딥 러닝은 영상 분류를 위한 여러 방법 중 높은 정확도를 보이는 방법으로 알려져 있다. 본 논문에서는 딥 러닝 방법 가운데 합성곱 신경망 (CNN:Convolutional Neural Network)을 이용하여 영상을 분류함에 있어 배치 정규화 방법이 추가된 CNN을 이용하여 영상 분류의 정확도를 높이는 방법을 제시하였다. 본 논문에서는 영상 분류를 더 정확하게 수행하기 위해 기존의 뉴럴 네트워크에 배치 정규화 계층 (layer)를 추가하는 방법을 제안한다. 배치 정규화는 각 계층에 존재하는 편향을 줄이기 위해 고안된 방법으로, 각 배치의 평균과 분산을 계산하여 이동시키는 방법이다. 본 논문에서 제시된 방법의 우수성을 입증하기 위하여 SHREC13, MNIST, SVHN, CIFAR-10, CIFAR-100의 5개 영상 데이터 집합을 이용하여 영상분류 실험을 하여 정확도와 mAP를 측정한다. 실험 결과 일반적인 CNN 보다 배치 정규화가 추가된 CNN이 영상 분류 시 보다 높은 분류 정확도와 mAP를 보임을 확인 할 수 있었다.

반복학습제어를 기반으로 한 회분공정의 고급제어기법 (Advanced Control Techniques for Batch Processes Based on Iterative Learning Control Methods)

  • 이광순
    • Korean Chemical Engineering Research
    • /
    • 제44권5호
    • /
    • pp.425-434
    • /
    • 2006
  • 석유화학공업으로 대표되는 공정산업의 연속공정들은 지난 20여 년간 모델예측제어를 중심으로 고급제어(APC)기법들이 도입되며 운전성 및 생산성 향상에 많은 진보를 이루었다. 이에 반하여 중합반응기를 비롯한 각종 회분공정에는 APC 기법의 도입이 아직 활발히 이루어지지 않고 있다. 이것은 회분공정의 독특한 문제점을 극복하며 원하는 성능을 보장할 수 있는 방법론이 제시되지 못한 데에 가장 큰 이유가 있다고 할 수 있다. 그러나 최근 이러한 문제점들을 극복할 수 있는 APC 기법들이 반복학습제어(ILC)에 근거하여 개발되며 회분공정 APC 환경에 큰 변화가 일어나고 있다. 본 논문에서는 이들 기법들이 다양한 실제 공정에 활발하게 적용되어 운전을 개선할 수 있기를 기대하며, ILC를 기반으로 한 최근의 회분공정 APC 연구동향을 이론과 실례를 통해 소개한다.

센서 시스템의 매개변수 교정을 위한 데이터 기반 일괄 처리 방법 (Data-Driven Batch Processing for Parameter Calibration of a Sensor System)

  • 이규만
    • 센서학회지
    • /
    • 제32권6호
    • /
    • pp.475-480
    • /
    • 2023
  • When modeling a sensor system mathematically, we assume that the sensor noise is Gaussian and white to simplify the model. If this assumption fails, the performance of the sensor model-based controller or estimator degrades due to incorrect modeling. In practice, non-Gaussian or non-white noise sources often arise in many digital sensor systems. Additionally, the noise parameters of the sensor model are not known in advance without additional noise statistical information. Moreover, disturbances or high nonlinearities often cause unknown sensor modeling errors. To estimate the uncertain noise and model parameters of a sensor system, this paper proposes an iterative batch calibration method using data-driven machine learning. Our simulation results validate the calibration performance of the proposed approach.

사이버 감시정찰의 정보 분석에 적용되는 점진적 학습 방법과 일괄 학습 방법의 성능 비교 (Comparison of Performance Between Incremental and Batch Learning Method for Information Analysis of Cyber Surveillance and Reconnaissance)

  • 신경일;윤호상;신동일;신동규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권3호
    • /
    • pp.99-106
    • /
    • 2018
  • 사이버 감시정찰은 공개된 인터넷, 아군 및 적군 네트워크에서 정보를 획득한다. 사이버 ISR에서 에이전트를 활용하여 데이터를 수집하고, 수집한 데이터를 C&C 서버에 전송하여 수집한 데이터를 분석 한 후 해당 분석 결과를 이용하여 의사결정에 도움을 줄 수 있다. 하지만 네트워크 구성에 따라 침투한 컴퓨터에 심어진 에이전트와 외부 네트워크에 존재하는 C&C 서버 간 정기적인 통신이 불가능하게 되는 경우가 존재한다. 이때 에이전트는 C&C 서버와 통신이 재개되는 짧은 순간에 데이터를 C&C 서버에 전달하고, 이를 받은 C&C 서버는 수집한 데이터를 분석한 후 다시 에이전트에게 명령을 내려야한다. 따라서 해당 문제를 해결하기 위해서는 짧은 시간 내에 빠르게 학습이 가능하며, 학습 과정에서 많은 자원을 소모하지 않고도 학습할 수 있어야한다. 본 연구에서는 점진적 학습 방법을 일괄 학습 방법과 비교하는 실험을 통해 우수성을 보여주고 있다. 점진적 학습 방법을 사용한 실험에서는 500M 이하의 메모리 리소스로 제한된 환경에서 학습소요시간을 10배 이상 단축시키는 결과를 보여 주었으나, 잘못 분류된 데이터를 재사용하여 학습 모델을 개선하는 실험에서는 재학습에 소요되는 시간이 200% 이상 증가하는 문제점이 발견되었다.

LSTM 및 Conv1D-LSTM을 사용한 공급 사슬의 티어 예측 (Prediction of Tier in Supply Chain Using LSTM and Conv1D-LSTM)

  • 박경종
    • 산업경영시스템학회지
    • /
    • 제43권2호
    • /
    • pp.120-125
    • /
    • 2020
  • Supply chain managers seek to achieve global optimization by solving problems in the supply chain's business process. However, companies in the supply chain hide the adverse information and inform only the beneficial information, so the information is distorted and cannot be the information that describes the entire supply chain. In this case, supply chain managers can directly collect and analyze supply chain activity data to find and manage the companies described by the data. Therefore, this study proposes a method to collect the order-inventory information from each company in the supply chain and detect the companies whose data characteristics are explained through deep learning. The supply chain consists of Manufacturer, Distributor, Wholesaler, Retailer, and training and testing data uses 600 weeks of time series inventory information. The purpose of the experiment is to improve the detection accuracy by adjusting the parameter values of the deep learning network, and the parameters for comparison are set by learning rate (lr = 0.001, 0.01, 0.1) and batch size (bs = 1, 5). Experimental results show that the detection accuracy is improved by adjusting the values of the parameters, but the values of the parameters depend on data and model characteristics.

CNN기초로 세 가지 방법을 이용한 감정 표정 비교분석 (Comparative Analysis for Emotion Expression Using Three Methods Based by CNN)

  • 양창희;박규섭;김영섭;이용환
    • 반도체디스플레이기술학회지
    • /
    • 제19권4호
    • /
    • pp.65-70
    • /
    • 2020
  • CNN's technologies that represent emotional detection include primitive CNN algorithms, deployment normalization, and drop-off. We present the methods and data of the three experiments in this paper. The training database and the test database are set up differently. The first experiment is to extract emotions using Batch Normalization, which complemented the shortcomings of distribution. The second experiment is to extract emotions using Dropout, which is used for rapid computation. The third experiment uses CNN using convolution and maxpooling. All three results show a low detection rate, To supplement these problems, We will develop a deep learning algorithm using feature extraction method specialized in image processing field.