• 제목/요약/키워드: Incremental Learning Algorithm

검색결과 66건 처리시간 0.023초

ETLi: Efficiently annotated traffic LiDAR dataset using incremental and suggestive annotation

  • Kang, Jungyu;Han, Seung-Jun;Kim, Nahyeon;Min, Kyoung-Wook
    • ETRI Journal
    • /
    • 제43권4호
    • /
    • pp.630-639
    • /
    • 2021
  • Autonomous driving requires a computerized perception of the environment for safety and machine-learning evaluation. Recognizing semantic information is difficult, as the objective is to instantly recognize and distinguish items in the environment. Training a model with real-time semantic capability and high reliability requires extensive and specialized datasets. However, generalized datasets are unavailable and are typically difficult to construct for specific tasks. Hence, a light detection and ranging semantic dataset suitable for semantic simultaneous localization and mapping and specialized for autonomous driving is proposed. This dataset is provided in a form that can be easily used by users familiar with existing two-dimensional image datasets, and it contains various weather and light conditions collected from a complex and diverse practical setting. An incremental and suggestive annotation routine is proposed to improve annotation efficiency. A model is trained to simultaneously predict segmentation labels and suggest class-representative frames. Experimental results demonstrate that the proposed algorithm yields a more efficient dataset than uniformly sampled datasets.

EER-ASSL: Combining Rollback Learning and Deep Learning for Rapid Adaptive Object Detection

  • Ahmed, Minhaz Uddin;Kim, Yeong Hyeon;Rhee, Phill Kyu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권12호
    • /
    • pp.4776-4794
    • /
    • 2020
  • We propose a rapid adaptive learning framework for streaming object detection, called EER-ASSL. The method combines the expected error reduction (EER) dependent rollback learning and the active semi-supervised learning (ASSL) for a rapid adaptive CNN detector. Most CNN object detectors are built on the assumption of static data distribution. However, images are often noisy and biased, and the data distribution is imbalanced in a real world environment. The proposed method consists of collaborative sampling and EER-ASSL. The EER-ASSL utilizes the active learning (AL) and rollback based semi-supervised learning (SSL). The AL allows us to select more informative and representative samples measuring uncertainty and diversity. The SSL divides the selected streaming image samples into the bins and each bin repeatedly transfers the discriminative knowledge of the EER and CNN models to the next bin until convergence and incorporation with the EER rollback learning algorithm is achieved. The EER models provide a rapid short-term myopic adaptation and the CNN models an incremental long-term performance improvement. EER-ASSL can overcome noisy and biased labels in varying data distribution. Extensive experiments shows that EER-ASSL obtained 70.9 mAP compared to state-of-the-art technology such as Faster RCNN, SSD300, and YOLOv2.

SVDD기법을 이용한 하이브리드 전기자동차 충-방전시스템의 고장검출 알고리듬 (Fault Detection Algorithm of Charge-discharge System of Hybrid Electric Vehicle Using SVDD)

  • 나상건;양인범;허훈
    • 한국소음진동공학회논문집
    • /
    • 제21권11호
    • /
    • pp.997-1004
    • /
    • 2011
  • A fault detection algorithm of a charge and discharge system to ensure the safe use of hybrid electric vehicle is proposed in this paper. This algorithm can be used as a complementary way to existing fault detection technique for a charge and discharge system. The proposed algorithm uses a SVDD technique, which additionally utilizes two methods for learning a large amount of data; one is to incrementally learn a large amount of data, the other one is to remove the data that does not affect the next learning using a new data reduction technique. Removal of data is selected by using lines connecting support vectors. In the proposed method, the data processing speed is drastically improved and the storage space used is remarkably reduced than the conventional methods using the SVDD technique only. A battery data and speed data of a commercial hybrid electrical vehicle are utilized in this study. A fault boundary is produced via SVDD techniques using the input and output in normal operation of the system without using mathematical modeling. A fault detection simulation is performed using both an artificial fault data and the obtained fault boundary via SVDD techniques. In the fault detection simulation, fault detection time via proposed algorithm is compared with that of the peak-peak method. Also the proposed algorithm is revealed to detect fault in the region where conventional peak-peak method is never able to do.

점진적 기계학습 기반의 레이더 위협체 역추정 모델 생성 및 갱신 (Managing the Reverse Extrapolation Model of Radar Threats Based Upon an Incremental Machine Learning Technique)

  • 김철표;노상욱
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권4호
    • /
    • pp.29-39
    • /
    • 2017
  • 다양한 전자전 상황에서 단위 위협체에 대하여 전자전 모델링과 시뮬레이션을 수행할 수 있는 통합 전자전 시뮬레이터의 개발 필요성이 대두되고 있다. 본 논문에서는 전자전 상황에서 전자정보 수집신호의 변수를 기반으로 전자파 신호를 발산하는 레이더 위협을 역추정하기 위한 시뮬레이션 시스템의 구성요소를 분석하고, 역추정 모델을 점진적으로 유지할 수 있는 방법을 제안한다. 또한, 실험을 통하여 점진적 역추정 모델 갱신 기법의 유효성 및 개별 역추정 결과의 통합 기법을 평가한다. 개별 역추정 모델의 생성을 위하여 의사결정트리, 베이지안 분류기, 인공신경망 및 유클리디안 거리 측정방식과 코사인 유사도 측정방식을 활용하는 군집화 알고리즘을 이용하였다. 첫 번째 실험에서 레이더 위협체에 대한 역추정 모델을 구축하기 위한 위협 예제의 크기를 점진적으로 증가시키면 역추정 모델의 정확도는 향상되었으며, 이러한 과정이 반복되면 역추정 모델에 대한 정확도는 일정한 값으로 수렴하였다. 두 번째 실험에서는 개별 역추정 모델의 결과를 통합하기 위하여 투표, 가중투표 및 뎀스터-쉐이퍼 알고리즘을 이용하였으며, 역추정 모델의 통합 결과는 뎀스터-쉐이퍼 알고리즘에 의한 역추정 정확도가 가장 좋은 성능을 보였다.

개인화기 조준 능력 향상 관점에서의 추적 기법의 성능평가 (Evaluation of Tracking Performance: Focusing on Improvement of Aiming Ability for Individual Weapon)

  • 김상훈;윤일동
    • 방송공학회논문지
    • /
    • 제18권3호
    • /
    • pp.481-490
    • /
    • 2013
  • 본 논문에서는 실제 전장에서 전투수행 중인 병사의 개인화기 조준 능력 향상 관점에서 추적기법의 성능평가를 하였다. 실제 전장에서는 짧은 시간동안 전투를 하는 것뿐만 아니라 며칠에 걸쳐서 실시되는 경우도 있다. 이와 같이 장시간 지속되는 작전 중에서 다양한 요소에 의해서 지속적으로 병사의 신체능력이 감소된다. 이렇게 손실되는 신체능력을 보완하기 위하여 시각추적 기술을 화기의 조준경에 적용하여 적 병사 이동상황을 자동적으로 추적하고 이로 인해 감소된 조준능력을 향상시키기 위한 실험을 하였다. 최신영상 추적 기법들 중에서 최적의 것을 결정하기 위하여, 겹침 현상, 카메라 이동, 크기변화, 저대비 영상, 조명변화 등의 특징이 포함된 여러 실제 전장 영상으로 그 성능을 평가하였다. VTD (Visual Tracking Decomposition)[2]가 정확도에서 IVT (Incremental learning for robust Visual Tracking)[7]가 속도 평가에서 가장 우수하였으며 종합적으로는 MIL (Multiple Instance Learning)[1]이 가장 우수한 결과를 보여 주었다. 이러한 성능평가 결과는 시각추적기술이 적용된 조준경이 실제 전장에서 전투수행을 하면서 신체능력이 감소된 병사의 전투력을 보완할 가능성이 있다는 것을 보여 준다.

수화 패턴 인식을 위한 2단계 신경망 모델 (Two-Stage Neural Networks for Sign Language Pattern Recognition)

  • 김호준
    • 한국지능시스템학회논문지
    • /
    • 제22권3호
    • /
    • pp.319-327
    • /
    • 2012
  • 본 논문에서는 착용식 추적장치나 표식 등의 보조 도구를 사용하지 않는 환경의 동영상 데이터로부터 수화 패턴을 인식하는 방법론에 관하여 고찰한다. 시스템 설계 및 구현에 관한 주제로서 특징점의 추출기법, 특징데이터의 표현기법 및 패턴 분류기법에 관한 방법론을 제시하고 그 유용성을 고찰한다. 일련의 동영상으로 표현되는 수화패턴에 대하여 특징점의 공간적 위치에 대한 변이 뿐만 아니라 시간차원의 변화를 고려한 특징데이터의 표현방법을 제시하며, 방대한 데이터에 의한 분류기의 크기 문제와 계산량의 문제를 개선하기 위하여 효과적으로 특징수를 줄일 수 있는 특징추출 방법을 소개한다. 패턴 분류과정에서 점진적 학습(incremental learning)이 가능한 신경망 모델을 제시하고 그 동작특성 및 학습효과를 분석한다. 또한 학습된 분류모델로부터 특징과 패턴 클래스 간의 상대적 연관성 척도를 정의하고, 이로부터 효과적인 특징을 선별하여 성능저하 없이 분류기의 규모를 최적화 할 수 있음을 보인다. 제안된 내용에 대하여 여섯 가지 수화패턴을 대상으로 적용한 실험을 통하여 유용성을 평가한다.

효율적 고차 신경회로망을 이용한 비선형 함수 근사에 대한 연구 (Nonlinear Function Approximation Using Efficient Higher-order Feedforward Neural Networks)

  • 신요안
    • 한국통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.251-268
    • /
    • 1996
  • In this paper, a higher-order feedforward neural network called ridge polynomial network (RPN) which shows good approximation capability for nonlnear continuous functions defined on compact subsets in multi-dimensional Euclidean spaces, is presented. This network provides more efficient and regular structure as compared to ordinary higher-order feedforward networks based on Gabor-Kolmogrov polynomial expansions, while maintating their fast learning property. the ridge polynomial network is a generalization of the pi-sigma network (PSN) and uses a specialform of ridge polynomials. It is shown that any multivariate polynomial can be exactly represented in this form, and thus realized by a RPN. The approximation capability of the RPNs for arbitrary continuous functions is shown by this representation theorem and the classical weierstrass polynomial approximation theorem. The RPN provides a natural mechanism for incremental function approximation based on learning algorithm of the PSN. Simulation results on several applications such as multivariate function approximation and pattern classification assert nonlinear approximation capability of the RPN.

  • PDF

퍼지 RBFNNs와 증분형 주성분 분석법으로 실현된 숫자 인식 시스템의 설계 (Design of Digit Recognition System Realized with the Aid of Fuzzy RBFNNs and Incremental-PCA)

  • 김봉연;오성권;김진율
    • 한국지능시스템학회논문지
    • /
    • 제26권1호
    • /
    • pp.56-63
    • /
    • 2016
  • 본 연구에서는 퍼지 RBFNNs과 증분형 주성분 분석법으로 실현된 숫자인식 시스템의 설계를 소개한다. 주성분 분석법은 차원축소를 위해 사용되는 알고리즘으로 학습데이터의 차원 수가 고차원이거나 데이터의 양이 많을 때 특징 추출을 위한 많은 계산 시간을 필요로 한다. 따라서 고차원 데이터의 효율적인 차원축소와 점진적인 학습을 위해 증분형 주성분분석법을 적용하는 방법을 제안한다. 방사형 기저함수 신경회로망의 구조는 조건부, 결론부, 추론부의 3가지 기능적 모듈로서 구분이 가능하다. 조건부에서는 FCM 클러스터링 알고리즘의 도움으로 실현된 퍼지 클러스터링의 사용으로 입력 공간을 분할한다. 또한 가우시안 함수 대신 FCM(Fuzzy C-Means)클러스터링 알고리즘의 멤버쉽 값을 사용함으로써 입력 데이터의 특성을 좀 더 잘 반영할 수 있도록 개선하였으며, 결론부에서 연결가중치는 상수항에서 일차식과 이차식, 그리고 변형된 이차식과 같은 다항식의 형태로 확장하여 사용한다. 실험 결과는 공인 숫자 데이터인 MNIST 필기체 숫자 데이터를 사용하여 제안된 숫자 인식 시스템의 효율성을 다른 연구와의 비교를 통해 입증한다.

일반화 신경망의 개선된 학습 과정을 위한 최적화 신경망 학습률들의 효율성 비교 (A Comparison of the Effects of Optimization Learning Rates using a Modified Learning Process for Generalized Neural Network)

  • 윤여창;이성덕
    • 응용통계연구
    • /
    • 제26권5호
    • /
    • pp.847-856
    • /
    • 2013
  • 본 연구에서는 Liu 등의 학습 알고리즘과 Wu와 Zhang의 초기 가중값의 범위 설정, 그리고 Gunaseeli와 Karthikeyan의 초기 가중값에 관한 연구 결과를 이용하여 일반화 네트워크를 구할 수 있는 개선된 학습을 제안하고, 최적화된 신경망 학습률들을 이용하여 개선된 학습 과정의 학습효율등을 비교해 본다. 제시된 알고리즘을 이용한 학습에서 학습 초기에는 가장 단순한 학습 패턴과 은닉층으로부터 학습을 시작한다. 신경망 학습과정 중에 지역 최소값에 수렴되는 경우에는 가중값 범위 조정을 통하여 지역 최소값 문제를 해결하고, 지역 최소값으로부터 탈출이 용이하지 않으면 은닉노드를 점차적으로 하나씩 추가하면서 학습한다. 각 단계에서 새롭게 추가된 노드에 대한 초기 가중값의 선택은 이차계획법을 이용한 최적 처리절차를 이용한다. 최적 처리절차는 은닉층의 노드가 추가된 후의 새로운 네트워크에서 학습회수를 단순히 증가시키지 않아도 주어진 학습 허용오차를 만족시킬 수 있다. 본 연구에서 적용한 개선된 알고리즘을 이용하면서 초기 가중값들에 관한 기존 연구들을 적용하면 신경망 학습시의 수렴 정도를 높여주고 최소한의 단순 구조를 갖는 일반화 네트워크로 추정할 수 있게 된다. 이러한 학습률들을 변화시키는 모의실험을 통하여 기존의 연구 결과와의 학습 효율을 비교하고 향후 연구 방향을 제시하고자 한다.

태양광 발전시스템을 위한 신경회로망 PID 기반 MPPT 알고리즘 (Neural PID Based MPPT Algorithm for Photovoltaic Generator System)

  • 박지호;조현철;김동완
    • 신재생에너지
    • /
    • 제8권3호
    • /
    • pp.14-22
    • /
    • 2012
  • Performance of photovoltaic (PV) generator systems relies on its operating conditions. Maximum power extracted from PV generators depends strongly on solar irradiation, load impedance, and ambient temperature. A most maximum power point tracking (MPPT) algorithm is based on a perturb and observe method and an incremental conductance method. It is well known the latter is better in terms of dynamics and tracking characteristics under condition of rapidly changing solar irradiation. However, in case of digital implementation, the latter has some error for determining a maximum power point. This paper presents a PID based MPPT algorithm for such PV systems. We use neural network technique for determining PID parameters by online learning approach. And we construct a boost converter to regulate the output voltage from PV generator system. Computer simulation is carried out to evaluate the proposed MPPT method and we accomplish comparative study with a perturb and observe based MPPT method to prove its superiority.