• 제목/요약/키워드: incremental update

검색결과 58건 처리시간 0.03초

SPJ 실체화 뷰의 효율적인 점진적 관리 기법 (An Efficient Incremental Maintenance of SPJ Materialized Views)

  • 이기용;손진현;김명호
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.797-806
    • /
    • 2006
  • 데이터 웨어하우스에서는 질의를 빠르게 처리하기 위해 실체화 뷰(materialized view)가 흔히 사용된다. 실체화 뷰는 그의 정의에 포함된 데이터 소스들이 변경되면 이를 반영하기 위해 갱신되어야 한다. 실체화 년의 갱신은 많은 부하를 야기하므로, 실체화 뷰를 효율적으로 갱신하는 것은 매우 중요한 문제이다. 실체화 뷰의 효율적인 갱신 방법에 대해서는 이미 많은 연구가 있어왔지만, SPJ(Select-Project-Join) 형태로 정의된 실체화 뷰를 효율적으로 갱신하는 방법은 충분히 연구되지 않았다. 본 논문에서는 데이터 소스들에 대한 접근 비용을 최소화함으로써 SPJ 실체화 뷰를 효율적으로 점진적으로 갱신하는 방법을 제안한다. 제안하는 방법은 동적 계획법 알고리즘을 사용하여 최적의 갱신 방법을 찾는다. 마지막으로, 다양한 성능 평가 실험을 통해 제안하는 방법이 우수한 성능을 가지고 있음을 보인다.

RFID Based Indoor Positioning System Using Event Filtering

  • Bok, Kyoungsoo;Yoo, Jaesoo
    • Journal of Electrical Engineering and Technology
    • /
    • 제12권1호
    • /
    • pp.335-345
    • /
    • 2017
  • Recently, location systems using RFID technology have been studied in indoor environments. However, the existing techniques require high computational cost to compute the location of a moving object because they compare the location proximity of all reference tags and objects. In this paper, we propose an RFID based location positioning scheme using event filtering, which reduces the computation cost of calculating the locations of moving objects while maintaining the accuracy of location estimation. In addition, we propose an incremental location update policy to reduce the location update cost for moving objects. We also compare the proposed scheme with one of the localization schemes, LANDMARC using a performance evaluation. As a result, the proposed scheme outperforms LANDMARC in terms of the computational cost of location estimation. The proposed scheme also reduces the cost of location update by using the RFID-based update policy.

Data anomaly detection and Data fusion based on Incremental Principal Component Analysis in Fog Computing

  • Yu, Xue-Yong;Guo, Xin-Hui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권10호
    • /
    • pp.3989-4006
    • /
    • 2020
  • The intelligent agriculture monitoring is based on the perception and analysis of environmental data, which enables the monitoring of the production environment and the control of environmental regulation equipment. As the scale of the application continues to expand, a large amount of data will be generated from the perception layer and uploaded to the cloud service, which will bring challenges of insufficient bandwidth and processing capacity. A fog-based offline and real-time hybrid data analysis architecture was proposed in this paper, which combines offline and real-time analysis to enable real-time data processing on resource-constrained IoT devices. Furthermore, we propose a data process-ing algorithm based on the incremental principal component analysis, which can achieve data dimensionality reduction and update of principal components. We also introduce the concept of Squared Prediction Error (SPE) value and realize the abnormal detection of data through the combination of SPE value and data fusion algorithm. To ensure the accuracy and effectiveness of the algorithm, we design a regular-SPE hybrid model update strategy, which enables the principal component to be updated on demand when data anomalies are found. In addition, this strategy can significantly reduce resource consumption growth due to the data analysis architectures. Practical datasets-based simulations have confirmed that the proposed algorithm can perform data fusion and exception processing in real-time on resource-constrained devices; Our model update strategy can reduce the overall system resource consumption while ensuring the accuracy of the algorithm.

데이터 마이닝에서 기존의 연관규칙을 갱신하는 효율적인 앨고리듬 (An Efficient Algorithm for Updating Discovered Association Rules in Data Mining)

  • 김동필;지영근;황종원;강맹규
    • 산업경영시스템학회지
    • /
    • 제21권45호
    • /
    • pp.121-133
    • /
    • 1998
  • This study suggests an efficient algorithm for updating discovered association rules in large database, because a database may allow frequent or occasional updates, and such updates may not only invalidate some existing strong association rules, but also turn some weak rules into strong ones. FUP and DMI update efficiently strong association rules in the whole updated database reusing the information of the old large item-sets. Moreover, these algorithms use a pruning technique for reducing the database size in the update process. This study updates strong association rules efficiently in the whole updated database reusing the information of the old large item-sets. An updating algorithm that is suggested in this study generates the whole candidate item-sets at once in an incremental database in view of the fact that it is difficult to find the new set of large item-sets in the whole updated database after an incremental database is added to the original database. This method of generating candidate item-sets is different from that of FUP and DMI. After generating the whole candidate item-sets, if each item-set in the whole candidate item-sets is large at an incremental database, the original database is scanned and the support of each item-set in the whole candidate item-sets is updated. So, the whole large item-sets in the whole updated database is found out. An updating algorithm that is suggested in this study does not use a pruning technique for reducing the database size in the update process. As a result, an updating algoritm that is suggested updates fast and efficiently discovered large item-sets.

  • PDF

점진적 중심 갱신을 이용한 deep support vector data description 기반의 온라인 비정상 탐지 알고리즘 (Online anomaly detection algorithm based on deep support vector data description using incremental centroid update)

  • 이기배;고건혁;이종현
    • 한국음향학회지
    • /
    • 제41권2호
    • /
    • pp.199-209
    • /
    • 2022
  • 일반적인 비정상 탐지 알고리즘은 사전 데이터를 이용하여 학습된다. 따라서 시간에 따른 정상 데이터의 특징이 변화되는 경우에 기존의 배치 학습 기반 알고리즘의 성능 저하가 불가피하다. 본 논문에서는 정상 데이터의 점진적 특징 변화를 고려할 수 있는 온라인 비정상 탐지 알고리즘을 제안한다. 제안하는 알고리즘은 단일 클래스 분류 모델에 기반하며 오프라인 및 온라인 단계의 학습 과정을 포함한다. 제안된 알고리즘의 오프라인 학습 단계에서는 사전 데이터가 잠재 공간의 중심에 근접하도록 학습하고, 이후 온라인 학습단계에서는 신규 데이터에 의한 점진적 잠재 공간의 중심을 갱신하고, 갱신된 중심을 기준으로 계속 학습을 진행한다. 공개된 수중 음향 데이터를 이용한 실험결과 제안된 온라인 비정상 탐지 알고리즘은 점진적 중심 갱신 및 학습을 위해 단지 2 % 정도의 추가 학습시간이 소요되는 것으로 확인되었다. 반면에 시변 정상데이터가 수신되는 경우에 오프라인 학습 모델과 비교하여 19.10 % 개선된 Area Under the receiver operating characteristic Curve(AUC) 성능을 보였다.

점진적 맵 업데이트를 위한 모바일 DBMS의 플래시메모리 페이지 관리 기법 (Flash-aware Page Management Policy of the Mobile DBMS for Incremental Map Update)

  • 민경욱;최정단;김주완
    • Spatial Information Research
    • /
    • 제20권5호
    • /
    • pp.67-76
    • /
    • 2012
  • 최근 모바일 디바이스에서 대용량 데이터 저장/관리를 위해 모바일 DBMS를 사용하려는 추세이며 특히 내비게이션 응용과 같이 대용량 맵 데이터의 저장/관리를 위한 모바일 DBMS의 저장구조 및 질의처리 방법에 대한 연구가 수행되었다. 무작위 데이터 접근(읽기/쓰기/변경) 질의가 대부분인 DBMS의 저장매체로 플래시메모리를 사용할 경우 성능이 저하된다. 그 이유는 플래시메모리는 특성상 순차적인 데이터 기록에는 성능이 좋지만 무작위 데이터 기록에는 성능이 나쁘다. 따라서 플래시메모리를 저장매체로 사용하는 모바일 DBMS의 경우 기존과 다른 저장 및 질의처리 기법이 필요하다. 이에 본 논문에서는 무작위 데이터 업데이트의 성능을 향상시키기 위한 DBMS의 페이지 관리 기법을 연구하였고 이를 점진적 맵 업데이트를 지원하는 내비게이션용 모바일 DBMS에 적용하여 실험하였고 성능을 검증하였다.

Scaling Factor Design Based Variable Step Size Incremental Resistance Maximum Power Point Tracking for PV Systems

  • Ahmed, Emad M.;Shoyama, Masahito
    • Journal of Power Electronics
    • /
    • 제12권1호
    • /
    • pp.164-171
    • /
    • 2012
  • Variable step size maximum power point trackers (MPPTs) are widely used in photovoltaic (PV) systems to extract the peak array power which depends on solar irradiation and array temperature. One essential factor which judges system dynamics and steady state performances is the scaling factor (N), which is used to update the controlling equation in the tracking algorithm to determine a new duty cycle. This paper proposes a novel stability study of variable step size incremental resistance maximum power point tracking (INR MPPT). The main contribution of this analysis appears when developing the overall small signal model of the PV system. Therefore, by using linear control theory, the boundary value of the scaling factor can be determined. The theoretical analysis and the design principle of the proposed stability analysis have been validated using MATLAB simulations, and experimentally using a fixed point digital signal processor (TMS320F2808).

A novel visual tracking system with adaptive incremental extreme learning machine

  • Wang, Zhihui;Yoon, Sook;Park, Dong Sun
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권1호
    • /
    • pp.451-465
    • /
    • 2017
  • This paper presents a novel discriminative visual tracking algorithm with an adaptive incremental extreme learning machine. The parameters for an adaptive incremental extreme learning machine are initialized at the first frame with a target that is manually assigned. At each frame, the training samples are collected and random Haar-like features are extracted. The proposed tracker updates the overall output weights for each frame, and the updated tracker is used to estimate the new location of the target in the next frame. The adaptive learning rate for the update of the overall output weights is estimated by using the confidence of the predicted target location at the current frame. Our experimental results indicate that the proposed tracker can manage various difficulties and can achieve better performance than other state-of-the-art trackers.

데이터 재사용을 고려한 그래프 스트림의 점진적 처리 기법 (Incremental Processing Scheme for Graph Streams Considering Data Reuse)

  • 조중권;한진수;김민수;최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제18권1호
    • /
    • pp.465-475
    • /
    • 2018
  • 최근 소셜 미디어, IoT 등에 대한 활용이 증가됨에 따라 대용량의 그래프 스트림이 생성되고 있으며 그래프 스트림을 실시간으로 처리하기 위한 많은 연구들이 진행되고 있다. 본 논문에서는 그래프가 지속적으로 변경될 때 이전 결과 데이터를 재사용하는 점진적인 그래프 스트림 처리 기법을 제안한다. 또한, 점진적 처리와 정적인 처리를 선택적으로 수행하기 위한 비용 모델을 제안한다. 제안하는 비용 모델은 실제 처리된 이력을 바탕으로 재계산 영역의 탐색 비용 및 처리 비용의 예측 값을 계산하여 점진적 처리가 정적인 처리보다 이득인 경우 점진적 처리를 수행한다. 제안하는 점진적 처리는 그래프 갱신이 발생하면 변경되는 부분만을 처리하여 효율성을 증가시킨다. 또한, 변경되는 부분의 이전 결과 데이터만을 수집하여 점진적인 처리를 수행함으로써 디스크 I/O 비용을 감소시킨다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법에 비해 성능이 우수함을 보인다.

Application of SA-SVM Incremental Algorithm in GIS PD Pattern Recognition

  • Tang, Ju;Zhuo, Ran;Wang, DiBo;Wu, JianRong;Zhang, XiaoXing
    • Journal of Electrical Engineering and Technology
    • /
    • 제11권1호
    • /
    • pp.192-199
    • /
    • 2016
  • With changes in insulated defects, the environment, and so on, new partial discharge (PD) data are highly different from the original samples. It leads to a decrease in on-line recognition rate. The UHF signal and pulse current signal of four kinds of typical artificial defect models in gas insulated switchgear (GIS) are obtained simultaneously by experiment. The relationship map of ultra-high frequency (UHF) cumulative energy and its corresponding apparent discharge of four kinds of typical artificial defect models are plotted. UHF cumulative energy and its corresponding apparent discharge are used as inputs. The support vector machine (SVM) incremental method is constructed. Examples show that the PD SVM incremental method based on simulated annealing (SA) effectively speeds up the data update rate and improves the adaptability of the classifier compared with the original method, in that the total sample is constituted by the old and new data. The PD SVM incremental method is a better pattern recognition technology for PD on-line monitoring.