• 제목/요약/키워드: Incremental Processing

검색결과 210건 처리시간 0.041초

데이터 재사용을 고려한 그래프 스트림의 점진적 처리 기법 (Incremental Processing Scheme for Graph Streams Considering Data Reuse)

  • 조중권;한진수;김민수;최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제18권1호
    • /
    • pp.465-475
    • /
    • 2018
  • 최근 소셜 미디어, IoT 등에 대한 활용이 증가됨에 따라 대용량의 그래프 스트림이 생성되고 있으며 그래프 스트림을 실시간으로 처리하기 위한 많은 연구들이 진행되고 있다. 본 논문에서는 그래프가 지속적으로 변경될 때 이전 결과 데이터를 재사용하는 점진적인 그래프 스트림 처리 기법을 제안한다. 또한, 점진적 처리와 정적인 처리를 선택적으로 수행하기 위한 비용 모델을 제안한다. 제안하는 비용 모델은 실제 처리된 이력을 바탕으로 재계산 영역의 탐색 비용 및 처리 비용의 예측 값을 계산하여 점진적 처리가 정적인 처리보다 이득인 경우 점진적 처리를 수행한다. 제안하는 점진적 처리는 그래프 갱신이 발생하면 변경되는 부분만을 처리하여 효율성을 증가시킨다. 또한, 변경되는 부분의 이전 결과 데이터만을 수집하여 점진적인 처리를 수행함으로써 디스크 I/O 비용을 감소시킨다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법에 비해 성능이 우수함을 보인다.

Fast Incremental Checkpoint Based on Page-Level Rewrite Interval Prediction

  • Huang, Yulei
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.859-869
    • /
    • 2020
  • This paper introduces page-level rewrite interval prediction (PRWIP). By recording and analyzing the memory access history at page-level, we are able to predict the future memory accesses to any pages. Leveraging this information, this paper proposes a faster incremental checkpoint design by overlapping checkpoint phase with computing phase and thus achieves higher performance. Experimental results show that our new incremental checkpoint design can achieve averagely 22% speedup over traditional incremental checkpoint and 14% over the previous state-of-the-art work.

모바일게임에 적용 가능한 비정형 Big Data 처리를 위한 Incremental MapReduce (Incremental MapReduce of atypical Big Data Processing in Mobile Game)

  • 박성준;김정웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.301-304
    • /
    • 2014
  • 비정형 게임 Big Data에서 고효율 정보를 추출하고, 신뢰 할 수 있는 클러스터 게임서버 환경을 위한 병렬 처리를 위해 MapReduce를 사용한다. 본 논문에서는 빈번하게 입력되는 신규 게임데이터 처리를 위해 함수 Demap을 사용하는 Incremental MapReduce를 적용하여 불필요한 중간 값 저장과 재계산 없이 점차적으로 MapReduce 함수를 실행한다.

Incremental Forming 기술을 적용한 Damper Case 생산 기술 개발에 관한 연구 (The Study for Development of Damper Case Production Technique using Incremental Forming)

  • 박정호;이태원;정영덕
    • 한국기계가공학회지
    • /
    • 제10권5호
    • /
    • pp.72-78
    • /
    • 2011
  • Currently, for the damper case, the material produced by cast/forge welding is mechanically processed and then the final product is mass-produced. By cutting the cast/forge welded material, the issues of excessive cutting time, multiple process production, and a large amount of chips (40% loss from the original material) arise, causing increased production cost and reduced profitability. Thus, in this study, the incremental forming technology which generates no chips was applied in production. Analysis was excuted for 1st and 2nd works by change of tool diameter and working tool. For this, 3D molding and analysis were executed, which was applied to the processing the result, successful processing could be achieved through a few trials of molding processing according to tool forming and rotation counts.

멀티태스킹에 의한 병행 점진 평가 방법 (A Concurrent Incremental Evaluation Technique Using Multitasking)

  • 한정란
    • 정보처리학회논문지A
    • /
    • 제17A권2호
    • /
    • pp.73-80
    • /
    • 2010
  • 하드웨어의 성능이 향상됨에 따라 멀티태스킹 방식으로 병행 처리하는 연구가 다양하게 진행되고 있다. 프로그램 개발 단계에서 프로그램을 수정할 경우, 전체 프로그램을 다시 평가하는 대신 수정한 부분과 그 부분에 영향 받는 부분만을 다시 평가하는 방법이 점진 평가인데, 여러 프로세서에서 병렬로 처리하는 대신 자바언어의 멀티쓰레딩 기능을 활용하여 점진 평가의 효율성을 증대시키는 연구가 필요하다. 본 논문에서는 의미 구조에 직접적으로 영향을 주는 변수의 값을 나타내는 속성을 중심으로 종속성을 표시하여 객체 지향언어인 자바 언어에서 병행 점진 평가를 동시에 효율적으로 수행할 수 있는 병행 점진 평가 알고리즘을 제시하고 그 알고리즘의 정확성을 증명한다. 실험을 통해 병행 점진 평가 방법의 효율성을 분석한다.

IMTAR: Incremental Mining of General Temporal Association Rules

  • Dafa-Alla, Anour F.A.;Shon, Ho-Sun;Saeed, Khalid E.K.;Piao, Minghao;Yun, Un-Il;Cheoi, Kyung-Joo;Ryu, Keun-Ho
    • Journal of Information Processing Systems
    • /
    • 제6권2호
    • /
    • pp.163-176
    • /
    • 2010
  • Nowadays due to the rapid advances in the field of information systems, transactional databases are being updated regularly and/or periodically. The knowledge discovered from these databases has to be maintained, and an incremental updating technique needs to be developed for maintaining the discovered association rules from these databases. The concept of Temporal Association Rules has been introduced to solve the problem of handling time series by including time expressions into association rules. In this paper we introduce a novel algorithm for Incremental Mining of General Temporal Association Rules (IMTAR) using an extended TFP-tree. The main benefits introduced by our algorithm are that it offers significant advantages in terms of storage and running time and it can handle the problem of mining general temporal association rules in incremental databases by building TFP-trees incrementally. It can be utilized and applied to real life application domains. We demonstrate our algorithm and its advantages in this paper.

증분형 K-means 클러스터링 기반 방사형 기저함수 신경회로망 모델 설계 (Design of Incremental K-means Clustering-based Radial Basis Function Neural Networks Model)

  • 박상범;이승철;오성권
    • 전기학회논문지
    • /
    • 제66권5호
    • /
    • pp.833-842
    • /
    • 2017
  • In this study, the design methodology of radial basis function neural networks based on incremental K-means clustering is introduced for learning and processing the big data. If there is a lot of dataset to be trained, general clustering may not learn dataset due to the lack of memory capacity. However, the on-line processing of big data could be effectively realized through the parameters operation of recursive least square estimation as well as the sequential operation of incremental clustering algorithm. Radial basis function neural networks consist of condition part, conclusion part and aggregation part. In the condition part, incremental K-means clustering algorithms is used tweights of the conclusion part are given as linear function and parameters are calculated using recursive least squareo get the center points of data and find the fitness using gaussian function as the activation function. Connection s estimation. In the aggregation part, a final output is obtained by center of gravity method. Using machine learning data, performance index are shown and compared with other models. Also, the performance of the incremental K-means clustering based-RBFNNs is carried out by using PSO. This study demonstrates that the proposed model shows the superiority of algorithmic design from the viewpoint of on-line processing for big data.

빅 데이터 처리를 위한 증분형 FCM 기반 순환 RBF Neural Networks 패턴 분류기 설계 (Design of Incremental FCM-based Recursive RBF Neural Networks Pattern Classifier for Big Data Processing)

  • 이승철;오성권
    • 전기학회논문지
    • /
    • 제65권6호
    • /
    • pp.1070-1079
    • /
    • 2016
  • In this paper, the design of recursive radial basis function neural networks based on incremental fuzzy c-means is introduced for processing the big data. Radial basis function neural networks consist of condition, conclusion and inference phase. Gaussian function is generally used as the activation function of the condition phase, but in this study, incremental fuzzy clustering is considered for the activation function of radial basis function neural networks, which could effectively do big data processing. In the conclusion phase, the connection weights of networks are given as the linear function. And then the connection weights are calculated by recursive least square estimation. In the inference phase, a final output is obtained by fuzzy inference method. Machine Learning datasets are employed to demonstrate the superiority of the proposed classifier, and their results are described from the viewpoint of the algorithm complexity and performance index.

시스템 크기와 복잡도를 고려한 누적 노력 기반의 소프트웨어 성장 모델 (A Cumulative Incremental Effort Based Software Growth Model Considering System Size and Complexity)

  • 박중양;김성희;박재흥
    • 한국정보처리학회논문지
    • /
    • 제6권1호
    • /
    • pp.90-95
    • /
    • 1999
  • 소프트웨어 시스템이 양도된 이후에 시스템의 크기가 성장하는 과정을 나타내는 수학적 모델인 소프트웨어 성장 모델은 시스템의 크기와 계획된 크기를 달성하기 위해 요구되는 노력을 예측하는데 사용될 수 있다. 본 논문은 먼저 시스템의 크기 변화량이 추가되는 노력에 비례하고 시스템의 복잡도에 반비례한다는 가정하에서 소프트웨어 성장 모델을 유도한다. 이 모델에서는 시스템의 복잡도가 중요한 역할을 하는데, 본 논문에서는 시스템 크기의 멱함수 형태인 복잡도를 제안하고 실제 자료에 적용하여, 그 유용성을 보인다. 멱함수 형태의 시스템 복잡도는 추가로 복잡도 비교할 수 있게 하는 측도를 제공하는데, 이 측도는 시스템 크기에 무관하므로 크기가 다른 소프트웨어 시스템의 복잡도를 비교하는데 유용하게 사용될 수 있다.

  • PDF

Incremental Fuzzy Clustering Based on a Fuzzy Scatter Matrix

  • Liu, Yongli;Wang, Hengda;Duan, Tianyi;Chen, Jingli;Chao, Hao
    • Journal of Information Processing Systems
    • /
    • 제15권2호
    • /
    • pp.359-373
    • /
    • 2019
  • For clustering large-scale data, which cannot be loaded into memory entirely, incremental clustering algorithms are very popular. Usually, these algorithms only concern the within-cluster compactness and ignore the between-cluster separation. In this paper, we propose two incremental fuzzy compactness and separation (FCS) clustering algorithms, Single-Pass FCS (SPFCS) and Online FCS (OFCS), based on a fuzzy scatter matrix. Firstly, we introduce two incremental clustering methods called single-pass and online fuzzy C-means algorithms. Then, we combine these two methods separately with the weighted fuzzy C-means algorithm, so that they can be applied to the FCS algorithm. Afterwards, we optimize the within-cluster matrix and betweencluster matrix simultaneously to obtain the minimum within-cluster distance and maximum between-cluster distance. Finally, large-scale datasets can be well clustered within limited memory. We implemented experiments on some artificial datasets and real datasets separately. And experimental results show that, compared with SPFCM and OFCM, our SPFCS and OFCS are more robust to the value of fuzzy index m and noise.