• 제목/요약/키워드: data partitioning

검색결과 387건 처리시간 0.024초

XML 데이타 색인을 위한 경로 분할 기법 (A Path Partitioning Technique for Indexing XML Data)

  • 김종익;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권3호
    • /
    • pp.320-330
    • /
    • 2004
  • XML에 대한 질의 언어는 데이타 그래프 내의 경로를 이용하여 질의를 표현한다. 특히, 경로에 패턴 (예를 들어, 정규식)을 사용함으로써, 데이타의 구조를 정확히 알지 못하더라도 질의가 가능하도록 한다. 이때, 패턴을 이용하는 질의는 데이타 그래프의 탐색범위를 크게 넓히게 된다. 기존의 XML색인 기법은 질의의 탐색범위를 줄이기 위해 데이타 그래프 내의 서로 동일한 경로들을 하나로 묶어 작은 크기의 색인 그래프를 생성하는 방법을 이용한다. 하지만 이러한 색인들은 많은 경우 색인의 크기가 데이터 그래프의 크기만큼 증가하게 되어 질의의 탐색범위를 줄이지 못하고, 따라서 효율적인 질의 처리를 보장하지 못한다. 본 논문에서는 데이타 내에 존재하는 모든 경로를 분할(partitioning)하고 질의 처리 시 질의에 맞는 분할 영역을 빠르게 찾아낼 수 있는 색인 그래프를 제안한다. 본 논문에서 제안하는 색인 그래프는 데이터 그래프의 크기와 상관없이 색인 그래프의 크기를 조절할 수 있다. 따라서 색인 그래프의 크기를 작게 구성함으로써 색인 그래프 탐색 비용을 크게 줄일 수 있다. 본 논문에서는, 실험을 통해 기존의 그래프 기반색인 기법들보다 본 논문의 색인 기법이 보다 효율적임을 보이고 색인의 크기 변화에 따른 성능 변화에 대해 알아본다.

데이터 샘플링 기반 프루닝 기법을 도입한 효율적인 각도 기반 공간 분할 병렬 스카이라인 질의 처리 기법 (An Efficient Angular Space Partitioning Based Skyline Query Processing Using Sampling-Based Pruning)

  • 최우성;김민석;;정재화;정순영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 다기준 의사결정 시 활용할 수 있는 스카이라인 질의는 다수의 선택지 중에서 사용자가 '선호하지 않을 만한'(uninteresting) 선택지를 제거함으로써 사용자가 검토해야 하는 선택지의 수를 대폭 감소시키기 때문에 대용량 데이터 분석 시 매우 유용하게 활용될 수 있다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행되어 왔다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 데이터 샘플링 기반 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 소개한다. 또한 다양한 관점에서의 실험 평가함으로써 제안 기법의 효용성을 다방면으로 검증했다.

융통성 있는 스레드 분할 시스템 설계와 평가 (Design and Evaluation of Flexible Thread Partitioning System)

  • 조선문
    • 인터넷정보학회논문지
    • /
    • 제8권3호
    • /
    • pp.75-83
    • /
    • 2007
  • 다중스레드 모델은 긴 메모리 참조 지체 시간과 동기화의 문제점을 해결할 수 있다는 점에서 대규모 병렬 시스템에 매우 효과적이다. 다중스레드 병렬기계를 위하여 Non-Strict 함수 프로그램을 번역할 때 가장 중요한 것은 순차적으로 수행될 수 있는 부분을 찾아내어 스레드로 분할하는 것이다. 기존의 분할 알고리즘은 조건식의 판단식, 참실행식, 거짓실행식을 기본 블록으로 나누고 각각에 대하여 지역 분할을 적용한다. 이러한 제약은 스레드의 정의를 약간 수정하여 스레드 내에서의 분기를 허용한다면 좀더 좋은 분할을 얻을 수 있다. 스레드 내에서의 분기는 병렬성을 감소시키거나 동기화의 횟수를 증가 시키거나 또는 교착상태를 발생시키는 등 스레드 분할의 기본 원칙을 어기지 않으며 오히려 스레드 길이를 증가시키거나 동기화 횟수를 줄이는 장점을 가질 수 있다. 본 논문에서는 조건식의 세 가지 기본 블록을 하나 또는 두 개의 기본 블록으로 병합함으로서 스레드 분할을 향상시키는 방법을 제안한다.

  • PDF

H.264/AVC를 위한 UEP Turbo Encoder (UEP Turbo Encoder for H.264/AVC)

  • 김준;김영섭;박인호
    • 반도체디스플레이기술학회지
    • /
    • 제14권1호
    • /
    • pp.51-53
    • /
    • 2015
  • H.264/AVC is international video coding standard, which shows improved code and efficiency than the existing video standards. H.264/AVC proposes data partitioning method that considerably to be an effective layering technique which separates important addressing data from the residual data. UEP(Unequal Error Protection) turbo code of H.264/AVC uses retransmission system to get the UEP effectively. However, Data partitioning system of H.264/AVC is inefficient method in turbo code of H.264/AVC. Based on this observation, we propose the new UEP turbo code algorithm that reconstructs input sequence of turbo code without retransmission system.

2차원 DWT/IDWT의 블록 데이터 플로우 구조 설계 (Design of a Block Data Flow Architecture for 2-D DWT/IDWT)

  • 정갑천;강준우
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1998년도 추계종합학술대회 논문집
    • /
    • pp.1157-1160
    • /
    • 1998
  • This paper describes the design of a block data flow architecture(BDFA) which implements 2-D discrete wavelet transform(DWT)/inverse discrete wavelet transform(IDWT) for real time image processing applications. The BDFA uses 2-D product separable filters for DWT/IDWT. It consists of an input module, a processor array, and an output module. It use both data partitioning and algorithm partitioning to achieve high efficiency and high throughput. The 2-D DWT/IDWT algorithm for 256$\times$256 lenna image has been simulated using IDL(Interactive Data Language). The 2-D array structured BDFA for the 2-D filter has been modeled and simulated using VHDL.

  • PDF

삼차원 모델의 점진적인 렌더링과 오류 강인을 위한 효율적인 데이터 분할 방법 (CODAP) (Data Partitioning for Error Resilience and Incremental Rendering of 3D Model)

  • 송문섭;안정환;김성진;한만진;호요성
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1999년도 추계종합학술대회 논문집
    • /
    • pp.1089-1092
    • /
    • 1999
  • Applications using 3D models are increasing recently. Since 3D polygonal models are structured by a triangular mesh, the coding of polygonal models in strips of triangles is an efficient way of representing the data. These strips may be very long, and may take a long time to render or transmit. If the triangle strips are partitioned, it may be possible to perform more efficient data transmission in an error-prone environment and to display the 3D model progressively. In this paper, we devised the Component Based Data Partitioning (CODAP) which is based on Topological Surgery (TS). In order to support the error resilience and the progressively build-up rendering, we partition the connectivity, geometry, and properties of a 3D polygonal model. Each partitioned component is independently encoded and resynchronization between partitioned components is done.

  • PDF

차원간 연관관계와 하이퍼그래프 분할법을 이용한 범주형 속성을 가진 데이터의 클러스터링 (Clustering Data with Categorical Attributes Using Inter-dimensional Association Rules and Hypergraph Partitioning)

  • 이성기;윤덕균
    • 산업경영시스템학회지
    • /
    • 제24권65호
    • /
    • pp.41-50
    • /
    • 2001
  • Clustering in data mining is a discovery process that groups a set of data such that the intracluster similarity is maximized and intercluster similarity is minimized. The discovered clusters from clustering process are used to explain the characteristics of the data distribution. In this paper we propose a new methodology for clustering related transactions with categorical attributes. Our approach starts with transforming general relational databases into a transactional databases. We make use of inter-dimensional association rules for composing hypergraph edges, and a hypergraph partitioning algorithm for clustering the values of attributes. The clusters of the values of attributes are used to find the clusters of transactions. The suggested procedure can enhance the interpretation of resulting clusters with allocated attribute values.

  • PDF

Deriving ratings from a private P2P collaborative scheme

  • Okkalioglu, Murat;Kaleli, Cihan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권9호
    • /
    • pp.4463-4483
    • /
    • 2019
  • Privacy-preserving collaborative filtering schemes take privacy concerns into its primary consideration without neglecting the prediction accuracy. Different schemes are proposed that are built upon different data partitioning scenarios such as a central server, two-, multi-party or peer-to-peer network. These data partitioning scenarios have been investigated in terms of claimed privacy promises, recently. However, to the best of our knowledge, any peer-to-peer privacy-preserving scheme lacks such study that scrutinizes privacy promises. In this paper, we apply three different attack techniques by utilizing auxiliary information to derive private ratings of peers and conduct experiments by varying privacy protection parameters to evaluate to what extent peers' data can be reconstructed.

식품용 포장제와 인쇄 용제의 안정성에 관한 연구 (Reviews About food Safety on Packaging Materials and Printing Ink Solvent)

  • 안덕준;김연욱;박훈
    • 한국포장학회지
    • /
    • 제12권2호
    • /
    • pp.91-96
    • /
    • 2006
  • The widespread use of packaging materials on food packages sometimes causes off-flavor and deterioration in the food by migration of packaging materials which consist of mainly plastic materials and printing ink solvents. Even though migration of the residual packaging materials does not generally cause safety problems in the contained food, it certainly can generate off-flavor and finally deteriorate quality of the finished product. In highly consumer-oriented markets, quality of the finished product is gaining more importance economically, so profound and thorough study about migration into food to maintain the fine quality of the end product becomes an importance issue. Studies have been conducted about migration of various packaging materials and the chemical reactions between the food components and the materials used for food packaging (Brody, 1989; Mcneal and Breder, 1987; Lawson, G and Lawson, C, 1996). Several of these studies have measured partition coefficient values (Kp) between packaging materials and various food samples and involved finding factors that affected the partitioning behavior of packaging materials into the contained food. However, to enable prediction of partitioning, data are still needed on the relation of packaging material chemical structure and properties to partitioning behavior, and on the partitioning behavior of various food ingredients and the total food compositions.

  • PDF

집합분할모형을 이용한 운항승무원의 승무경로 일정계획 (Cockpit Crew Scheduling using Set Partitioning Problem)

  • 김국연;이영훈
    • 경영과학
    • /
    • 제21권1호
    • /
    • pp.39-55
    • /
    • 2004
  • Efficient crew scheduling for cockpit crew is important in airline industry due to operational safety and cost associated with the flight duty time. Because of complexity of regulations imposed to the cockpit crew. it is complicated to generate an efficient schedule. Schedule of cockpit crew can be generated through two steps; selecting of flight patterns. and scheduling of them to the specific time horizon. Heuristic method is developed and applied with massive data in a limited time of computation. A set of flight patterns is selected from all possible flight patterns. which are generated by composing the flight leg based on regulations. by using the set partitioning problem with objective function of oversea stay cost. The selected set of flight patterns found at the first step is allocated to 4 week crew schedule to minimize the variance of total fight time assigned to each crew. The crew schedules obtained are evaluated and compared with the ones currently used in one of major airline company.