• 제목/요약/키워드: Data Partitioning

검색결과 387건 처리시간 0.027초

공간 질의 최적화를 위한 힐버트 공간 순서화에 따른 공간 분할 (Spatial Partitioning using filbert Space Filling Curve for Spatial Query Optimization)

  • 황환규;김현국
    • 정보처리학회논문지D
    • /
    • 제11D권1호
    • /
    • pp.23-30
    • /
    • 2004
  • 공간 질의 크기에 대한 근사치를 구하기 위해서는 입력 데이터 공간을 분할한 후 분할된 영역에 대하여 질의 결과 크기를 추정한다. 본 논문에서는 데이터 편재가 심한 공간 데이터에 대한 질의 크기 추정의 문제를 논의한다. 공간을 분할하는 기법으로 관계 데이터베이스에서 많이 사용되는 너비 균등, 높이 균등 히스토그램에 해당되는 면적 균등, 개수 균등 분할에 대한 방법을 검토하고 공간 인덱싱에 기초한 공간 분할방법에 대해서 알아본다. 본 논문에서는 공간 순서화 기법인 힐버트 공간 채움 곡선을 이용한 공간 분할을 제안한다. 제안한 방법과 기존의 방법을 실제 데이터와 인위 데이터를 사용하여 편재된 공간 데이터에 대한 질의 결과 크기의 추정에 대한 정확도를 비교한다. 본 실험에서 힐버트 채움 곡선에 의한 공간 분할이 공간 질의 크기 버켓 수의 변화, 데이터 위치 편재도의 변화, 데이터 크기의 변화에 대해서 기존의 분할 방법보다 질의 결과 크기 추정에 대해서 우수한 성능을 보였다.

비디오의 에러내성 전송을 위한 DCT 계수의 새로운 분할 기법 (A New Data Partitioning of DCT Coefficients for Error-resilient Transmission of Video)

  • 노규찬;김재균
    • 대한전자공학회논문지SP
    • /
    • 제39권6호
    • /
    • pp.585-590
    • /
    • 2002
  • 이동 보상 예측과 DCT 기법을 이용하는 비디오 부호화에서 전형적인 데이터 분할 (data partitioning) 기법은 움직임 정보와 매크로블록 헤더를 texture 정보와 분리시키는 것이다. 이 방식은 에러가 있는 환경에서 비디오의 전송에 효율적이다. 그러나, 화면내 부호화 프레임 (Intra frame)의 경우에는 따로 분리시킬 움직임 정보가 없기 때문에 DCT 계수의 손실은 치명적이다. 그리고 화면간 부호화 프레임 (Inter frame)의 경우에도 DCT 계수 부분에 에러가 발생하면, 패킷 내의 모든 DCT 계수를 버리게 되므로 이로 인한 화질 저하가 발생한다. 본 논문에서는 비디오의 에러내성(error-resilient) 전송을 위한 DCT 계수의 효율적인 분할 기법과 부호화 기법을 제안한다. 양자화된 DCT 계수는 짝수-근사(even-value approximation) 부분과 그 나머지 부분으로 분리된다. 모의실험을 통해 제안 방식이 기존의 기법에 비해 우선순위 (선순위) 분할 데이터 부분에서 더 좋은 화질을 제공하고, 에러환경에서도 에러에 더 강인한 성능을 나타냄을 보였다

이종 환경에서 대용량 RDF 데이터를 위한 동적 분할 기법 (Dynamic Partitioning Scheme for Large RDF Data in Heterogeneous Environments)

  • 김민수;임종태;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권10호
    • /
    • pp.605-610
    • /
    • 2017
  • 분산 환경에서 특정 서버에 발생한 부하 또는 서버 간의 통신으로 발생한 부하를 해결하기 위한 동적 분할이 필요하다. 이종 환경에서 기존 동적 분할 기법은 물리적 성능이 작은 서버에도 동일한 부하를 분배하므로 질의 응답시간이 늦어지는 문제가 발생한다. 본 논문에서는 이종 환경에서 대용량 RDF 데이터를 위한 동적 분할 기법을 제안한다. 제안하는 기법은 부하 분산을 위해 질의 빈도수와 질의에 사용된 정점 수를 가지고 질의 부하를 계산한다. 또한, 이종 환경에서 물리적 성능이 작은 서버에 적은 부하를 할당하기 위하여 서버들의 물리적 성능을 고려한 서버 부하를 계산한다. 부하 분산 시 서버 간의 통신량을 줄이기 위해 간선 절단 수가 최소가 되도록 동적 분할을 수행한다. 성능 평가를 통해 제안하는 동적 분할 기법이 기존 동적 분할 기법에 비해 우수함을 입증한다.

데이터베이스 설계에서 SOFM 을 이용한 화일 수직분할 방법 (A Vertical File Partitioning Method Using SOFM in Database Design)

  • 신광호;김재련
    • 대한산업공학회지
    • /
    • 제24권4호
    • /
    • pp.661-671
    • /
    • 1998
  • It is important to minimize the number of disk accesses which is necessary to transfer data in disk into main memory when processing transactions in physical database design. A vertical file partitioning method is used to reduce the number of disk accesses by partitioning relations vertically and accessing only necessay fragments. In this paper, SOFM(Self-Organizing Feature Maps) network is used to solve vertical partitioning problems. This paper shows that SOFM network is efficient in solving vertical partitioning problem by comparing approximate solution of SOFM network with optimal solution of N-ary branch and bound method. And this paper presents a heuristic algorithm for allocating duplicate attributes to vertically partitioned fragments. As branch and bound method requires particularly much computing time to solve large-sized problems, it is shown that SOFM network is able to overcome this limitation of branch and bound method and solve large-sized problems efficiently in a short time.

  • PDF

Speaker Change Detection Based on a Graph-Partitioning Criterion

  • Seo, Jin-Soo
    • 한국음향학회지
    • /
    • 제30권2호
    • /
    • pp.80-85
    • /
    • 2011
  • Speaker change detection involves the identification of time indices of an audio stream, where the identity of the speaker changes. In this paper, we propose novel measures for the speaker change detection based on a graph-partitioning criterion over the pairwise distance matrix of feature-vector stream. Experiments on both synthetic and real-world data were performed and showed that the proposed approach yield promising results compared with the conventional statistical measures.

CPU-GPU2 Trigeneous Computing for Iterative Reconstruction in Computed Tomography

  • Oh, Chanyoung;Yi, Youngmin
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제5권4호
    • /
    • pp.294-301
    • /
    • 2016
  • In this paper, we present methods to efficiently parallelize iterative 3D image reconstruction by exploiting trigeneous devices (three different types of device) at the same time: a CPU, an integrated GPU, and a discrete GPU. We first present a technique that exploits single instruction multiple data (SIMD) architectures in GPUs. Then, we propose a performance estimation model, based on which we can easily find the optimal data partitioning on trigeneous devices. We found that the performance significantly varies by up to 6.23 times, depending on how SIMD units in GPUs are accessed. Then, by using trigeneous devices and the proposed estimation models, we achieve optimal partitioning and throughput, which corresponds to a 9.4% further improvement, compared to discrete GPU-only execution.

MLPPI Wizard: An Automated Multi-level Partitioning Tool on Analytical Workloads

  • Suh, Young-Kyoon;Crolotte, Alain;Kostamaa, Pekka
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권4호
    • /
    • pp.1693-1713
    • /
    • 2018
  • An important technique used by database administrators (DBAs) is to improve performance in decision-support workloads associated with a Star schema is multi-level partitioning. Queries will then benefit from performance improvements via partition elimination, due to constraints on queries expressed on the dimension tables. As the task of multi-level partitioning can be overwhelming for a DBA we are proposing a wizard that facilitates the task by calculating a partitioning scheme for a particular workload. The system resides completely on a client and interacts with the costing estimation subsystem of the query optimizer via an API over the network, thereby eliminating any need to make changes to the optimizer. In addition, since only cost estimates are needed the wizard overhead is very low. By using a greedy algorithm for search space enumeration over the query predicates in the workload the wizard is efficient with worst-case polynomial complexity. The technology proposed can be applied to any clustering or partitioning scheme in any database management system that provides an interface to the query optimizer. Applied to the Teradata database the technology provides recommendations that outperform a human expert's solution as measured by the total execution time of the workload. We also demonstrate the scalability of our approach when the fact table (and workload) size increases.

주기적 편중 분할에 의한 다차원 데이터 디클러스터링 (Declustering of High-dimensional Data by Cyclic Sliced Partitioning)

  • 김학철;김태완;이기준
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권6호
    • /
    • pp.596-608
    • /
    • 2004
  • 디스크 입출력 성능에 의해서 많은 영향을 받는 대용량의 데이타를 저장하고 처리하는 시스템에서 데이타를 다수의 병렬 디스크에 분산 시켜 저장한 후 질의 처리 시 디스크 접근 시간을 감소시키기 위한 노력들이 많이 행해졌다. 대부분의 이전 연구들은 데이타 공간이 정형의 그리드 형태로 분할되어 있다는 가정 하에 각 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 연구에 치중하였다. 하지만, 그리드 형태의 분할은 저차원 데이타에 대해서는 효과적이지만 고차원 데이타에 대해서는 우수한 디스크 할당 알고리즘을 적용하더라도 디클러스터링에 의한 성능 향상을 이룰 수가 없다. 그 이유는 그리드 분할 방법은 데이타 분포 비율에 관계없이 전체 데이타 공간을 동일한 비율로 분할하기 때문이다. 고차원 데이타는 대부분 데이타 공간의 표면에 존재한다. 본 논문에서는 이와 같은 현상을 고려하여 데이타 표면으로부터 주기적으로 편중 분할하는 알고리즘을 이용한 새로운 디클러스터링 알고리즘을 제시한다. 다양한 실험 결과에 의하면 표면으로부터 주기적으로 편중 분할하는 방법은 차원이 증가할 수록, 또한 질의 크기가 증가할 수록 그리드 형태의 분할에 비해서 질의를 만족하는 데이타 블록의 수를 현저히 감소시킬 수 있다. 본 논문에서는 분할 결과 데이타 블록들의 배치(layout)를 이용한 디스크 번호 할당 알고리즘들을 제시하였다. 우리는 제시한 알고리즘의 성능을 보이기 위해서 다양한 차원과 디스크 수에 대해서 여러 가지 실험을 하였다. 본 연구에서 제시한 디스크 할당 알고리즘은 절대 최적의 디스크 할당 방법에 비해서 추가적인 디스크 접근 횟수가 10번을 넘지 않는다. 디클러스터링 알고리즘의 응답 시간에 대해서 그리드 분할에 대해서 가장 좋은 성능을 보이는 것으로 알려져 있는 Kronecker sequence을 이용한 디스크 할당 알고리즘과 비교하였으며 차원이 높아짐에 따라 최대 14배까지 성능이 향상된다.

K-평균 군집화의 재현성 평가 및 응용 (Reproducibility Assessment of K-Means Clustering and Applications)

  • 허명회;이용구
    • 응용통계연구
    • /
    • 제17권1호
    • /
    • pp.135-144
    • /
    • 2004
  • K-평균 군집화(K-means clustering)는 고객 세분화(customer segmentation) 등 데이터 마이닝에서 중요한 한 몫을 하는 비지도 학습방법 (unsupervised learning method)이다. K-평균 군집화가 재현성(reproducibility)이 있는가를 보기 위하여, 다수의 기존 연구에서는 관측 자료를 2개 셋으로 나눈 자료 분할(data partitioning) 방법이 활용되고 있다. 본 교신에서 우리는 이보다 개념적으로 명확한 새로운 자료 분할 방법을 제안한다. 이 방법은 관측 자료를 3개 셋으로 나누어 그 중 2개 자료 셋을 독립적인 군집화 규칙을 생성하는 데 사용하고 나머지 1개의 자료 셋을 규칙간 일치성을 테스트하는데 사용한다. 또한 2개의 군집화 규칙간 일치성 평가를 위한 지표로서 엔트로피 기준의 환용 방법을 제시한다.

관계형 데이터 베이스 설계에서 분지한계법을 이용한 수직분할문제 (Branch-and-bound method for solving vertical partitioning problems in the design of the relational database)

  • 윤병익;김재련
    • 산업경영시스템학회지
    • /
    • 제19권37호
    • /
    • pp.241-249
    • /
    • 1996
  • In this paper, a 0-1 integer programming model for solving vertical partitioning problem minimizing the number of disk accesses is formulated and a branch-and-bound method is used to solve the binary vertical partitioning problem. In relational databases, the number of disk accesses depends on the amount of data transferred from disk to main memory for processing the transactions. Vertical partitioning of the relation can often result in a decrease in the number of disk accesses, since not all attributes in a tuple are required by each transactions. The algorithm is illustrated with numerical examples and is shown to be computationally efficient. Numerical experiments reveal that the proposed method is more effective in reducing access costs than the existing algorithms.

  • PDF