• Journal of Computing Science and Engineering
• /
• 제5권2호
• /
• pp.111-120
• /
• 2011

Data mining algorithms should exploit new hardware technologies to accelerate computations. Such goal is difficult to achieve in database management system (DBMS) due to its complex internal subsystems and because data mining numeric computations of large data sets are difficult to optimize. This paper explores taking advantage of existing multithreaded capabilities of multicore CPUs as well as caching in RAM memory to efficiently compute summaries of a large data set, a fundamental data mining problem. We introduce parallel algorithms working on multiple threads, which overcome the row aggregation processing bottleneck of accessing secondary storage, while maintaining linear time complexity with respect to data set size. Our proposal is based on a combination of table scans and parallel multithreaded processing among multiple cores in the CPU. We introduce several database-style and hardware-level optimizations: caching row blocks of the input table, managing available RAM memory, interleaving I/O and CPU processing, as well as tuning the number of working threads. We experimentally benchmark our algorithms with large data sets on a DBMS running on a computer with a multicore CPU. We show that our algorithms outperform existing DBMS mechanisms in computing aggregations of multidimensional data summaries, especially as dimensionality grows. Furthermore, we show that local memory allocation (RAM block size) does not have a significant impact when the thread management algorithm distributes the workload among a fixed number of threads. Our proposal is unique in the sense that we do not modify or require access to the DBMS source code, but instead, we extend the DBMS with analytic functionality by developing User-Defined Functions.

• 인터넷정보학회논문지
• /
• 제12권4호
• /
• pp.157-172
• /
• 2011

최근 분산 OLAP은 분산 환경에 적용하기 위하여 DHT기반의 P2P OLAP과 그리드 OLAP연구가 활발하게 진행되고 있다. 그러나 클라우드 컴퓨팅 환경에 적용하기 위하여 P2P OLAP은 structured P2P 특성 때문에 다차원 범위 질의에 문제점이 있고, Grid OLAP은 인접성 및 시계열 고려가 없기 때문에 쿼리 자체의 서브 �V 조회 알고리즘 연구에 치중되어 있다. 따라서 본 논문은 클라우드 컴퓨팅에 적합한 환경 제공을 위해 사용자의 조회 결과가 시계열적 특성으로 여러 사용자에 의해 재사용이 가능하고, 서버상의 휘발성 조회 큐브가 사용자 로컬 메모리에서 직접 분석 질의 시 효율이 좋다는 것에 초점을 두어 중앙관리 P2P방식을 제안하였다. 또한 빠른 질의 결과 및 다차원 범위질의를 위한 다단계 Hybrid P2P방식에 인덱스 부하 분산 및 성능 향상을 위한 클라우드 시스템을 접목하여 Cloud P2P OLAP을 제안하였다. 이를 위한 인덱스 구조로는 큐브 위상관계 트리와 인접성 2차원 Quadtree에, 시계열 Interval-트리를 접목하였으며, 이는 조회나 갱신 시에 일반 OLAP에 비해 큰 효율성을 보였다.