• Title/Summary/Keyword: 질의처리 알고리즘

Search Result 416, Processing Time 0.025 seconds

Materialized View Selection for Datacube using Simplified Lattice in Datawarehouse (데이터웨어하우스에서 단순화된 격자를 이용한 데이터큐크의 실체뷰 선택)

  • Jang, Ji-Suk;Seo, Eun-Ju;Lee, Jeon-Yeong
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.5
    • /
    • pp.604-612
    • /
    • 1999
  • 데이터웨어하우스는 데이터분석을 위한 특수 목적의 데이터베이스로, 주로 데이터분석을 위한 질의(이하 OLAP 질의)가 던져진다. 그런데 OLAP질의는 수백만개의 레코드를 가지 테이블에 대해 하나 이상의 aggregation 함수와 group-by 연산자가 포함되므로, 질의 처리 시간은 수 분에서 수 시간이 걸린다. 이를 개선하기위하여 데이터 큐브를 구현함에 있어서의 문제는 디스크 공간이 한정되어 있기 때문에 평균 질의 처리 시간이 훨씬 짧아진다하더라도 모든 셀들을 실체화할수 없다. 따라서 한정된 디스크 공간을 최대한 활용하면서 가능한 빠른 평균 질의 처리 시간을 얻을 수 있도록 데이터 큐브의 일부만을 실체화 시켜야한다. 본 논문의 주제와 관련된 연구로는 Harinarayan[4] 이 제안한 greedy 알고리즘이 있다. 이 알고리즘은 1) 데이터 큐브를 격자구조로 표현한후, 2) 격자의 위에서부터 아래로 차례로 뷰들을 방문하면서 방문한 뷰가 실체화되 경우 데이터 큐브에 주는 이익을 계산한다. 3) 그 중 가장 이익이 큰 것을 선택한다. 3) 그중 가장 이익이 큰 것을 선택한다. 2)와 3)의 과정은 k개의 뷰를 선택할 경우, k번 반복된다. 이 알고리즘의 운영 시간은 데이터 큐브를 구성하는 뷰의 개수가 n개이고 그 중에서 k개를 실체화할 경우에 O(kn2)이다. 본 논문에서는 운영 시간을 향상시킨 수정된 greedy 알고리즘을 제안한다. 알고리즘 내부에서 실체화할 뷰를 선택할 때 격자를 단순화시킨 트리를 사용함으로써, 알고리즘 운영시간을 O(kn2)에서 O(kn)으로 향상시켰다.

A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer (RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘)

  • Han, Soo;Shin, Seung-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF

Combining R-trees and Signature Files for Handling k-Nearest Neighbor Queries with Non-spatial Predicates (비공간 검색 조건이 포함된 k-최근접 질의 처리를 위한 R-트리와 시그니쳐 파일의 결합)

  • Park, Dong-Ju;Kim, Hyeong-Ju
    • Journal of KIISE:Databases
    • /
    • v.27 no.4
    • /
    • pp.651-662
    • /
    • 2000
  • 멀티미디어 데이터베이스에서 k-최근접 질의는 가장 일반적이며, 비공간 검색 조건이 포함된 경우가 많다. 현재까지 이러한 질의를 위한 여러 기법 중에서 Hjaltason과 Samet이 제안한 점증적 최근접 알고리즘에 가장 유용하다고 알려져 있다. 질의 처리를 위해 상위 연산자가 k보다 많은 객체를 요구할 때, 이 알고리즘은 처음부터 질의를 재실행하지 않고 다음 객체를 전달할 수 있기 때문이다. 그런데, 이 알고리즘에서 사용하는 R-트리는 결국에는 비공간 검색조건을 만족시키지 않을 투플 후보들을 부분적으로 제거할 수가 없기 때문에 비효율적이다. 본 논문에서 우리는 이 알고리즘을 보완한 RS-트리 기반 점증적 최근접 알고리즘을 제안한다. RS-트리는 R-트리와, 그 보조 트리로서 계층적 시스니쳐 파일을 기반으로 하는 S-트리로 구성된다. S-트리는 R-트리를 탐색하는 과정에서 많은 불필요한 투플을 제거하는 역할을 수행한다. 본 논문에서는 실험을 통해 RS-트리가 Hjaltason과 Samet의 알고리즘의 성능을 향상시킬 수 있음을 보인다.

  • PDF

Time Complexity Analysis of Boolean Query Formulation Algorithms (불리언 질의 구성 알고리즘의 시간복잡도 분석)

  • Kim, Nam-Ho;Donald E. Brown;James C. French
    • The Transactions of the Korea Information Processing Society
    • /
    • v.4 no.3
    • /
    • pp.709-719
    • /
    • 1997
  • Performance of an algorithm can be mesaurde from serval aspects.Suppose thre is a query formulation al-gorithm.Even though this algorithm shows high retrival performance, ie, high recall and percision, retriveing items can rake a long time.In this study, we time complexity of automatic query reformulation algorithms, named the query Tree, DNF method, and Dillon's method, and comparethem in theoretical and practical aspects using a tral-time performance)the absolute times for each algorithm to fromulate a query)in a Sun SparcStation 2. In experiments using three test sets, CSCM, CISI, and Medlars, the query Tree algorithm was the fastest among the three algorithms tested.

  • PDF

Top-k Query Processing Algorithm supporting Privacy Preservation on the Outsourced Databases (아웃소싱 데이터베이스에서 정보보호를 지원하는 Top-k 질의처리 알고리즘)

  • Kim, Hyeong-Il;Kim, Hyeong-Jin;Shin, JaeHwan;Chang, Jae-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.562-566
    • /
    • 2016
  • 클라우드 컴퓨팅의 발전과 더불어 데이터베이스 아웃소싱에 대한 연구가 활발히 진행되고 있다. 그러나 기존 정보보호를 지원하는 Topk 질의처리 연구는 다양한 형태로 정보가 노출되는 문제점을 보인다. 따라서 본 논문에서는 데이터 보호, 사용자 질의 보호, 데이터 접근 패턴 은닉을 모두 지원하는 아웃소싱 데이터베이스 상에서의 안전한 Topk 질의처리 알고리즘을 제안한다. 성능평가를 통해, 제안하는 기법이 정보보호를 지원하는 동시에 효율적인 성능을 제공함을 보인다.

Countinuous k-Nearest Neighbor Query Processing Algorithm for Distributed Grid Scheme (분산 그리드 기법을 위한 연속 k-최근접 질의처리 알고리즘)

  • Kim, Young-Chang;Chang, Jae-Woo
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.3
    • /
    • pp.9-18
    • /
    • 2009
  • Recently, due to the advanced technologies of mobile devices and wireless communication, there are many studies on telematics and LBS(location-based service) applications. because moving objects usually move on spatial networks, their locations are updated frequently, leading to the degradation of retrieval performance. To manage the frequent updates of moving objects' locations in an efficient way, a new distributed grid scheme, called DS-GRID (distributed S-GRID), and k-NN(k-nearest neighbor) query processing algorithm was proposed[1]. However, the result of k-NN query processing technique may be invalidated as the location of query and moving objects are changed. Therefore, it is necessary to study on continuous k-NN query processing algorithm. In this paper, we propose both MCE-CKNN and MBP(Monitoring in Border Point)-CKNN algorithmss are S-GRID. The MCE-CKNN algorithm splits a query route into sub-routes based on cell and seproves retrieval performance by processing query in parallel way by. In addition, the MBP-CKNN algorithm stores POIs from the border points of each grid cells and seproves retrieval performance by decreasing the number of accesses to the adjacent cells. Finally, it is shown from the performance analysis that our CKNN algorithms achieves 15-53% better retrieval performance than the Kolahdouzan's algorithm.

  • PDF

Privacy-Preserving Parallel Range Query Processing Algorithm Based on Data Filtering in Cloud Computing (클라우드 컴퓨팅에서 프라이버시 보호를 지원하는 데이터 필터링 기반 병렬 영역 질의 처리 알고리즘)

  • Kim, Hyeong Jin;Chang, Jae-Woo
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.10 no.9
    • /
    • pp.243-250
    • /
    • 2021
  • Recently, with the development of cloud computing, interest in database outsourcing is increasing. However, when the database is outsourced, there is a problem in that the information of the data owner is exposed to internal and external attackers. Therefore, in this paper, we propose a parallel range query processing algorithm that supports privacy protection. The proposed algorithm uses the Paillier encryption system to support data protection, query protection, and access pattern protection. To reduce the operation cost of a checking protocol (SRO) for overlapping regions in the existing algorithm, the efficiency of the SRO protocol is improved through a garbled circuit. The proposed parallel range query processing algorithm is largely composed of two steps. It consists of a parallel kd-tree search step that searches the kd-tree in parallel and safely extracts the data of the leaf node including the query, and a parallel data search step through multiple threads for retrieving the data included in the query area. On the other hand, the proposed algorithm provides high query processing performance through parallelization of secure protocols and index search. We show that the performance of the proposed parallel range query processing algorithm increases in proportion to the number of threads and the proposed algorithm shows performance improvement by about 5 times compared with the existing algorithm.

An Approximate k-NN Query Processing Algorithm Supporting both Location Cloaking and POI Protection (사용자 위치 정보 및 POI 정보 보호를 고려한 Approximate k-최근접점 질의처리 알고리즘)

  • Jang, Mi-Young;Hossain, Amina;Um, Jung-Ho;Chang, Jae-Woo
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2010.06a
    • /
    • pp.53-60
    • /
    • 2010
  • 위치 기반 서비스(Location-Based Services: LBS)에서 질의 요청자가 자신의 위치 정보와 원하는 질의를 전송하면, 위치 기반 서버는 이를 기반으로 질의를 처리하고 결과를 전송한다. 이 때 질의 요청자는 자신의 정확한 위치 좌표를 서버에 전송하기 때문에 개인 정보가 악용될 수 있는 위험에 노출된다. 이러한 문제를 해결하기 위하여 제안된 연구는 크게 Location Clocking 기법과 Private Information Retrieval(PIR) 기법으로 분류된다. Location Cloaking 기법은 사용자의 위치 좌표를 k-1개의 다른 사용자와 함께 묶어 하나의 Cloaking 영역을 생성하고 이를 바탕으로 질의를 처리한다. 그러나 영역에 대한 질의 후보 집합을 결과로 전송하므로 사용자에게 노출되는 POI 수가 증가하는 문제점을 지닌다. PIR은 암호화 기법으로 위치 기반 서버나 공격자에게 사용자의 위치와 질의 타입을 드러내지 않고 질의를 수행한다. 그러나 암호화 된 질의 결과로 사용자에게 데이터 전체를 전송하기 때문에 막대한 통신비용을 초래한다. 따라서 본 논문에서는 Location Cloakng과 PIR 기법의 장점을 결합하여 사용자의 개인 정보와 위치 기반 서버의 POI 정보 보호를 고려한 Approximate k-최근접점 질의 처리 알고리즘을 제안한다. 질의 전송시, 질의 요청자는 Cloaking 영역을 생성하여 위치 좌표를 감추고, 질의 결과 전송 시 Cloaking 영역에 제한된 PIR 프로토콜을 적용한다. 또한 k-최근접점 질의 수행시, 반환되는 POI의 수를 최소화하고, 정확도 높은 질의 결과를 만족하기 위해 Overlapping parameter를 적용한 색인 기법을 제안한다.

  • PDF

View Field Nearest Neighbor Queries (시야각으로 한정된 최근접 질의)

  • Yi, Sung-Min;Jung, Ha-Rim;Park, Jun-Pyo;Chung, Yon-Dohn
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06c
    • /
    • pp.153-156
    • /
    • 2011
  • 최근 많은 관심을 받고 있는 증강현실 위치기반 서비스와 같이 사용자의 한정된 시야각이 존재하는 상황에서 사용자가 원하는 데이터를 효과적으로 제공하기 위하여 본 논문에서는 새로운 위치기반 질의인 시야 최근접 질의 (VFNN: View Field Nearest Neighbor Queries)를 소개한다. VFNN 질의는 사용자의 시야각내에 위치하는 가장 가까운 데이터를 검색한다. 본 논문에서 제안하는 VFNN 질의 처리 알고리즘은 가장 널리 활용되고 있는 공간 데이터 색인 구조인 $R^*$-tree를 사용한다. 특히, 질의 점과 MBR 사이의 최소거리인 MINDIST뿐만 아니라, 질의 점과 MBR 사이의 최대 각, 최소 각을 정의한다. 이를 활용하여 $R^*$-tree 탐색 시 질의 결과 값을 포함하지 않는 노드들을 연산에서 제외함으로써 질의 처리의 효율성을 향상시킨다. 마지막으로 실험을 통하여 VFNN 질의 처리 알고리즘의 성능을 평가한다.

Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment (분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘)

  • Yang, Hyeon-Sik;Jang, Miyoung;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.16 no.7
    • /
    • pp.667-680
    • /
    • 2016
  • As distributed computing platforms like Hadoop MapReduce have been developed, it is necessary to perform the conventional query processing techniques, which have been executed in a single computing machine, in distributed computing environments efficiently. Especially, studies on similarity join query processing in distributed computing environments have been done where similarity join means retrieving all data pairs with high similarity between given two data sets. But the existing similarity join query processing schemes for distributed computing environments have a problem of skewed computing load balance between clusters because they consider only the data transmission cost. In this paper, we propose Matrix-based Load-balancing Algorithm for efficient similarity join query processing in distributed computing environment. In order to uniform load balancing of clusters, the proposed algorithm estimates expected computing cost by using matrix and generates partitions based on the estimated cost. In addition, it can reduce computing loads by filtering out data which are not used in query processing in clusters. Finally, it is shown from our performance evaluation that the proposed algorithm is better on query processing performance than the existing one.