• 제목/요약/키워드: top-k query processing

검색결과 38건 처리시간 0.021초

Minimizing the MOLAP/ROLAP Divide: You Can Have Your Performance and Scale It Too

  • Eavis, Todd;Taleb, Ahmad
    • Journal of Computing Science and Engineering
    • /
    • 제7권1호
    • /
    • pp.1-20
    • /
    • 2013
  • Over the past generation, data warehousing and online analytical processing (OLAP) applications have become the cornerstone of contemporary decision support environments. Typically, OLAP servers are implemented on top of either proprietary array-based storage engines (MOLAP) or as extensions to conventional relational DBMSs (ROLAP). While MOLAP systems do indeed provide impressive performance on common analytics queries, they tend to have limited scalability. Conversely, ROLAP's table oriented model scales quite nicely, but offers mediocre performance at best relative to the MOLAP systems. In this paper, we describe a storage and indexing framework that aims to provide both MOLAP like performance and ROLAP like scalability by essentially combining some of the best features from both. Based upon a combination of R-trees and bitmap indexes, the storage engine has been integrated with a robust OLAP query engine prototype that is able to fully exploit the efficiency of the proposed storage model. Specifically, it utilizes an OLAP algebra coupled with a domain specific query optimizer, to map user queries directly to the storage and indexing framework. Experimental results demonstrate that not only does the design improve upon more naive approaches, but that it does indeed offer the potential to optimize both query performance and scalability.

Top-n 스카이라인 질의를 이용한 다차원 외판원 순회문제 (Multi-dimensional Traveling salesman problem using Top-n Skyline query)

  • 진창균;양세빈;강은진;김지윤;김종완;오덕신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.371-374
    • /
    • 2019
  • PDA나 휴대폰 단말로 여러 속성의 데이터를 이용하여 사용자에게 필요한 정보를 제공하는 위치기반 서비스는 물류/운송 정보 서비스, 버스/지하철 노선 안내 서비스 등에 사용된다. 여기에서 제공하는 데이터들을 최적 경로를 구하는 외판원 순회문제 (Traveling Salesman Problem)에 사용한다면 더 정확한 경로 서비스 제공이 가능하다. 하지만 데이터의 수가 많아질수록 비교 횟수가 기하급수적으로 늘어나는 외판원 순회 알고리즘의 특성상 일반 단말기에서 활용하기에는 배터리의 제약이 따른다. 본 논문에서는 이와 같은 단점을 해결하기 위해서 최적 경로의 후보군을 줄일 수 있는 스카이라인 질의를 이용하여 n차원 속성에 대한 최적 경로 알고리즘을 제안한다. 실험에서 정확도와 오차율을 통해 제안한 방식의 유용성을 보였으며 기존방식과 연산시간 차이를 비교하여 다차원방식의 효율성을 나타내었다.

OLAP4R: A Top-K Recommendation System for OLAP Sessions

  • Yuan, Youwei;Chen, Weixin;Han, Guangjie;Jia, Gangyong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권6호
    • /
    • pp.2963-2978
    • /
    • 2017
  • The Top-K query is currently played a key role in a wide range of road network, decision making and quantitative financial research. In this paper, a Top-K recommendation algorithm is proposed to solve the cold-start problem and a tag generating method is put forward to enhance the semantic understanding of the OLAP session. In addition, a recommendation system for OLAP sessions called "OLAP4R" is designed using collaborative filtering technique aiming at guiding the user to find the ultimate goals by interactive queries. OLAP4R utilizes a mixed system architecture consisting of multiple functional modules, which have a high extension capability to support additional functions. This system structure allows the user to configure multi-dimensional hierarchies and desirable measures to analyze the specific requirement and gives recommendations with forthright responses. Experimental results show that our method has raised 20% recall of the recommendations comparing the traditional collaborative filtering and a visualization tag of the recommended sessions will be provided with modified changes for the user to understand.

Random Forest 분류기와 Bag-of-Feature 특징 히스토그램을 이용한 의료영상 자동 분류 및 검색 (Medical Image Classification and Retrieval Using BoF Feature Histogram with Random Forest Classifier)

  • 손정은;고병철;남재열
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권4호
    • /
    • pp.273-280
    • /
    • 2013
  • 본 논문에서는 의료영상의 특성을 반영하여 픽셀 그래디언트의 방향 값을 특징으로 하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징을 개발하고 BoF(Bag-of-Feature)와 Random Forest 분류기를 이용한 영상 검색 방법을 제안한다. 학습영상에서 추출된 특징 값은 code book 으로 군집화 되고, 각 영상들은 code book을 통해 의미 있는 새로운 차원인 BoF특징으로 변환된다. 이렇게 추출된 BoF특징은 Random Forest 분류기에 적용되고 학습된 분류기에 의해 유사한 특성을 갖는 N개의 클래스별로 분류되게 된다. 질의 영상이 입력되면 동일한 OCS-LBP특징이 추출되고 code book을 통해 BoF특징이 추출된다. 전통적인 내용기반 영상검색과는 다르게, 본 논문에서는 질의 영상에서 추출된 BoF특징이 학습된 Random Forest에 적용되어 가장 유사한 K-근접 이웃 (K-nearest neighbor) 클래스들을 선택하고 선택된 클래스들에 포함된 영상들에 대해서만 질의 영상과의 BoF 유사도 측정을 통해 최종 유사한 영상을 검색하게 된다. 실험결과에서 본 논문에서 제안하는 방법은 빠르고 우수한 검색 성능을 보여 주었다.

체류시간을 고려한 여행 일정 추천 시스템 (Personalized Itinerary Recommendation System based on Stay Time)

  • 박세화;박석
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.38-43
    • /
    • 2016
  • 최근 교통 기술의 발전과 여가생활에 대한 관심이 늘어남에 따라 여행이 주요 여가 활동으로 자리 잡고 있다. 또한, 스마트폰이나 태블릿PC와 같이 GPS를 탑재한 모바일 기기 보급으로 인해 사용자의 위치를 실시간으로 수집하는 것이 가능해졌다. 이런 환경을 바탕으로 번거로운 여행 일정 계획을 대신 수립해주는 여행 일정 추천 시스템에 대한 연구가 활발하게 진행되었다. 그러나 기존의 연구들은 사용자들의 비용이나 시간에 대한 제약사항을 고려해 짧은 경로를 포함하는 여행 일정을 추천하거나 여행 목적지에서 가장 인기 있는 지역을 가장 많이 포함하는 일정을 추천하는 것을 목적으로 하기 때문에 개인의 만족도를 높이기 위한 개인화된 여행 일정 추천시스템에 대한 연구는 많지 않았다. 따라서 본 연구에서는 사용자들의 만족도를 높이기 위한 개인화 서비스 연구의 일환으로 그 동안 다른 연구에서는 간과되었던 사용자들의 체류시간을 고려한 여행 일정 추천 시스템을 제안한다.

인터넷 질의 처리를 위한 웨이블릿 변환에 기반한 통합 요약정보의 관리

  • 조문증;황규영;김상욱;심규석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권4호
    • /
    • pp.702-714
    • /
    • 2001
  • 최근, 인터넷 기술의 급격한 발전으로 인하여 다수의 정보원들을 처리 대상으로 하는 인터넷 질 의의 사용이 점차 확대되고 있다. 인터넷 질의 처리를 위해서는 여러 정보원들에 분산된 전체 데이타분포를 함축적으로 표현한 통합 요약정보가 필요하다 본 논문에서는 웨이블릿 변환을 기반으로 한 통합 요약정보의 관리 및 이를 이용한 인터넷 질의 최적처리에 관하여 논의한다. 통합 요약정보의 구성을 위한 가장 단순한 방법은 각 정보원에 분산된 데이타분포들을 합병한 후, 이를 기반으로 퉁합 요약정보를 구성하는 것이다. 그러나 이 방법은 큰 용량의 데이타분포를 전송, 저장. 통합하는 비용이 매우 크므로 실용적이지 야다. 본 논문 에서는 이러한 문점을 극복하기 위하여 웨이블릿 변환을 기반으로 요약정보들을 합병함으로써 통합 요약 정보를 구성하는 새로운 방법과 이를 이용한 인터넷 질의 최적화 방안을 제시한다. 웨이블릿 요약정보는 합 병 조건을 만족하도록 변환되며. 합병 과정이 웨이블릿의 특성으로 인하여 매우 단순하다는 장점을 갖는다 본 논문에서는 제안된 방법으로 구성된 통합 요약정보의 오타 상한선을 정량적으로 유도한다. 제안된 방법에 대한 실험 결과에 의하면, 히스토그램 요약정보의 합병과 웨이블릿 요약정보의 합병을 비교한 선택률 추정 실험은 통합 히스토그램에 비해 퉁합 웨이블릿 요약정보가 1.6 ~ 5.5배 더 정확하다는 결과를 보였다 또한,56개개의 정보원이 참여하는 인터넷 top-N 질의를 처리할 때, 통합 요약정보를 사용하지 않는 방법과 비교하 여 이를 사용하는 경우 약 44배의 성능 개건 효과를 보였다.

  • PDF

XML 데이타 처리를 위한 XML-QL to SQL 번역기 (An XML-QL to SQL Translator for Processing XML Data)

  • 장경자;이기호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권1호
    • /
    • pp.1-8
    • /
    • 2002
  • XML이 다양한 유형의 웹 데이타를 구성하고 교환하기 위한 국제적인 표준으로 제안되었다. 다양한 애플리케이션에서 필요로 하는 데이타가 XML 문서에 저장되어 있을 때, 그 데이타를 검색하는 것은 중요한 일이다. 본 논문에서는 XML 문서를 관계형 데이타베이스 시스템에 저장하는 방법과 저장된 XML 데이타를 XML-QL로 질의하여 검색하는 방법을 제안한다. 즉, XML의 저장 방법을 제안하고 저장된 XML 데이타를 검색하기 위해 XML-QL로 들어온 질의를 관계형 데이터베이스 시스템의 전용 질의 언어인 SQL로 변환시켜 주는 번역기를 설계 및 구현한다. 본 논문의 의의는 번역기에 대한 설계와 구현을 자세히 기술하므로 번역기의 가능성을 보여주고 XML 질의의 포괄적인 분류와 그에 대한 SQL 관계형 질의로의 매핑을 보여주고 있다는 점이다.

FCA 기반 계층적 구조를 이용한 문서 통합 기법 (Methods for Integration of Documents using Hierarchical Structure based on the Formal Concept Analysis)

  • 김태환;전호철;최종민
    • 지능정보연구
    • /
    • 제17권3호
    • /
    • pp.63-77
    • /
    • 2011
  • 월드와이드웹(World Wide Web)은 인터넷에 연결된 컴퓨터를 통해 사람들이 정보를 공유할 수 있는 매우 큰 분산된 정보 공간이다. 웹은 1991년에 시작되어 개인 홈페이지, 온라인 도서관, 가상 박물관 등 다양한 정보 자원들을 웹으로 표현하면서 성장하였다. 이러한 웹은 현재 5천억 페이지 이상 존재할 것이라고 추정한다. 대용량 정보에서 정보를 효과적이며 효율적으로 검색하는 기술을 적용할 수 있다. 현재 존재하는 몇몇 검색 도구들은 초 단위로 gigabyte 크기의 웹을 검사하여 사용자에게 검색 정보를 제공한다. 그러나 검색의 효율성은 검색 시간과는 다른 문제이다. 현재 검색 도구들은 사용자의 질의에 적합한 정보가 적음에도 불구하고 많은 문서들을 사용자에게 검색해준다. 그러므로 대부분의 적합한 문서들은 검색 상위에 존재하지 않는다. 또한 현재 검색 도구들은 사용자가 찾은 문서와 관련된 문서를 찾을 수 없다. 현재 많은 검색 시스템들의 가장 중요한 문제는 검색의 질을 증가 시키는 것이다. 그것은 검색된 결과로 관련 있는 문서를 증가시키고, 관련 없는 문서를 감소시켜 사용자에게 제공하는 것이다. 이러한 문제를 해결하기 위해 CiteSeer는 월드와이드웹에 존재하는 논문에 대해 한정하여 ACI(Autonomous Citation Indexing)기법을 제안하였다. "Citaion Index"는 연구자가 자신의 논문에 다른 논문을 인용한 정보를 기술하는데 이렇게 기술된 논문과 자신의 논문을 연결하여 색인한다. "Citation Index"는 논문 검색이나 논문 분석 등에 매우 유용하다. 그러나 "Citation Index"는 논문의 저자가 다른 논문을 인용한 논문에 대해서만 자신의 논문을 연결하여 색인했기 때문에 논문의 저자가 다른 논문을 인용하지 않은 논문에 대해서는 관련 있는 논문이라 할지 라도 저자의 논문과 연결하여 색인할 수 없다. 또한 인용되지 않은 다른 논문과 연결하여 색인할 수 없기 때문에 확장성이 용이하지 못하다. 이러한 문제를 해결하기 위해 본 논문에서는 검색된 문서에서 단락별 명사와 동사 및 목적어를 추출하여 해당 동사가 명사 및 목적어를 취할 수 있는 가능한 값을 고려하여 하나의 문서를 formal context 형태로 변환한다. 이 표를 이용하여 문서의 계층적 그래프를 구성하고, 문서의 그래프를 이용하여 문서 간 그래프를 통합한다. 이렇게 만들어진 문서의 그래프들은 그래프의 구조를 보고 각각의 문서의 영역을 구하고 그 영역에 포함관계를 계산하여 문서와 문서간의 관계를 표시할 수 있다. 또한 검색된 문서를 트리 형식으로 보여주어 사용자가 원하는 정보를 보다 쉽게 검색할 수 있는 문서의 구조적 통합 방법에 대해 제안한다. 제안한 방법은 루씬 검색엔진이 가지고 있는 순위 계산 공식을 이용하여 문서가 가지는 중요한 단어를 문서의 참조 관계에 적용하여 비교하였다. 제안한 방법이 루씬 검색엔진보다15% 정도 높은 성능을 나타내었다.