• 제목/요약/키워드: query transformations

검색결과 12건 처리시간 0.022초

Transformation of Continuous Aggregation Join Queries over Data Streams

  • Tran, Tri Minh;Lee, Byung-Suk
    • Journal of Computing Science and Engineering
    • /
    • 제3권1호
    • /
    • pp.27-58
    • /
    • 2009
  • Aggregation join queries are an important class of queries over data streams. These queries involve both join and aggregation operations, with window-based joins followed by an aggregation on the join output. All existing research address join query optimization and aggregation query optimization as separate problems. We observe that, by putting them within the same scope of query optimization, more efficient query execution plans are possible through more versatile query transformations. The enabling idea is to perform aggregation before join so that the join execution time may be reduced. There has been some research done on such query transformations in relational databases, but none has been done in data streams. Doing it in data streams brings new challenges due to the incremental and continuous arrival of tuples. These challenges are addressed in this paper. Specifically, we first present a query processing model geared to facilitate query transformations and propose a query transformation rule specialized to work with streams. The rule is simple and yet covers all possible cases of transformation. Then we present a generic query processing algorithm that works with all alternative query execution plans possible with the transformation, and develop the cost formulas of the query execution plans. Based on the processing algorithm, we validate the rule theoretically by proving the equivalence of query execution plans. Finally, through extensive experiments, we validate the cost formulas and study the performances of alternative query execution plans.

Development of Query Transformation Method by Cost Optimization

  • Altayeva, Aigerim Bakatkaliyevna;Yoon, Youngmi;Cho, Young Im
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제16권1호
    • /
    • pp.36-43
    • /
    • 2016
  • The transformation time among queries in the database management system (DBMS) is responsible for the execution time of users' queries, because a conventional DBMS does not consider the transformation cost when queries are transformed for execution. To reduce the transformation time (cost reduction) during execution, we propose an optimal query transformation method by exploring queries from a cost-based point of view. This cost-based point of view means considering the cost whenever queries are transformed for execution. Toward that end, we explore and compare set off heuristic, linear, and exhaustive cost-based transformations. Further, we describe practical methods of cost-based transformation integration and some query transformation problems. Our results show that, some cost-based transformations significantly improve query execution time. For instance, linear and heuristic transformed queries work 43% and 74% better than exhaustive queries.

공간 순서화 곡선을 이용한 다차원 영역 질의 처리 (A Multi-dimensional Range Query Processing using Space Filling Curves)

  • 백현;원정임;윤지희
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권2호
    • /
    • pp.13-38
    • /
    • 2006
  • 다차원 공간 객체를 위한 영역 질의는 다차원 공간상에서 질의 영역과 교차 또는 포함되는 객체들을 검색하는 가장 기본적인 공간 연산이다. 영역 질의 처리를 위한 인덱스 기법으로서 공간 순서화 곡선을 이용하여 다차원 공간 객체의 MBR 정보를 1차원 값으로 변환하여 저장하는 DOT(DOuble Transformation) 인덱스 기법이 알려져 있다. 이 기법은 데이터베이스 시스템의 주색인 기법을 그대로 적용할 수 있는 장점을 갖으나, 중간 공간에 설정된 다차원 질의 영역을 최종 공간상의 1차원 값의 집합으로 변환하는 공간 변환 연산에 대한 오버헤드가 매우 크다는 문제점이 있으며, 원 공간을 2차원 이상으로 확장하여 적용할 수 있는 구체적인 영역 질의 방법이 연구된 바 없다. 본 논문에서는 다차원 공간 질의 영역 상의 공간 순서화 곡선의 규칙성을 분석함으로써 공간 변환 연산의 횟수를 대폭 감소시킨 효율적인 다차원 공간 영역 질의 처리 기법을 제안한다. 제안된 기법에서는 공간 변환 연산의 비용을 감소시키기 위하여 질의 영역을 공간 순서화 곡선이 연속 운행되는 최대 크기의 쿼터로 분할하는 쿼터 분할 기법을 사용한다. 제안된 기법에 의한 다차원 영역 질의 처리 과정을 시각적으로 확인할 수 있는 시뮬레이터를 구현하였으며, 이를 이용한 성능평가 결과를 보였다.

  • PDF

히스토그램 인터섹션과 오토코릴로그램을 이용한 내용기반 영상검색 시스템 (Content Based Image Retrieval System using Histogram Intersection and Autocorrelogram)

  • 송석진;김효성;이희봉;남기곤
    • 융합신호처리학회논문지
    • /
    • 제3권1호
    • /
    • pp.1-7
    • /
    • 2002
  • 본 논문에서는 사용자가 질의영상을 선택할 때 영상전체 뿐만 아니라 영상내의 다양한 물체에 대해 질의를 원하는 물체영역만을 간단히 선택, 추출하여 그와 유사한 물체를 영상 데이터베이스 내에서 검색할 수 있는 내용기반 영상검색 시스템을 구현하였다. 질의영상으로부터 개선된 HSV변환을 통해 히스토그램을 구한 뒤 질의영상의 대표색상을 이용한 컬러 히스토그램 인터섹션방법으로 신속하게 1차 유사도 측정을 하여 후보영상들을 검색한다. 그리고 밴디드 컬러 오토코릴로그램을 이용한 2차 유사도 측정을 수행하여 최종 검색된 영상을 구하였는데 각각의 단점을 보완할 수 있는 2개의 검색방법들을 결합함으로써 소환성(recall) 및 정확성(precision)을 개선하였다. 또한 영상데이터베이스내의 영상들을 특성 라이브러리내에 자통 색인화하여 이를 통해 빠른 영상검색이 가능하였다.

  • PDF

XML 응용시스템 개발을 위한 설계방안 (A Design Methodology for XML Applications)

  • 김경수;주경수
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 하계종합학술대회 논문집(3)
    • /
    • pp.39-42
    • /
    • 2000
  • Extensible Markup Language(XML) is fast emerging as the dominant standard for representing data in the World Wide Web. Sophisticated query engines that allow users to effectively tap the data stored in XML documents will be crucial to exploiting the full power of XML. While there has been a great deal of activity recently proposing new semi-structured data models and query languages for this purpose, this paper explores the more conservative approach of using traditional relational database engines for processing XML documents conforming to Document Type Descriptors(DTDs). In this paper, we describe how to generate relational schemas from XML DTDs. The main issues that must be addressed inc]ode (a) dealing with the complexity of DTD element specifications (b) resolving the conflict between the two-level nature of relational schemas (table and attribute) vs. the arbitrary nesting of XML DTD schemas and (c) dealing with set-valued attributes and recursion. We now propose a set of transformations that can be used to "simplify" any arbitrary DTD without undermining the effectiveness of queries over documents conforming to that DTD.

  • PDF

시계열 데이터베이스에서 복수의 모델을 지원하는 모양 기반 서브시퀀스 검색 (Shape-Based Subsequence Retrieval Supporting Multiple Models in Time-Series Databases)

  • 원정임;윤지희;김상욱;박상현
    • 정보처리학회논문지D
    • /
    • 제10D권4호
    • /
    • pp.577-590
    • /
    • 2003
  • 모양 기반 검색이란 실제 요소 값과 관계없이 질의 시퀀스와 유사한 모양을 갖는 시퀀스(서브시퀀스)를 데이터베이스 내에서 검색하여 내는 연산이다. 본 논문에서는 시계열 데이터베이스에서의 모양 기반 검색을 위한 유연성 있는 새로운 유사 모델을 정의하고, 이 유사 모델을 지원하기 위한 인덱싱 및 질의 처리 방안을 제시한다. 제안된 유사 모델에서는 정규화, 이동 평균, 타임 워핑 등 다양한 변환을 지원한다. 특히 최종 유사 정도를 계산하기 위하여 사용되는$L_p$거리 함수론 사용자가 임의로 지정하도록 함으로써 응용에서 선호하는 유사 모델을 반영할 수 있다. 또한 이러한 모양 기반 검색을 효과적으로 지원하기 위한 압축된 서브시퀀스 트리 구조를 제안하고, 이를 기반으로 하는 효율적인 질의 처리 기법을 제시한다. 실험 결과에 의하면 제안된 기법은 진의 시퀀스와 모양이 유사한 서브시퀀스들을 사용자에 의하여 선택된 거리 함수를 사용하여 성공적으로 검색할 뿐 아니라, 순차 검색과 비교하여 거리 함수 선택에 따라 수 십배에서 수 백배까지의 성능 개선 효과를 갖는 것으로 나타났다.

시계열 데이타베이스에서 유사한 서브시퀀스의 모양 기반 검색 (Shape-Based Retrieval of Similar Subsequences in Time-Series Databases)

  • 윤지희;김상욱;김태훈;박상현
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권5호
    • /
    • pp.381-392
    • /
    • 2002
  • 본 논문에서는 시계열 데이타베이스에서의 모양 기반 검색 문제에 관하여 논의한다. 모양 기반 검색은 실제 요소 값과 관계없이 질의 시퀀스와 유사한 모양을 갖는 (서브)시퀀스를 찾는 연산이다. 본 연구에서는 모양 기반 서브시퀀스 검색을 위한 새로운 기법을 제안한다. 먼저, 시프팅, 스케일링, 이동 평균, 타임 워핑 등 변환들의 다양한 조합을 지원하는 모양 기반 검색을 위하여 새로운 유사 모델을 제시한다. 또한, 이러한 유사 모델을 기반으로 하는 모양 기반 검색을 효과적으로 처리하기 위하여 효율적인 인덱싱 및 질의 처리 기법들을 제안한다. 제안된 기법의 유용성을 규명하기 위하여 실제 데이타인 S&P 500 주식 데이터를 이용한 다양한 실험을 수행한다. 실험 결과에 의하면, 제안된 기법은 질의 시퀀스의 모양과 유사한 모양을 갖는 서브시퀀스들을 성공적으로 검색할 뿐만 아니라 순차 검색 기법과 비교하여 66배까지의 상당한 성능 개선 효과를 갖는 것으로 나타났다.

로봇시스템에서 작은 마커 인식을 하기 위한 사물 감지 어텐션 모델 (Small Marker Detection with Attention Model in Robotic Applications)

  • 김민재;문형필
    • 로봇학회논문지
    • /
    • 제17권4호
    • /
    • pp.425-430
    • /
    • 2022
  • As robots are considered one of the mainstream digital transformations, robots with machine vision becomes a main area of study providing the ability to check what robots watch and make decisions based on it. However, it is difficult to find a small object in the image mainly due to the flaw of the most of visual recognition networks. Because visual recognition networks are mostly convolution neural network which usually consider local features. So, we make a model considering not only local feature, but also global feature. In this paper, we propose a detection method of a small marker on the object using deep learning and an algorithm that considers global features by combining Transformer's self-attention technique with a convolutional neural network. We suggest a self-attention model with new definition of Query, Key and Value for model to learn global feature and simplified equation by getting rid of position vector and classification token which cause the model to be heavy and slow. Finally, we show that our model achieves higher mAP than state of the art model YOLOr.

대용량 데이터베이스에서 다차원 인덱스를 사용한 효율적인 다단계 k-NN 검색 (Efficient Multi-Step k-NN Search Methods Using Multidimensional Indexes in Large Databases)

  • 이상훈;김범수;최미정;문양세
    • 정보과학회 논문지
    • /
    • 제42권2호
    • /
    • pp.242-254
    • /
    • 2015
  • 본 논문에서는 다차원 인덱스 기반 다단계 k-NN 검색의 성능 향상 문제를 다룬다. 기존 다단계 k-NN 검색에서는 고차원 객체의 저차원 변환으로 인한 정보 손실로 k-NN 질의 결과 매우 큰 허용치(검색 범위)가 결정되어 범위 질의 결과로 많은 후보가 검색된다. 또한, 많은 후보는 후처리 과정에서 매우 많은 I/O 및 CPU 오버헤드를 발생시킨다. 본 논문에서는 이와 같은 고찰에 기반하여 범위 질의의 허용치를 줄여 후보 개수를 줄이고 이를 통해 성능을 향상시키는 방법을 제안한다. 먼저, k-NN 질의 결과로 결정된 허용치를 고차원 및 저차원 객체간 거리 비율로 강제 축소하여 범위 질의에 사용하는 허용치 축소 (근사적) 해결책을 제안한다. 다음으로, k-NN 질의 계수 k 대신 c k 를 사용하여 얻은 보다 타이트(tight)한 허용치로 범위 질의를 수행하는 계수 제어 (정확한) 해결책을 제안한다. 실제 객체 데이터를 사용하여 실험한 결과, 제안한 두 가지 해결책은 기존 다단계 k-NN 검색에 비해 후보 개수와 검색 시간 모두를 크게 향상시킨 것으로 나타났다.

관계형 데이타베이스에서 다차원 데이타의 뷰를 위한 효율적인 질의 변환 (An Efficient Query Transformation for Multidimensional Data Views on Relational Databases)

  • 신성현;김진호;문양세
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권1호
    • /
    • pp.18-34
    • /
    • 2007
  • 온라인 분석 처리(OLAP, On-Line Analytical Processing)에서는 다양한 분석을 효과적으로 처리하기 위해, 다차원 구조의 데이타를 열에 차원 애트리뷰트의 값이 표시되는 넓은 형태의 수평 테이블로 표현한다. 관계형 테이블들은 보통 애트리뷰트의 개수에 제한이 있으므로 이러한 수평 테이블을 직접저장하기 어렵고, 저장하더라도 많은 수의 널(null) 간을 갖는 희박(sparse) 테이블이 되기 쉽다. 따라서 관계 데이타베이스에서는 이러한 수평 테이블을 차원의 이름을 열로 갖는 수직 테이블로 바꾸어 저장할 수 있다. 이렇게 할 경우, 수평 뷰 테이블에 대한 OLAP 질의를 저장된 수직 테이블에 대한 질의로 변환하는 작업이 필요하다. 본 논문에서는 전통적인 관계 대수 연산자들 외에 최근 DBMS 버전들이 제공하는 PIVOT 연산자를 사용하여 수평적인 뷰의 질의를 효율적으로 변환하는 방법을 제안하였다. 이를 위해 PIVOT 연산과 동등한 관계 대수식을 만들고 이를 증명하였으며, 이 PIVOT 연산을 사용하여 수평적인 테이블에 대한 질의를 수직적인 테이블에 대한 질의로 변환하는 방법을 제시하였다. 또한 실험을 통해 제안한 변환 방법이 기존 방법에 비해 성능이 더욱 우수함을 보였다.