• 제목/요약/키워드: Join Query

검색결과 116건 처리시간 0.023초

데이터 스트림에서 다중 조인 연속질의의 효과적인 처리를 위한 전처리 기법 (Preprocessing Method for Handling Multi-Way Join Continuous Queries over Data Streams)

  • 서기언;이주일;이원석
    • 인터넷정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.93-105
    • /
    • 2012
  • 데이터 스트림이란 빠르게 연속적으로 무한히 발생하는 데이터 집합을 의미한다. 최근 다양한 산업의 발달로 인해 이러한 스트림 데이터의 효율적인 처리를 위한 요구 사항들이 늘어나고 있다. 특히 많은 연산 비용을 요구하는 조인 연산의 효율적인 처리는 데이터 스트림 관리 시스템의 성능 향상에 많은 영향을 미친다. 본 논문에서는 다중 조인 연속질의의 효율적인 처리를 위하여 최종 질의 결과에 포함되지 않는 불필요한 중간 조인 결과들을 사전에 제거함으로써 조인 연산의 비용을 감소시키는 방법을 제안한다. 이를 위해 스트림 데이터의 모니터링을 위한 매트릭스 기반의 구조체를 제안하고, 제안된 구조체를 이용한 매트릭스 연산을 통하여 최종 조인 결과의 투플 수를 예측함과 동시에 불필요한 중간 결과들을 만들어내는 투플들을 찾아낸다. 이를 통해 해당 투플을 이용한 조인 연산의 수행 여부를 결정하여 최종 조인 결과를 만들지 않는 투플을 조인 연산에서 배제함으로써 효율적으로 다중 조인 연속 질의를 처리한다.

센서 네트워크에서 시놉시스와 인코딩을 이용한 에너지 효율적인 인-네트워크 조인 질의 처리 (An Energy-Efficient In-Network Join Query Processing using Synopsis and Encoding in Sensor Network)

  • 여명호;장용진;김현주;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제11권2호
    • /
    • pp.126-134
    • /
    • 2011
  • 최근 많은 연구자들은 서로 다른 영역에 저장된 센서 데이터를 이용한 조인 질의에 관심을 갖고 있다. 기존 기법은 예비 조인 조정자가 센서 노드로부터 시놉시스를 수집하고, 조인 질의 처리에 필요한 센서 데이터를 결정한다. 기지국은 전체 데이터를 수집하는 대신 일부 센서 데이터를 수집하여 최종 조인 처리를 수행한다. 하지만, 예비 조인을 수행하는 과정에서 통신 오버헤드를 발생시키는 단점을 가지고 있다. 본 논문에서는 이와 같은 문제점을 해결하는 새로운 에너지 효율적인 인-네트워크 조인 기법을 제안한다. 제안하는 기법은 네트워크 내부에서 예비 조인 조정자를 선정한다. 예비 조인 조정자는 조인의 초기 단계에서 조인 결과에 포함되지 않는 데이터를 제거하고 센서 데이터의 압축을 수행한다. 기지국은 압축된 데이터의 일부와 데이터 압축을 위한 인코딩 테이블을 수집하고 조인 결과를 결정한다. 그 결과, 제안하는 기법은 예비 조인 처리를 위한 통신 비용을 줄이고 네트워크 수명을 연장시킨다.

맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘 (Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1303-1313
    • /
    • 2015
  • 맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.

색인된 XML 문서에서 레벨 정보를 이용한 효과적인 구조 조인 기법 (Efficient Structural Join Technique using the Level Information of Indexed XML Documents)

  • 이윤호;최일환;김종익;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권6호
    • /
    • pp.641-649
    • /
    • 2005
  • 오늘날 인터넷의 발달과 함께 XML이 많이 사용됨에 따라, XML 저장소와 질의 처리에 관한 연구가 활발하게 이뤄지고 있다. XML에서는 경로 질의를 사용하는데, 이러한 경로 질의를 효과적으로 처리하기 위하여 여러 가지 색인 기법들이 연구되었다. 최근에는 구조 조인 기법이 각광을 받고 있다. 구조 조인 기법은 엘리먼트들의 포함 관계를 살펴 질의를 처리한다. 특히 문서 전체에 대한 탐색을 하지 않고 해당하는 엘리먼트들의 역색인 리스트만을 비교하여 질의 처리를 수행하는 장점을 갖는다. 하지만 구조 조인 기법은 실제 질의 결과에 포함되지 않는 불필요한 엘리먼트들도 탐색해야 하는 비효율성을 가진다. 따라서 본 논문에서는 구조 조인 기법의 성능을 개선하는 레벨 구조 조인 기법을 제안한다. 제안하는 기법은 경로 질의 내 엘리먼트 사이의 관계 정보와 XML 문서 내의 엘리먼트들의 레벨 분포 정보를 이용한다. 이를 통해 구조 조인을 수행할 때, 비교되는 역색인 리스트 내의 모든 엘리먼트들이 아닌, 특정 레벨에 해당하는 엘리먼트들만을 이용하여 비교를 수행함으로써 질의 처리의 속도를 향상시킬 수 있다.

Energy Join Quality Aware Real-time Query Scheduling Algorithm for Wireless Sensor Networks

  • Phuong, Luong Thi Thu;Lee, Sung-Young;Lee, Young-Koo
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.92-96
    • /
    • 2011
  • Nowadays, the researches study high rate and real-time query applications seem to be real-time query scheduling protocols and energy aware real time query protocols. Also the WSNs should provide the quality of data in real time query applications that is more and more popular for wireless sensor networks (WSNs). Thus we propose the quality of data function to merge into energy efficiency called energy join quality aware realtime query scheduling (EJQRTQ). Our work calculate the energy ratio that considers interference of queries, and then compute the expected quality of query and allocate slots to real-time preemptive query scheduler.

기호공간에서 이동객체 스트림 데이터의 연속 시공간 셀프조인 질의 (Continuous Spatio-Temporal Self-Join Queries over Stream Data of Moving Objects for Symbolic Space)

  • 황병주;이기준
    • Spatial Information Research
    • /
    • 제18권1호
    • /
    • pp.77-87
    • /
    • 2010
  • 시공간 조인은 이동객체와 같이 시공간의 특성을 가지는 데이터를 처리할 때 요구되는 중요한 연산자로, 이동객체들의 움직임을 분석하거나 이동객체들의 시공간적 패턴을 찾는 것과 같이 다양하게 활용된다. 현재까지 실외공간에서의 시공간 조인 질의에 관한 연구는 많이 진행되어왔다. 최근에는 실내측위기술이 발전함에 따라 실외뿐만 아니라 실내에서도 다양한 위치기반 서비스가 점진적으로 제공되고 있으며, 특히 이동객체를 중심으로 다양한 응용 서비스들을 필요로 하게 된다. 하지만 실내공간에서의 시공간 조인에 관한 연구는 아직 전무하다. 본 논문에서는 실내공간에서 실시간으로 갱신되는 이동객체에 대한 연속 시공간 셀프조인 질의와 질의처리 방법론을 제안하였다. 연속 시공간 셀프조인 질의는 주어지는 특정 시간과 공간의 조건을 만족하는 모든 쌍들을 시간이 지남에 따라 지속적으로 갱신하는 질의이다. 본 논문에서는 방이나 복도와 같이 특정한 기호를 중심으로 이동객체의 위치를 표현하며 이러한 특징을 가지는 공간을 기호공간이라 한다. 그리고 방대한 스트림데이터를 효과적으로 필터링하고 관리하기 위한 후보쌍 버퍼 테이블이라는 자료구조와 이를 활용한 질의처리 방법론을 제안하였으며 실험을 통해 타당성을 검증하였다.

스트리밍 XML 데이타에서 영역 윈도우를 사용한 조인 질의의 범위 최소화 기법 (Scope Minimization of Join Queries using a Range Window on Streaming XML Data)

  • 박석;김미선
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.224-238
    • /
    • 2006
  • XML이 인터넷 상에서 데이타 교환의 표준으로 자리매김하면서 스트리밍 환경의 XML 데이타에 대한 효과적인 조인 질의 처리도 증가하고 있다. 튜플 단위로 처리하는 기존의 데이타베이스 기법을 스트리밍 XML 데이타에 적용했을 때 제한된 메모리 사용에 따른 메모리 한계를 초과하는 문제가 발생한다. 또한 구조적인 특징을 가지는 XML 데이타에 대한 질의 경로 탐색 및 특정 부분 데이타에 대한 접근에 소모되는 처리 비용이 급격히 증가하는 문제가 발생하게 된다. 근본적으로 전체 데이타가 아닌 부분 데이타를 저장하고 질의 처리해야 하는 스트리밍 환경에 적용하기에는 부적절하다. 따라서 스트리밍 XML 데이타에 맞는 저장 기법으로 적은 메모리의 사용을 통해 빠르게 조인 프레디킷을 만족하는 부분 스트리밍 데이타를 검색할 수 있는 새로운 기법이 요구된다. 본 논문에서는 적은 메모리 사용을 위한 저장 기법을 위해 PCDATA와 CDATA에 해당되는 부분만을 추출하여 저장한다. 그리고 빠른 조인 프레디킷(Predicate) 비교를 위해 DTD의 구조정보 중 지시자(Cardinality) "*" 와 "+"를 기초하여 영역 윈도우(Range Window)를 설정하여 질의에 만족하는 윈도우만을 선택적으로 조인하는 기법을 제안하여 문제를 해결한다.

경로 포함 관계를 이용한 효율적인 XML 질의 처리기법 (An Efficient XML Query Processing Method using Path Containment Relationships)

  • 민경섭;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권2호
    • /
    • pp.183-194
    • /
    • 2004
  • XML 이 명실상부한 데이타 교환 표준 언어로서 자리 잡아 감에 따라, 효율적인 XML 질의 처리 지원에 대한 많은 연구가 진행되어 왔다. XML 질의 처리에서 가장 중요한 고려 사항은 ‘어떻게 XML 경로식을 효율적으로 처리할 것인가’ 하는 것이다. 기존의 몇몇 연구들은 질의를 구성하는 각 라벨들에 대응되는 모든 데이타에 대해 일련의 조인 연산을 수행하는 방식으로 결과를 생성하였다. 다른 몇몇 연구들은 질의에 포함된 경로를 찾기 위해 RDBMS의 문자열 비교 연산자를 사용하고 찾은 경로들에 대응되는 레코드를 추출하여 결과를 생성하였다. 본 연구에서 우리는 경로 포함 관계를 기반으로 한 새로운 질의 계획 생성 방식과 이를 지원하기 위한 두 개의 새로운 조인 연산자들을 제안하였다. 제안한 조인 연산자들은 질의에 속한 경로들과 관련된 데이타만을 입력 데이타로 사용하며, 매우 적은 비교 연산만을 수행한다. 그리고 파이프라인 기법을 적용하여 결과를 생성한다. 우리는 제안한 기법이 다른 이전 기법들에 비해 높은 성능을 보임을 분석과 실험을 통해 증명하였다.

데이타 스트림에서의 다중 조인 질의 최적화 방법 (Optimizing Multi-way Join Query Over Data Streams)

  • 박홍규;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권6호
    • /
    • pp.459-468
    • /
    • 2008
  • 데이타 스트림이란 실시간에 연속적으로 빠르게 생성되는 데이타 집합을 의미한다. 이러한 데이타 스트림들은 최근 사회가 발달과 더불어 정보 환경도 급속도로 발전함에 따라 센서 데이타, 교통상황 수집 자료, 웹 클릭 모니터링 등과 같은 많은 응용 분야에서 적용되고 있다. 이러한 형태의 데이트 스트립을 처리하기 위해서는 미리 등록된 질의에 대하여 새롭게 들어오는 스트림 데이타의 결과를 계속적으로 생성하게 된다. 이와 같은 이유로 끊임없이 들어오는 스트링 데이타들을 빠르게 처리하는 것이 이 분야에서 주된 이슈가 되었으며, 이를 위한 방법으로 등록된 질의들을 효율적으로 처리하기 위한 질의 최적화분야에 많은 연구가 있었다. 그러므로 본 논문에서는 기존 연구에서 사용되었던 그리디 방법을 기반으로 비용 모델을 이용하여 최소의 비용을 갖는 질의 계획을 선택하는 확장된 그리디 방법(EGA)을 제시한다. 화장된 그리디 방법은 알고리즘의 정확성이 떨어지는 그리디 알고리즘의 단점을 극복하기 위하여 비용이 가장 작은 연산하나를 선택하는 대신 비용이 자은 연산들의 집합을 선택한다. 이 연산들의 집합의 크기는 알고리즘의 정확성과 수행 시간에 영향을 끼치며, 투 개의 변수에 의해서 적응적으로 조절 수 있다. 실험에서는 다양한 스트림 환경에서 대부분 그리디 알고리즘보다 향상된 성능을 보장하고, 두 변수에 의한 알고리즘의 성능 및 수행 시간 차이를 보여줌으로써 본 알고리즘의 효율성을 검증하였다.

분산 환경에서 전역 XQuery 질의의 조인 선택치 추정 방법 (Estimating Join Selectivity of Global XQuery Queries in Distributed Environments)

  • 박종현;강지훈
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권6호
    • /
    • pp.564-571
    • /
    • 2007
  • 분산환경에 XML 데이타들을 통합하기 위한 한가지 방법은 XML 뷰를 사용하는 것이다. 사용자는 XML을 위한 표준 질의어인 XQuery를 사용하여 분산된 XML 뷰들을 대상으로 전역 XQuery질의를 생성할 수 있다. 이렇게 생성된 전역 XQuery 질의는 분산된 이종 데이타들을 통합하고 검색하기 위하여 자연스럽게 지역 시스템들 사이의 조인 연산들을 포함한다. 그러나 조인은 비용이 많이 드는 연산자이므로 조인 연산을 효율적으로 처리하는 것은 전역 질의의 처리 성능과 직결된다. 그러므로 조인 연산을 처리하기 위한 다양한 연구들이 존재하며, 그 가운데 하나는 조인의 선택치를 추정하여 최소의 비용을 갖는 조인 순서를 선택하는 것이다. SQL 질의의 경우, 이미 전역 질의의 조인 선택치를 추정하고 이를 기반으로 그 처리 순서를 결정하기 위한 연구가 존재한다. 그러나, 테이블 구조의 데이타를 검색하기 위한 SQL 질의의 조인 선택치 추정 방법을 구조적인 XML 데이타를 검색하기 위한 XQuery질의를 위해서 그대로 사용하기에는 데이타의 구조적인 차이로 인해 문제가 있다. 그러므로 본 논문에서는 질의의 대상이 되는 XML 뷰들의 정보를 이용하여 XQuery 질의의 특성을 고려한 조인 선택치 추정 방법을 제안한다. 본 논문의 기여는 다음과 같다. 첫째, SQL 질의의 조인 선택치 추정 방법과 XQuery 질의의 방법 사이에 차이점을 분석한다. 둘째, XML 뷰를 참조하여 XQuery 질의의 처리를 위한 조인 선택치 추정 방법을 제안한다. 마지막으로, 성능 평가를 수행하여 제안하는 조인 선택치 추정 방법의 효율성을 입증한다.