• 제목/요약/키워드: 조인 질의

검색결과 1,324건 처리시간 0.032초

데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법 (A Distributed SPARQL Query Processing Scheme Considering Data Locality and Query Execution Path)

  • 김병훈;김대윤;고건식;노연우;임종태;복경수;이병엽;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.275-283
    • /
    • 2017
  • 시맨틱 웹 서비스의 증가로 인해 RDF 데이터가 대용량화되고 있다. 대용량 RDF 데이터를 효율적으로 활용하기 위하여 다양한 분산 저장 및 질의 처리기법들이 연구되고 있다. 본 논문에서는 대용량 RDF 데이터의 데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법을 제안한다. 제안하는 기법은 질의 처리 시의 조인 비용 및 통신비용을 감소시키기 위해 분산 저장된 RDF 데이터의 지역성 및 질의 수행 경로를 고려한다. 분산 환경에서 SPARQL 질의를 처리할 때 데이터 지역성을 고려하여 WHERE절을 기준으로 해당 질의를 여러 개의 서브 질의로 분할한다. 제안하는 기법은 분할된 서브 질의들을 인덱스를 통해 연관 노드들끼리 그룹화 하여 처리함으로써 데이터 통신비용을 감소시킬 수 있다. 또한 그룹 화된 서브 질의 처리 시 불필요한 조인 및 대기 시간을 감소시키기 위해 데이터 파싱 비용, 노드별 데이터 통신량 및 대기 시간 등을 고려한 효율적인 질의 수행 경로를 생성한다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법보다 우수함을 보인다.

센서 네트워크 환경에서 에너지 효율적인 인-네트워크 조인 질의 처리 (An Energy-Efficient In-Network Join Query Processing in Sensor Networks)

  • 장용진;여명호;서동민;유재수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.791-792
    • /
    • 2009
  • 본 논문에서는 센서네트워크 환경에서 에너지 효율적인 인-네트워크 조인 질의 처리기법을 제안한다. 제안된 기법은 데이터의 요약된 정보 시놉시스를 사용한다. 각 영역의 전체 시놉시스의 크기를 고려 하여 예비 조인 조정자를 선정하는 방법과 최종 데이터를 싱크 노드로 전송하는 비용을 줄인다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 성능 비교를 수행한다.

시멘틱 검색 엔진 설계 및 구현 (A Design and Implementation of the Semantic Search Engine)

  • 허선영;김은경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.331-335
    • /
    • 2008
  • 시맨틱 웹은 정보의 의미를 개념으로 정의하고 개념들 간의 관계성을 표현함으로써, 문서들 간의 단순 연결이 아닌 의미 연결을 통해서 보다 정확하고 효율적인 정보 검색이 가능하게 된다. 이러한 시맨틱 웹의 비전이 구체화되기 위해서는 웹 온톨로지(Web Ontology)를 기반으로 의미 정보로 구성된 시맨틱 문서들에 대한 추론을 통해서 웹상에 존재하는 엄청난 정보들 간의 관련성을 파악하고 사용자가 요구하는 정보를 보다 효율적으로 검색할 수 있는 시스템이 필수적이다. W3C에서 제안한 OWL은 대표적인 온톨로지 언어이다. 시맨틱 웹 상에서 OWL 데이타를 효율적으로 검색하기 위해서는 잘 구성되어진 저장 스키마를 구축해야 한다. 본 논문에서는 Jena2의 경우, 단일 테이블에 문서의 정보를 저장하기 때문에 단순 선택 연산 (Simple Selection), 조인 연산이 요구되는 질의에 대한 성능이 저하되고 대용량의 OWL데이터의 처리에 있어 성능이 저하되는 문제를 해결하기 위하여 본 논문에서는 OWL 문서의 의미를 Class, Property, Individual로 분류하여 각각의 데이터 정보들을 테이블에 저장하기 위한 다중 변환기와 OWL 변환기 기능을 가진 시멘텍 검색 엔진을 설계 및 구현하였다. 본 검색 엔진을 테스트한 결과, 단순정보검색 질의 시 Jena2에서 비정규화된 테이블 구조로 저장할 때보다 질의 응답 속도를 향상 시킬 수 있었고, 조인 연산 시 두 테이블의 크기로 인한 조인비용이 발생하는 문제점을 해결함으로써 빠른 검색 및 질의 속도를 보장할 수 있었다.

  • PDF

클라우드에서 SPARQL 질의 처리를 위한 조인 성능 향상 (Improving Join Performance for SPARQL Query Processing in the Clouds)

  • 최규진;손윤희;이규철
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.700-709
    • /
    • 2016
  • 최근 LOD 데이터의 급격한 증가로 인해 기존의 싱글 머신 시스템을 통한 대량의 LOD 처리는 성능의 한계를 가진다. 이러한 문제를 해결하기 위해 최근 연구들은 분산, 병렬 프레임워크인 맵리듀스를 활용한다. 하지만 맵리듀스를 통해 SPARQL 질의를 처리하기 위해서는 다수의 맵리듀스 잡이 필요하고, 이로 인해 추가적인 비용이 발생하게 된다. 또한, 조인을 위해 불필요한 데이터를 처리해야 하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 SPARQL 질의 처리 시 발생하는 맵리듀스 잡의 개수를 줄이고 Bitmap을 기반으로 조인 인덱스를 작성 후 이용하여 불필요한 데이터 처리를 최소화 하는 방법을 제안한다.

XML 구조 문맥을 사용한 효율적인 경로 표현식 조인 알고리즘 (An Efficient Path Expression Join Algorithm Using XML Structure Context)

  • 김학수;신영재;황진호;이승미;손진현
    • 정보처리학회논문지D
    • /
    • 제14D권6호
    • /
    • pp.605-614
    • /
    • 2007
  • XML 데이터 검객을 위한 표준 질의 언어로서 XQuery와 XPath가 W3C에 의해 표준으로 제정되었다. XQuery와 XPath를 보편적으로 사용함에 따라, 최근 연구는 방대한 XML 데이터베이스에서 XPath 경고 표현식에 대한 효율적인 질의 처리를 위한 데이터 구조 및 알고리즘 개발에 초점을 두고 있다. 최근에, XPath 경로 표현식을 처리할 때 XML 엘리먼트 사이의 구조적 관계(조상-자손, 부모-자식)를 결정하는 구조적 조인의 개념은 중요한 XPath 프로세싱 기법중의 하나가 되었다. 그러나 XPath 질의 처리에서 자주 발생하는 구조적 조인들은 높은 비용을 요구한다. 본 논문에서, 우리는 XPath 질의들을 효율적으로 처리하기 위해 제안한 구조적 인덱스(SI) 기반의 새로운 구조적 조인 알고리즘(SISJ)을 제안한다. 실험 결과에서는 이전의 알고리즘보다 근소하게 더 효율적인 성능을 보여 준다. 그러나 재귀성이 높은 문서에 대해서는 제안기법의 가지치기 특성으로 인해 약 30% 이상의 성능향상을 보였다.

프리픽스 매취 조인을 이용한 XML 문서에 대한 분기 경로 질의 처리 (Branching Path Query Processing for XML Documents using the Prefix Match Join)

  • 박영호;한욱신;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권4호
    • /
    • pp.452-472
    • /
    • 2005
  • 본 논문에서는 정보 검색(Information Retrieval, IR) 기술과 새로운 인스턴스 조인 기술을 이용하여 방대하고도 이질적인 XML 문서들에 대한 부분 매취 질의(Partial Match Query)를 처리하는 새로운 방법으로, XIR-Branching을 제안한다. 부분 매취 질의는 경로 표현식에 조상-후손 관계성(descendent-or-self axis) "//"를 가지는 질의로 정의되며, 선형 경로 표현식(Linear Path Expression, LPE)과 분기 경로 표현식(Branching Path Expression, BPE)으로 구분된다 일반적 형식의 부분 매취 질의는 분기하는 경로들을 만드는 분기 조건들을 가진다. XIR-Branching의 목적은 이질적인 스키마들을 가진 방대한 문서들에 주어지는 부분 매취 질의를 효과적으로 지원하는 것이다. XIR-Branching은 관계형 테이블을 사용하는 전통적인 스키마-레벨 방법들(XRel, XParent, XIR-Linear[21])에 그 기초를 두고, 역 인덱스(inverted index) 기술과 새롭게 소개하는 인스턴스-레벨 조인 기술인 프리픽스 매취 조인(Prefix Match Join)을 사용하여 질의 처리 효율성과 확장성을 향상시킨다. 전자는 LPE를 처리하기 위한 기술로 XIR-Linear[21]에서 사용한 방법이다. 후자는 BPE를 처리하기 위한 기술로 본 논문에서 새롭게 제안하는 기술이며, 전통적인 방법에서 사용하는 포함 관계 조인(containment join) 보다 효과적인 방법으로 결과 노드(result node)를 찾는다. 기존 연구인 XR-Linear는 역 인덱스를 사용하여 LPE 처리에 우수한 성능을 보이고 있지만, BPE 처리 방법을 다루지 않았다. 그러나. 더욱 구체적이고 일반적인 질의를 위해서는 BPE도 처리할 수 있어야 한다. 본 논문에서는 BPE까지 다룰 수 있는 새로운 방법으로 기존의 XIR-Linear를 확장한 XIR-Branching을 제안한다. 제안하는 방법은 스키마-레벨 방법으로 질의 대상 후보 집합을 크게 줄인 후, 인스턴스-레벨 조인 방법인 프리픽스 매취 조인으로 최종 결과 집합을 효과적으로 구하는 방법이다. XIR-Branching의 우수성을 보이기 위해 기존 BP포 처리 방법인 XRei, XParent와 비교 분석을 수행한다. 마지막으로, 성능 평가를 통하여 XIR-Branching이 기존 방법들에 비해 수십에서 수백배 효과적이고 확장성 또한 뛰어남을 보인다.

RDF 데이터에 대한 경로 질의 처리 (Query Processing for Path Query on RDF Data)

  • 김성완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.19-24
    • /
    • 2007
  • 웹 리소스에 대한 메타 데이타 표현을 위해 RDF가 표준안으로 제정됨에 따라 RDF 데이타 저장 및 질의 처리 등의 연구가 많이 진행되어 왔다. 전통적인 저장 시스템을 기반으로 하는 저장 구조는 단순한 트리플 패턴 기반의 질의 처리에는 효율적이다. 그러나 여러 개의 트리플 패턴들이 결합된 질의 즉, 경로 기반의 질의 처리는 많은 조인 연산이 요구된다. 한편, 경로 질의의 효율적인 처리를 위해 접미사 배열을 응용한 인덱싱 기법이 제안되었다. 그러나 이 연구에서는 부분 경로식을 포함한 단순 경로 기반 질의 처리의 성능이 향상됨을 보여주었으나 다양한 경로 질의 유형에 대한 처리는 고려하지 않았다. 본 논문에서는 접미사 배열을 응용한 인덱싱 기법을 기반으로 한 경로 기반의 RDF 질의 처리 방안을 기술 한다. 특히, 단순 경로 질의처리 이외에 다양한 질의 유형의 처리를 위한 방안들을 예제를 통해 설명한다.

  • PDF

관계형 데이터 웨어하우스의 복잡한 질의의 처리 효율 향상을 위한 비트맵 조인 인덱스 선택에 관한 연구 (A Study on Selecting Bitmap Join Index to Speed up Complex Queries in Relational Data Warehouses)

  • 안형근;고재진
    • 정보처리학회논문지D
    • /
    • 제19D권1호
    • /
    • pp.1-14
    • /
    • 2012
  • 데이터 웨어하우스는 크기가 방대하기 때문에 인덱스의 선택은 질의어 처리의 효율성에 상대한 영향을 준다. 인덱스는 질의 처리 비용을 줄이지만, 그것이 차지하는 기억 영역과 데이터베이스의 변경에 따른 보수라는 비용이 수반된다. 데이터 웨어하우스에서 하나의 사실 테이블과 여러 개의 차원 테이블 사이의 조인을 행하는 스타 조인 질의어와 차원 테이블의 선택을 최적화하기 위해서 비트맵 조인 인덱스가 잘 적용된다. 비트맵 조인 인덱스는 이진수로 표현되기 때문에 저장 비용은 적게 들지만 인덱스 할 후보 속성들이 많이 생성되기 때문에 그 중에서 인덱스 할 속성들을 선택하는 일은 어려운 과제가 된다. 인덱스 선택은 일단 후보 속성들의 개수를 축소하고, 그 중에서 인덱스를 선택하게 된다. 본 논문에서는 데이터 마이닝 방법을 사용해서 비트 맵 조인 인덱스 선택 문제에서 후보 속성들의 개수를 축소하는 것을 해결한다. 질의어에 있는 속성들의 빈도에 기준해서 후보 속성들의 개수를 감소시키는 기존의 방법에 비해서 본 논문은 속성들의 빈도를 사용함과 동시에 차원 테이블의 크기, 차원 테이블의 튜플 크기, 디스크의 페이지 크기 등을 고려한다. 그리고 데이터마이닝 기법으로 빈발 항목집합을 마이닝하여 후보 속성들의 개수를 효과적으로 줄인다. 후보 속성집합들의 비트 맵 조인 인덱스에 비용함수를 적용해서 최소의 비용과 기억 영역 제한에 적합한 속성집합들의 비트 맵 조인 인덱스를 구한다. 본 논문의 방법의 효율성을 평가하기 위해서 기존의 방법들과 비교 분석을 한다.

Row-지향과 Column-지향 데이터베이스의 조인 질의 처리 비용 비교 (Comparision of Join Query Processing Cost in Row-Oriented and Column-Oriented Databases)

  • 오병중;안수민;김경창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1214-1217
    • /
    • 2011
  • 데이터 레코드를 가로(row-wise)로 저장하는 기존의 데이터베이스를 Row-지향 데이터베이스, 세로(column-wise)로 저장하는 데이터베이스를 Column-지향 데이터베이스라 정의하자. 본 논문에서는 Row-지향 데이터베이스와 Column-지향 데이터베이스에서 분석 workload 형태의 조인 질의를 처리하여 비교 우위 성능을 보이는 데이터베이스 시스템을 고찰하고자 한다. 객관적인 성능 실험을 위해 분석적 모델인 스타 스키마 벤치마크를 이용하였다. Nested Loop 조인과 Sort Merge 조인 기법을 사용한 실험에서 Column-지향 데이터베이스의 성능이 우수하게 나타났음을 확인할 수 있다.

분산 공간 데이터베이스를 위한 동적 콜렉터 (Study on a Dynamic Collector for Distributed Spatial Databases)

  • 이재훈;박순영;정원일;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.665-667
    • /
    • 2003
  • 분산된 공간 데이터를 효과적으로 저장. 관리하고 공유하기 위하여 분산 공간 데이터베이스 시스템의 필요성이 대두되었다. 분산 공간 데이터베이스 시스템은 많은 변화가 있는 환경이기 때문에 최적화된 질의 플랜을 작성하기가 어렵고 또한 고비용의 공간 연산 비용을 고려해야 하는 문제를 가지고 있다. 본 논문은 질의 실행 시간이 변화된 분산 데이터베이스 환경을 고려하여 질의를 수행하며 공간 조인을 병렬적으로 수행하는 동적 콜렉터를 제안한다. 동적 콜렉터는 분산 데이터베이스 환경의 변화에 적응할 수 있으며 분산 공간 조인을 효율적으로 처리할 수 있다.

  • PDF