• Title/Summary/Keyword: 색인기법

Search Result 654, Processing Time 0.029 seconds

A Method to Access Data for Spatial Operation in Parallel Distributed Processing System (병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안)

  • Kim, Jindeog
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2016.10a
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

Energy-efficient Query Processing of Constrained Nearest Neighbor Queries on the Wireless Broadcasting Environments (무선방송환경에서 에너지 효율적인 제한된 최근접 질의 처리)

  • Lee, Myong-Soo;Ryu, Byung-Gul;Oh, Jae-Oh;Lee, Sang-Keun
    • The KIPS Transactions:PartD
    • /
    • v.16D no.2
    • /
    • pp.191-200
    • /
    • 2009
  • Location based services (LBSs) have drawn huge attention as the growing number mobile devices and wireless technology demand more pervasive information access. In LBSs, Constraint nearest neighbor queries are one of the important queries of human to fulfill his desired quickly through wireless technology. We propose new query processing of constrained nearest neighbor query on the air to support mobile clients which demand optimal uses of wireless broadcast channel and using minimum battery power of client. First we proposed NN query processing with constrained region and then explain the novel NN query processing with various types of constraints. We have proposed novel algorithms to support Constrained Nearest Neighbor queries on the air based on Distributed Spatial Index and Bitmap-based Spatial Index.

Contents-based Image Retrieval Using Regression of Shape Features (모양 정보의 회귀추정에 의한 내용 기반 이미지 검색 기법)

  • Song Jun-Kyu;Choi Hwang-Kyu
    • Journal of Digital Contents Society
    • /
    • v.2 no.2
    • /
    • pp.157-166
    • /
    • 2001
  • In this paper we propose a feature vector extraction technique using regression of shape features for the content-based image retrieval system. The proposed technique can reduce the number of dimensions of a feature vector by converting the extracted high-dimensional feature vector into a specific n-dimensional feature vector. This paper shows how to resolve the 'dimensionality curse' problem by reducing the number of dimensions of a feature vector, and shows that the technique is more efficient than the conventional techniques for the practical image retrievals.

  • PDF

A Study on Information Retrieval Techniques of VOCED Database (직업교육 데이터베이스 VOCED의 검색기법 연구)

  • Kim, Soon-Won
    • Journal of Information Management
    • /
    • v.27 no.1
    • /
    • pp.40-65
    • /
    • 1996
  • This study is to review information retrieval techniques of VOCED database. The VOCED database contains internationally relevant information on vocational and adult education, training and related subjects. The software used is CDS/ISIS and the records are indexed using the APSDEP Thesaurus. When searching the VOCED database, various types of search techniques can be used. Multiple word, phrase, boolean logic, term truncation, defind field, and proximity searching techniques or a mixture of all of them, make it possible to find exactly what you want in seconds.

  • PDF

An Efficient Indexing Method For XML Documents Using Pre-Order List (Pre-Order List를 이용한 XML문서의 효과적인 색인방법)

  • 김영;박상호;박선;이주홍;홍준식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.154-156
    • /
    • 2004
  • 최근 XML은 인터넷상의 데이터의 표현 및 교환의 표준으로 인식되면서 XML에 대한 많은 연구가 이루어지고 있다 특히 XML문서의 정보량이 방대해짐에 따라 빠른 검색의 필요로 많은 인덱싱 기법들이 제안되었다. 최근의 연구 중, 패스를 기반으로 하는 인덱싱 기법들은 중간노드와 최하위노드의 검색, 조상-후손관계의 조인연산 등에서 성능이 떨어지는 경향이 있다. 이를 보완하기 위해 연구된 Numbering-Scheme 기반의 인덱싱 기법들은 대부분의 검색에서 우수한 성능을 보인다. 그러나 하위 노드가 늘어나는 경우엔 검색 오버헤드가 커질 수 있으며, 대량의 XML 문서나 구조가 다른 XML 문서가 추가되면 인덱스와 데이터 값의 재조정이 필요하게 된다. 이러한 문제를 해결하기 위하여 본 논문은 Numbering-Scheme을 기반으로 각 노드별 노드범위(Node-Range)와 Pre-Order List물 추가하여 검색성능을 높이고, 데이터의 삽입, 삭제에 효과적인 인덱싱 기법을 제안한다.

  • PDF

Retrieval of Large scaled XML Documents based on Path Query using Inverted indexes (역 색인을 이용한 경로 질의 기반 대용량 XML문서 검색)

  • Moon, Kyung-Won;Hwang, Byung-Yeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.35-38
    • /
    • 2005
  • 1998년 XML 문서 표준이 제안된 이래, 다양한 응용 분야에서 XML은 데이터를 표현하는 표준으로 자리잡아 가고 있다. 특히, 인터넷상의 많은 데이터들이 XML 형태로 작성되고 변환됨에 따라 다량의 XML 데이터가 생성되고 있다. 따라서 현재 XML 문서의 저장 및 질의 처리 기법의 연구가 활발하게 진행되고 있다. 하지만 기존의 연구는 대용량 XML 문서를 다루기에는 미흡한 점이 있다. 본 논문에서는 인터넷상의 널리 퍼져있는 방대하고, 다양한 구조의 XML문서들을 대상으로 패스 기반 질의를 빠르게 처리할 수 있는 검색 기법을 제안한다. 제안된 기법은 인터넷상에 산재해 있는 여러 XML 문서를 관계형 데이터베이스에 효율적으로 저장하고 질의를 통해 인터넷상 XML 문서의 엘리먼트를 빠르게 검색하는데 주안점을 둔다. 먼저, XML 문서를 관계형 데이터베이스에 효율적으로 저장하는 계층형 XML 저장 기법을 제안하고, 정보 검색 시스템에서 많이 사용하는 역 인덱스를 사용하여 저장된 XML 문서에 대한 검색 성능을 향상시킨다.

  • PDF

Term Weighting Method by Postposition and Compound Noun Recognition (조사 유형 및 복합명사 인식에 의한 용어 가중치 부여 기법)

  • 강승식;이하규;손소현;홍기채;문병주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10b
    • /
    • pp.196-198
    • /
    • 2001
  • 문서의 내용을 대표하는 용어를 추출하기 위해 일반적으로 영어에서는 명사구를 색인하는 기법을 사용하지만 주제어 추출의 관점에서 영어의 명사구가 한국어의 복합명사에 해당하기 때문에 한국어에서는 복합명사 색인 기법을 중요시하고 있다. 본 논문에서는 한글 문서에서 추출된 용어의 가중치를 결정하기 위하여 경험적인 방법에 따라 가중치를 계산하는 방법을 제안한다. 구체적인 가중치 계산 방법으로 용어 자체의 특성에 의한 가중치를 부여한 후에, 복합명사의 경계를 인식하여 띄어쓴 복합명사의 가중치를 조절하고, 다시 용어의 조사 유형에 따라 가중치를 재계산하는 방법을 제안한다. 신문기사에 대한 실험결과에 의하면 제안한 방법이 단순 출현빈도에 의한 주제어 추출 기법보다 정확도가 더 높았다.

  • PDF

Extended R-tree Spatial Indexing Methods with DTVF (DTVF를 갖는 확장 R-tree 공간 색인 기법)

  • 정원일;정보흥;박동선;김재홍;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.228-230
    • /
    • 1999
  • 공간 인덱스를 이용한 공간 질의 처리의 과정은 여과와 정제 단계로 이뤄진다. 여과 단계에서 후보 객체의 수를 줄이며, 정제 단계에서의 false-hit이 낮아지므로 불필요한 디스크 접근과 공간연산으로 인한 질의 처리 비용의 증대를 방지할 수 있다. 본 논문에서는 여과 단계에서 후보 객체를 최소화하기 위해 DTVF가 추가된 확장 R-tree를 제안한다. 제안된 기법에서는 n차원 상에 존재하는 공간 객체의 대표 정점들을 구석점 변환 기법을 이용하여 2n차원의 점으로 변환하고, 이 값을 확장된 R-tree라는 리프 노드의 DTVF에 유지한다. 공간 질의 처리시 여과 단계에서 DTVF를 이용하면 후보 객체 수를 최소화할 수 있으며, DTVF에 유지된 차원 변환된 값을 통해 후보 객체 선정에도 빠른 성능을 나타낸다. 제안된 기법은 공간 질의 처리시 여과 효율을 극대화하여 질의 처리 성능을 향상시킨다.

  • PDF

Constrained Nearest Neighbor Query Processing in Wireless Broadcast Environments (무선 방송 환경에서 제한된 지역의 NN 질의 처리 방법)

  • Myong-Soo Lee;Byung-Gul Ryu;Jae-Oh Oh;SangKeun Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.271-274
    • /
    • 2008
  • 위치기반 서비스는 모바일 기기와 무선 통신 기술의 발달로 인해 유비쿼터스 정보 접근의 요구에 따라 많은 관심을 받고 있다. 위치기반서비스 중에서 제한된 지역의 NN 질의는 무선 통신을 통해 그 수요가 급격히 증가하고 있는 절의 중 하나이다. 무선 방송 채널의 효율적 사용과 제한된 자원을 가진 무선 기기에서 제한된 지역의 NN 질의를 효율적으로 수행하기 위해 무선 방송환경에서 적합한 질의 처리 방법을 제안한다. 본 논문에서는 기존의 무선방송환경에서 적합한 기법인 분산 공간 색인 기법 기반한 제한된 지역의 NN 질의 방법을 제안하였으며 본 기법은 다른 기법에 비해 접근 시간과 튜닝시간에 대하여 좋은 성능을 보인다.

Design and performance Evaluation of Vertically-Parteitioned Parallel Signature File Method) (수직 분할 병렬 요약화일 기법의 설계 및 성능평가)

  • Kim, Jeong-Gi;Yu, Gyeong-Min;Jang, Jae-U
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.1
    • /
    • pp.66-79
    • /
    • 1999
  • 요약화일 기법은 대규모 데이터베이스 응용에서 효율적인 색인 기법으로 알려져 있으며 최근에는 보다 빠른 검색을 위해 병렬 요약화일 기법이 제안되고 있다. 본 논문에서는 효율적으로 병렬 처리를 할 수 있는 수직 분할 병렬 요약화일(Vertically-partitioned Parallel Signature File, VPSF) 기법을 제안한다. 본 VPSF는 동적인 환경에 잘 적응하도록 신장해싱을 이용하며, 검색의 효율성을 위해 프레임 슬라이스 기법을 사용한다. 실행의 편중을 없애기 위해 요약을 수직으로 분할하여 레코드를 프로세싱노드에 저장함으로써 병렬처리를 수행한다. 뿐만 아니라, 본 논문에서는 VPSF의 효율성을 보이기 위해 성능평가 모델을 제시하고, 실제의 레코드 집합을 가지고 실험을 실시하여 검색시간, 부가저장공간, 삽입시간에 대해 성능을 평가한다. 또한 레코드 집합의 분포에 다른 성능을 평가하기 위해 표준편차를 반으로 줄인 반 정규분포와 두 배로 크게 한 정규분포에 대한 성능평가를 실시한다. VPSF기법은 기존의 병렬 요약화일 기법들과 비교할 때, 실제 레코드 집합의 정규분포에서 기존의 Hamming filter 보다 평균 40% 정도 검색성능이 개선된다. 반 정규분포에서는 Hamming filter 보다 약 50% , HPSF보다 약 20% 정도 개선된 검색 성능을 보인다. 뿐만 아니라, 부가 저장공간 및 삽입시간에도 기존의 방법들보다 좋은 성능을 보인다. 일반적으로 VPSF는 데이터베이스의 레코드 크기가 서로 비슷할 때 그리고 데이터베이스의 크기가 클수록 우수한 검색 성능을 보인다.