• 제목/요약/키워드: Distributed Indexing

검색결과 46건 처리시간 0.021초

다중 질의 색인기법과 무선 센서를 이용한 환경정보 모니터링 시스템 구현 (Implementation of Environmental Information Monitoring System using Multi-Query Indexing Technique and Wireless Sensor)

  • 김정이;이강호
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권6호
    • /
    • pp.307-312
    • /
    • 2007
  • 무선 센서 네트워크 기술은 유비쿼터스 컴퓨팅의 핵심 분야로서 그 활용도가 다양해 이와 관련된 많은 연구 개발이 이루어지고 있다. 무선 센서 네트워크는 매우 작은 크기의 독립된 무선 센서들을 물리적 공간에 배치하여 주위의 온도, 빛, 가속도 등의 정보를 무선으로 감지, 관리할 수 있는 기술이다. 본 논문에서는 무선 센서 네트워크의 지속적 환경 데이터 처리의 효율성 및 다중 질의의 처리 성능을 높이기 위해 공간색인 기법을 이용한 다중 질의 색인 처리를 제안, 구현하였다. 다중 질의 색인 시스템은 미리 정의된 다중 질의를 이용하여 색인 구조를 생성하고, 센서 네트워크에서의 센서 데이터를 입력으로 받아서 생성된 색인 구조를 통해 센서 데이터가 해당되는 질의를 출력해 주는 시스템이다. 시스템 구축을 위한 무선 센서 노드로서 Mote 플랫폼 중에서 MICAz와 운영체제인 TinyOS를 이용하여 환경 정보를 탐지하고 다중 질의 색인 처리하였다.

  • PDF

B2V-Tree: 무선 데이타 스트림에서 부분 부합 질의를 위한 색인 기법 (B2V-Tree: An Indexing Scheme for Partial Match Queries on Wireless Data Streams)

  • 정연돈;이지연
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권3호
    • /
    • pp.285-296
    • /
    • 2005
  • 이동 분산 환경에서는 무선 데이타 방송 기법을 통하여 서버의 데이타 레코드들을 이동 사용자들에게 전달하는 방식이 많이 사용된다. 그리고, 무선 방송 스트림에서 데이타를 에너지 효율적으로 접근하기 위해서는 색인 기법이 필요하다. 하지만, 기존의 색인 기법들은 데이타 레코드의 키 값을 이용한 트리 형태의 색인 구조를 사용하고 있다. 따라서 부분 부합 질의 등과 같은 내용 기반 검색 질의를 지원할 수 없었다. 본 논문에서는 무선 방송으로 이동 사용자들에게 전달되는 데이타 스트림에서 내용 기반 검색인 부분 부합 질의를 지원하기 위해 B2V-Tree라고 불리는 색인 기법을 제안한다. 본 논문에서 제안하는 B2V-Tree는 데이타 레코드들의 애트리뷰트 값을 다중 애트리뷰트 해싱을 통해 비트 벡터로 생성한 다음, 이들을 색인 트리로 구성하는 색인 기법이다.

대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법 (Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments)

  • 최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.42-53
    • /
    • 2020
  • 소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

암호화 데이터를 위한 힐버트 커브 기반 다차원 색인 키 생성 및 질의처리 알고리즘 (Hilbert-curve based Multi-dimensional Indexing Key Generation Scheme and Query Processing Algorithm for Encrypted Databases)

  • 김태훈;장미영;장재우
    • 한국멀티미디어학회논문지
    • /
    • 제17권10호
    • /
    • pp.1182-1188
    • /
    • 2014
  • Recently, the research on database outsourcing has been actively done with the popularity of cloud computing. However, because users' data may contain sensitive personal information, such as health, financial and location information, the data encryption methods have attracted much interest. Existing data encryption schemes process a query without decrypting the encrypted databases in order to support user privacy protection. On the other hand, to efficiently handle the large amount of data in cloud computing, it is necessary to study the distributed index structure. However, existing index structure and query processing algorithms have a limitation that they only consider single-column query processing. In this paper, we propose a grid-based multi column indexing scheme and an encrypted query processing algorithm. In order to support multi-column query processing, the multi-dimensional index keys are generated by using a space decomposition method, i.e. grid index. To support encrypted query processing over encrypted data, we adopt the Hilbert curve when generating a index key. Finally, we prove that the proposed scheme is more efficient than existing scheme for processing the exact and range query.

이질적인 분산 환경에서의 MPEG비디오의 파싱을 위한 스케줄링 알고리즘 (A Scheduling Algorithm for Parsing of MPEG Video on the Heterogeneous Distributed Environment)

  • 남윤영;황인준
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제31권12호
    • /
    • pp.673-681
    • /
    • 2004
  • 디지털 비디오의 사용이 보편화되면서 비디오에 대한 효율적인 브라우징이나 검색의 요구가 증가하게 되었다. 이러한 연산을 지원하기 위해서는 효과적인 비디오 인덱싱이 결랍되어야 한다. 비디오 인덱싱에서 가장 기초적인 단계의 하나는 비디오론 샷과 장면으로 파싱하는 것이다. 일반적으로, 비디오 파싱은 복잡한 연산을 필요로 하기 때문에, 기존의 단일 컴퓨터 환경에서는 많은 시간이 소요된다. 기존의 연구는 일정한 시간 동안에 각 슬레이브들에게 작업을 할당하는 라운드 로빈 방식을 사용하였다. 그러나 이러한 방식은 이질적인 환경에서는 적용하는데 어려움이 있다. 본 논문에서는 이질적인 분산 컴퓨팅 환경에서 사용가능한 병렬 파싱 알고리즘인 사이즈 적응적인 라운드 로빈과 동적으로 사이즈 적응적인 라운드 로빈 방식을 제안하였다 성능을 비교하기 위해 몇 가지 실험을 하였으며, 그 결과를 분석하였다.

Distributed Moving Objects Management System for a Smart Black Box

  • Lee, Hyunbyung;Song, Seokil
    • International Journal of Contents
    • /
    • 제14권1호
    • /
    • pp.28-33
    • /
    • 2018
  • In this paper, we design and implement a distributed, moving objects management system for processing locations and sensor data from smart black boxes. The proposed system is designed and implemented based on Apache Kafka, Apache Spark & Spark Streaming, Hbase, HDFS. Apache Kafka is used to collect the data from smart black boxes and queries from users. Received location data from smart black boxes and queries from users becomes input of Apache Spark Streaming. Apache Spark Streaming preprocesses the input data for indexing. Recent location data and indexes are stored in-memory managed by Apache Spark. Old data and indexes are flushed into HBase later. We perform experiments to show the throughput of the index manager. Finally, we describe the implementation detail in Scala function level.

Spark 기반의 인 메모리 분산 이동객체 색인 기법 (In-memory Distributed Moving Object Indexing Method based on Spark)

  • 이윤수;송석일
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
    • /
    • pp.35-36
    • /
    • 2014
  • 이 논문에서는 다수 노드로 구성되는 클러스터 환경을 위한 인-메모리 이동객체 분산 색인기법을 제안한다. 제안하는 방법은 Spark Stream의 D-strem모델을 사용하여 처리율 저하등의 문제를 유할 할 수 있는 잠금 기반의 동시성 제어방법을 배제한다.

  • PDF

분산 데이터 통합을 위한 색인기반의 매핑 시스템 (Mapping System based on Indexing for Integrating Distributed Data)

  • 설진안;김운용;정계동;최영근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.436-438
    • /
    • 2003
  • 분산된 데이터는 이질적인 시스템 환경으로 인하여 공유하기 어렵고. 데이터의 형식 및 데이터 모델이 서로 다르게 정의되어 사용함으로서 통합하기 또한 어렵다. 본 논문에서는 이러한 문제를 해결하기 위해 분산된 데이터를 XML문서로 변환한다. 또한 색인기법으로 문서의 구조 및 컨텐츠 정보를 추출하여 서로 다르게 정의된 의미정보를 데이터 사전과 비교하여 표준문서로 통할할 수 있는 색인 기반의 매핑 시스템에 대해 기술한다. 제안된 매핑 시스템은 DOM이나 SAX와 같은 표준 인터페이스를 사용하여 XML문서를 통합하는 것보다 효율적으로 통합할 수 있다.

  • PDF

Distributed Indexing Methods for Moving Objects based on Spark Stream

  • Lee, Yunsou;Song, Seokil
    • International Journal of Contents
    • /
    • 제11권1호
    • /
    • pp.69-72
    • /
    • 2015
  • Generally, existing parallel main-memory spatial index structures to avoid the trade-off between query freshness and CPU cost uses light-weight locking techniques. However, still, the lock based methods have some limits such as thrashing which is a well-known problem in lock based methods. In this paper, we propose a distributed index structure for moving objects exploiting the parallelism in multiple machines. The proposed index is a lock free multi-version concurrency technique based on the D-Stream model of Spark Stream. The proposed method exploits the multiversion nature of D-Stream of Spark Streaming.

Fast Search with Data-Oriented Multi-Index Hashing for Multimedia Data

  • Ma, Yanping;Zou, Hailin;Xie, Hongtao;Su, Qingtang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권7호
    • /
    • pp.2599-2613
    • /
    • 2015
  • Multi-index hashing (MIH) is the state-of-the-art method for indexing binary codes, as it di-vides long codes into substrings and builds multiple hash tables. However, MIH is based on the dataset codes uniform distribution assumption, and will lose efficiency in dealing with non-uniformly distributed codes. Besides, there are lots of results sharing the same Hamming distance to a query, which makes the distance measure ambiguous. In this paper, we propose a data-oriented multi-index hashing method (DOMIH). We first compute the covariance ma-trix of bits and learn adaptive projection vector for each binary substring. Instead of using substrings as direct indices into hash tables, we project them with corresponding projection vectors to generate new indices. With adaptive projection, the indices in each hash table are near uniformly distributed. Then with covariance matrix, we propose a ranking method for the binary codes. By assigning different bit-level weights to different bits, the returned bina-ry codes are ranked at a finer-grained binary code level. Experiments conducted on reference large scale datasets show that compared to MIH the time performance of DOMIH can be improved by 36.9%-87.4%, and the search accuracy can be improved by 22.2%. To pinpoint the potential of DOMIH, we further use near-duplicate image retrieval as examples to show the applications and the good performance of our method.