• 제목/요약/키워드: Data Indexing

검색결과 492건 처리시간 0.026초

A Novel encrypted XML streaming technique for indexing data on multiple channels

  • Vinay K. Ahlawat;Gaurav Agarwal;Vikas Goel;Kueh Lee Hui;Mangal Sain
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권7호
    • /
    • pp.1840-1867
    • /
    • 2024
  • In this study, we focus on addressing the functional domain of research related to indexing XML data in wireless networks, emphasizing ensuring data confidentiality. The abstract outlines a novel indexing method designed for broadcasting encrypted XML data over wireless networks. The proposed technique involves two channels: one for indexing and another for transmitting the actual XML data. The method ensures data security by encrypting the XML stream, allowing mobile devices to access only authorized bits based on their access permissions. Despite an increase in data access time and device tuning time, the study concludes that the proposed indexing technique significantly enhances the security of transmitting XML data over mobile wireless networks.

빅데이터 클러스터 기반 검색 플랫폼의 실시간 인덱싱 성능 최적화 (Real-Time Indexing Performance Optimization of Search Platform Based on Big Data Cluster)

  • 금나연;박동철
    • Journal of Platform Technology
    • /
    • 제11권6호
    • /
    • pp.89-105
    • /
    • 2023
  • 정보기술의 발달로 모든 데이터는 데이터베이스화 되어 빅데이터 시대를 맞이하였으며 방대한 양의 데이터에 대한 접근성과 활용 가능성을 높이고자 빅데이터 검색 플랫폼의 필요성이 증가되었다. 검색 플랫폼은 기본적으로 효율적인 검색을 위해 인덱스를 빠르게 생성하고 저장하는 인덱싱 (indexing) 과정과 생성된 인덱스를 활용하여 필요한 정보를 찾는 검색 (searching) 과정으로 구성된다. 빅데이터 시대를 지나 초빅데이터 시대를 맞이하여 데이터의 용량이 거대해짐에 따라 데이터 인덱싱 성능이 검색 플랫폼의 매우 중요한 성능문제로 대두되고 있다. 많은 기업들이 효율적인 빅데이터 검색을 위해 검색 플랫폼들을 도입하고 있으나, 검색 효율성 및 검색 정확도 관련 연구에 비해 검색 성능의 핵심이 되는 인덱싱(indexing)의 성능을 최적화하는 연구는 상대적으로 미흡한 실정이다. 또한 인덱싱(indexing) 기본 단위인 샤드(Shard) 수와 크기를 최적화하는 연구에 비해 검색 플랫폼을 클러스터 기반으로 운영하기 위한 다양한 성능 비교 관련 연구는 미흡하다. 이에 본 연구에서는 대표적인 엔터프라이즈 빅데이터 검색 플랫폼인 Elasticsearch 클러스터를 구성하여 확장성 높은 검색 환경을 위해 최적의 인덱싱 성능을 낼 수 있는 구성을 제안한다. 본 논문은 클러스터와 검색 플랫폼의 다양한 구성 변경을 통해 최고의 인덱싱 성능을 낼 수 있는 구성을 도출하여 최적 구성에서 기본 구성보다 평균 3.13배 높은 인덱싱 성능의 향상을 확인하였다

  • PDF

고차원 벡터 데이터 색인을 위한 시그니쳐-기반 Hybrid Spill-Tree의 설계 및 성능평가 (Design and Performance Analysis of Signature-Based Hybrid Spill-Tree for Indexing High Dimensional Vector Data)

  • 이현조;홍승태;나소라;장유진;장재우;심춘보
    • 인터넷정보학회논문지
    • /
    • 제10권6호
    • /
    • pp.173-189
    • /
    • 2009
  • 최근 UCC를 중심으로 동영상 데이터에 대해 사람들의 관심이 증가하고 있다. 따라서 동영상 데이터의 내용-기반 검색을 지원하는 효율적인 색인 기법이 요구된다. 그러나 Hybrid Spill-Tree를 제외한 대부분의 색인 기법들은 대용량의 고차원 데이터를 다루는데 비효율적이다. 본 논문에서는 동영상 데이터의 내용-기반 검색을 지원하기 위한 효율적인 고차원 색인 기법을 제안한다. 제안하는 고차원 색인 기법은 기존 Hybrid Spill-Tree을 기반으로 새롭게 제안하는 클러스터링 방법과 시그니쳐를 이용한 데이터 저장 방법을 결합하여 확장된 색인 기법이다. 또한 제안하는 시그니쳐-기반 고차원 색인 기법이 기존 M-Tree 및 Hybrid Spill-Tree에 비해 성능이 우수함을 보인다.

  • PDF

MLR 트리 : 다중 레벨 지리정보 데이터의 윈도우 질의를 위한 공간 인덱싱 기법 (MLR-tree : Spatial Indexing Method for Window Query of Multi-Level Geographic Data)

  • 권준희;윤용익
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권5호
    • /
    • pp.521-531
    • /
    • 2003
  • 다중 레벨 지리정보 데이타는 화면 확대와 축소와 같은 윈도우 질의를 통해 다루어질 수 있다. 다중 레벨 지리정보 데이타를 효율적으로 다루기 위해서는 이러한 윈도우 질의를 지원하는 공간 인덱싱 기법이 필요하다. 그러나, 기존의 전통적인 공간 인덱싱 기법은 다중 레벨 지리정보 데이타를 액세스하는데 비효율적이다. 이를 위해 다중 레벨 지리정보 데이타를 위한 몇 가지 공간 인덱싱 기법이 알려진다. 그러나. 이 공간 인덱싱 기법은 모든 유형의 다중 레벨 지리정보 데이타를 지원하지 못한다는 문제점을 가진다. 본 논문에서는 다중 레벨 지리정보 데이타의 윈도우 질의를 위한 공간 인덱싱 기법, MLR 트리를 제안한다. MLR 트리는 우수한 검색 성능을 보이면서도 데이타 중복성이 발생하지 않으며, 이를 실험을 통해 보인다. 이 외에도 MLR 트리는 모든 유형의 다중 레벨 지리정보 데이타를 지원한다.

Design an Indexing Structure System Based on Apache Hadoop in Wireless Sensor Network

  • Keo, Kongkea;Chung, Yeongjee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.45-48
    • /
    • 2013
  • In this paper, we proposed an Indexing Structure System (ISS) based on Apache Hadoop in Wireless Sensor Network (WSN). Nowadays sensors data continuously keep growing that need to control. Data constantly update in order to provide the newest information to users. While data keep growing, data retrieving and storing are face some challenges. So by using the ISS, we can maximize processing quality and minimize data retrieving time. In order to design ISS, Indexing Types have to be defined depend on each sensor type. After identifying, each sensor goes through the Indexing Structure Processing (ISP) in order to be indexed. After ISP, indexed data are streaming and storing in Hadoop Distributed File System (HDFS) across a number of separate machines. Indexed data are split and run by MapReduce tasks. Data are sorted and grouped depend on sensor data object categories. Thus, while users send the requests, all the queries will be filter from sensor data object and managing the task by MapReduce processing framework.

An Efficient Video Retrieval Algorithm Using Luminance Projection

  • Kim, Sang-Hyun
    • Journal of the Korean Data and Information Science Society
    • /
    • 제15권4호
    • /
    • pp.891-898
    • /
    • 2004
  • An effective video indexing is required to manipulate large video databases. Most algorithms for video indexing have been commonly used histograms, edges, or motion features. In this paper, we propose an efficient algorithm using the luminance projection for video retrieval. To effectively index the video sequences and to reduce the computational complexity, we use the key frames extracted by the cumulative measure, and compare the set of key frames using the modified Hausdorff distance. Experimental results show that the proposed video indexing and video retrieval algorithm yields the higher accuracy and performance than the conventional algorithm.

  • PDF

인터넷 지리정보시스템에서 단계화 된 지리정보의 효율적인 데이터 검색을 위한 공간 인덱싱 기법 (Spatial Indexing Method for Efficient Retrieval of Levelized Geometric Data in Internet-GIS)

  • 권준희;윤용익
    • 인터넷정보학회논문지
    • /
    • 제3권2호
    • /
    • pp.1-13
    • /
    • 2002
  • 최근 인터넷 지리정보시스템에 대한 요구가 증가하면서 효율적인 공간 데이터 검색에 대한 필요성이 커지고 있다. 효율적인 공간 데이터 검색을 위해서는 단계별로 상세 화된 데이터를 검색하는 기법이 요구되며, 이러한 데이터를 효율적으로 처리하는 공간 인덱싱 기법이 필요하다. 본 논문에서는 효율적인 공간 데이터 검색을 위한 단계화 된 지리정보 데이터 검색을 지원하는 공간 인덱싱 기법을 제안한다. 기존의 공간 인덱싱 기법은 단계별 데이터를 검색하는데 비효율적이며, 단계별 데이터를 지원하는 몇 가지 공간 인덱싱 기법도 모든 종류의 단계별 데이터를 지원할 수 없는 문제점을 가진다. 제안된 구조는 모든 종류의 단계별 데이터를 지원하며, 메모리 용량과 검색 시간 모두에서 이전의 공간 인덱싱 기법보다 우수하다.

  • PDF

Efficient Query Retrieval from Social Data in Neo4j using LIndex

  • Mathew, Anita Brigit
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권5호
    • /
    • pp.2211-2232
    • /
    • 2018
  • The unstructured and semi-structured big data in social network poses new challenges in query retrieval. This requirement needs to be met by introducing quality retrieval time measures like indexing. Due to the huge volume of data storage, there originate the need for efficient index algorithms to promote query processing. However, conventional algorithms fail to index the huge amount of frequently obtained information in real time and fall short of providing scalable indexing service. In this paper, a new LIndex algorithm, which is a heuristic on Lucene is built on Neo4jHA architecture that holds the social network Big data. LIndex is a flexible and simplified adaptive indexing scheme that ascendancy decomposed shortest paths around term neighbors as basic indexing unit. This newfangled index proves to be effectual in query space pruning of graph database Neo4j, scalable in index construction and deployment. A graph query is processed and optimized beyond the traditional Lucene in a time-based manner to a more efficient path method in LIndex. This advanced algorithm significantly reduces query fetch without compromising the quality of results in time. The experiments are conducted to confirm the efficiency of the proposed query retrieval in Neo4j graph NoSQL database.

소파변환을 사용한 오디오 데이터 베이스 검색 기반에서의 오디오 색인에 관한 연구 (A Study on Audio Indexing Using Wavelet Transform for Content-based Retrieval in Audio Database)

  • 최귀열;곽칠성
    • 한국정보통신학회논문지
    • /
    • 제4권2호
    • /
    • pp.461-468
    • /
    • 2000
  • 디지털 기술 발전에 따른 오디오 데이터의 증가는 여러 컴퓨터 응용에 사용되면서 데이터를 관리하고 사용하기 위해, 내용기반 질의와 유사성 검색과 같은 새로운 기능을 갖는 데이터베이스 시스템의 개발이 불가피하게 됐다. 내용 기반 질의를 위한 빠르고 정확한 검색은 이러한 응용 시스템들에 필요하다. 효율적인 내용기반 색인과 유사성 검색의 설계는 관련성 있는 데이터의 빠른 검색을 제공하기 위한 주된 요소이다. 본 논문에서는 소파(Wavelet) 변환을 이용한 한국 전통 음악 데이터베이스의 오디오 색인을 위한 방법을 제안한다. 또한 소파 변환을 이용해 오디오 데이터에 대한 색인의 가능성을 보인다.

  • PDF

플래시 메모리 저장장치에서 효율적인 M-트리 기반의 인덱싱 구현 (An Implementation of Efficient M-tree based Indexing on Flash-Memory Storage System)

  • 유정수;낭종호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권1호
    • /
    • pp.70-74
    • /
    • 2010
  • 최근 플래시 메모리의 용량이 빠른 속도로 증가하면서 휴대 기기 환경에서 대량의 멀티미디어 데이터를 저장하는 것이 가능하게 되었다. 따라서 플래시 메모리 상에서 인덱스 구조를 통한 데이터 관리 기법이 필요하게 되었다. 여러 인덱싱 방법 중 M-tree는 고차원 거리 공간에 적합하기 때문에 멀티미디어 데이터의 특징 데이터에 대한 인덱싱 방법으로 가장 많이 쓰이고 있다. 그러나 플래시 메모리는 쓰기 연산의 제한을 갖기 때문에, 잦은 쓰기가 발생하는 트리 구조의 인덱싱을 구축 시 심각한 성능 저하가 발생한다. 본 논문에서는 플래시 메모리 상에서 M-tree를 구현함에 있어서 노드 분할 방법을 통하여 쓰기 연산의 횟수를 감소시켜 입출력 성능을 향상시키는 방법을 제안하였다. 실험에 의하면 쓰기 횟수를 약 7%정도로 현저히 감소시킨 것으로 나타났다. 본 논문에서 제안한 방법을 사용하여 플래시 메모리 상에서 대량의 데이터에 대한 인덱싱을 효율적으로 구축할 수 있을 것이다.