• Title/Summary/Keyword: hashing

검색결과 214건 처리시간 0.023초

Locality-Sensitive Hashing Techniques for Nearest Neighbor Search

  • Lee, Keon Myung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제12권4호
    • /
    • pp.300-307
    • /
    • 2012
  • When the volume of data grows big, some simple tasks could become a significant concern. Nearest neighbor search is such a task which finds from a data set the k nearest data points to queries. Locality-sensitive hashing techniques have been developed for approximate but fast nearest neighbor search. This paper introduces the notion of locality-sensitive hashing and surveys the locality-sensitive hashing techniques. It categories them based on several criteria, presents their characteristics, and compares their performance.

Locality-Sensitive Hashing for Data with Categorical and Numerical Attributes Using Dual Hashing

  • Lee, Keon Myung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제14권2호
    • /
    • pp.98-104
    • /
    • 2014
  • Locality-sensitive hashing techniques have been developed to efficiently handle nearest neighbor searches and similar pair identification problems for large volumes of high-dimensional data. This study proposes a locality-sensitive hashing method that can be applied to nearest neighbor search problems for data sets containing both numerical and categorical attributes. The proposed method makes use of dual hashing functions, where one function is dedicated to numerical attributes and the other to categorical attributes. The method consists of creating indexing structures for each of the dual hashing functions, gathering and combining the candidates sets, and thoroughly examining them to determine the nearest ones. The proposed method is examined for a few synthetic data sets, and results show that it improves performance in cases of large amounts of data with both numerical and categorical attributes.

확장된 Interactive Hashing 프로토콜 (Extended Interactive Hashing Protocol)

  • 홍도원;장구영;류희수
    • 정보보호학회논문지
    • /
    • 제12권3호
    • /
    • pp.95-102
    • /
    • 2002
  • Interactive hashing은 Naor, Ostrovsky, Venkatesan, Yung〔1〕에 의해 소개된 프로토콜로 주어진 스트링 크기 t비트에 대해 t-1번의 라운드 복잡도(round complexity)와 $t^2$-1 비트의 전송 복잡도(communication complexity)를 가진다. 본 논문은 t를 나누는 m에 대해서 t/m-1번의 라운드 복잡도와 $t^2$/m - m 비트의 전송 복잡도를 갖는 NOVY 프로토콜보다 효율적으로 확장된 Interactive hashing 프로토콜을 제안하고 그 안전성을 증명한다.

대규모 동적 해싱 디렉토리의 구현 및 평가 (An Implementation and Evaluation of Large-Scale Dynamic Hashing Directories)

  • 김신우;이용규
    • 한국멀티미디어학회논문지
    • /
    • 제8권7호
    • /
    • pp.924-942
    • /
    • 2005
  • 최근 대용량 데이터의 저장과 검색을 위해서 리눅스 클러스터 파일시스템의 디렉토리는 점차 대규모로 되고 있다. 그들 중 대표적인 GFS의 디렉토리는 동적 해싱의 하나인 빠른 검객을 지원하는 확장 해싱을 이용하고 있다. GFS의 디렉토리의 주된 특징은 모든 리프 노드들이 트리의 동일한 레벨에 놓이는 플랫 구조를 가지고 있다. 그러나 리프 노드에서 오버플로우가 발생하게 되면 레벨이 하나 증가하면서 갑자기 데이터 블록의 임의의 평균 접근 시간이 길어지는 단점이 있다. 또 다른 동적 해싱으로는 선형해싱을 들 수 있고, 이는 확장 해싱보다 파일 접근에 좋은 성능을 보여준다. 본 논문에서는 플랫 구조보다 더 좋은 접근 성능을 가지는 세미 플랫 구조를 이용하여, 대규모 리눅스 클러스터 파일 시스템을 위한 확장 해싱 디렉토리와 선형 해싱 디렉토리를 설계 및 구현하고 그들의 성능을 비교한다. 성능 평가 결과, 파일의 삽입 면에서는 선형 해싱 기반의 디렉토리가 좋은 성능을 보였으나, 공간 활용 면에서는 확장 해싱 기반의 디렉토리가 좋은 성능을 보였다.

  • PDF

메모리 기반의 인덱스 기법에 관한 연구 (A Study of Index Method Based on Main Memory)

  • 홍기채;문병주
    • 전자통신동향분석
    • /
    • 제16권6호통권72호
    • /
    • pp.29-40
    • /
    • 2001
  • 본 고에서는 디스크 기반의 정보검색시스템의 성능을 높이는 것을 목표로, 주기억장치 상주형 정보검색시스템에 적합한 주기억장치 기반의 인덱싱 기법을 비교 평가하고자 한다. 인덱스는 인덱스를 구성하는 키의 순서가 유지되는지의 여부에 따라 크게 두 종류로 나눌 수 있는데, 키가 일정한 순서로 유지되는 트리 계열과 키의 순서와 관계없이 무작위로 유지되는 해시 계열로 구분할 수 있다. 트리 계열 인덱스는 일정한 범위가 주어지는 연산을 처리할 때 유용하게 사용될 수 있으며, 해시 계열 인덱스는 특정한 키에 의한 빠른 데이터 접근을 제공한다. 트리 계열 인덱스로는 AVL 트리, B+ 트리, T 트리 등이 있으며, 해시 계열 인덱스로는 체인 버켓 해싱(Chained Bucket Hashing: CBH), 확장 해싱(Extendible Hashing: EH), 선형 해싱(Linear Hashing: LH), 수정된 선형 해싱(Modified Linear Hashing), 다중 디렉토리 해싱(Multi-directory Hashing) 및 확장된 체인 버켓 해싱(Extendible Chained Bucket Hashing: ECBH) 등이 있다.

A Novel Perceptual Hashing for Color Images Using a Full Quaternion Representation

  • Xing, Xiaomei;Zhu, Yuesheng;Mo, Zhiwei;Sun, Ziqiang;Liu, Zhen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권12호
    • /
    • pp.5058-5072
    • /
    • 2015
  • Quaternions have been commonly employed in color image processing, but when the existing pure quaternion representation for color images is used in perceptual hashing, it would degrade the robustness performance since it is sensitive to image manipulations. To improve the robustness in color image perceptual hashing, in this paper a full quaternion representation for color images is proposed by introducing the local image luminance variances. Based on this new representation, a novel Full Quaternion Discrete Cosine Transform (FQDCT)-based hashing is proposed, in which the Quaternion Discrete Cosine Transform (QDCT) is applied to the pseudo-randomly selected regions of the novel full quaternion image to construct two feature matrices. A new hash value in binary is generated from these two matrices. Our experimental results have validated the robustness improvement brought by the proposed full quaternion representation and demonstrated that better performance can be achieved in the proposed FQDCT-based hashing than that in other notable quaternion-based hashing schemes in terms of robustness and discriminability.

PCA 기반 군집화를 이용한 해슁 기법 (A Hashing Method Using PCA-based Clustering)

  • 박정희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권6호
    • /
    • pp.215-218
    • /
    • 2014
  • 해슁(hashing)을 기반으로 한 근사 최근접 이웃 탐색(approximate nearest neighbors search, ANN search) 방법에서는 데이터 샘플들을 k-비트 이진 코드로 변환하는 해쉬 함수들을 이용함으로써 근접 이웃 탐색이 이진변환 공간에서 이루어지게 된다. 본 논문에서는 PCA 기반 군집화 방법인 Principal Direction Divisive Partitioning(PDDP)를 이용한 해슁 방법을 제안한다. PDDP는 가장 큰 분산을 가지는 클러스터를 선택하여 그 클러스터의 첫 번째 주성분 방향을 이용하여 두 개의 클러스터로 분할하는 과정을 반복적으로 시행하는 군집화 방법이다. 제안하는 해슁 방법에서는 PDDP에서 분할을 위해 사용하는 주성분방향을 바이너리 코딩을 위한 사영벡터로서 사용한다. 실험결과는 제안하는 방법이 다른 해슁 방법들과 비교하여 경쟁력 있는 방법임을 입증한다.

Dynamic Hashing Algorithm for Retrieval Using Hangeul Name on Navigation System

  • Lee, Jung-Hwa
    • Journal of information and communication convergence engineering
    • /
    • 제9권3호
    • /
    • pp.282-286
    • /
    • 2011
  • Recently, a name retrieval function is widely used on navigation systems. In this paper, we propose the new dynamic hashing algorithm for a name retrieval function on it. The proposed dynamic hashing algorithm by constructing an index using the variance information of character is the better than existing methods in terms of storage capacity and retrieval speed. The algorithm proposed in this paper can be useful on systems that have limited resources as well as navigation systems.

FLASH : A Main Memory Storage System

  • Kim, Pyung-Chul;Jung, Byung-Gwan;Kim, Moon-Ja
    • 정보기술과데이타베이스저널
    • /
    • 제1권2호
    • /
    • pp.103-125
    • /
    • 1994
  • In this paper, we introduce a new main memory storage system called FLASH that is designed for real-time applications. The FLASH system is characterized by the memory residency of data and a new fast and dynamic hashing scheme called extendible chained bucket hashing. We compared the performance of the new hashing algorithm with other well-known ones. Also, we carried out an experiment to compare the overall performance of the FLASH system with a commercial one. Both comparison results show that the new hashing scheme and the FLASH system outperforms other competitives.

  • PDF

키 기반 블록 표면 계수를 이용한 강인한 3D 모델 해싱 (Robust 3D Hashing Algorithm Using Key-dependent Block Surface Coefficient)

  • 이석환;권기룡
    • 전자공학회논문지CI
    • /
    • 제47권1호
    • /
    • pp.1-14
    • /
    • 2010
  • 3D 콘텐츠 산업 분야의 급격한 성장과 더불어, 3D 콘텐츠 인증 및 신뢰, 검색을 위한 콘텐츠 해싱 기술이 요구되어지고 있다. 그러나 영상 및 동영상과 같은 2D 콘텐츠 해싱에 비하여 3D 콘텐츠 해싱에 대한 연구가 아직까지 미비하다. 본 논문에서는 키 기반의 3D 표면 계수 분포를 이용한 강인한 3D 메쉬 모델 해싱 기법을 제안한다. 제안한 기법에서는 기본적인 Euclid 기하학 변환에 강인한 3D SSD와 표면 곡률의 평면계 기반의 블록 표면 계수를 특징 벡터로 사용하며, 이를 치환 키 및 랜덤 변수 키에 의하여 최종 이진 해쉬를 생성한다. 실험 결과로부터 제안한 해싱 기법은 다양한 기하학 및 위상학 공격에 강인하며, 모델 및 키별로 해쉬의 유일성을 확인하였다.