• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제12권4호
• /
• pp.300-307
• /
• 2012

When the volume of data grows big, some simple tasks could become a significant concern. Nearest neighbor search is such a task which finds from a data set the k nearest data points to queries. Locality-sensitive hashing techniques have been developed for approximate but fast nearest neighbor search. This paper introduces the notion of locality-sensitive hashing and surveys the locality-sensitive hashing techniques. It categories them based on several criteria, presents their characteristics, and compares their performance.

• International Journal of Computer Science & Network Security
• /
• 제24권5호
• /
• pp.79-88
• /
• 2024

The information retrieval domain deals with the retrieval of unstructured data such as text documents. Searching documents is a main component of the modern information retrieval system. Locality Sensitive Hashing (LSH) is one of the most popular methods used in searching for documents in a high-dimensional space. The main benefit of LSH is its theoretical guarantee of query accuracy in a multi-dimensional space. More enhancement can be achieved to LSH by adding a bit to its steps. In this paper, a new Dynamic Locality Sensitive Hashing (DLSH) algorithm is proposed as an improved version of the LSH algorithm, which relies on employing the hierarchal selection of LSH parameters (number of bands, number of shingles, and number of permutation lists) based on the similarity achieved by the algorithm to optimize searching accuracy and increasing its score. Using several tampered file structures, the technique was applied, and the performance is evaluated. In some circumstances, the accuracy of matching with DLSH exceeds 95% with the optimal parameter value selected for the number of bands, the number of shingles, and the number of permutations lists of the DLSH algorithm. The result makes DLSH algorithm suitable to be applied in many critical applications that depend on accurate searching such as forensics technology.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권4호
• /
• pp.488-497
• /
• 2004

본 논문에서는 추출 요약 방식과 질의어 기반의 요약 방식을 혼합한 문서 요약 방법에 관해서 기술한다. 학습문서를 이용해 주제어구 추출을 위한 학습 모델을 만든다. 학습 알고리즘은 Naive Bayesian, 결정트리, Supported Vector Machine을 이용한다. 구축된 모델을 이용하여 입력 문서로부터 주제어구 리스트를 자동으로 추출한다. 추출된 주제어구들을 질의어로 하여 이들의 국부적 유사도에 의한 기여도를 계산함으로써 요약문을 추출한다. 본 논문에서는 주제어구가 원문 요약에 미치는 영향과, 몇 개의 주제어구 추출이 문서 요약에 적당한지를 실험하였다. 추출된 요약문과 수동으로 추출한 요약문을 비교하여 결과를 평가하였으며, 객관적인 성능 평가를 위하여 MS-Word에 포함된 문서 요약 기능과 실험 결과를 비교하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권11호
• /
• pp.681-688
• /
• 2015

k-Nearest Neighbor(k-NN)그래프는 모든 노드에 대한 k-NN 정보를 나타내는 데이터 구조로써, 협업 필터링, 유사도 탐색과 여러 정보검색 및 추천 시스템에서 k-NN그래프를 활용하고 있다. 이러한 장점에도 불구하고 brute-force방법의 k-NN그래프 생성 방법은 $O(n^2)$의 시간복잡도를 갖기 때문에 빅데이터 셋에 대해서는 처리가 곤란하다. 따라서, 고차원, 희소 데이터에 효율적인 Locality Sensitive Hashing 기법을 (key, value)기반의 분산환경인 MapReduce환경에서 사용하여 k-NN그래프를 생성하는 알고리즘이 연구되고 있다. Locality Sensitive Hashing 기법을 사용하여 사용자를 이웃후보 그룹으로 만들고 후보내의 쌍에 대해서만 brute-force하게 유사도를 계산하는 two-stage 방법을 MapReduce환경에서 사용하였다. 특히, 그래프 생성과정 중 유사도 계산하는 부분이 가장 많은 시간이 소요되므로 후보 그룹을 어떻게 만드는 것인지가 중요하다. 기존의 방법은 사이즈가 큰 후보그룹을 방지하는데 한계점이 있다. 본 논문에서는 효율적인 k-NN 그래프 생성을 위하여 사이즈가 큰 후보그룹을 재구성하는 알고리즘을 제시하였다. 실험을 통해 본 논문에서 제안한 알고리즘이 그래프의 정확성, Scan Rate측면에서 좋은 성능을 보임을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제21권2호
• /
• pp.33-42
• /
• 2016

In this paper, an advanced reversible data hiding algorithm which takes the advantage of the spatial locality in image was proposed. Natural image has a spatial locality. The pixel value of a natural image is similar to the values of neighboring pixels. So, using the neighboring pixel values, it is possible to precisely predict the pixel value. Frequency increases significantly at the peak point of the difference histogram using the predicted values. Therefore, it is possible to increase the amount of data to be embedded. By using the proposed algorithm, visually high quality stego-image can be generated, the original cover image and the embedded data can be extracted from the stego-image without distortion. The embedding data into the cover image of the proposed algorithm is much lager than that of the previous algorithm. The performance of the proposed algorithm was verified by experiment. The proposed algorithm is very useful for the reversible data hiding.

• 정보보호학회논문지
• /
• 제27권1호
• /
• pp.91-101
• /
• 2017

API(Application Program Interface) 콜 시퀀스 분석은 분석 대상 프로그램에서 API 콜 정보를 추출한 후 분석하는 기법으로 다른 기법들에 비해 대상의 행위를 특징할 수 있는 장점이 있다. 하지만 기존의 API 콜 시퀀스 분석기법은 동일한 기능을 수행하는 함수를 상이한 함수로 잘못 식별하여 분석을 수행하는 문제점이 존재한다. 본 연구에서는 API 각각을 추상화시키는 방식을 추가하여 기존의 식별 문제를 해결하고 분석 성능을 향상시키고자 한다. 그 후 분석 대상들에서 획득한 추상화된 API 콜 시퀀스에 LSH(Locality Sensitive Hashing) 기법을 적용하여 각 분석 대상들 간의 유사도를 계산하고 유사한 유형끼리 클러스터를 형성하는 과정을 수행하였다. 본 연구는 악성코드 분석 시 악성코드의 유형을 파악하는 데 요긴하게 사용할 수 있으며, 최종적으로는 해당 유형 정보를 기반으로 악성코드 분석의 정확도를 향상시키는 데 기여할 수 있다.

• ETRI Journal
• /
• 제38권3호
• /
• pp.518-528
• /
• 2016

The searching of an extensive document database for documents that are locally similar to a given query document, and the subsequent detection of similar regions between such documents, is considered as an essential task in the fields of information retrieval and data management. In this paper, we present a framework for such a task. The proposed framework employs the method of short-read mapping, which is used in bioinformatics to reveal similarities between genomic sequences. In this paper, documents are considered biological objects; consequently, edit operations between locally similar documents are viewed as an evolutionary process. Accordingly, we are able to apply the method of evolution tracing in the detection of similar regions between documents. In addition, we propose heuristic methods to address issues associated with the different stages of the proposed framework, for example, a frequency-based fragment ordering method and a locality-aware interval aggregation method. Extensive experiments covering various scenarios related to the search of an extensive document database for documents that are locally similar to a given query document are considered, and the results indicate that the proposed framework outperforms existing methods.

• 공연문화연구
• /
• 제41호
• /
• pp.187-218
• /
• 2020

덧배기는 경상도에서 풍속으로 전래된 향토춤이다. 이 연구는 울산지역의 덧배기춤이 향토성에 의해 어떻게 형상화되었는지를 고찰하였다. 그 진행으로 첫 장은 울산지역의 향토성에 의한 풍속을 지역적으로 한반도 동남부 해안지역의 풍속, 역사적으로 군사문화에서 전래된 풍속, 그리고 사회적으로 마을 동제와 들놀음에서 전래된 풍속, 울산사람들이 가진 말투와 몸짓에서 본 풍속 등에서 고찰하였다. 다음 장은 지역적 풍속에 의한 울산덧배기춤의 형상화를 환경적으로 군사 문화적인 풍속에서 무예의 숭상과 군사훈련과 연관된 울산덧배기의 형상, 지리적으로 경상도 해안지역의 특성에 의한 울산덧배기 춤의 형상, 그리고 사회적으로 울산마을축제에서 주민들의 몸짓에서 본 울산덧배기의 형상으로 고찰하였다. 이 연구에서 경상도 지역 간의 향토성과 덧배기 춤 유산의 비교는 차후 연구에서 연계한다. 연구 성과는 울산덧배기 춤의 형상화를 지역 향토성에서 전래된 풍속으로 고찰한 것이다.