• 제목/요약/키워드: Nearest Neighbor Search

검색결과 120건 처리시간 0.028초

MapReduce 환경에서 재그룹핑을 이용한 Locality Sensitive Hashing 기반의 K-Nearest Neighbor 그래프 생성 알고리즘의 개선 (An Improvement in K-NN Graph Construction using re-grouping with Locality Sensitive Hashing on MapReduce)

  • 이인희;오혜성;김형주
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권11호
    • /
    • pp.681-688
    • /
    • 2015
  • k-Nearest Neighbor(k-NN)그래프는 모든 노드에 대한 k-NN 정보를 나타내는 데이터 구조로써, 협업 필터링, 유사도 탐색과 여러 정보검색 및 추천 시스템에서 k-NN그래프를 활용하고 있다. 이러한 장점에도 불구하고 brute-force방법의 k-NN그래프 생성 방법은 $O(n^2)$의 시간복잡도를 갖기 때문에 빅데이터 셋에 대해서는 처리가 곤란하다. 따라서, 고차원, 희소 데이터에 효율적인 Locality Sensitive Hashing 기법을 (key, value)기반의 분산환경인 MapReduce환경에서 사용하여 k-NN그래프를 생성하는 알고리즘이 연구되고 있다. Locality Sensitive Hashing 기법을 사용하여 사용자를 이웃후보 그룹으로 만들고 후보내의 쌍에 대해서만 brute-force하게 유사도를 계산하는 two-stage 방법을 MapReduce환경에서 사용하였다. 특히, 그래프 생성과정 중 유사도 계산하는 부분이 가장 많은 시간이 소요되므로 후보 그룹을 어떻게 만드는 것인지가 중요하다. 기존의 방법은 사이즈가 큰 후보그룹을 방지하는데 한계점이 있다. 본 논문에서는 효율적인 k-NN 그래프 생성을 위하여 사이즈가 큰 후보그룹을 재구성하는 알고리즘을 제시하였다. 실험을 통해 본 논문에서 제안한 알고리즘이 그래프의 정확성, Scan Rate측면에서 좋은 성능을 보임을 확인하였다.

위치 기반 서비스에서 K-anonymity를 보장하는 가중치 근접성 그래프 기반 최근접 질의처리 알고리즘 (A Nearest Neighbor Query Processing Algorithm Supporting K-anonymity Based on Weighted Adjacency Graph in LBS)

  • 장미영;장재우
    • Spatial Information Research
    • /
    • 제20권4호
    • /
    • pp.83-92
    • /
    • 2012
  • 무선 통신 기술 및 GPS(Global Positioning System)등의 발달로 인하여 위치 기반 서비스 (Location-Based Services: LBS)가 크게 발전하는 추세이다. 그러나 위치 기반 서비스를 이용하기 위해 질의 요청자는 자신의 정확한 위치 정보를 위치 기반 서비스 제공자에게 전송해야 한다. 따라서 위치 기반 서비스를 제공하면서 질의 요청자의 위치 정보를 보호하는 것이 중요한 과제이다. 이 문제를 해결하기 위해, 기존 기법은 실제 사용자의 위치를 숨기며 네트워크 사용을 줄일 수 있는 2PASS 기법을 사용하였다. 그러나 이 기법은 실제 사용자 분포를 고려하지 않기 때문에 실제 사용자 위치 보호를 완전히 보장하지 않는다. 따라서 본 논문에서는 K-anonymity를 보장하는 가중치 근접성 그래프 기반 최근접 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 질의 영역 내 K-anonymity를 보장함으로써 사용자의 위치 정보를 보호할 뿐만 아니라 불필요한 질의 결과 탐색을 줄여 네트워크 효율을 증가시킨다. 마지막으로, 성능평가를 통해 제안하는 기법이 기존 연구에 비해 질의 처리 시간 및 네트워크 효율 측면에서 우수함을 보인다.

효율적인 병렬 고차원 색인구조 설계 (Design of an Efficient Parallel High-Dimensional Index Structure)

  • 박춘서;송석일;신재룡;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권1호
    • /
    • pp.58-71
    • /
    • 2002
  • 일반적으로 이미지나 공간 데이터베이스와 같은 다차원의 특징을 갖는 데이터들은 대용량의 저장공간을 요구한다. 이 대량의 데이터를 하나의 워크스테이션에 저장하고 검색을 수행하는 데는 한계가 있다. 최근 활발히 연구되고 있는 병렬 컴퓨팅 환경에서 이들에 대한 저장 및 검색을 수행한다면 훨씬 더 높은 성능 향상을 가져 올 수 있을 것이다. 이 논문에서는 기존에 존재하는 병렬 컴퓨팅 환경의 장점을 최대한 이용하는 병렬 고차원 색인구조를 제안한다. 제안하는 색인구조는 nP(프로세서)-nD(디스크)와 lP-nD의 결합 형태인 nP-n$\times$mD의 구조라고 볼 수 있다. 노드 구조는 팬-아웃을 증가시키고 트리의 높이를 줄일 수 있도록 설계되었다. 또한 I/O의 별렬성을 최대화하는 범위 탐색 알고리즘을 제안하고 이것을 K-최근접 탐색 알고리즘에 적용하여 탐색 성능향상을 꾀한다. 마지막으로, 다양한 환경에서의 실험을 통해 제안하는 색인구조의 탐색 성능을 테스트하고 기존에 제안된 병렬 다차원 색인구조와의 비교를 통해 제안한 방법의 우수함을 보인다.

시공간 특성을 이용한 고속 움직임 백터 예측 방법 (A Fast Motion Estimation Scheme using Spatial and Temporal Characteristics)

  • 노대영;장호연;오승준;석민수
    • 대한전자공학회논문지SP
    • /
    • 제40권4호
    • /
    • pp.237-247
    • /
    • 2003
  • 움직임 예측은 화질을 유지하면서 영상을 낮은 비트율로 부호화하는 중요한 기술이다. 일반적인 전역 탐색 방법을 사용하면 많은 계산량이 요구된다. 이전의 많은 고속 움직임 예측 방법들은 탐색점의 수를 줄이는데 초점을 두고 있기 때문에 움직임 백터 예측의 정확도가 낮다. 그러므로 본 논문에서는 주위 볼록간의 시공간적 상관관계를 이용하는 새로운 움직임 예측 방법을 제안한다. 신뢰할 수 있는 예측 움직임 벡터(Reliable Predicted Motion Vector : RPMV)를 정의한 후 전역 탐색 방법과 결과를 비교하여 RPMV의 성능을 검증한다. 검증된 RPMV 의 크기와 방향을 이용하는 새로운 움직임 백터 예측 방법을 제안한다. 실험을 통해 제안된 방법을 현재까지 제안된 방법 중 효율적인 것으로 알려진 Nearest Neighbor 방법과 비교하였을 때 약 l1∼14% 정도 속도 향상이 있었다.

Novel Method for Face Recognition using Laplacian of Gaussian Mask with Local Contour Pattern

  • Jeon, Tae-jun;Jang, Kyeong-uk;Lee, Seung-ho
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권11호
    • /
    • pp.5605-5623
    • /
    • 2016
  • We propose a face recognition method that utilizes the LCP face descriptor. The proposed method applies a LoG mask to extract a face contour response, and employs the LCP algorithm to produce a binary pattern representation that ensures high recognition performance even under the changes in illumination, noise, and aging. The proposed LCP algorithm produces excellent noise reduction and efficiency in removing unnecessary information from the face by extracting a face contour response using the LoG mask, whose behavior is similar to the human eye. Majority of reported algorithms search for face contour response information. On the other hand, our proposed LCP algorithm produces results expressing major facial information by applying the threshold to the search area with only 8 bits. However, the LCP algorithm produces results that express major facial information with only 8-bits by applying a threshold value to the search area. Therefore, compared to previous approaches, the LCP algorithm maintains a consistent accuracy under varying circumstances, and produces a high face recognition rate with a relatively small feature vector. The test results indicate that the LCP algorithm produces a higher facial recognition rate than the rate of human visual's recognition capability, and outperforms the existing methods.

추계학적 최적화방법에 의한 기존관수로시스템의 병열관로 확장 (Stochastic Optimization Approach for Parallel Expansion of the Existing Water Distribution Systems)

  • 안태진;최계운;박정응
    • 물과 미래
    • /
    • 제28권2호
    • /
    • pp.169-180
    • /
    • 1995
  • 관망상배관(Looped networks)시스템에서 관수로시스템의 전체비용은 폐회로유량(Loop flows)에 따라 영향을 받는다. 따라서 관망상배관의 최적설계를 위한 수학적모형을 추계학적 최적화방법에 적용하기 위하여 폐회로유량의 섭동(Perturbations)으로 전체비용이 변하게 하였다. 관망상 배관문제의 분석가능영역은 수많은 국지해(Local optimum)를 갖는 비볼록(Nonconvex)이므로 분석가능영역의 효율적인 심사를 위하여 수정추계학적 심사방법을 제안하였으며 이 방법은 국부심사단계(Global search phase)와 국지심사단계(Local search phase)로 구성되어 있다. 국부탐사에서는 점차적으로 국지해를 증진시키며 국지탐사에서는 국부탐사단계에서 교착상태에 있는 국지해로 부터 벗어나게 하거나 최종국지해를 증진시킨다. 제안한 방법의 효율성을 검정하기 위하여 참고문헌에 있는 기존관수로시스템의 병열관로(Parallel pipe line) 확장문제를 표본으로 채택하여 제안한 방법을 적용한 결과 먼저 발표된 연구자들의 비용보다 적은 비용으로 설계할 수 있었다.

  • PDF

숨은 객체 식별을 위한 향상된 공간객체 탐색기법 (An Advanced Scheme for Searching Spatial Objects and Identifying Hidden Objects)

  • 김종완;조양현
    • 한국정보통신학회논문지
    • /
    • 제18권7호
    • /
    • pp.1518-1524
    • /
    • 2014
  • 본 논문은 주변탐색(Surrounder Search: SuSe)이라는 새로운 공간질의 방법을 제안한다. 이 기법은 현재 사용자의 위치를 중심으로 주변에서 가까운 관심영역의 공간객체를 탐색하는 것이다. 사용자 중심의 주변탐색은 증강현실과 같이 사용자가 관심 있어 하는 공간객체 중 가까운 것을 찾기 때문에 기존의 공간질의와 구별된다. 기존 기법은 질의점과 객체 사이의 최단거리(MINDIST)를 기준으로 주변을 탐색하지만 제안 기법에서는 객체들 사이에 숨어있지만 관심의 대상인 숨은 객체를 식별하기 위해서 각도(Angle)를 함께 고려하여 탐색한다. 제안 기법의 특징은 기존기법이 거리만을 사용하여 가까운 객체를 탐색한 것과 달리 거리는 멀지만 숨은 객체까지도 찾아냄으로써 사용자의 선호도를 더 세밀하게 반영한다. 실험결과에서 제안기법인 SuSe는 최근접 이웃 탐색기법인 NN(Nearest Neighbor)과 비교하여 보다 정밀한 공간객체 탐색이 가능하며 향상된 탐색성능을 타나낸다.

슬랩을 이용한 효율적인 연속적 최근접 이운 탐색기법 (An Efficient Continuous Nearest Neighbor Search Scheme Using the Slab)

  • 한석;박광진;김종완;황종선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.226-228
    • /
    • 2004
  • 최근에 이동객체의 위치정보를 활용한 위치기반서비스(L8S, Location Based Services)에 대한 관심이 증가하고 있다. 전통적으로 정적인 위치정보를 갖는 공간 객체는 GIS(Geographic Information System) 서버에 저장, 관리되었다. 이동객체는 시간에 따라 위치의 변화가 매우 빈번하여 위치 정보가 계속 갱신되기 때문에, 전통적인 GIS 서버로는 관리가 어렵다. 본 논문에서는 기존의 연속적인 최근접 이웃탐색 기법에서 데이터의 처리 순서에 따라 탐색공간과 계산비용이 증가하는 문제점을 슬랩을 사용하여 해결한다. 최근접 이웃의 수직연장선 사이의 공간인 슬랩 내부영역에 대해서만 탐색하도록 하여 탐색영역을 줄이고, 그 내부에 있는 점들에 대해서만 처리하여 계산비용을 줄인다.

  • PDF

Prufer 수를 이용한 외판원문제의 유전해법 (A Genetic Algorithm for the Traveling Salesman Problem Using Prufer Number)

  • 이재승;신해웅;강맹규
    • 산업경영시스템학회지
    • /
    • 제20권41호
    • /
    • pp.1-14
    • /
    • 1997
  • This study proposes a genetic algorithm using Pr(equation omitted)fer number for the traveling salesman problem(PNGATSP). Nearest neighbor nodes are mixed with randomly selected nodes at the stage of generating initial solutions. Proposed PNGATSP adopts a few ideas which are different from traditional genetic algorithms. For instance, an exponential fitness function and elitism are used and Pr(equation omitted)fer number is used for encoding TSP. Genetic operators are selected by experiments, which make a good solution among four combinations of conventional genetic operators and new genetic operators. For respective combinations, robust set of parameters is determined by the experimental designing approach. The feature of Pr(equation omitted)fer number code for TSP and the search power of GA using Pr(equation omitted)fer number is analysed. The best is a combination of OX(order crossover) and swap, which is superior to the other experimented combinations of genetic operators by 1.0%∼12.8% deviation.

  • PDF

대용량 자료 분석을 위한 밀도기반 이상치 탐지 (Density-based Outlier Detection for Very Large Data)

  • 김승;조남욱;강석호
    • 한국경영과학회지
    • /
    • 제35권2호
    • /
    • pp.71-88
    • /
    • 2010
  • A density-based outlier detection such as an LOF (Local Outlier Factor) tries to find an outlying observation by using density of its surrounding space. In spite of several advantages of a density-based outlier detection method, the computational complexity of outlier detection has been one of major barriers in its application. In this paper, we present an LOF algorithm that can reduce computation time of a density based outlier detection algorithm. A kd-tree indexing and approximated k-nearest neighbor search algorithm (ANN) are adopted in the proposed method. A set of experiments was conducted to examine performance of the proposed algorithm. The results show that the proposed method can effectively detect local outliers in reduced computation time.