• 제목/요약/키워드: K Nearest Neighbor algorithms

검색결과 117건 처리시간 0.023초

정보이론을 이용한 K-최근접 이웃 알고리즘에서의 속성 가중치 계산 (Calculating Attribute Weights in K-Nearest Neighbor Algorithms using Information Theory)

  • 이창환
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권9호
    • /
    • pp.920-926
    • /
    • 2005
  • 최근접 이웃(k nearest neighbor) 알고리즘은 새로운 개체의 목표값을 예측하기 위하여 과거의 유사한 데이타를 이용하여 그 값을 예측하는 것이다. 이 방법은 기계학습의 여러 분야에서 그 유용성을 검증받아 널리 사용되고 있다. 이러한 kNN 알고리즘에서 목표값을 예측할 때 각 속성의 가중치를 동일하게 고려하는 것은 좋은 성능을 보장할 수 없으며 따라서 kNN에서 각 속성에 대한 가중치를 적절히 계산하는 것은 kNN 알고리즘의 성능을 결정하는 중요한 요소중의 하나이다. 본 논문에서는 정보이론을 이용하여 kNN 에서의 속성의 가중치를 효과적으로 계산하는 새로운 방법을 제시하고자한다. 제안된 방법은 각 속성이 목표 속성에 제공하는 정보의 양에 따라 가중치를 자동으로 계산하여 kNN 방법의 성능을 향상시킨다. 개발된 알고리즘은 다수의 실험 데이타를 이용하여 그 성능을 비교하였다.

Ordered Reverse k Nearest Neighbor Search via On-demand Broadcast

  • Li, Li;Li, Guohui;Zhou, Quan;Li, Yanhong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권11호
    • /
    • pp.3896-3915
    • /
    • 2014
  • The Reverse k Nearest Neighbor (RkNN) query is valuable for finding objects influenced by a specific object and is widely used in both scientific and commercial systems. However, the influence level of each object is unknown, information that is critical for some applications (e.g. target marketing). In this paper, we propose a new query type, Ordered Reverse k Nearest Neighbor (ORkNN), and make efforts to adapt it in an on-demand scenario. An Order-k Voronoi diagram based approach is used to answer ORkNN queries. In particular, for different values of k, we pre-construct only one Voronoi diagram. Algorithms on both the server and the clients are presented. We also present experimental results that suggest our proposed algorithms may have practical applications.

영상 분할을 위한 퍼지 커널 K-nearest neighbor 알고리즘 (Fuzzy Kernel K-Nearest Neighbor Algorithm for Image Segmentation)

  • 최병인;이정훈
    • 한국지능시스템학회논문지
    • /
    • 제15권7호
    • /
    • pp.828-833
    • /
    • 2005
  • 커널 기법은 데이터를 high dimension 상의 속성 공간으로 mapping함으로써 복잡한 분포를 가지는 데이터에 대하여 기존의 선형 분류 알고리즘들의 성능을 향상시킬 수 있다r4]. 본 논문에서는 기존의 유클리디안 거리측정방법 대신에 커널 함수에 의한 속성 공간의 거리측정방법을 fuzzy K-nearest neighbor(fuzzy K-NN) 알고리즘에 적용한 fuzzy kernel K-nearest neighbor(fuzzy kernel K-NN) 알고리즘을 제안한다. 제시한 알고리즘은 데이터에 대한 적절한 커널 함수의 선택으로 기존 알고리즘의 성능을 향상시킬 수 있다. 제시한 알고리즘의 타당성을 보이기 위하여 여러 데이터 집합에 대한 실험결과와 실제 영상의 분할 결과를 보일 것이다.

공간 네트워크 데이터베이스에서 실체화 기법을 이용한 범위 및 k-최근접 질의처리 알고리즘 (Range and k-Nearest Neighbor Query Processing Algorithms using Materialization Techniques in Spatial Network Databases)

  • 김용기;니하드 카림 초우더리;이현조;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권2호
    • /
    • pp.67-79
    • /
    • 2007
  • 최근 LBS(location-based service) 및 텔레매틱스(telematics) 응용의 효율적인 지원을 위해, 유클리디언(Euclidean) 공간을 대신하여 실제 도로나 철도와 같은 공간 네트워크(network)를 고려한 연구가 활발하게 수행중이다. 그러나 기존 연구에서의 범위 질의 및 k-최근접 질의 처리 알고리즘은 범위나 k 값의 증가에 따라 검색에 필요한 노드 검색 및 거리 계산의 비용 증가로 인하여 선형적인 성능 감소를 보인다. 따라서, 본 논문에서는 공간 네트워크를 위한 기존 질의처리 알고리즘의 성능을 향상시키기 위해, 실체화 기법을 이용한 효율적인 범위 및 k-최근접 질의처리 알고리즘을 제안한다. 아울러, 기존 알고리즘과의 성능 비교를 통하여 제안하는 알고리즘이 우수함을 보인다.

  • PDF

k-최근점 학습에 기반한 타동사-목적어 연어 사전의 최적화 (Optimization of Transitive Verb-Objective Collocation Dictionary based on k-nearest Neighbor Learning)

  • 김유섭;장병탁;김영택
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제27권3호
    • /
    • pp.302-313
    • /
    • 2000
  • 영한 기계번역에서 영어 문장의 동사구를 한국어로 정확하게 번역하기 위해서는 일반적으로 타동사와 목적어의 연어 관계를 이용한다. 본 논문에서는 k-최근점(k-nearest neighbor) 학습을 연어 관계에 적용하여 동사 번역을 선택하는 알고리즘을 제시하였는데 k-최근점 학습을 위해서 워드넷에서의 의미거리를 정의하여 사용하였다. 그리고 실시간 번역 시스템에 사용될 사전을 구성하기 위하여, 말뭉치로부터 타동사-목적어 쌍을 추출하여 학습예제를 구축하고, 이 예제의 크기를 번역률과 연관시켜 최적화시키는 알고리즘을 제시한다. 본 논문에서는 위의 알고리즘들을 사용하여 동사 'build'의 번역률을 약 90%로 유지하면서 사전의 크기를 최적화하였다.

  • PDF

Nearest neighbor and validity-based clustering

  • Son, Seo H.;Seo, Suk T.;Kwon, Soon H.
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제4권3호
    • /
    • pp.337-340
    • /
    • 2004
  • The clustering problem can be formulated as the problem to find the number of clusters and a partition matrix from a given data set using the iterative or non-iterative algorithms. The author proposes a nearest neighbor and validity-based clustering algorithm where each data point in the data set is linked with the nearest neighbor data point to form initial clusters and then a cluster in the initial clusters is linked with the nearest neighbor cluster to form a new cluster. The linking between clusters is continued until no more linking is possible. An optimal set of clusters is identified by using the conventional cluster validity index. Experimental results on well-known data sets are provided to show the effectiveness of the proposed clustering algorithm.

Robust Similarity Measure for Spectral Clustering Based on Shared Neighbors

  • Ye, Xiucai;Sakurai, Tetsuya
    • ETRI Journal
    • /
    • 제38권3호
    • /
    • pp.540-550
    • /
    • 2016
  • Spectral clustering is a powerful tool for exploratory data analysis. Many existing spectral clustering algorithms typically measure the similarity by using a Gaussian kernel function or an undirected k-nearest neighbor (kNN) graph, which cannot reveal the real clusters when the data are not well separated. In this paper, to improve the spectral clustering, we consider a robust similarity measure based on the shared nearest neighbors in a directed kNN graph. We propose two novel algorithms for spectral clustering: one based on the number of shared nearest neighbors, and one based on their closeness. The proposed algorithms are able to explore the underlying similarity relationships between data points, and are robust to datasets that are not well separated. Moreover, the proposed algorithms have only one parameter, k. We evaluated the proposed algorithms using synthetic and real-world datasets. The experimental results demonstrate that the proposed algorithms not only achieve a good level of performance, they also outperform the traditional spectral clustering algorithms.

드론 배달 경로를 위한 효율적인 휴리스틱 알고리즘 (Efficient Heuristic Algorithms for Drone Package Delivery Route)

  • 요나탄;테메스겐;김재훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.168-170
    • /
    • 2016
  • Drone package delivery routing problem is realistic problem used to find efficient route of drone package delivery service. In this paper, we present an approach for solving drone routing problem for package delivery service using two different heuristics algorithms, genetic and nearest neighbor. We implement and analyze both heuristics algorithms for solving the problem efficiently with respect to cost and time. The respective experimental results show that for the range of customers 10 to 50 nearest neighbor and genetic algorithms can reduce the tour length on average by 34% and 40% respectively comparing to FIFO algorithm.

텍스트 분류 기법의 발전 (Enhancement of Text Classification Method)

  • 신광성;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.155-156
    • /
    • 2019
  • Classification and Regression Tree (CART), SVM (Support Vector Machine) 및 k-nearest neighbor classification (kNN)과 같은 기존 기계 학습 기반 감정 분석 방법은 정확성이 떨어졌습니다. 본 논문에서는 개선 된 kNN 분류 방법을 제안한다. 개선 된 방법 및 데이터 정규화를 통해 정확성 향상의 목적이 달성됩니다. 그 후, 3 가지 분류 알고리즘과 개선 된 알고리즘을 실험 데이터에 기초하여 비교 하였다.

  • PDF

분기 함수를 적용한 분산 최근접 휴리스틱 (A Distributed Nearest Neighbor Heuristic with Bounding Function)

  • 김정숙
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권7호
    • /
    • pp.377-383
    • /
    • 2002
  • 외판원 문제는 잘 알려진 NP-완전 문제로, 최적해(optimal value)를 구하는 다양한 알고리즘들이 개발되었다. 그러나 최악의 경우 지수 시간이 걸리므로 수행시간을 줄이는 다양한 방법들이 제안되고 있다. 최근접 휴리스틱 알고리즘은 최적해를 구하는 다른 알고리즘들에 비해 구조가 비교적 간단하다. 따라서 본 논문에서는 외판원 문제(Traveling Salesman Problem, TSP)의 최적해를 구할 수 있는 분기 함수(bounding function)를 적용한 분산 최근접 휴리스틱(nearest neighbor heuristic) 알고리즘을 PVM(Parallel Virtual Machine)에서 제공하는 마스터/슬래이브(master/slave) 모델을 사용하여 설계하고 구현하였다. 먼저 최적해를 찾는 수행 시간을 줄이기 위해 최적화 문제에서 좋은 성능을 보이는 분산 유전 알고리즘(distributed genetic algorithm)을 수행해 얻은 근사해(near optimal)를 초기 분기 함수로 사용한다. 특히 더욱 좋은 근사해를 구하고자 유전 연산자인 돌연변이를 새롭게 변형하여 적용하였다.