• 제목/요약/키워드: Nearest Neighbor Rule

검색결과 43건 처리시간 0.029초

Nearest Neighbor Based Prototype Classification Preserving Class Regions

  • Hwang, Doosung;Kim, Daewon
    • Journal of Information Processing Systems
    • /
    • 제13권5호
    • /
    • pp.1345-1357
    • /
    • 2017
  • A prototype selection method chooses a small set of training points from a whole set of class data. As the data size increases, the selected prototypes play a significant role in covering class regions and learning a discriminate rule. This paper discusses the methods for selecting prototypes in a classification framework. We formulate a prototype selection problem into a set covering optimization problem in which the sets are composed with distance metric and predefined classes. The formulation of our problem makes us draw attention only to prototypes per class, not considering the other class points. A training point becomes a prototype by checking the number of neighbors and whether it is preselected. In this setting, we propose a greedy algorithm which chooses the most relevant points for preserving the class dominant regions. The proposed method is simple to implement, does not have parameters to adapt, and achieves better or comparable results on both artificial and real-world problems.

최근접 이웃 규칙 기반 프로토타입 선택과 편의-분산을 이용한 성능 평가 (Nearest-neighbor Rule based Prototype Selection Method and Performance Evaluation using Bias-Variance Analysis)

  • 심세용;황두성
    • 전자공학회논문지
    • /
    • 제52권10호
    • /
    • pp.73-81
    • /
    • 2015
  • 이 논문은 프로토타입 선택 방법을 제안하고, 편의-분산 분해를 이용하여 최근접 이웃 알고리즘과 프로토타입 기반 분류 학습의 일반화 성능 비교 평가에 있다. 제안하는 프로토타입 분류기는 클래스 영역 내에서 가변 반지름을 이용한 다차원 구를 정의하고, 적은 수의 프로토타입으로 구성된 새로운 훈련 데이터 집합을 생성한다. 최근접 이웃 분류기는 새 훈련 집합을 이용하여 테스트 데이터의 클래스를 예측한다. 평균 기대 오류의 편의와 분산 요소를 분해하여 최근접 이웃 규칙, 베이지안 분류기, 고정 반지름을 이용한 프로토타입 선택 방법, 제안하는 프로토타입 선택 방법의 일반화 성능을 비교한다. 실험에서 제안하는 프로토타입 분류기의 편의-분산 변화 추세는 모든 훈련 데이터를 사용하는 최근접 이웃 알고리즘과 비슷한 편의-분산 추세를 보였으며, 프로토타입 선택 비율은 전체 데이터의 평균 약 27.0% 이하로 나타났다.

Plurality Rule-based Density and Correlation Coefficient-based Clustering for K-NN

  • Aung, Swe Swe;Nagayama, Itaru;Tamaki, Shiro
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제6권3호
    • /
    • pp.183-192
    • /
    • 2017
  • k-nearest neighbor (K-NN) is a well-known classification algorithm, being feature space-based on nearest-neighbor training examples in machine learning. However, K-NN, as we know, is a lazy learning method. Therefore, if a K-NN-based system very much depends on a huge amount of history data to achieve an accurate prediction result for a particular task, it gradually faces a processing-time performance-degradation problem. We have noticed that many researchers usually contemplate only classification accuracy. But estimation speed also plays an essential role in real-time prediction systems. To compensate for this weakness, this paper proposes correlation coefficient-based clustering (CCC) aimed at upgrading the performance of K-NN by leveraging processing-time speed and plurality rule-based density (PRD) to improve estimation accuracy. For experiments, we used real datasets (on breast cancer, breast tissue, heart, and the iris) from the University of California, Irvine (UCI) machine learning repository. Moreover, real traffic data collected from Ojana Junction, Route 58, Okinawa, Japan, was also utilized to lay bare the efficiency of this method. By using these datasets, we proved better processing-time performance with the new approach by comparing it with classical K-NN. Besides, via experiments on real-world datasets, we compared the prediction accuracy of our approach with density peaks clustering based on K-NN and principal component analysis (DPC-KNN-PCA).

비대칭 외판원문제에서 3-Opt를 이용한 효율적인 국지탐색 알고리즘 (An Efficient Local Search Algorithm for the Asymmetric Traveling Salesman Problem Using 3-Opt)

  • 김경구;권상호;강맹규
    • 산업경영시스템학회지
    • /
    • 제23권59호
    • /
    • pp.1-10
    • /
    • 2000
  • The traveling salesman problem is a representative NP-Complete problem. It needs lots of time to get a solution as the number of city increase. So, we need an efficient heuristic algorithm that gets good solution in a short time. Almost edges that participate in optimal path have somewhat low value cost. This paper discusses the property of nearest neighbor and 3-opt. This paper uses nearest neighbor's property to select candidate edge. Candidate edge is a set of edge that has high probability to improve cycle path. We insert edge that is one of candidate edge into intial cycle path. As two cities are connected. It does not satisfy hamiltonian cycle's rule that every city must be visited and departed only one time. This paper uses 3-opt's method to sustain hamiltonian cycle while inserting edge into cycle path. This paper presents a highly efficient heuristic algorithm verified by numerous experiments.

  • PDF

가중치 자동 조절을 이용한 매칭 에이전트 (Matching Agent using Automatic Weight-Control)

  • 김동조;박영택
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2000년도 추계정기학술대회:지능형기술과 CRM
    • /
    • pp.439-445
    • /
    • 2000
  • 다차원의 속성들을 포함한 대용량의 데이터베이스 또는 점보 저장소의 데이터로부터 지식을 추출하고 이를 활용하기 위해서는 데이터 마이닝의 인공지능 기법 중 기계학습을 활용할 수 있다. 본 논문은 질의어를 바탕으로 각 작성들에 가중치를 적용하여 사용자가 원하는 데이터 집합을 분류하고, 사용자 피드백을 통하여 속성 가중치를 동적으로 변화시킴으로써 검색결과를 향상시키는 방법을 제안한다. 본 논문에서는 데이터 집합을 분류해내기 위해서 각 속성간의 거리에 가중치를 적용하는 k-nearest neighbor 분류법을 사용하였고, 속성 가중치를 동적으로 변화시키는 규칙을 추출하기 위한 방법으로는 결정 트리 생성에 의한 규칙(decision rule) 생성 방법을 적용하였다. 검색결과 향상을 \ulcorner이기 위한 실험으로써 온라인 커플매칭(online couple-matching) 시스템의 핵심부문을 구현하고 이를 적용하였다.

  • PDF

최소 비용할당 기반 온라인 지게차 운영 알고리즘 (An Online Forklift Dispatching Algorithm Based on Minimal Cost Assignment Approach)

  • 권보배;손정열;하병현
    • 한국시뮬레이션학회논문지
    • /
    • 제27권2호
    • /
    • pp.71-81
    • /
    • 2018
  • 조선소의 지게차는 작업 특성상 무거운 물건을 상/하차하거나 이송하는 작업이 빈번하다. 작업은 동적이며 시간대별로 생성 비율이 다르다. 특히 오전과 오후 업무시간 직후에 작업 발생 비율이 높은 경향을 보인다. 이러한 상/하차 작업과 이송작업의 무게는 매번 다르며, 활용되는 지게차 역시 작업 가능한 허용무게의 제약이 있다. 본 연구에서는 지게차의 원활한 운영을 위해 최소 비용할당을 사용한 최근린 배차 규칙 알고리즘을 제안한다. 제시된 알고리즘은 다양한 종류의 지게차와 다수의 작업을 동시에 고려하여 배차를 결정하며, 지게차 종류에 따른 작업 불가능을 고려하기 위해 가상 지게차와 가상 작업을 생성하는 방법을 제안한다. 그리고 차량의 상태를 고려하여 체계적으로 지게차를 선택하는 방법도 함께 제시한다. 성능지표는 평균 공차이동거리와 평균 작업대기시간으로 한다. 성능비교를 위해 조선소의 지게차 운영방식을 모델링한 우선순위 규칙을 비교 대상으로 한다. 시뮬레이션을 통해 제시한 알고리즘의 우수성을 확인한다.

Windows NT 기반의 회전 기계 진동 모니터링 시스템 개발 (Development of Rotating Machine Vibration Condition Monitoring System based upon Windows NT)

  • 김창구;홍성호;기석호;기창두
    • 한국정밀공학회지
    • /
    • 제17권7호
    • /
    • pp.98-105
    • /
    • 2000
  • In this study, we developed rotating machine vibration condition monitoring system based upon Windows NT and DSP Board. Developed system includes signal analysis module, trend monitoring and simple diagnosis using threshold value. Trend analysis and report generation are offered with database management tool which was developed in MS-ACCESS environment. Post-processor, based upon Matlab, is developed for vibration signal analysis and fault detection using statistical pattern recognition scheme based upon Bayes discrimination rule and neural networks. Concerning to Bayes discrimination rule, the developed system contains the linear discrimination rule with common covariance matrices and the quadratic discrimination rule under different covariance matrices. Also the system contains k-nearest neighbor method to directly estimate a posterior probability of each class. The result of case studies with the data acquired from Pyung-tak LNG pump and experimental setup show that the system developed in this research is very effective and useful.

  • PDF

Hypercube 영역의 집합으로 표현된 패턴인식 알고리즘의 설계 (A Design of Pattern Recognition Algorithm as a Collection of Hypercubic Regions)

  • Baek Sop Kim
    • 전자공학회논문지B
    • /
    • 제29B권7호
    • /
    • pp.23-29
    • /
    • 1992
  • In this paper, a method of representing the pattern classifier as a collection of hypercubic regions is proposed. This representation has following advantages over the conventional ones : 1) a simple form of human knowledge can be used in designing the classifier, 2) the form of the classifier is suit for the rule-based system, and 3) this can reduce the classification time. A method of synthesis of the classifier under this representation is also proposed and the experimental result shows that the proposed method is faster than the well-known nearest neighbor classifier.

  • PDF

다중 클래스 SVMs를 이용한 얼굴 인식의 성능 개선 (The Performance Improvement of Face Recognition Using Multi-Class SVMs)

  • 박성욱;박종욱
    • 대한전자공학회논문지SP
    • /
    • 제41권6호
    • /
    • pp.43-49
    • /
    • 2004
  • 기존의 다중 클래스 SVMs은 클래스의 개수가 증가되면, 이진 클래스 SVMs의 수도 증가되어 분류를 위해 많은 시간이 요구된다. 본 논문에서는 분류 시간을 줄이기 위하여, PCA+LDA 특징 부 공간에서 NNR을 적용하여 클래스의 개수를 줄이는 방법을 제안한다. 제안된 방법은 PCA+LDA 특징 부 공간에서 간단한 NNR을 사용하여, 입력된 테스트 특징 데이터와 근접된 얼굴 클래스들을 추출함으로서 얼굴 클래스의 개수를 줄이는 방법이다. 클래스 개수를 줄임으로, 본 방법은 기존의 다중 클래스 SVMs에 비하여 훈련 횟수와 비교 횟수를 줄일 수 있고, 결과적으로 하나의 테스트 영상을 위한 분류 시간을 크게 줄일 수 있다. 또한 실험 결과, 제안된 방법은 NNC 기법보다 낮은 에러 율을 가지며, 기존의 다중 클래스 SVMs보다 동일한 에러 율을 갖지만, 보다 빠른 분류시간을 가짐을 확인할 수 있었다.

블록의 속성과 질감특징을 이용한 문서영상의 블록분류 (Block Classification of Document Images by Block Attributes and Texture Features)

  • 장영내;김중수;이철희
    • 한국멀티미디어학회논문지
    • /
    • 제10권7호
    • /
    • pp.856-868
    • /
    • 2007
  • 본 논문에서는 블록의 속성과 질감특징을 이용하여 효과적인 블록 분류 방법을 제안하였다. 제안한 방법에서는 먼저 명암도 문서영상을 이진화한 후, 평활화 기법을 적용하여 블록의 위치정보와 본 논문에서 사용할 특징 중에 하나인 각 블록의 내부에 있는 작은 블록들의 최대 높이 값을 구하였다. 이 위치정보들을 이용하여 문서영상을 각 블록으로 분할한다. 이 블록의 명암도 블록영상에서 문서의 속성이 잘 반영된 (0,1) 방향의 공간 명암도 의존 행렬을 구하여 7가지 질감특징을 구하였다. 먼저 블록의 속성을 최소거리 규칙(Nearest Neighbor Rule)에 입력하여 문자와 비문자 영역으로, 상세분류를 위하여 7가지 질감특징을 이용하여 큰 문자, 작은 문자, 표, 그래픽 및 사진 등으로 구분함으로써 문서인식을 위한 구조 해석뿐만 아니라 다양한 응용 분야에 효과적으로 이용될 수 있도록 하였다.

  • PDF