• 제목/요약/키워드: K-nn weighting

검색결과 8건 처리시간 0.017초

자질 선정 기준과 가중치 할당 방식간의 관계를 고려한 문서 자동분류의 개선에 대한 연구 (An Empirical Study on Improving the Performance of Text Categorization Considering the Relationships between Feature Selection Criteria and Weighting Methods)

  • 이재윤
    • 한국문헌정보학회지
    • /
    • 제39권2호
    • /
    • pp.123-146
    • /
    • 2005
  • 이 연구에서는 문서 자동분류에서 분류자질 선정과 가중치 할당을 위해서 일관된 전략을 채택하여 kNN 분류기의 성능을 향상시킬 수 있는 방안을 모색하였다. 문서 자동 분류에서 분류자질 선정 방식과 자질 가중치 할당 방식은 자동분류 알고리즘과 함께 분류성능을 좌우하는 중요한 요소이다. 기존 연구에서는 이 두 방식을 결정할 때 상반된 전략을 사용해왔다. 이 연구에서는 색인파일 저장공간과 실행시간에 따른 분류성능을 기준으로 분류자질 선정 결과를 평가해서 기존 연구와 다른 결과를 얻었다. 상호정보량과 같은 저빈도 자질 선호 기준이나 심지어는 역문헌빈도를 이용해서 분류 자질을 선정하는 것이 kNN 분류기의 분류 효과와 효율 면에서 바람직한 것으로 나타났다. 자질 선정기준으로 저빈도 자질 선호 척도를 자질 선정 및 자질 가중치 할당에 일관되게 이용한 결과 분류성능의 저하 없이 kNN 분류기의 처리 속도를 약 3배에서 5배정도 향상시킬 수 있었다.

유전알고리즘을 이용한 최적 k-최근접이웃 분류기 (Optimal k-Nearest Neighborhood Classifier Using Genetic Algorithm)

  • 박종선;허균
    • Communications for Statistical Applications and Methods
    • /
    • 제17권1호
    • /
    • pp.17-27
    • /
    • 2010
  • 분류분석에 사용되는 k-최근접이웃 분류기에 유전알고리즘을 적용하여 의미 있는 변수들과 이들에 대한 가중치 그리고 적절한 k를 동시에 선택하는 알고리즘을 제시하였다. 다양한 실제 자료에 대하여 기존의 여러 방법들과 교차타당성 방법을 통하여 비교한 결과 효과적인 것으로 나타났다.

거리 가중치와 층화를 이용한 최근린기반 임목축적 추정치의 정확도 비교 (Comparison of Forest Growing Stock Estimates by Distance-Weighting and Stratification in k-Nearest Neighbor Technique)

  • 임종수;유병오;신만용
    • 한국산림과학회지
    • /
    • 제101권3호
    • /
    • pp.374-380
    • /
    • 2012
  • 본 연구는 최근린 기법에서 거리가중치와 훈련자료의 층화에 의한 추정치의 정확도를 비교하여 효율적인 방법을 모색하기 위하여 수행하였다. 거리가중치의 경우, 유사성이 높은 훈련자료에 가중치를 부여하는 방법으로 일반적으로 적용되는 5가지의 계수(0, 0.5, 1, 1.5, 그리고 2)를 비교한 결과, 평균 편차에서 최대 ${\pm}0.6m^3/ha$로 정확도는 유사한 것으로 나타났다. 훈련자료의 층화에서는 임상구분을 적용하였을 때 추정치의 정확도가 가장 높은 것으로 나타났으며, 임상구분과 참조수평거리(반경=100 km)를 통합하여 적용하였을 경우에는 임상구분에 의한 추정치와 유사한 정확도를 나타내었다. 연구대상지의 2010년 기준 평균임목축적과 비교한 결과 최근린 기반 추정치가 약 $5m^3/ha$ 정도 과소 추정되었지만, 조사시점을 고려하였을 때 상당한 정확도를 나타낸 것으로 평가된다.

퍼지 k-Nearest Neighbors 와 Reconstruction Error 기반 Lazy Classifier 설계 (Design of Lazy Classifier based on Fuzzy k-Nearest Neighbors and Reconstruction Error)

  • 노석범;안태천
    • 한국지능시스템학회논문지
    • /
    • 제20권1호
    • /
    • pp.101-108
    • /
    • 2010
  • 본 논문에서는 퍼지 k-NN과 reconstruction error에 기반을 둔 feature selection을 이용한 lazy 분류기 설계를 제안하였다. Reconstruction error는 locally linear reconstruction의 평가 지수이다. 새로운 입력이 주어지면, 퍼지 k-NN은 local 분류기가 유효한 로컬 영역을 정의하고, 로컬 영역 안에 포함된 데이터 패턴에 하중 값을 할당한다. 로컬 영역과 하중 값을 정의한 우에, feature space의 차원을 감소시키기 위하여 feature selection이 수행된다. Reconstruction error 관점에서 우수한 성능을 가진 여러 개의 feature들이 선택 되어 지면, 다항식의 일종인 분류기가 하중 최소자승법에 의해 결정된다. 실험 결과는 기존의 분류기인 standard neural networks, support vector machine, linear discriminant analysis, and C4.5 trees와 비교 결과를 보인다.

개선된 데이터마이닝을 위한 혼합 학습구조의 제시 (Hybrid Learning Architectures for Advanced Data Mining:An Application to Binary Classification for Fraud Management)

  • Kim, Steven H.;Shin, Sung-Woo
    • 정보기술응용연구
    • /
    • 제1권
    • /
    • pp.173-211
    • /
    • 1999
  • The task of classification permeates all walks of life, from business and economics to science and public policy. In this context, nonlinear techniques from artificial intelligence have often proven to be more effective than the methods of classical statistics. The objective of knowledge discovery and data mining is to support decision making through the effective use of information. The automated approach to knowledge discovery is especially useful when dealing with large data sets or complex relationships. For many applications, automated software may find subtle patterns which escape the notice of manual analysis, or whose complexity exceeds the cognitive capabilities of humans. This paper explores the utility of a collaborative learning approach involving integrated models in the preprocessing and postprocessing stages. For instance, a genetic algorithm effects feature-weight optimization in a preprocessing module. Moreover, an inductive tree, artificial neural network (ANN), and k-nearest neighbor (kNN) techniques serve as postprocessing modules. More specifically, the postprocessors act as second0order classifiers which determine the best first-order classifier on a case-by-case basis. In addition to the second-order models, a voting scheme is investigated as a simple, but efficient, postprocessing model. The first-order models consist of statistical and machine learning models such as logistic regression (logit), multivariate discriminant analysis (MDA), ANN, and kNN. The genetic algorithm, inductive decision tree, and voting scheme act as kernel modules for collaborative learning. These ideas are explored against the background of a practical application relating to financial fraud management which exemplifies a binary classification problem.

  • PDF

최적화 사례기반추론을 이용한 통신시장 고객관계관리 (Customer Relationship Management in Telecom Market using an Optimized Case-based Reasoning)

  • 안현철;김경재
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2006년도 추계학술대회 학술발표 논문집 제16권 제2호
    • /
    • pp.285-288
    • /
    • 2006
  • Most previous studies on improving the effectiveness of CBR have focused on the similarity function aspect or optimization of case features and their weights. However, according to some of the prior research, finding the optimal k parameter for the k-nearest neighbor (k-NN) is also crucial for improving the performance of the CBR system. Nonetheless, there have been few attempts to optimize the number of neighbors, especially using artificial intelligence (AI) techniques. In this study, we introduce a genetic algorithm (GA) to optimize the number of neighbors that combine, as well as the weight of each feature. The new model is applied to the real-world case of a major telecommunication company in Korea in order to build the prediction model for the customer profitability level. Experimental results show that our GA-optimized CBR approach outperforms other AI techniques for this mulriclass classification problem.

  • PDF

기후변화 시나리오를 활용한 미래 한반도 물수급 전망 (Water Balance Projection Using Climate Change Scenarios in the Korean Peninsula)

  • 김초롱;김영오;서승범;최수웅
    • 한국수자원학회논문집
    • /
    • 제46권8호
    • /
    • pp.807-819
    • /
    • 2013
  • 본 연구에서는 기존의 기후변화를 고려한 물수급 분석 방법론의 문제점을 개선하기 위해 GCM 미래 유량 시나리오를 물수급 모형에 직접 입력하는 대신 과거 유량 시나리오의 가중값(재현확률)을 부여하는 새로운 물수급 전망기법을 제안하고자 한다. GCM 미래 기후자료를 TANK 모형에 입력하여 중권역별 미래 유량을 모의하였으며 모의결과에 대한 편이보정을 위해 Quantile Mapping 기법을 적용하였다. 이러한 미래 유량 전망결과를 반영하여 각각의 입력자료에 대한 가중값(재현확률)을 새롭게 산정함으로써 미래 목표 전망구간에 대한 물부족량을 산정하였다. 물수급 모형의 입력자료에 대한 가중값 산정을 위해K-nn 알고리즘을 적용하였으며 비홍수기(10~6월) 유량을 가중값 산정을 위한 기준유량으로 결정하였다. 기후 변화의 불확실성을 고려하고자 4개의 GCM과 3개의 AR4 SRES 온실가스 배출 시나리오를 앙상블 조합하여 생성한 기후변화 시나리오를 활용하였다. 본 연구에서제시한 방법론을 한반도 4대강 유역에 적용한 결과, 기후변화를 고려한 한반도 미래 평균 물부족량은 2020s (2010~2039년)에는 과거에 비해 10~32% 정도 증가할 것으로 전망되었다. 또한, 한반도 4대강 유역의 경우 먼 미래로 갈수록 비홍수기 유량이 점차 감소할 것으로 전망됨에 따라 2080s (2070~2099년)에는 과거 대비 평균 물부족량이 최대 97%(약 516.5백만 $m^3$/년) 증가할 것으로 전망되었다. 기존의 기후변화 연구 방법론의 전망결과를 비교분석한 결과, 기존 방법론은 매우 극적인 물부족량 증가를 전망하고 있는 반면 본 연구에서 제안한 기법은 상대적으로 보수적인 변화를 전망하였다. 본 연구는 물수급 분석시기 후 변화를 고려하되 기존 국가계획 방법론의 틀을 최대한 유지하고 있다는 점에서 국가수자원계획 수립에 있어 정책결정권자들의 혼돈을 줄여줄 수 있는 방법론이 될 수 있다고 판단된다.

선택적 자질 차원 축소를 이용한 최적의 지도적 LSA 방법 (Optimal supervised LSA method using selective feature dimension reduction)

  • 김정호;김명규;차명훈;인주호;채수환
    • 감성과학
    • /
    • 제13권1호
    • /
    • pp.47-60
    • /
    • 2010
  • 기존 웹 페이지 자동분류 연구는 일반적으로 학습 기반인 kNN(k-Nearest Neighbor), SVM(Support Vector Machine)과 통계 기반인 Bayesian classifier, NNA(Neural Network Algorithm)등 여러 종류의 분류작업에서 입증된 분류 기법을 사용하여 웹 페이지를 분류하였다. 하지만 인터넷 상의 방대한 양의 웹 페이지와 각 페이지로부터 나오는 많은 양의 자질들을 처리하기에는 공간적, 시간적 문제에 직면하게 된다. 그리고 분류 대상을 표현하기 위해 흔히 사용하는 단일(uni-gram) 자질 기반에서는 자질들 간의 관계 분석을 통해 자질에 정확한 의미를 부여하기 힘들다. 특히 본 논문의 분류 대상인 한글 웹 페이지의 자질인 한글 단어는 중의적인 의미를 가지는 경우가 많기 때문에 이러한 중의성이 분류 작업에 많은 영향을 미칠 수 있다. 잠재적 의미 분석 LSA(Latent Semantic Analysis) 분류기법은 선형 기법인 특이치 분해 SVD(Singular Value Decomposition)을 통해 행렬의 분해 및 차원 축소(dimension reduction)를 수행하여 대용량 데이터 집합의 분류를 효율적으로 수행하고, 또한 차원 축소를 통해 새로운 의미공간을 생성하여 자질들의 중의적 의미를 분석할 수 있으며 이 새로운 의미공간상에 분류 대상을 표현함으로써 분류 대상의 잠재적 의미를 분석할 수 있다. 하지만 LSA의 차원 축소는 전체 데이터의 표현 정도만을 고려할 뿐 분류하고자 하는 범주를 고려하지 않으며 또한 서로 다른 범주 간의 차별성을 고려하지 않기 때문에 축소된 차원 상에서 분류 시 서로 다른 범주 데이터간의 모호한 경계로 인해 안정된 분류 성능을 나타내지 못한다. 이에 본 논문은 새로운 의미공간(semantic space) 상에서 서로 다른 범주사이의 명확한 구분을 위한 특별한 차원 선택을 수행하여 최적의 차원 선택과 안정된 분류성능을 보이는 최적의 지도적 LSA을 소개한다. 제안한 지도적 LSA 방법은 기본 LSA 및 다른 지도적 LSA 방법들에 비해 저 차원 상에서 안정되고 더 높은 성능을 보였다. 또한 추가로 자질 생성 및 선택 시 불용어의 제거와 자질에 대한 가중치를 통계적인 학습을 통해 얻음으로써 더 높은 학습효과를 유도하였다.

  • PDF