• 제목/요약/키워드: kNN

검색결과 797건 처리시간 0.033초

효율적인 kNN 알고리즘 (An Efficient kNN Algorithm)

  • 이재문
    • 정보처리학회논문지B
    • /
    • 제11B권7호
    • /
    • pp.849-854
    • /
    • 2004
  • 본 논문은 문서분류 방법인 kNN의 실행속도를 개선하는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 kNN이 사용하는 <용어, 가중치>쌍의 목록 대신, <문서, 가중치>쌍의 목록을 사용하여 유사성 계산을 빠르게 함으로써 실행속도를 개선하는 것이다. <문서, 가중치>의 목록은 문서분류의 학습단계에서 <용어, 가중치>의 목록을 행렬 전치함으로써 구한다. 본 논문에서는 제안된 알고리즘을 시간복잡도 측면에서 분석하고 기존의 kNN과 비교 하였으며, 로이터-21578 데이터를 사용하여 실험적으로 성능을 비교 하였다. 실험결과, 본 논문에서 제안한 알고리즘이 기존의 kNN보다 실행속도측면에서 약 $90{\%}$정도의 우수함을 알 수 있었다.

휴리스틱을 이용한 kNN의 효율성 개선 (An Improvement Of Efficiency For kNN By Using A Heuristic)

  • 이재문
    • 정보처리학회논문지B
    • /
    • 제10B권6호
    • /
    • pp.719-724
    • /
    • 2003
  • 이 논문은 kNN의 정확도의 손실 없이 kNN의 효율성을 개선하는 휴리스틱을 제안한다. 제안된 휴리스틱은 kNN 실행 시간의 주요 요소인 두 문서간 유사성 계산을 최소화하는 것이다. 이것을 위하여 본 논문은 유사성의 상한값을 계산하는 방법과 훈련 문서를 정렬하는 방법을 제안한다. 제안된 휴리스틱을 문서 분류 프레임?인 AI :: Categorizer 상에서 구현하였으며, 잘 알려진 로이터-21578 데이터를 사용하여 기존의 kNN과 비교하였다. 성능 비교의 결과로부터 제안된 휴리스틱을 적용한 방법이 기존의 kNN보다 실행 속도측면에서 약 30∼40%의 개선 효과가 있음을 알 수 있었다.

분산 이동객체 데이터베이스를 위한 k-NN질의 처리 (k-NN Query Process ing for Distributed Moving Object Dat abases)

  • 한종형;이준우;나연묵
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.261-266
    • /
    • 2006
  • GIS분야와 유비쿼터스 환경의 진보로 언제 어디서나 유무선으로 정보를 주고 받는 환경의 계선에 대한 발전이 계속 되어 왔다. 이런 환경에서 이동객체의 이용도가 증대됨에 따라 대용량의 객체 처리를 위해 분산 처리방식이 적용 되었다. 기존 연구의 k-NN질의는 단일 노드에서 질의 처리 비용의 절감에 중점을 두어 분할된 노드에서의 질의처리에 관련된 연구가 부족하였다. 분할된 노드에서 질의를 처리하기 위해서 고비용이 요구되는 k-NN질의를 위하여 본 논문에서는 Hybrid k-NN질의처리 방식을 제안한다. 제안방식은 k-NN질의와 범위질의 특성을 결합한 형태로 분할된 노드에 질의처리를 가능하게 하고, 질의처리 시 k-NN질의와 범위질의의 혼합으로 k-NN질의의 고비용을 절감하는 방법이다. 이 방법은 GALIS 프로토타입의 SLDS의 질의 처리 부분을 개선에 활용할 수 있다.

  • PDF

데이터베이스 워크로드 식별을 위한 수정된 퍼지 k-NN 알고리즘 (A Modified Fuzzy k-NN Algorithm for Identifying Database Workloads)

  • 오정석;이상호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.70-72
    • /
    • 2005
  • 데이터베이스 관리자는 효과적인 데이터베이스 관리를 위해 워크로드 특성을 잘 알아야 한다. 워크로드 특성은 데이터베이스 응용분야에 따라 다르며, 데이터베이스 환경에서 하나 이상의 응용 분야가 수행될 수 있다. 복합적인 데이터베이스 응용 분야 때문에, 관리자가 데이터베이스 시스템에서 발생하는 워크로드를 식별하기가 더욱 어려워졌다. 복합적인 데이터베이스 응용 분야의 효과적인 데이터베이스 관리를 수행하기 위해 워크로드를 식별할 수 있는 방법이 요구된다. 이를 위해, 본 연구는 TPC-C와 TPC-W 성능평가의 워크로드와 두 성능평가의 혼합된 워크로드들을 생성하여 워크로드 식별을 수행하였다. 워크로드 식별은 퍼지 k-NN 알고리즘을 수정하여 진행하였다. 수정된 k-NN 알고리즘은 혼합 비율에 따라 시험 워크로드 데이터와 훈련 워크로드 데이터간의 워크로드 식별 실험에 사용되었고, 분류를 위한 k-NN, 퍼지 k-NN, 분산 가중치 퍼지 k-NN 알고리즘의 결과와 비교되었다. 수정된 k-NN 알고리즘은 다른 알고리즘보다 k 인자에 따른 변동과 오차율이 감소하여 워크로드 식별에 더 적합함을 보였다. 본 논문의 결과는 복합된 데이터베이스 응용 분야의 특성을 보이는 데이터베이스 환경에서 워크로드 식별 정보를 창조하여 융통성 있는 튜닝 기법을 고려하는데 기여한다.

  • PDF

대표용어를 이용한 kNN 분류기의 처리속도 개선 (Improving Time Efficiency of kNN Classifier Using Keywords)

  • 이재윤;유수현
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2003년도 제10회 학술대회 논문집
    • /
    • pp.65-72
    • /
    • 2003
  • kNN 기법은 높은 자동분류 성능을 보여주지만 처리 속도가 느리다는 단점이 있다. 이를 극복하기 위해 입력문서의 대표용어 w개를 선정하고 이를 포함한 학습문서만으로 학습집단을 축소함으로써 자동분류 속도를 향상시키는 kw_kNN을 제안하였다. 실험 결과 대표 용어를 5개 사용할 경우에는 kNN 대비 문서간 비교횟수를 평균 18.4%로 축소할 수 있었다. 그러면서도 성능저하를 최소화하여 매크로 평균 F1 척도면에서는 차이가 없고 마이크로 평균정확률 면에서는 약 l∼2% 포인트 이내로 kNN 기법의 성능에 근접한 결과를 얻었다.

  • PDF

군집분석을 이용한 국지해일모델 지역확장 (Regional Extension of the Neural Network Model for Storm Surge Prediction Using Cluster Analysis)

  • 이다운;서장원;윤용훈
    • 대기
    • /
    • 제16권4호
    • /
    • pp.259-267
    • /
    • 2006
  • In the present study, the neural network (NN) model with cluster analysis method was developed to predict storm surge in the whole Korean coastal regions with special focuses on the regional extension. The model used in this study is NN model for each cluster (CL-NN) with the cluster analysis. In order to find the optimal clustering of the stations, agglomerative method among hierarchical clustering methods was used. Various stations were clustered each other according to the centroid-linkage criterion and the cluster analysis should stop when the distances between merged groups exceed any criterion. Finally the CL-NN can be constructed for predicting storm surge in the cluster regions. To validate model results, predicted sea level value from CL-NN model was compared with that of conventional harmonic analysis (HA) and of the NN model in each region. The forecast values from NN and CL-NN models show more accuracy with observed data than that of HA. Especially the statistics analysis such as RMSE and correlation coefficient shows little differences between CL-NN and NN model results. These results show that cluster analysis and CL-NN model can be applied in the regional storm surge prediction and developed forecast system.

대용량 데이터베이스에서 다차원 인덱스를 사용한 효율적인 다단계 k-NN 검색 (Efficient Multi-Step k-NN Search Methods Using Multidimensional Indexes in Large Databases)

  • 이상훈;김범수;최미정;문양세
    • 정보과학회 논문지
    • /
    • 제42권2호
    • /
    • pp.242-254
    • /
    • 2015
  • 본 논문에서는 다차원 인덱스 기반 다단계 k-NN 검색의 성능 향상 문제를 다룬다. 기존 다단계 k-NN 검색에서는 고차원 객체의 저차원 변환으로 인한 정보 손실로 k-NN 질의 결과 매우 큰 허용치(검색 범위)가 결정되어 범위 질의 결과로 많은 후보가 검색된다. 또한, 많은 후보는 후처리 과정에서 매우 많은 I/O 및 CPU 오버헤드를 발생시킨다. 본 논문에서는 이와 같은 고찰에 기반하여 범위 질의의 허용치를 줄여 후보 개수를 줄이고 이를 통해 성능을 향상시키는 방법을 제안한다. 먼저, k-NN 질의 결과로 결정된 허용치를 고차원 및 저차원 객체간 거리 비율로 강제 축소하여 범위 질의에 사용하는 허용치 축소 (근사적) 해결책을 제안한다. 다음으로, k-NN 질의 계수 k 대신 c k 를 사용하여 얻은 보다 타이트(tight)한 허용치로 범위 질의를 수행하는 계수 제어 (정확한) 해결책을 제안한다. 실제 객체 데이터를 사용하여 실험한 결과, 제안한 두 가지 해결책은 기존 다단계 k-NN 검색에 비해 후보 개수와 검색 시간 모두를 크게 향상시킨 것으로 나타났다.

대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘 (A MapReduce-based kNN Join Query Processing Algorithm for Analyzing Large-scale Data)

  • 이현조;김태훈;장재우
    • 정보과학회 논문지
    • /
    • 제42권4호
    • /
    • pp.504-511
    • /
    • 2015
  • 최근 모바일 기술의 발달 및 소셜 네트워크 서비스의 활성화를 통해 사용자 데이터가 급격히 증대되고 있다. 이에 따라 대용량 데이터에 대한 효율적인 데이터 분석 기법에 대한 연구가 활발히 이루어지고 있다. 대표적인 대용량 데이터 분석 기법으로는 맵리듀스 환경에서 보로노이 다이어그램을 이용한 k 최근접점 조인(VkNN-join) 알고리즘이 존재한다. 데이터집합 R, S에 대해, VkNN-join 알고리즘은 부분집합 Ri에 연관된 부분집합 Sj만을 후보탐색 영역으로 선정하여 질의처리를 수행하기 때문에, 대용량 데이터에 대한 join 질의처리 시간을 감소시키는 장점이 존재한다. 그러나 VkNN-join은 보로노이 다이어그램을 사용하기 때문에, 색인 구축 비용이 높은 단점이 존재한다. 아울러 kNN 질의처리를 위한 후보 영역 선정 시 k값에 비례하여 후보영역의 크기가 증가하기 때문에, kNN 연산 오버헤드가 증가하는 문제점이 존재한다. 이를 해결하기 위해 본 논문에서는 대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘을 제안한다. 제안하는 질의처리 알고리즘은 시드 기반의 동적 분할을 통해 색인구조 구축비용을 절감한다. 또한 시드 간 평균 거리를 기반으로 질의 처리 후보 영역을 선정함으로써, kNN-join 질의를 위한 연산 오버헤드를 감소시킨다. 아울러, 성능 평가를 통해 제안하는 기법이 질의처리 시간 측면에서 기존 기법에 비해 우수함을 보인다.

기계학습을 기반으로 한 인터넷 학술문서의 효과적 자동분류에 관한 연구 (The Study on the Effective Automatic Classification of Internet Document Using the Machine Learning)

  • 노영희
    • 한국도서관정보학회지
    • /
    • 제32권3호
    • /
    • pp.307-330
    • /
    • 2001
  • 본 연구에서는 kNN분류기를 이용한 범주화 방법에 대한 성능 실험을 하였다. kNN분류기와 같은 대부분의 예제기반 자동 분류기법은 학습문서집단의 자질을 축소하게 되는데 자질을 몇 퍼센트 축소함으로써 높은 성능을 얻을 수 있는지를 알아보고자 하였다. 또한, kNN분류기는 학습문서집단에서 검증문서와 가장 유사한 k개의 학습문서를 찾아야 하는데, 이때 가장 적합한 k값은 얼마인지를 실험을 통하여 검증하여 보고자 하였다.

  • PDF

맵리듀스 기반 kNN join 질의처리 알고리즘의 설계 및 성능평가 (Design and Performance Analysis of MapReduce-based kNN join Query Processing Algorithm)

  • 김태훈;이현조;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.733-736
    • /
    • 2014
  • 최근 대용량 데이터에 대한 효율적인 데이터 분석 기법이 활발히 연구되고 있다. 대표적인 기법으로는 맵리듀스 환경에서 보로노이 다이어그램을 이용한 k 최근접점 조인(VkNN-join) 알고리즘이 존재한다. VkNN-join 알고리즘은 부분집합 Ri에 연관된 부분집합 Sj만을 후보탐색 영역으로 선정하여 질의를 처리하기 때문에 질의처리 시간을 감소시킨다. 그러나 VkNN-join은 색인 구축 비용이 높으며, kNN 연산 오버헤드가 큰 문제점이 존재한다. 이를 해결하기 위해, 본 논문에서는 대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 시드 기반의 동적 분할을 통해 색인구조 구축비용을 감소시킨다. 또한 시드 간 평균 거리를 기반으로 후보 영역을 선정함으로써, 연산 오버헤드를 감소시킨다. 아울러, 성능 평가를 통해 제안하는 기법이 질의처리 시간 측면에서 기존 기법에 비해 우수함을 나타낸다.