• 제목/요약/키워드: K-Nearest Neighbor 알고리즘

검색결과 204건 처리시간 0.027초

맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘 (Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1303-1313
    • /
    • 2015
  • 맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.

일반적인 그림 데이터에서의 빠른 최인접 검색 (Fast Nearest Neighbor Search on General Size Images)

  • 황윤호;안희갑
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.417-418
    • /
    • 2012
  • 우리는 유클리드 공간에서 그림 데이터의 평균화 분산을 이용한 비선형 변환을 이용하여, 그림 데이터에서 최인접검색(nearest neighbor search)을 빠르게 할 수 있는 알고리즘을 제시한다. 기존의 평균과 분산을 이용한 최인접검색 알고리즘은 고차원 그림 데이터를 그보다 낮은 차원의 유클리드 공간의 데이터로 변환하고, 낮은 차원에서의 비교를 통해 최인접검색의 해가 될 수 없는 그림 데이터를 빠르게 제외하는 방법을 사용한다. 우리는 기존의 방법이 균일하게 나누어지는 크기의 그림 데이터에서만 가능하던 기존방법에 대한 해결책을 이 논문에서 제시하여 일반적인 그림 데이터에서도 평균과 분산을 이용하는 최인접검색을 가능하게 한다.

k-최근접 이웃 알고리즘을 이용한 원공결함을 갖는 유한 폭 판재의 음향방출 음원분류에 대한 연구 (Acoustic Emission Source Classification of Finite-width Plate with a Circular Hole Defect using k-Nearest Neighbor Algorithm)

  • 이장규;오진수
    • 대한안전경영과학회지
    • /
    • 제11권1호
    • /
    • pp.27-33
    • /
    • 2009
  • A study of fracture to material is getting interest in nuclear and aerospace industry as a viewpoint of safety. Acoustic emission (AE) is a non-destructive testing and new technology to evaluate safety on structures. In previous research continuously, all tensile tests on the pre-defected coupons were performed using the universal testing machine, which machine crosshead was move at a constant speed of 5mm/min. This study is to evaluate an AE source characterization of SM45C steel by using k-nearest neighbor classifier, k-NNC. For this, we used K-means clustering as an unsupervised learning method for obtained multi -variate AE main data sets, and we applied k-NNC as a supervised learning pattern recognition algorithm for obtained multi-variate AE working data sets. As a result, the criteria of Wilk's $\lambda$, D&B(Rij) & Tou are discussed.

대용량 이동객체의 위치정보 관리를 위한 S-GRID를 이용한 분산 그리드 기법 (Distributed Grid Scheme using S-GRID for Location Information Management of a Large Number of Moving Objects)

  • 김영창;김영진;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.11-19
    • /
    • 2008
  • 최근 모바일 기기 및 무선 통신의 발달로 인하여 다양한 위치 기반 서비스에 대한 연구가 증대되고 있으며, 이러한 위치 기반 서비스의 대표적 질의인 k-최근접 질의를 효율적으로 처리하기 위한 연구가 활발히 수행되어 왔다. 기존 연구들은 질의 처리 성능의 향상을 위해, 공간 네트워크 상의 POI와 노드 사이의 거리를 미리 계산하는 pre-computation 기법을 사용한다. 그러나 이러한 pre-computation 기법들은 검색 대상이 되는 POI의 변경을 효과적으로 처리하지 못하는 단점을 갖는다. 본 논문에서는 기존 pre-computation 기법들의 단점을 극복하고, 대용량 이동객체의 위치정보를 효율적으로 관리하기 위하여 S-GRID를 이용한 분산 그리드 기법을 제안한다. 아울러 제안하는 분산 그리드 기법을 위한 k-최근접 질의 처리 알고리즘을 제시한다. 마지막으로, S-GRID 및 분산 그리드 기법의 k-최근접 질의처리 알고리즘의 성능 평가를 통해, 제안하는 기법의 우수성을 입증한다.

  • PDF

선박의 WLAN 환경에서 K-최근접 이웃 알고리즘 기반 Fingerprinting 방식을 적용한 위치 추정 방법 (Location Estimation Method Employing Fingerprinting Scheme based on K-Nearest Neighbor Algorithm under WLAN Environment of Ship)

  • 김범무;정민아;이성로
    • 한국정보통신학회논문지
    • /
    • 제18권10호
    • /
    • pp.2530-2536
    • /
    • 2014
  • GPS 신호가 도달하지 않는 실내 환경에서 위치를 추정하는 연구는 지금까지 많이 이루어져 왔다. 또한 추정 기법도 여러 가지 기법들이 제안되었다. 본 논문에서는 다층 구조의 선박에서 위치를 추정하는 문제를 심도있게 고찰하였고 K-최근접 이웃 알고리즘 기반 Fingerprint 기법에 의한 위치 추정 방법에 대해 알아보았다. Fingerprint 기법을 쓰기 위해 39개의 RP에서 각각 N=100회의 수신신호를 측정함으로써 신뢰성 있는 DB를 구축하였고 이를 토대로 임의의 위치에 있는 단말기의 위치를 추정하는 모의실험을 하였다. 모의실험을 통해 Fingerprint 기법에 의한 위치 추정 성능은 아주 우수함을 알 수 있었다.

위성영상을 활용한 지상부 산림바이오매스 탄소량 추정 - k-Nearest Neighbor 및 Regression Tree Analysis 방법의 비교 분석 - (Estimation of Aboveground Forest Biomass Carbon Stock by Satellite Remote Sensing - A Comparison between k-Nearest Neighbor and Regression Tree Analysis -)

  • 정재훈;우엔 콩 효;허준;김경민;임정호
    • 대한원격탐사학회지
    • /
    • 제30권5호
    • /
    • pp.651-664
    • /
    • 2014
  • 최근 주기적이고 정확한 산림바이오매스 탄소저장량 추정에 대한 필요성이 한국에서도 점차 증가하고 있다. 본 연구에서는 k-Nearest Neighbor (kNN) 및 Regression Tree Analysis (RTA) 알고리즘을 대상으로 공주 및 세종시를 대상으로 한 탄소량 변화 탐지를 통해 그 효용성을 비교 분석 하고자 하였다. 현장 자료로는 제 3차 및 제 5, 6차 국가산림자원조사 자료를 이용하였으며, 위성영상자료는 1992년, 2010년에 취득된 Landsat TM과 2009년에 취득된 Aster 영상을 이용하였다. 또한, 추정정확도를 향상시키기 위해 각 영상으로부터 다양한 식생지수를 생성하였다. 두 방법론의 비교를 위해 RMSE 및 평균편의(mean bias)를 포함한 각종 탄소통계량을 계산하였으며, 대상지역에 대한 탄소분포지도를 생성하고 비교를 수행하였다. 그 결과, kNN 알고리즘은 영상에 상관없이 보다 안정적인 추정결과를 나타낸 반면, 스무딩 효과로 인해 탄소의 공간분포가 뚜렷하지 않은 단점이 발견되었다. RTA의 경우 평균편의 결과 및 탄소의 공간분포가 명확히 나타나는 장점이 있으나, 위성영상에 따라 탄소추정량에서 큰 차이를 나타내었다. 최종적으로 2009년 및 2010년 탄소지도에서 1992년 탄소지도를 차분한 탄소차분지도를 생성을 통해 공주시 및 세종시 지역의 산림 탄소저장량이 급격히 증가했음을 확인하였다.

Opcode와 Windows API를 사용한 멀웨어 탐지 (Malware Detection Method using Opcode and windows API Calls)

  • 안태현;오상진;권영만
    • 한국인터넷방송통신학회논문지
    • /
    • 제17권6호
    • /
    • pp.11-17
    • /
    • 2017
  • 본 논문에서는 멀웨어 탐지 방법으로 Opcode (operation code)와 실행 파일에서 추출한 Windows API Call로 구성된 특징 벡터를 사용하는 방법을 제안한다. 먼저 PE 파일에서 추출한 opcode와 windows API로 특징 벡터를 구성하고 Bernoulli Naïve Bayes과 K-Nearest Neighbor 분류기 알고리즘을 사용하여 성능을 각각 측정하였다. 실험결과, 제안한 방법과 KNN 분류기를 사용하여 분류하면 95.21%의 멀웨어 탐지 정확도를 얻을 수 있었다. 결과적으로 기존의 Opcode 또는 Windows API 호출 중 하나만 사용하는 방법보다 제안한 방법이 멀웨어 탐지 정확도에서 높은 성능을 보인다.

클래스 영역의 다차원 구 생성에 의한 프로토타입 기반 분류 (Prototype based Classification by Generating Multidimensional Spheres per Class Area)

  • 심세용;황두성
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권2호
    • /
    • pp.21-28
    • /
    • 2015
  • 본 논문에서는 최근접 이웃 규칙을 이용한 프로토타입 선택 기반 분류 학습을 제안하였다. 각 훈련 데이터가 대표하는 클래스 영역을 구(sphere)로 분할하는데 최근접 이웃 규칙을 적용시키며, 구의 내부는 동일 클래스 데이터들만 포함하도록 한다. 프로토타입은 구의 중심점이며 프로토타입의 반지름은 가장 인접한 다른 클래스 데이터와 가장 먼 동일 클래스 데이터의 중간 거리 값으로 결정한다. 그리고 전체 훈련 데이터를 대표하는 최소의 프로토타입 집합을 선택하기 위해 집합 덮개 최적화를 이용하여 프로토타입 선택 문제를 변형시켰다. 제안하는 프로토타입 선택 방법은 클래스 별 적용이 가능한 그리디 알고리즘으로 설계되었다. 제안하는 방법은 계산 복잡도가 높지 않으며, 대규모 훈련 데이터에 대한 병렬처리의 가능성이 높다. 프로토타입 기반 분류 학습은 선택된 프로토타입 집합을 새로운 훈련 데이터 집합으로 사용하고 최근접 이웃 규칙을 적용하여 테스트 데이터의 클래스를 예측한다. 실험에서 제안하는 프로토타입 기반 분류기는 최근접 이웃 학습, 베이지안 분류 학습과 다른 프로토타입 분류기에 비해 일반화 성능이 우수하였다.

A Batch Processing Algorithm for Moving k-Nearest Neighbor Queries in Dynamic Spatial Networks

  • Cho, Hyung-Ju
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권4호
    • /
    • pp.63-74
    • /
    • 2021
  • 위치 기반 서비스(LBS)는 가장 바쁜 시간에 동시에 도착하는 최단 경로 및 k-최근접 이웃 질의를 포함한 다양한 공간 질의를 효과적으로 처리한다. 동시에 도착하는 공간 질의를 빠르게 처리하기 위한 간단한 해결 방법은 LBS 서버를 추가하는 것이다. 이 방법은 서비스 운영 비용을 많이 증가시킨다. 최근에는 공유 가능한 계산을 사용하여 일련의 질의를 한꺼번에 모아서 처리하는 일괄 처리 방법이 제안되었다. 본 연구에서는 교통 상황에 따라 각 도로 구간의 이동 시간이 빈번하게 변하는 동적 공간 네트워크에서 움직이는 k-최근접 이웃 질의를 한꺼번에 처리하는 방법을 연구한다. 순차적 질의 처리를 기반으로 하는 LBS 서버는 중복 계산으로 인해 한꺼번에 요청이 들어오는 움직이는 k-최근접 이웃 질의를 효과적으로 처리하지 못한다. 본 연구의 목표는 움직이는 k-최근접 이웃 질의를 한꺼번에 처리하고 공유 가능한 계산을 재사용하여 알고리즘을 효율성을 개선한다. 실제 지도 데이터를 사용한 실험 평가는 최신 방법보다 제안된 방법이 우수하다는 것을 보여준다.

로빈스-몬로 확률 근사 알고리즘을 이용한 데이터 분류 (Data Classification Using the Robbins-Monro Stochastic Approximation Algorithm)

  • 이재국;고춘택;최원호
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2005년도 전력전자학술대회 논문집
    • /
    • pp.624-627
    • /
    • 2005
  • This paper presents a new data classification method using the Robbins Monro stochastic approximation algorithm k-nearest neighbor and distribution analysis. To cluster the data set, we decide the centroid of the test data set using k-nearest neighbor algorithm and the local area of data set. To decide each class of the data, the Robbins Monro stochastic approximation algorithm is applied to the decided local area of the data set. To evaluate the performance, the proposed classification method is compared to the conventional fuzzy c-mean method and k-nn algorithm. The simulation results show that the proposed method is more accurate than fuzzy c-mean method, k-nn algorithm and discriminant analysis algorithm.

  • PDF