• 제목/요약/키워드: 최근접 이웃

검색결과 187건 처리시간 0.039초

Spark 기반 빅데이터 처리를 위한 K-최근접 이웃 연결 (K Nearest Neighbor Joins for Big Data Processing based on Spark)

  • 기가기;정영지
    • 한국정보통신학회논문지
    • /
    • 제21권9호
    • /
    • pp.1731-1737
    • /
    • 2017
  • K-최근접 이웃 연결(KNN 연결) 알고리즘은 기계학습에서 매우 효과적인 방법으로, 작은 데이터군에 대해서 널리 사용되어 왔다. 데이터의 수가 증가함에 따라, 단일 컴퓨터에서는 메모리와 수행시간의 제약으로 실제적인 응용프로그램에서는 실행하기에 적합하지 못하였다. 최근에는 대규모 데이터 처리를 위해서, 많은 수의 컴퓨터로 이루어진 클러스터에서 실행될 수 있는 맵리듀스 (MapReduce)로 알려진 알고리즘이 널리 사용되고 있다. 하둡은 맵리듀스 알고리즘을 구현한 프레임워크이지만 스파크라고 하는 새로운 프레임워크에 의하여 그 성능이 월등히 개선되었다. 본 논문에서는, 스파크에 기반하여 구현된 KNN 연결 알고리즘을 제안하였으며, 이는 인메모리(In-Memory) 연산 기능의 장점으로 하둡보다 빠르고 보다 효율적일 것으로 기대한다. 실험을 통하여, 수행시간에 영향을 주는 요소들에 관하여 조사하였으며, 제안한 접근 방식의 우수성과 효율성을 확인하였다.

PCA 기반 군집화를 이용한 해슁 기법 (A Hashing Method Using PCA-based Clustering)

  • 박정희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권6호
    • /
    • pp.215-218
    • /
    • 2014
  • 해슁(hashing)을 기반으로 한 근사 최근접 이웃 탐색(approximate nearest neighbors search, ANN search) 방법에서는 데이터 샘플들을 k-비트 이진 코드로 변환하는 해쉬 함수들을 이용함으로써 근접 이웃 탐색이 이진변환 공간에서 이루어지게 된다. 본 논문에서는 PCA 기반 군집화 방법인 Principal Direction Divisive Partitioning(PDDP)를 이용한 해슁 방법을 제안한다. PDDP는 가장 큰 분산을 가지는 클러스터를 선택하여 그 클러스터의 첫 번째 주성분 방향을 이용하여 두 개의 클러스터로 분할하는 과정을 반복적으로 시행하는 군집화 방법이다. 제안하는 해슁 방법에서는 PDDP에서 분할을 위해 사용하는 주성분방향을 바이너리 코딩을 위한 사영벡터로서 사용한다. 실험결과는 제안하는 방법이 다른 해슁 방법들과 비교하여 경쟁력 있는 방법임을 입증한다.

안드로이드 OS에서 앱 설치 의사결정 지원을 위한 악성 앱 분류 시스템 (Malware Classification System to Support Decision Making of App Installation on Android OS)

  • 유홍렬;장윤;권태경
    • 정보과학회 논문지
    • /
    • 제42권12호
    • /
    • pp.1611-1622
    • /
    • 2015
  • 안드로이드 시스템은 권한 기반의 접근제어 기능을 제공하고, 사용자로 하여금 앱 설치시 앱이 가진 권한을 통해 설치여부를 판단하도록 요구하고 있지만, 대부분의 사용자는 이것을 무시하거나 모르고 지나치는 경향이 있다. 따라서 사용자가 이와 같은 중요한 단계에 주어진 역할을 직관적으로 수행할 수 있도록 하기 위한 개선된 방법이 필요하다. 본 논문에서는 퍼미션 기반 접근제어 시스템을 위해 사용자의 의사결정을 즉각 지원할 수 있는 새로운 기법을 기계학습에 기반하여 연구하고 제안한다. 구체적으로 K-최근접 이웃 알고리즘을 목적에 맞게 수정하여 악성앱 가능성 판단에 대한 연구를 진행하였으며, 특성으로 안드로이드의 권한 152개를 사용했다. 실험 결과 약 93.5%의 정확도를 보였으며 유사한 알고리즘, 혹은 특성으로 권한만을 사용한 기존의 연구결과에 비해 우수한 분류 결과를 보였다. 이는 K-최근접 이웃 알고리즘의 범주 선택시 가중합을 반영했기 때문이다. 본 연구결과는 사용자가 권한을 검토하고 설치할 때 의사결정에 도움을 줄 수 있을 것으로 기대된다.

선박의 WLAN 환경에서 K-최근접 이웃 알고리즘 기반 Fingerprinting 방식을 적용한 위치 추정 방법 (Location Estimation Method Employing Fingerprinting Scheme based on K-Nearest Neighbor Algorithm under WLAN Environment of Ship)

  • 김범무;정민아;이성로
    • 한국정보통신학회논문지
    • /
    • 제18권10호
    • /
    • pp.2530-2536
    • /
    • 2014
  • GPS 신호가 도달하지 않는 실내 환경에서 위치를 추정하는 연구는 지금까지 많이 이루어져 왔다. 또한 추정 기법도 여러 가지 기법들이 제안되었다. 본 논문에서는 다층 구조의 선박에서 위치를 추정하는 문제를 심도있게 고찰하였고 K-최근접 이웃 알고리즘 기반 Fingerprint 기법에 의한 위치 추정 방법에 대해 알아보았다. Fingerprint 기법을 쓰기 위해 39개의 RP에서 각각 N=100회의 수신신호를 측정함으로써 신뢰성 있는 DB를 구축하였고 이를 토대로 임의의 위치에 있는 단말기의 위치를 추정하는 모의실험을 하였다. 모의실험을 통해 Fingerprint 기법에 의한 위치 추정 성능은 아주 우수함을 알 수 있었다.

이동객체궤적에 대한 효율적인 최근접이웃검색 (Efficient Nearest Neighbor Search on Moving Object Trajectories)

  • 김규재;박영희;조우현
    • 한국정보통신학회논문지
    • /
    • 제18권12호
    • /
    • pp.2919-2925
    • /
    • 2014
  • 스마트폰과 같은 이동 통신 매체의 발달과 LTE, NFC, RFID 등 무선통신의 발달로 실시간으로 이동 객체의 위치데이터를 수집하여 활용하는 위치 기반의 서비스들이 다방면의 개발에 이용되고 있다. 이에 따라 대용량의 이동객체 위치 데이터들을 효율적으로 저장하는 방법과 여러 질의를 좀 더 빠르게 처리할 수 있는 방법들에 대한 연구들이 진행 중이다. 본 논문에서는 Douglas-Peucker 알고리즘을 응용하여 대용량의 이동객체궤적 데이터를 단순화하여 색인구조를 생성하고 이 색인 구조를 이용하여 최근접이웃검색 질의를 효율적으로 처리할 수 있는 알고리즘을 제안한다. 제안된 방법으로 대용량의 데이터가 더 적은 양의 데이터로 단순화 되고 얼마나 더 효율적으로 질의를 처리하는지 실험을 통하여 확인하였다.

공작기계의 절삭용 인서트의 잔여 유효 수명 예측 모형 (Machine Learning Model for Predicting the Residual Useful Lifetime of the CNC Milling Insert)

  • 최원근;김흥섭;고봉진
    • 한국항행학회논문지
    • /
    • 제27권1호
    • /
    • pp.111-118
    • /
    • 2023
  • 스마트팩토리의 구축을 위해서는 제조환경에서 여러 센서 및 기기 등을 연결하여 데이터를 수집하고, 데이터 분석을 통해 생산설비 등의 장애를 진단하거나 예측하여야 한다. 본 논문에서는 공작기계에서 제품을 가공하기 위해 사용되는 절삭용 인서트의 잔여 유효 수명을 예측하기 위해 진동 신호를 기반으로 한 가중화 k-최근접이웃(Weighted k-NN) 알고리즘, 의사결정나무(Decision Tree), 서포트벡터회귀(SVM), XGBoost, 랜덤포레스트(Random forest), 1차원 합성곱신경망(1D-CNN), 그리고 진동 신호를 FFT한 주파수 스펙트럼에 대해 알아보았다. 연구결과, 주파수 스펙트럼으로는 잔여 유효수명의 정확한 예측에 대해서는 신빙성있는 기준을 제공하지 못한다는 것을 알수 있었고, 예측 모델 중 가중화 k-최근접이웃 알고리즘이 MAE가 0.0013, MSE가 0.004, RMSE가 0.0192로 가장 우수한 성능을 나타내었다. 이는 가중화 k-최근접이웃 알고리즘에 의해 예측되는 인서트의 잔여 유효 수명의 오차가 0.001초 수준으로 평가되어, 실제 산업현장에 적용이 가능한 수준으로 사료된다.

공간이웃정보를 고려한 공간회귀분석 (A study on the spatial neighborhood in spatial regression analysis)

  • 김수정
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권3호
    • /
    • pp.505-513
    • /
    • 2017
  • 최근, 더욱 상세하고 정확한 추정 결과를 위해 소지역추정(small area estimation; SAE)의 연구가 많이 진행되고 있다. 그 중 공간회귀모형 (spatial regression model)을 이용한 방법이 주를 이루고 있는데 이를 사용하기 위해서는 공간이웃 (spatial neighbor)의 정의가 필요하다. 본 연구에서는 공간이웃을 정의하는 방법으로 도로네 삼각망 (Delaunay triangulation; DT)을 소개하고 k-최근접 (k-nearest neighbor; KNN)과 비교하여 분석한다. 두 가지 공간이웃을 정의하는 방법중에서 어떤 방법으로 이웃을 정의하는 것이 효율적인지 알아보기 위해 시뮬레이션을 실시하였고, 지가 (land price)데이터를 이용하여 실 데이터를 분석하였다.

회전기계 고장 진단을 위한 최근접 이웃 분류기의 기각 전략 (Rejection Study of Mearest Meighbor Classifier for Diagnosis of Rotating Machine Fault)

  • 최영일;박광호;기창두
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 2000년도 추계학술대회 논문집
    • /
    • pp.81-84
    • /
    • 2000
  • Rotating machine is used extensively and plays important roles in the industrial field. Therefore when rotating machine get out of order, it is necessary to know reasons then deal with the troubles immediately. So many studies far diagnosis of rotating machine are being done. However by this time most of study has an interest in gaining a high recognition But without considering error $rate^{(1)(2)(3)}$ , it is not desirable enough to apply h the actual application system. If the manager of system receives the result misjudging the condition of rotating machine and takes measures, we would lose heavily. So in order to play the creditable diagnosis, we must consider error rate. T h ~ t is. it must be able to reject the result of misjudgment. This study uses nearest neighbor classifier for diagnosis of rotating $machine^{(4)(8)}$ And the Smith's rejection $method^{(1)}$ used to recognize handwritten charter is done. Consequently creditable diagnosis of rotating machine is proposed.

  • PDF

회전 기계 고장 진단을 위한 최근접 이웃 분류기의 기각 전략 (Rejection Scheme of Nearest Neighbor Classifier for Diagnosis of Rotating Machine Fault)

  • 최영일;박광호;기창두
    • 한국정밀공학회지
    • /
    • 제19권3호
    • /
    • pp.52-58
    • /
    • 2002
  • The purpose of condition monitoring and fault diagnosis is to detect faults occurring in machinery in order to improve the level of safety in plants and reduce operational and maintenance costs. The recognition performance is important not only to gain a high recognition rate bur a1so to minimize the diagnosis failures error rate by using off effective rejection module. We examined the problem of performance evaluation for the rejection scheme considering the accuracy of individual c1asses in order to increase the recognition performance. We use the Smith's method among the previous studies related to rejection method. Nearest neighbor classifier is used for classifying the machine conditions from the vibration signals. The experiment results for the performance evaluation of rejection show the modified optimum rejection method is superior to others.

하둡에서 개인 성향을 이용한 영화 추천시스템 (A Movie Recommender Systems using Personal Disposition in Hadoop)

  • 김선호;김세준;모하영;김채린;박규태;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.642-644
    • /
    • 2014
  • 정보의 폭발적인 증가로 인해 사용자들은 오히려 원하는 정보를 빠른 시간에 얻는 것이 힘들어졌다. 따라서 이 문제를 해결하기 위한 다양한 방식의 새로운 서비스들이 제공되고 있다. 추천 시스템 중에서 영화를 추천해주는 방법에는 사용되는 알고리즘에는 협업필터링 방법이 가장 성공한 알고리즘으로 사용되고 있다. 협업 필터링 방법은 사용자가 자발적으로 입력한 선호도 평가치를 바탕으로 추천 하고자 하는 사용자와 취향이 비슷하다고 판단되는 사람들 즉, 최근접 이웃을 구하고 최근접 이웃의 선호도 평가치를 바탕으로 사용자에게 영화를 추천을 해주는 기법이다. 그러나 협업 필터링에는 몇 가지 대표적인 문제점이 있으며 희박성 및 확장성, 투명성이 있다. 본 논문에서는 영화 추천 시스템에서의 협업필터링의 희박성 문제를 보완하고자 개개인의 성향을 반영하여 효율이 좋은 추천 방법을 제안하고 하둡에서 성능평가를 하였다.