• 정보처리학회논문지B
• /
• 제11B권7호
• /
• pp.849-854
• /
• 2004

본 논문은 문서분류 방법인 kNN의 실행속도를 개선하는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 kNN이 사용하는 <용어, 가중치>쌍의 목록 대신, <문서, 가중치>쌍의 목록을 사용하여 유사성 계산을 빠르게 함으로써 실행속도를 개선하는 것이다. <문서, 가중치>의 목록은 문서분류의 학습단계에서 <용어, 가중치>의 목록을 행렬 전치함으로써 구한다. 본 논문에서는 제안된 알고리즘을 시간복잡도 측면에서 분석하고 기존의 kNN과 비교 하였으며, 로이터-21578 데이터를 사용하여 실험적으로 성능을 비교 하였다. 실험결과, 본 논문에서 제안한 알고리즘이 기존의 kNN보다 실행속도측면에서 약 $90{\%}$정도의 우수함을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권12호
• /
• pp.6145-6158
• /
• 2019

It is a challenge for the current security industry to respond to a large number of malicious codes distributed indiscriminately as well as intelligent APT attacks. As a result, studies using machine learning algorithms are being conducted as proactive prevention rather than post processing. The k-NN algorithm is widely used because it is intuitive and suitable for handling malicious code as unstructured data. In addition, in the malicious code analysis domain, the k-NN algorithm is easy to classify malicious codes based on previously analyzed malicious codes. For example, it is possible to classify malicious code families or analyze malicious code variants through similarity analysis with existing malicious codes. However, the main disadvantage of the k-NN algorithm is that the search time increases as the learning data increases. We propose a fast k-NN algorithm which improves the computation speed problem while taking the value of the k-NN algorithm. In the test environment, the k-NN algorithm was able to perform with only the comparison of the average of similarity of 19.71 times for 6.25 million malicious codes. Considering the way the algorithm works, Fast k-NN algorithm can also be used to search all data that can be vectorized as well as malware and SSDEEP. In the future, it is expected that if the k-NN approach is needed, and the central node can be effectively selected for clustering of large amount of data in various environments, it will be possible to design a sophisticated machine learning based system.

• Journal of information and communication convergence engineering
• /
• 제16권2호
• /
• pp.99-105
• /
• 2018

k-Nearest neighbor join (k-NN Join) is a computationally intensive algorithm that is designed to find k-nearest neighbors from a dataset S for every object in another dataset R. Most related studies on k-NN Join are based on single-computer operations. As the data dimensions and data volume increase, running the k-NN Join algorithm on a single computer cannot generate results quickly. To solve this scalability problem, we introduce the locality-sensitive hashing (LSH) k-NN Join algorithm implemented in Spark, an approach for high-dimensional big data. LSH is used to map similar data onto the same bucket, which can reduce the data search scope. In order to achieve parallel implementation of the algorithm on multiple computers, the Spark framework is used to accelerate the computation of distances between objects in a cluster. Results show that our proposed approach is fast and accurate for high-dimensional and big data.

• 정보과학회 논문지
• /
• 제42권4호
• /
• pp.504-511
• /
• 2015

최근 모바일 기술의 발달 및 소셜 네트워크 서비스의 활성화를 통해 사용자 데이터가 급격히 증대되고 있다. 이에 따라 대용량 데이터에 대한 효율적인 데이터 분석 기법에 대한 연구가 활발히 이루어지고 있다. 대표적인 대용량 데이터 분석 기법으로는 맵리듀스 환경에서 보로노이 다이어그램을 이용한 k 최근접점 조인(VkNN-join) 알고리즘이 존재한다. 데이터집합 R, S에 대해, VkNN-join 알고리즘은 부분집합 Ri에 연관된 부분집합 Sj만을 후보탐색 영역으로 선정하여 질의처리를 수행하기 때문에, 대용량 데이터에 대한 join 질의처리 시간을 감소시키는 장점이 존재한다. 그러나 VkNN-join은 보로노이 다이어그램을 사용하기 때문에, 색인 구축 비용이 높은 단점이 존재한다. 아울러 kNN 질의처리를 위한 후보 영역 선정 시 k값에 비례하여 후보영역의 크기가 증가하기 때문에, kNN 연산 오버헤드가 증가하는 문제점이 존재한다. 이를 해결하기 위해 본 논문에서는 대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘을 제안한다. 제안하는 질의처리 알고리즘은 시드 기반의 동적 분할을 통해 색인구조 구축비용을 절감한다. 또한 시드 간 평균 거리를 기반으로 질의 처리 후보 영역을 선정함으로써, kNN-join 질의를 위한 연산 오버헤드를 감소시킨다. 아울러, 성능 평가를 통해 제안하는 기법이 질의처리 시간 측면에서 기존 기법에 비해 우수함을 보인다.

• 정보학연구
• /
• 제1권1호
• /
• pp.65-84
• /
• 1998

메모리 기반 추론 기법은 분류시 입력 패턴과 저장된 패턴들 사이의 거리를 이용하는 교사 학습 기법으로써, 거리 기반 학습 알고리즘이라고도 한다. 메모리 기반 추론은 k_NN 분류기에 기반한 것으로, 학습은 추가 처리 없이 단순히 학습 패턴들을 메모리에 저장함으로써 수행된다. 본 논문에서는 기존의 k-NN 분류기보다 효율적인 분류가 가능하고, 점진적 학습 기능을 갖는 새로운 알고리즘을 제안한다. 또한 제안된 기법은 노이즈에 민감하지 않으며, 효율적인 메모리 사용을 보장한다.

• 정보과학회 논문지
• /
• 제43권12호
• /
• pp.1437-1457
• /
• 2016

데이터베이스 아웃소싱 환경에서, 클라우드는 인증된 사용자에게 아웃소싱된 데이터베이스를 기반으로 질의 서비스를 제공한다. 그러나 금융, 의료 정보와 같은 민감한 데이터는 클라우드에 아웃소싱 되기 전에 암호화되어야 한다. 한편, kNN 질의는 다양한 분야에서 폭넓게 사용되는 대표적인 질의 타입이며, kNN 질의 결과는 사용자의 관심사 및 선호도와 밀접하게 연관된다. 따라서 데이터 보호와 질의 보호를 동시에 고려하는 kNN 질의 처리 알고리즘에 대한 연구가 진행되어 왔다. 그러나 기존 연구는 높은 연산 비용이 요구되거나, 탐색한 인덱스의 노드 및 반환된 질의 결과가 드러나기 때문에 데이터 접근 패턴이 노출되는 문제점이 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 암호화 데이터베이스 상에서의 kNN 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 데이터 보호 및 질의 보호를 지원한다. 또한, 제안하는 알고리즘은 데이터 접근 패턴을 보호하는 동시에 효율적인 질의처리를 지원한다. 이를 위해, 데이터 접근 패턴 노출 없이 데이터 필터링을 지원하는 암호화 인덱스 탐색 기법을 제안한다. 성능 분석을 통해, 제안하는 알고리즘이 기존 기법에 비해 질의처리 시간 측면에서 우수한 성능을 보임을 검증한다.

• Smart Structures and Systems
• /
• 제16권6호
• /
• pp.1133-1145
• /
• 2015

A new neural network (NN) predictive controller (NNPC) algorithm has been developed and tested in the computer simulation of active control of a nonlinear structure. In the present method an NN is used as a predictor. This NN has been trained to predict the future response of the structure to determine the control forces. These control forces are calculated by minimizing the difference between the predicted and desired responses via a numerical minimization algorithm. Since the NNPC is very time consuming and not suitable for real-time control, it is then used to train an NN controller. To consider the effectiveness of the controller on probability of damage, fragility curves are generated. The approach is validated by using simulated response of a 3 story nonlinear benchmark building excited by several historical earthquake records. The simulation results are then compared with a linear quadratic Gaussian (LQG) active controller. The results indicate that the proposed algorithm is completely effective in relative displacement reduction.

• 한국게임학회 논문지
• /
• 제9권2호
• /
• pp.115-123
• /
• 2009

논문에서는 무리 짓기에 대한 공간분할 방법의 성능을 개선하는 알고리즘을 제안한다. 핵심 개념은 무리 속에서 움직이는 개체인 보이드가 지속적으로 자신의 방향과 위치를 변경시키나 자신의 다음 방향의 결정에 영향을 주는 k개의 가장 가까운 이웃인 kNN은 자주 바뀌지 않는다는 사실을 이용하여 성능을 개선하는 것이다. 본 논문에서 이전의 kNN을 이용하여 새로운 kNN이 변경되었는지를 판별하는 방법이 제안되었고, 제안된 방법의 정당성은 정리를 통하여 증명되었다. 제안된 방법은 구현되었으며, 기존의 공간분할 방법과 성능이 비교되었다. 비교 결과로부터 제안된 알고리즘이 초당 프레임 수 관점에서 기존의 알고리즘보다 약 30% 개선 효과를 주는 것을 알 수 있었다.

• 한국정보처리학회논문지
• /
• 제6권7호
• /
• pp.1849-1857
• /
• 1999

메모리 기반 추론에서 기억공간의 효율적인 사용과 분류성능의 향상을 위하여, 재귀 분할 평균 기법을 제안하였다. 이 알고리즘은 패턴공간을 구성하는 각 초월 평면이 동일한 클래스소속으로 패턴으로 구성될 때까지 재귀적으로 분할한 후, 초월 평면별로 소속된 패턴들의 평균값을 계산하여 대표패턴을 추출한다. 또한 각 특징과 클래스간의 상호정보를 특징의 가중치로 사용하여 분류 성능의 향상을 시도하였다. 제안된 알고리즘은 k-NN(k-Nearest Neighbors) 분류기에서 필요로 하는 메모리 공간의 30~90%만을 사용하며, 분류에 있어서도 k-NN과 유사한 인식 성능을 보이고 있다. 또한 저장된 패턴 개수의 감소로 인하여, 실제 분류에 소요되는 시간에 있어서도 k-NN보다 월등히 우수한 성능을 보이고 있다.

• 정보과학회 논문지
• /
• 제42권11호
• /
• pp.1303-1313
• /
• 2015

맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.