A Hierarchical Cluster Tree Based Fast Searching Algorithm for Raman Spectroscopic Identification

계층 클러스터 트리 기반 라만 스펙트럼 식별 고속 검색 알고리즘

Abstract

Raman spectroscopy has been receiving increased attention as a standoff explosive detection technique. In addition, there is a growing need for a fast search method that can identify raman spectrum for measured chemical substances compared to known raman spectra in large database. By far the most simple and widely used method is to calculate and compare the Euclidean distance between the given spectrum and the spectra in a database. But it is non-trivial problem because of the inherent high dimensionality of the data. One of the most serious problems is the high computational complexity of searching for the closet spectra. To overcome this problem, we presented the MPS Sort with Sorted Variance+PDS method for the fast algorithm to search for the closet spectra in the last paper. the proposed algorithm uses two significant features of a vector, mean values and variance, to reject many unlikely spectra and save a great deal of computation time. In this paper, we present two new methods for the fast algorithm to search for the closet spectra. the PCA+PDS algorithm reduces the amount of computation by reducing the dimension of the data through PCA transformation with the same result as the distance calculation using the whole data. the Hierarchical Cluster Tree algorithm makes a binary hierarchical tree using PCA transformed spectra data. then it start searching from the clusters closest to the input spectrum and do not calculate many spectra that can not be candidates, which save a great deal of computation time. As the Experiment results, PCA+PDS shows about 60.06% performance improvement for the MPS Sort with Sorted Variance+PDS. also, Hierarchical Tree shows about 17.74% performance improvement for the PCA+PDS. The results obtained confirm the effectiveness of the proposed algorithm.

최근에 원 거리에서 폭발 물질의 감지를 위해 라만 분광 기기의 관심이 점차 증가하고 있다. 더불어 측정된 화학물질에 대한 라만 스펙트럼을 대용량 데이터베이스의 알려진 라만 스펙트라와 비교하여 식별할 수 있는 고속 검색 방법에 대한 요구도 커지고 있다. 지금까지 가장 간단하고 널리 사용되는 방법은 주어진 스펙트럼과 데이터베이스 스펙트라 사이의 유클리드 거리를 계산하고 비교하는 방법이다. 하지만 고차원 데이터의 속성으로 검색의 문제는 그리 간단하지 않다. 가장 큰 문제점중의 하나는 검색 방법에 있어서 연산량이 많아 계산 시간이 너무 오래 걸린다는 것이다. 이러한 문제점을 극복하기 위해, 우리는 정렬된 분산에 따른 MPS Sort+PDS 방법을 제안하였다. 이 방법은 벡터의 두 개의 주요한 특징으로 평균과 분산을 사용하여 후보가 될 수 없는 많은 코드워드를 계산하지 않으므로 연산량을 줄이고 계산 시간을 줄여준다. 본 논문에서 우리는 기존의 방법보다 더욱 더 향상된 2가지 새로운 방법의 고속 검색 알고리즘을 제안한다. PCA+PDS 방법은 전체 데이터를 사용하는 거리 계산과 똑같은 결과를 가지면서 PCA 변환을 통해 데이터의 차수를 감소시켜 계산량을 줄여준다. Hierarchical Cluster Tree 알고리즘은 PCA 변환된 스펙트라 데이터를 사용하여 이진 계층 클러스터 트리를 만든다. 그런 후 입력 스펙트럼과 가장 가까운 클러스터부터 검색을 시작하여 후보가 될 수 없는 많은 스펙트라를 계산하지 않으므로 연산량을 줄이고 계산 시간을 줄여준다. 실험은 정렬된 분산에 따른 MPS Sort+PDS와 비교하여 PCA+PDS는 60.06%의 성능 향상을 보였다. Hierarchical Cluster Tree는 PCA+PDS와 비교하여 17.74%의 성능향상을 보였다. 실험결과는 제안된 알고리즘이 고속 검색에 적합함을 확인시켜 준다.

Fig. 1. DNT and HMX of Reference Spectra

Fig. 2. Process of PCA Linear Transformation

Fig. 3. Process of the Hierarchical Clustering

Fig. 4. Hierarchical Tree based Search Algorithm

Fig. 5. Comparison of the previous Algorithms and the Proposed Fast Searching Algorithms

Table 1. Multiplication, Addition, Total Calculation Complexity with the best Performance for the Previous and the Proposed Fast Searching Algorithms