Modified Recursive PC

PCA(Principal Component Analysis) is a well-studied statistical technique and an important tool for handling multivariate data. Although many algorithms exist for PCA, most of them are unsuitable for real time applications or high dimensional problems. Since it is desirable to avoid extensive matrix operations in such cases, alternative solutions are required to calculate the eigenvalues and eigenvectors of the sample covariance matrix. Erdogmus et al. (2004) proposed Recursive PCA(RPCA), which is a fast adaptive on-line solution for PCA, based on the first order perturbation theory. It facilitates the real-time implementation of PCA by recursively approximating updated eigenvalues and eigenvectors. However, the performance of the RPCA method becomes questionable as the size of newly-added data increases. In this paper, we modified the RPCA method by taking advantage of the mathematical relation of eigenvalues and eigenvectors of sample covariance matrix. We compared the performance of the proposed algorithm with that of RPCA, and found that the accuracy of the proposed method remarkably improved.

수정된 반복 주성분 분석 기법에 대한 연구

다변량 자료를 분석함에 있어 자료의 차원을 축소하는데 활용되는 중요한 툴 중 하나인 PCA 분석(주성분 분석, Principal Component Analysis)을 실시간으로 처리해야 하는 적용 분야가 최근 늘고 있다. PCA 분석에서는 표본 공분산 행렬의 고유값과 고유벡터를 도출하는 것이 관건인데, 자료의 양이 방대하며 고차원인 경우 이를 실시간으로 수행하기에는 어려움이 따른다. 이러한 문제점을 해결하기 위해서 Erdogmus 등 (2004)는 일차 섭동 이론(first order perturbation theory)을 활용하여 공분산 행렬의 고유값과 고유벡터를 추정하는 Recursive PCA 방법을 제안했다. 이 방법은 추가된 자료의 양이 많지 않은 경우는 상당히 정확하지만, 추가된 자료의 양이 많아짐에 따라 오차도 커진다는 한계를 가지고 있다. 본 논문은 공분산 행렬의 고유값과 고유벡터가 가지고 있는 수학적 관계를 이용하여 Erdogmus 등 (2004)가 제안한 Recursive PCA 방법을 수정한 Modi ed Recursive PCA 방법을 제안하다. 또한, 모의 실험을 통해 Recursive PCA 방법과 Modi ed Recursive PCA 방법에서의 고유값과 고유벡터 추정값의 정확도를 비교해 보았으며 그 결과 기존 Recursive PCA 방법 보다 정확한 추정이 가능함을 확인할 수 있었다.