Journal of KIISE (정보과학회 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Creating Level Set Trees Using One-Class Support Vector Machines

One-Class 서포트 벡터 머신을 이용한 레벨 셋 트리 생성

  • 이계민 (서울과학기술대학교 전자IT미디어공학과)
  • Received : 2014.09.16
  • Accepted : 2014.10.27
  • Published : 2015.01.15
⟨ Previous Next ⟩

Abstract

A level set tree provides a useful representation of a multidimensional density function. Visualizing the data structure as a tree offers many advantages for data analysis and clustering. In this paper, we present a level set tree estimation algorithm for use with a set of data points. The proposed algorithm creates a level set tree from a family of level sets estimated over a whole range of levels from zero to infinity. Instead of estimating density function then thresholding, we directly estimate the density level sets using one-class support vector machines (OC-SVMs). The level set estimation is facilitated by the OC-SVM solution path algorithm. We demonstrate the proposed level set tree algorithm on benchmark data sets.

레벨 셋 트리는 다차원에 정의된 확률 밀도 함수를 표현하는데 유용하다. 복잡한 데이터의 구조를 트리 형태로 시각화하여 데이터의 형태를 효율적으로 파악할 수 있으며 클러스터링 분석에 효과적으로 이용할 수 있다. 본 논문에서는 미지의 확률 밀도 함수에서 생성된 데이터 샘플로부터 레벨 셋 트리를 생성하는 알고리즘을 제안한다. 제안된 알고리즘은 레벨을 0에서부터 무한대로 증가시키며 밀도 함수의 각 레벨 셋을 추정하고, 이로부터 레벨 셋 트리를 생성한다. 이를 위해 본 논문에서는 one-class 서포트 벡터 머신 (OC-SVM)을 이용하여 직접적으로 레벨 셋을 추정한다. 이때 다양한 레벨 값에 대해 OC-SVM 학습을 반복해야 하는데, OC-SVM 솔루션 path 알고리즘을 통해 빠른 시간 안에 모든 레벨값에 해당하는 레벨 셋를 추정할 수 있다.

Keywords

Acknowledgement

Supported by : 서울과학기술대학교

References

  1. J.A. Hartigan, Clustering Algorithms, New York; John Wiley, 1975.
  2. W. Stuetzle, "Estimating the cluster tree of a density by analyzing the minimal spanning tree of a sample," Journal of Classification, Vol. 20, pp. 25- 47, 2003. https://doi.org/10.1007/s00357-003-0004-6
  3. C. Scott and R. Nowak, "Learning minimum volume sets," Journal of Machine Learning Research, Vol. 7, pp. 665-704, 2006.
  4. D.M.J. Tax and R.P.W. Duin, "Support vector domain description," Pattern Recognition Letters, Vol. 20, pp. 1191-1199, 1999. https://doi.org/10.1016/S0167-8655(99)00087-2
  5. B. Scholkopf, J.C. Platt, J. Shawe-Taylor, A.J. Smola, and R.C. Williamson, "Estimating the support of a high-dimensional distribution," Neural Computation, Vol. 13, pp. 1443-1472, 2001. https://doi.org/10.1162/089976601750264965
  6. R. Vert and J. Vert, "Consistency and convergence rates of one-class SVMs and related algorithms," Journal of Machine Learning Research, Vol. 7, pp. 817- 854, 2006.
  7. T.Hastie, S. Rosset, R.Tibshirani, and J. Zhu, "The entire regularization path for the support vector machine," Journal of Machine Learning Research, Vol. 5, pp. 1391-1415, 2004.
  8. G. Lee and C. Scott, "The one class support vector machine solution path," in IEEE Intl. Conf. on Acoustics, Speech and Signal Proc. (ICASSP), Vol. 2, pp. II-521-II-524, 2007.
  9. M. Bazaraa, H. Sherali, and C. Shetty. Nonlinear Programming: Theory and Algorithms, 3rd ed. Hoboken, NJ: Wiley, 2006.
  10. B. Scholkopf and A.J. Smola, Learning with Kernels, ch. 7, pp. 208-209, MIT Press, Cambridge, MA, 2002.
  11. G. Lee and C. Scott, "Nested support vector machines," IEEE Trans. Signal Processing, Vol. 58, pp. 1648-1660, 2010. https://doi.org/10.1109/TSP.2009.2036071