정보과학회 논문지 (Journal of KIISE)

  • 제42권2호
  • /
  • Pages.227-234
  • /
  • 2015
  • /
  • 2383-630X(pISSN)
  • /
  • 2383-6296(eISSN)
한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지
DOI QR코드

DOI QR Code

긍정 데이터 분포를 반영한 다중 인스턴스 지지 벡터 기계 학습

Learning Multiple Instance Support Vector Machine through Positive Data Distribution

  • 황중원 (경북대학교 IT대학 컴퓨터학부) ;
  • 박성배 (경북대학교 IT대학 컴퓨터학부) ;
  • 이상조 (경북대학교 IT대학 컴퓨터학부)
  • 투고 : 2014.08.25
  • 심사 : 2014.11.25
  • 발행 : 2015.02.15
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 데이터 분포를 고려한 다중 인스턴스 지지 벡터 기계 학습 알고리즘을 제안한다. 기존의 방법은 긍정 가방 안에서 "가장 긍정"인 인스턴스만 고려하여 마진을 찾는다. 일반적으로 다중 인스턴스로 표현된 데이터에서, 긍정 가방에 포함된 인스턴스들 중 실제로 긍정을 나타내는 인스턴스들은 자질 공간 상에서 서로 유사한 곳에 위치해 있다. 제안한 방법은 기존의 다중 인스턴스 지지 벡터 기계 학습 알고리즘 중에서 긍정 인스턴스들의 교차점을 찾아 이 교차점과 거리를 계산하여 "가장 긍정"인 인스턴스를 선택한다. 긍정 인스턴스들의 교차점인 피벗 포인트를 구하는 방식은 두 가지이다. 먼저, 학습과정 중 추정된 긍정 인스턴스들의 중심점을 사용하는 방법과 학습 시작 시에 가장 긍정일 것으로 예상되는 긍정 인스턴스들의 중심점을 찾는 방법으로 나뉜다. 총 12개의 벤치마크 다중 인스턴스 데이터 셋을 통해 제안한 방법이 기존의 학습 알고리즘에 비해 더 좋은 성능을 보임을 보인다.

This paper proposes a modified MI-SVM algorithm by considering data distribution. The previous MI-SVM algorithm seeks the margin by considering the "most positive" instance in a positive bag. Positive instances included in positive bags are located in a similar area in a feature space. In order to reflect this characteristic of positive instances, the proposed method selects the "most positive" instance by calculating the distance between each instance in the bag and a pivot point that is the intersection point of all positive instances. This paper suggests two ways to select the "most positive" pivot point in the training data. First, the algorithm seeks the "most positive" pivot point along the current predicted parameter, and then selects the nearest instance in the bag as a representative from the pivot point. Second, the algorithm finds the "most positive" pivot point by using a Diverse Density framework. Our experiments on 12 benchmark multi-instance data sets show that the proposed method results in higher performance than the previous MI-SVM algorithm.

키워드

과제정보

연구 과제 주관 기관 : 한국연구재단

참고문헌

  1. T. G. Dietterich, R. H. Lathrop, and T. Lozano-Perez, "Solving the multiple instance problem with axis-parallel rectangles," Artificial Intelligence, Vol. 89, pp. 31-71, 1997. https://doi.org/10.1016/S0004-3702(96)00034-3
  2. P. M. Long and L. Tan, "PAC learning axis aligned rectangles with respect to product distributions from multiple-instance examples," Proc. of Conference on Computational Learning Theory, 1996.
  3. O. Maron and A. L. Ratan, "Multiple-instance learning for natural scene classification," Proc. of the Fifteenth International Conference on Machine Learning, pp. 341-349. 1998.
  4. O. Maron and T. Lozano-Perez, "A framework for multiple-instance learning," Advances in Neural Information Processing Systems, pp. 570-576, 1997.
  5. Y. Chen and J. Wang, "Image Categorization by Learning and Reasoning with Regions," Journal of Machine Learning Research, Vol. 5, pp. 913-939, 2004.
  6. D. Gray and R. Soumya, "A theoretical and empirical analysis of support vector machine methods for multiple-instance classification," Machine Learning, pp. 1-24, 2013.
  7. S. Andrews, I. Tsochantaridis, and T. Hofmann, "Support vector machines for multiple-instance learning," In Advances in Neural Information, Processing Systems, Vol. 15, pp. 561-568, 2003.
  8. Q. Zhang, S. A. Goldman and W. Yu and J. Fritts, "Content-Based Image Retrieval Using Multiple-Instance Learning," Proc. of 19th International Conference of Machine Learning, pp. 682-689, 2002.
  9. C. Yang and T. Lozano-Perez, "Image Database Retrieval with Multiple-Instance Learning Techniques," Proc. of IEEE International Conference of Data Engineering, pp. 233-243, 2000.
  10. Z. H. Zhou and M. L. Zhang, "Ensembles of Multi- Instance Learners," Lecture Notes in Artificial Intelligence, Vol. 2837, pp. 492-502, 2003.
  11. Q. Zhang and S. A. Goldman, "EM-DD: An Improved Multiple-Instance Learning Technique," Advances in Neural Information Processing Systems, pp. 1073-1080, 2002.
  12. B. Scholkopf and A. Smola, "Learning with Kernels, Support Vector Machines," Regularization, Optimization and Beyond, MIT Press, 2002.
  13. Y. Chen, J. Bi and J.Z. Wang, "MILES: Multiple Instance Learning via Embedded Instance Selection," IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 28, No. 12, pp. 1931-1947, 2006. https://doi.org/10.1109/TPAMI.2006.248