Automatic Email Multi-category Classification Using Dynamic Category Hierarchy and Non-negative Matrix Factorization

비음수 행렬 분해와 동적 분류 체계를 사용한 자동 이메일 다원 분류

  • 박선 (전북대학교 전자정보고급인력양성사업단) ;
  • 안동언 (전북대학교 전자정보공학부)
  • Received : 2009.10.26
  • Accepted : 2010.03.03
  • Published : 2010.05.15

Abstract

The explosive increase in the use of email has made to need email classification efficiently and accurately. Current work on the email classification method have mainly been focused on a binary classification that filters out spam-mails. This methods are based on Support Vector Machines, Bayesian classifiers, rule-based classifiers. Such supervised methods, in the sense that the user is required to manually describe the rules and keyword list that is used to recognize the relevant email. Other unsupervised method using clustering techniques for the multi-category classification is created a category labels from a set of incoming messages. In this paper, we propose a new automatic email multi-category classification method using NMF for automatic category label construction method and dynamic category hierarchy method for the reorganization of email messages in the category labels. The proposed method in this paper, a large number of emails are managed efficiently by classifying multi-category email automatically, email messages in their category are reorganized for enhancing accuracy whenever users want to classify all their email messages.

이메일 사용의 증가로 수신 메일을 효율적이면서 정확하게 분류할 필요성이 점차 늘고 있다. 현재의 이메일 분류는 SVM, 베이지안 분류자, 규칙 기반 분류자 등을 이용하여 스팸 메일을 필터링하기 위한 이원 분류가 주를 이루고 있다. 그러나 이러한 지도 학습 방법들은 적합한 이메일을 인식하기 위하여서 사용자가 규칙이나 색인어 목록을 작성해야 한다. 비지도 학습 방법으로 군집을 이용한 다원 분류 방법은 메일의 분류 주제를 설정해주어야 한다. 본 논문에서는 비음수 행렬 분해(NMF, Non-negative Matrix Factorization)를 기반으로 한 자동 분류 주제 생성 방법과, 동적 분류 체계(DCH, Dynamic Category Hierarchy) 방법을 이용한 분류 주제 내에 이메일을 재구성하는 방법을 결합한 새로운 이메일 다원 분류 방법을 제안한다. 이 방법은 수신되는 이메일을 자동으로 다원 분류하여 대량의 메일을 효율적으로 관리할 수 있으며, 사용자가 분류 결과를 만족하지 못하면 분류 주제 내의 이메일을 동적으로 재구성하여 분류의 정확률을 높인다.

Keywords

References

  1. H. Drucker, D. Wu, and V. N. Vapnik, "Support Vector Machines for Spam Categorization," IEEE Transactions on Neural network, 10(5), 1999.
  2. L. Kun-Lun, Li, Kai, H, Hou-Kuan, T. Sheng- Feng, "Active Learning with Simplified SVMS for SPAM Categorization," In Proc. First Conf. On Machine Learning and Cybernetics, Beijing, pp.4-5, November, 2002.
  3. M. Woitaszek, M. shaaban. "Identifying Junk Electronic Mail in Microsoft Outlook with a Support Vector Machine," In Proc. 2003 Symposium. On Application and the Internet. 2003.
  4. I. Androutsopoulos, "An Evaluation of Naive Bayesian Anti-Spam Filtering," In Proc. Workshop on Machine Learning in the New Information Age, 2000.
  5. G. Sakkis et al. "Stacking classifiers for anti-spam filtering of e-mail," In Proc. 6thConf. On Empirical Methods in Natural Language Processing, 2001.
  6. Y. Q. Xia, J. X. Wang, F. Zheng, Y. Liu, "A Binarization Approach to Email Categorization using Binary Decision Tree," in the Sixth International Conference on Machine Learning and Cybernetics, Hong Kong, Aug. pp.19-22, 2007.
  7. B. Yu, D. H. Zhu, "Combining neural networks and semantic feature space for email clasification," Knowledge-Based Systems, 22, pp.376-381, 2009. https://doi.org/10.1016/j.knosys.2009.02.009
  8. W. W. Cohen. "Learning Rules that classify email," In Proc. AAAI Spring Symposium in Information Access, 1999.
  9. K. Mock. "Dynamic Email Organization via Relevance Categories," In Proceedings of the International Conference on Tools with Artificial Intelligence 1999. Chicago IL, Nov. 1999.
  10. G. Manco, E. Masciari. "A Framework for Adaptive Mail Classification," In Proceedings of the 14th IEEE International Conference on Tools with Artificial Intelligence, 2002.
  11. D. Cutting, K. David, J. Pedersen, J. Tukey, "Scatter/gather: A cluster-based approach to browsing large document collection," In the ACM SIGIR International Conference on Research and Development in Information Retrieval, Copenhagen, Denmark, Jun, pp.318-329, 1992.
  12. D. D. Lee, H. S. Seung, "Learning the parts of objects by non-negative matrix factorization," Nature, vol.401, pp.788-791, 1999. https://doi.org/10.1038/44565
  13. D. D. Lee, H. S. Seung, "Algorithms for nonnegative matrix factorization," In Advances in Neural Information Processing Systems, vol.13, pp.556-562, 2001.
  14. B. G. Choi, J. H. Lee, S. Park. "Dynamic Construction of Category Hierarchy Using Fuzzy Relational Products," IDEAL 2003, pp.296-302, 2003.
  15. S. Park, S. H. Park, J. H. Lee, J. S. Lee, "E-mail Classification Agent Using Category Generation and Daynamic Category Hierarchy," LNAI 3397, pp.207-214. 2005.
  16. 박선, 안찬민, 박상호, 이주홍, 최범기, "자동 카테코리 생성과 동적 분류 체계를 사용한 이메일 분류", 한국지능정보시스템학회논문지, 제10권 제2호, pp.79-89, 2004.
  17. S. Park, C. W. Kim, "E-mail Classification and Category Re-organization using Dynamic Category Hierarchy and PCA," In proceeding of CIKIMICS' 09, 2009.
  18. 박선, "PCA와 동적 분류 체계를 사용한 자동 이메일 계층 분류", 한국항행학회논문지, 제13권 제3호, pp.419-425, 2009.
  19. 박선, 안동언, "비음수 행렬 분해와 동적 분류 체계를 사용한 이메일 분류", 2009년도 제21회 한글 및 한국어 정보처리 학술대회, 35-39, 2009.
  20. W. Bandler and L. Kohout, "Semantics of Implication Operators and Fuzzy Relational Products," International Journal of Man-Machine Studies, vol.12, pp.89-116, 1980. https://doi.org/10.1016/S0020-7373(80)80055-1
  21. W. Xu, X. Liu, Y. Gon, "Document Clustering Based On Non-negative Matrix Factorization," Proceeding of Special Interest Group on Information Retrieval (SIGIR), 267-274, 2003.