Auto-tagging Method for Unlabeled Item Images with Hypernetworks for Article-related Item Recommender Systems

잡지기사 관련 상품 연계 추천 서비스를 위한 하이퍼네트워크 기반의 상품이미지 자동 태깅 기법

  • 하정우 (서울대학교 전기컴퓨터공학부) ;
  • 김병희 (서울대학교 전기컴퓨터공학부) ;
  • 이바도 (서울대학교 전기컴퓨터공학부) ;
  • 장병탁 (서울대학교 전기컴퓨터공학부)
  • Received : 2010.08.10
  • Accepted : 2010.09.09
  • Published : 2010.10.15

Abstract

Article-related product recommender system is an emerging e-commerce service which recommends items based on association in contexts between items and articles. Current services recommend based on the similarity between tags of articles and items, which is deficient not only due to the high cost in manual tagging but also low accuracies in recommendation. As a component of novel article-related item recommender system, we propose a new method for tagging item images based on pre-defined categories. We suggest a hypernetwork-based algorithm for learning association between images, which is represented by visual words, and categories of products. Learned hypernetwork are used to assign multiple tags to unlabeled item images. We show the ability of our method with a product set of real-world online shopping-mall including 1,251 product images with 10 categories. Experimental results not only show that the proposed method has competitive tagging performance compared with other classifiers but also present that the proposed multi-tagging method based on hypernetworks improves the accuracy of tagging.

잡지기사 관련 상품 연계 추천 서비스는 온라인 상에서 잡지 가사의 컨텍스트를 반영하여 상품을 추천하는 서비스이다. 현재 이러한 서비스는 잡지기사와 상품에 부여되어 있는 태그 간의 유사성을 기준으로 한 추천 기술에 의존하고 있으나, 태그 부여 비용과 추천의 정확도가 높지 않은 단점이 있다. 본 논문에서는 잡지 기사 컨텍스트 관련 상품연계 추천 기술의 한 요소로서 상품이미지 정보로부터 상품의 종류를 자동으로 분류하고 이를 상품의 태그로 활용하는 방법을 제안한다. 이미지에서 추출한 시각단어(visual word)와 상품 종류 간의 고차 연관관계를 하이퍼네트워크 기법을 통해 학습하고, 학습된 하이퍼네트워크를 이용하여 상품 이미지에 한 개 이상의 태그를 자동으로 부여한다. 실제 온라인 쇼핑몰에서 사용되는 10 가지 종류의 상품 1,251개의 이미지 데이터를 기반으로, 하이퍼네트워크 이용한 상품이미지 자동 태깅 기법이 다른 기계학습 방법과 비교하여 경쟁력 있는 성능을 보여줌과 동시에, 복수개의 태그 부여를 통해 상품 이미지 태깅의 정확성이 향상됨을 보인다.

Keywords

References

  1. S. Vucetic and Z. Obradovic, "A regression-based approach for scaling-up personalized recommender systems in e-commerce," In ACM WebKDD 2000 Web Mining for E-Commerce Workshop, 2000.
  2. D. Li et al. "Multimedia content processing through cross-modal association," In Proc. of the 11th annual ACM International Conference on Multimedia (MM'03), pp.604-611, 2003.
  3. J.M. Fuster et al. "Cross-modal and cross-temporal association in neurons of frontal cortex," Nature, 405, pp.347-351. 2000. https://doi.org/10.1038/35012613
  4. K.-S. Goh et al. "Multimodal concept-dependent active learning for image retrieval," In Proc. of the 12th annual ACM international conference on Multimedia (MM'04), pp.564-571, 2004.
  5. F. Quek et al. "Multimodal human discourse: gesture and speech," ACM Trans. on Computer-Human Interaction, vol.9, no.3, pp.171-193, 2002. https://doi.org/10.1145/568513.568514
  6. B.-T. Zhang, "Hypernetworks: A molecular evolutionary architecture for cognitive learning and memory," IEEE Computational Intelligence Magazine, vol.3, no.3, pp.49-63, 2008.
  7. J.-W. Ha et al. "Text-to-image cross-modal retrieval of magazine articles based on higher-order pattern recall by hypernetworks," The 10th International Symposium on Advanced Intelligent Systems (ISIS 2009), pp.274-277, 2009.
  8. H. Bay et al. "Surf: Speed up robust features," In Proc. of the 9th European Conference on Computer Vision (ECCV '06), pp.404-417, 2006.
  9. G. Salton and C. Buckley, "Term-weighting approaches in automatic text retrieval," Information Processing & Management, vol.24, no.5, pp.513-523. 1988. https://doi.org/10.1016/0306-4573(88)90021-0
  10. University of Waikato New Zealand, Waikato Environment for Knowledge Analysis (Weka) Version 3.6.1, Available at: http://www.cs.waikato.ac.nz/ml/weka/index.html