한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

하이퍼엣지 예측 작업에서 네거티브 샘플링 기술의 성능 분석

Performance Evaluation of Negative Sampling Methods in a Hyperedge Prediction Task

  • 이다은 (한양대학교 AI 응용학과) ;
  • 유송경 (한양대학교 AI 응용학과) ;
  • 고윤용 (중앙대학교 소프트웨어학부) ;
  • 김상욱 (한양대학교 컴퓨터소프트웨어학과)
  • Daeun Lee (Dept. of Artificial Intelligence Application, Hanyang University) ;
  • Songkyung Yu (Dept. of Artificial Intelligence Application, Hanyang University) ;
  • Yunyong Ko (School of Computer Science and Engineering, Chung-Ang University) ;
  • Sang-Wook Kim (Dept. of Computer Science, Hanyang University)
  • 발행 : 2024.05.23
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

하이퍼그래프(hypergraph)는 실세계의 여러 객체가 함께 형성하는 복잡한 그룹 관계를 하이퍼엣지(hyperedge)로 정보 손실 없이 모델링할 수 있는 새로운 데이터 구조이다. 하이퍼엣지 예측(hyperedge prediction task)이란 하이퍼그래프로 표현된 실세계 네트워크에서 아직 관찰되지 않은 그룹관계 혹은 미래에 발생할 가능성이 높은 관계를 예측하는 것으로, 단백질 상호작용 분석(PPI), 추천시스템, 소셜 네트워크 분석 등 다양한 응용 분야에서 활용된다. 그러나, 하이퍼엣지 예측은 심각한 데이터 희소성 문제로 정확한 예측이 어렵다는 근본적인 한계를 지닌다. 이러한 한계를 완화하기 위해 다양한 네거티브 샘플링(negative sampling) 기술이 활용될 수 있는데, 아직까지 각 샘플링 기술이 하이퍼엣지 예측 정확도에 미치는 효과에 대해 충분히 연구되지 않았다. 본 논문에서는 하이퍼엣지 예측에 활용되는 다양한 네거티브 샘플링 방법의 효과를 분석한다. 실험 결과를 통해, 네거티브 샘플링 기법과 포지티브와 네거티브 하이퍼엣지 수의 비율에 따른 정확도 변화 양상을 분석한다.

키워드

과제정보

이 논문은 (1)정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(No. 2020-0-01373, 인공지능대학원지원(한양대학교))과 (2)한국연구재단의 지원(No.2018R1A5A7059549)을 받아 수행된 연구임. 또한, (3) 정보통신기획평가원의 지원을 받아 수행된 연구임(No.RS-2022-00155586, 실세계의 다양한 다운스트림태스크를 위한 고성능 빅 하이퍼그래프 마이닝 플랫폼 개발(SW 스타랩)

참고문헌

  1. Austin R Benson, Rediet Abebe, Michael T Schaub, Ali Jadbabaie, and Jon Kleinberg. 2018. Simplicial closure and higher-order link prediction. PNAS 115, 48 (2018), E11221-E11230.
  2. Leo Torres, Ann S Blevins, Danielle Bassett, and Tina Eliassi-Rad. 2021. The why, how, and when of representations for complex systems. SIAM Rev. 63, 3 (2021), 435-485
  3. S. Klamt, U.-U. Haus, and F. Theis, "Hypergraphs and cellular networks," PLoS Comput. Biol., vol. 5, no. 5, May 2009 Art. no. e1000385.
  4. Grover, Aditya, and Jure Leskovec. "node2vec: Scalable feature learning for networks." Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. 2016.
  5. Yifan Feng, Haoxuan You, Zizhao Zhang, Rongrong Ji, and Yue Gao. 2019. Hypergraph neural networks. In Proceedings of the AAAI Conference on Artificial Intelligence. 3558-3565
  6. Yihe Dong, Will Sawin, and Yoshua Bengio. 2020. HNHN: hypergraph networks with hyperedge neurons. arXiv preprint arXiv:2006.12278 (2020)
  7. M. M. Wolf, A. M. Klinvex, and D. M. Dunlavy, "Advantages to modeling relational data using hypergraphs versus graphs," in Proc.IEEE High Perform. Extreme Comput. Conf. (HPEC), Sep. 2016, pp. 1-7.
  8. Fan, Wenqi, et al. "Graph neural networks for social recommendation." The world wide web conference. 2019.
  9. Fan, Wenfei. "Graph pattern matching revised for social network analysis." Proceedings of the 15th international conference on database theory. 2012.
  10. Zheng Liu, Xing Xie, and Lei Chen. 2018. Contextaware academic collaborator recommendation. In KDD
  11. Chia-An Yu, Ching-Lun Tai, Tak-Shing Chan, and YiHsuan Yang. 2018. Modeling multi-way relations with hypergraph embedding. In CIKM
  12. Muhan Zhang, Zhicheng Cui, Shali Jiang, and Yixin Chen. 2018. Beyond link prediction: Predicting hyperlinks in adjacency space. In AAAI.
  13. Naganand Yadati, Vikram Nitin, Madhav Nimishakavi, Prateek Yadav, Anand Louis, and Partha Talukdar. 2020. NHP: Neural Hypergraph Link Prediction. In CIKM
  14. Prasanna Patil, Govind Sharma, and M Narasimha Murty. 2020. Negative sampling for hyperlink prediction in networks. In PAKDD
  15. Se-eun Yoon, Hyungseok Song, Kijung Shin, and Yung Yi. 2020. How Much and When Do We Need Higherorder Information in Hypergraphs? A Case Study on Hyperedge Prediction. In WWW
  16. Ruochi Zhang, Yuesong Zou, and Jian Ma. 2020. HyperSAGNN: a self-attention based graph neural network for hypergraphs. In ICLR
  17. Hyunjin Hwang, Seungwoo Lee, Chanyoung Park, and Kijung Shin. 2022. AHP:Learning to Negative Sample for Hyperedge Prediction. In Proc. of the ACM International Conference on Research & Development in Information Retrieval (ACM SIGIR). 2237-2242
  18. Z. Yang, M. Ding, C. Zhou, H. Yang, J. Zhou, and J. Tang, "Understanding negative sampling in graph representation learning," in KDD, 2020, pp. 1666-1676.
  19. X. Wu, C. Gao, L. Zang, J. Han, Z. Wang, and S. Hu, "Esimcse: Enhanced sample building method for contrastive learning of unsupervised sentence embedding," arXiv preprint arXiv:2109.04380, 2021.
  20. Y. Kalantidis, M. B. Sariyildiz, N. Pion, P. Weinzaepfel, and D. Larlus, "Hard negative mixing for contrastive learning," NIPS, vol. 33, pp. 21 798-21 809, 2020.
  21. Z. Yang et al., "Does Negative Sampling Matter? A Review with Insights into its Theory and Applications," in IEEE Transactions on Pattern Analysis and Machine Intelligence