A Trend of Source-free Domain Adaptation

소스-프리 도메인 적응 연구동향

  • Uiwon Hwang (Division of Digital Healthcare, Yonsei University)
  • 황의원 (연세대학교 디지털헬스케어학부)
  • Published : 2024.05.23

Abstract

딥러닝의 발전으로 인공지능의 실세계 응용이 다방면으로 확대되고 있다. 하지만 학습에 사용된 소스 도메인 데이터와 테스트에 사용된 타겟 도메인 데이터 간의 분포 차이로 인해 모델의 성능이 크게 저하될 수 있다. 이를 극복하기 위해 도메인 적응 방법이 제안되었으나, 소스 도메인 데이터에 접근할 수 없는 경우 적용에 한계가 있다. 이에 대응하여 소스 데이터가 필요 없는 소스-프리 도메인 적응 기술과 실시간으로 적응하는 테스트 시간 적응 방법이 연구되고 있다. 본 논문은 최신 소스-프리 도메인 적응 및 테스트 시간 적응 방법의 동향을 파악하고 각 방법론의 기술적 특징을 분석하고자 한다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 SW 중심대학지원사업 (2019-0-01219), 2024 년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업(2022RIS-005)의 결과임.

References

  1. Wang, Jinjiang, Peilun Fu, and Robert X. Gao. "Machine vision intelligence for product defect inspection based on deep learning and Hough transform." Journal of Manufacturing Systems 51 (2019): 52-60.
  2. Grigorescu, Sorin, et al. "A survey of deep learning techniques for autonomous driving." Journal of field robotics 37.3 (2020): 362-386.
  3. Hwang, Uiwon, et al. "Real-world prediction of preclinical Alzheimer's disease with a deep generative model." Artificial Intelligence in Medicine 144 (2023): 102654.
  4. Choi, Sungwoon, et al. "Reinforcement learning based recommender system using biclustering technique." arXiv preprint arXiv:1801.05532 (2018).
  5. Hwang, Uiwon, Dahuin Jung, and Sungroh Yoon. "Hexagan: Generative adversarial nets for real world classification." International conference on machine learning (2019).
  6. Shin, Juhyeon, et al. "Gradient Alignment with Prototype Feature for Fully Test-time Adaptation." arXiv preprint arXiv:2402.09004 (2024).
  7. Yang, Shiqi, Shangling Jui, and Joost van de Weijer. "Attracting and dispersing: A simple approach for source-free domain adaptation." Advances in Neural Information Processing Systems 35 (2022): 5802-5815.
  8. Hwang, Uiwon, et al. "SF (DA) $^ 2$: Source-free Domain Adaptation Through the Lens of Data Augmentation." International conference on learning representations (2024).
  9. HaoChen, Jeff Z., et al. "Provable guarantees for self-supervised deep learning with spectral contrastive loss." Advances in Neural Information Processing Systems 34 (2021): 5000-5011.
  10. Wang, Dequan, et al. "Tent: Fully test-time adaptation by entropy minimization." arXiv preprint arXiv:2006.10726 (2020).
  11. Lee, Jonghyun, et al. "Entropy is not Enough for Test-Time Adaptation: From the Perspective of Disentangled Factors." International conference on learning representations (2024).