The Journal of the Convergence on Culture Technology (문화기술의 융합)

The International Promotion Agency of Culture Technology (국제문화기술진흥원)
권호 표지
DOI QR코드

DOI QR Code

Transfer Learning-based Generated Synthetic Images Identification Model

전이 학습 기반의 생성 이미지 판별 모델 설계

  • 김채원 (서울여자대학교 데이터사이언스학과) ;
  • 윤성연 (서울여자대학교 데이터사이언스학과) ;
  • 한명은 (서울여자대학교 데이터과학전공) ;
  • 박민서 (서울여자대학교 데이터사이언스학과)
  • Received : 2024.01.02
  • Accepted : 2024.02.27
  • Published : 2024.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

The advancement of AI-based image generation technology has resulted in the creation of various images, emphasizing the need for technology capable of accurately discerning them. The amount of generated image data is limited, and to achieve high performance with a limited dataset, this study proposes a model for discriminating generated images using transfer learning. Applying pre-trained models from the ImageNet dataset directly to the CIFAKE input dataset, we reduce training time cost followed by adding three hidden layers and one output layer to fine-tune the model. The modeling results revealed an improvement in the performance of the model when adjusting the final layer. Using transfer learning and then adjusting layers close to the output layer, small image data-related accuracy issues can be reduced and generated images can be classified.

인공지능(Artificial Intelligence, AI) 기반 이미지 생성 기술의 발달로 다양한 이미지가 생성되고 있으며, 이를 정확하게 판별하는 기술이 필요하다. 생성된 이미지 데이터의 양에는 한계가 있으며, 한정된 데이터로 높은 성능을 내기 위해 본 연구에서는 전이 학습(Transfer Learning)을 활용한 생성 이미지를 판별하는 모델을 제안한다. ImageNet 데이터 셋으로 사전학습 된 모델을 입력 데이터 셋인 CIFAKE 데이터 셋에 그대로 적용하여 학습의 시간 비용을 줄인 후, 3개의 은닉층과 1개의 출력층을 더해 모델을 튜닝한다. 모델링 결과, 최종 레이어를 조정한 모델의 성능이 높아짐을 확인하였다. 딥러닝에서 전이 학습을 통해 학습한 후 출력층과 가까운 레이어를 데이터의 특성에 맞게 추가 및 조정하는 과정을 통해 적은 이미지 데이터로 인한 학습 정확도 이슈를 줄이고 생성된 이미지 판별을 할수 있다는 데 의의가 있다.

Keywords

References

  1. S. Lee, "Deep Structured Learning: Architectures and Applications," The International Journal of Advanced Culture Technology(IJACT), Vol. 6, No. 4, pp. 262-265, 2018. DOI:10.17703//IJACT2018.6.4.262
  2. L. Verdoliva, "Media forensics and deepfakes: an overview," IEEE Journal of Selected Topics in Signal Processing, Vol. 14, No. 5, pp. 910-932, 2020. DOI:10.1109/JSTSP.2020.3002101
  3. F. Marra, D. Gragnaniello, D. Cozzolino, and L. Verdoliva, "Detection of GAN-Generated Fake Images over Social Networks," 2018 IEEE Conference on Multimedia Information Processing and Retrieval(MIPR), pp. 384-389, 2018. DOI:10.1109/MIPR.2018.00084
  4. D. Kim, S. Choi, and S. Kwak, "Deep Learning Based Fake Face Detection," Journal of the Korea Industrial Information Systems Research, Vol. 23, No. 5, pp. 9-17, Oct 2018. DOI:10.9723/JKSIIS.2018.23.5.009
  5. J. Kim, S. Hong, and H. Kim, "A StyleGAN Image Detection Model Based on Convolutional Neural Network," Journal of Korea Multimedia Society, Vol. 22, pp. 1447-1456, 2019. DOI:10.9717/kmms.2019.22.12.1447
  6. C. C. Hsu, Y. X. Zhuang, and C. Y. Lee, "Deep Fake Image Detection Based on Pairwise Learning," Applied Sciences, Vol. 10, No. 1, pp. 370, 2020. DOI:10.3390/app10010370
  7. J. J. Bird and A. Lotfi, "CIFAKE: Image Classification and Explainable Identification of AI-Generated Synthetic Images," arXiv preprint arXiv:2303.14126, Mar 2023. DOI:10.48550/arXiv.2303.14126
  8. B. Recht, R. Roelofs, L. Schmidt, and V. Shankar, "Do imagenet classifiers generalize to imagenet?," International conference on machine learning, pp. 5389-5400, 2019.
  9. S. J. Pan and Q. Yang, "A survey on transfer learning," IEEE Transactions on knowledge and data engineering, Vol. 22, No. 10, pp. 1345-1359, 2009. DOI:10.1109/TKDE.2009.191
  10. S. Hong, Y. Lee, and C. Moon, "Transfer Learning-Based Vibration Fault Diagnosis for Ball Bearing," The Journal of the Convergence on Culture Technology(JCCT), Vol. 9, No. 3, pp. 845-850, 2023. DOI:10.17703/JCCT.2023.9.3.845
  11. J. Deng, W. Dong, R. Socher, L. J. Li, K. Li, and F. F. Li, "Imagenet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 248-255, Jun 2009. DOI:10.1109/CVPR.2009.520 6848
  12. A. Krizhevsky, "Learning multiple layers of features from tiny images," University of Toronto, May 2009.
  13. T. Jo, "Deep learning for everyone," Gilbut INC., pp. 308, 2017.
  14. K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," International Conference on Learning Representations(ICLR), Sep 2014. DOI:10.48550/arXiv.1409.155
  15. K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 770-778, 2016. DOI:10.48550/arXiv.1512.03385
  16. G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, "Densely connected convolutional networks," 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 4700-4708, 2017. DOI:10.1109/CVPR.2017.243
  17. C. Dong, C. C. Loy, K. He, and X. Tang, "Image super-resolution using deep convolutional networks," IEEE transactions on pattern analysis and machine intelligence, Vol. 38, No. 2, pp. 295-307, Jun 2015. DOI:10.1109/TPAMI.2015.2439281