한국빅데이터학회지 (The Journal of Bigdata)

  • 제7권1호
  • /
  • Pages.173-185
  • /
  • 2022
  • /
  • 2508-1829(pISSN)
  • /
  • 2713-6361(eISSN)
한국빅데이터학회 (Korea Bigdata Society)
권호 표지
DOI QR코드

DOI QR Code

CartoonGAN 알고리즘을 이용한 웹툰(Webtoon) 배경 이미지 생성에 관한 연구

A Study on Webtoon Background Image Generation Using CartoonGAN Algorithm

  • 오세규 (아주대학교 비즈니스애널리틱스학과) ;
  • 강주영 (아주대학교 비즈니스애널리틱스학과)
  • 투고 : 2022.05.17
  • 심사 : 2022.06.17
  • 발행 : 2022.06.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

현재 한국의 웹툰은 세계 디지털 만화 시장을 선도하고 있다. 웹툰은 세계 각국 다양한 언어로 서비스되고 있으며 웹툰의 IP(지식재산권)를 이용해 제작된 드라마와 영화가 크게 흥행하면서 웹툰의 영상화 작업도 점점 많아지고 있다. 그러나 이러한 웹툰의 성공과 함께 웹툰 작가의 노동 환경이 중요한 문제로 떠오르고 있다. 「2021년 만화 이용자 실태조사」에 따르면, 웹툰 작가의 하루 평균 작업시간은 10.5시간이며 일주일 평균 5.9일을 창작활동에 사용한다. 작가들은 매주 많은 분량의 그림을 그려야 하는데, 웹툰 간의 경쟁은 더욱 치열해지고 있으며 회 당 작가가 그려야 할 분량은 점점 늘어가고 있다. 따라서, 이 연구에서는 딥러닝 기술을 이용하여 웹툰 배경 이미지를 생성하고 웹툰 제작에 활용할 것을 제안한다. 웹툰의 주요 인물은 작가의 독창성이 상당 부분 포함되는 영역이지만, 배경 그림은 비교적 반복적이며 독창성이 필요하지 않은 영역이기 때문에, 작가의 작화 스타일과 유사한 배경 그림을 생성할 수 있다면 웹툰 제작에 유용하게 사용될 수 있다. 배경 생성은 image-to-image translation에서 좋은 성능을 보여주고 있는 CycleGAN과 카툰(cartoon) 스타일에 특화된 CartoonGAN을 이용한다. 이러한 생성은 과도한 업무환경에 처한 작가들의 노동 시간을 단축하고 웹툰과 기술의 융합에 기여할 것으로 기대된다.

Nowadays, Korean webtoons are leading the global digital comic market. Webtoons are being serviced in various languages around the world, and dramas or movies produced with Webtoons' IP (Intellectual Property Rights) have become a big hit, and more and more webtoons are being visualized. However, with the success of these webtoons, the working environment of webtoon creators is emerging as an important issue. According to the 2021 Cartoon User Survey, webtoon creators spend 10.5 hours a day on creative activities on average. Creators have to draw large amount of pictures every week, and competition among webtoons is getting fiercer, and the amount of paintings that creators have to draw per episode is increasing. Therefore, this study proposes to generate webtoon background images using deep learning algorithms and use them for webtoon production. The main character in webtoon is an area that needs much of the originality of the creator, but the background picture is relatively repetitive and does not require originality, so it can be useful for webtoon production if it can create a background picture similar to the creator's drawing style. Background generation uses CycleGAN, which shows good performance in image-to-image translation, and CartoonGAN, which is specialized in the Cartoon style image generation. This deep learning-based image generation is expected to shorten the working hours of creators in an excessive work environment and contribute to the convergence of webtoons and technologies.

키워드

참고문헌

  1. Antoniou, A., Storkey, A., and Edwards, H., "Data Augmentation Generative Adversarial Networks," arXiv preprint arXiv:1711.04340, Vol., 2017.
  2. Binkowski, M., Donahue, J., Dieleman, S., Clark, A., Elsen, E., Casagrande, N., . . . Simonyan, K., "High Fidelity Speech Synthesis with Adversarial Networks," arXiv preprint arXiv:1909.11646, Vol., 2019.
  3. Bowles, C., Chen, L., Guerrero, R., Bentley, P., Gunn, R., Hammers, A., . . . Rueckert, D., "Gan Augmentation: Augmenting Training Data Using Generative Adversarial Networks," 2018.
  4. Chang, B., Zhang, Q., Pan, S., and Meng, L., "Generating Handwritten Chinese Characters Using Cyclegan," paper presented at the 2018 IEEE winter conference on applications of computer vision (WACV), 2018.
  5. Chen, Y., Lai, Y.-K., and Liu, Y.-J., "Cartoongan: Generative Adversarial Networks for Photo Cartoonization," paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition, 2018.
  6. Elharrouss, O., Almaadeed, N., Al-Maadeed, S., and Akbari, Y., "Image Inpainting: A Review," Neural Processing Letters, Vol. 51, No. 2, 2020, pp. 2007-2028. https://doi.org/10.1007/s11063-019-10163-0
  7. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., . . . Bengio, Y., "Generative Adversarial Nets," Advances in neural information processing systems, Vol. 27, 2014.
  8. Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., and Hochreiter, S., "Gans Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium," Advances in neural information processing systems, Vol. 30, 2017.
  9. Karras, T., Aittala, M., Hellsten, J., Laine, S., Lehtinen, J., and Aila, T., "Training Generative Adversarial Networks with Limited Data," Advances in Neural Information Processing Systems, Vol. 33, 2020, pp. 12104-12114.
  10. Lee, J., Kim, E., Lee, Y., Kim, D., Chang, J., and Choo, J., "Reference-Based Sketch Image Colorization Using Augmented-Self Reference and Dense Semantic Correspondence," paper presented at the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020.
  11. Liu, Y., Qin, Z., Wan, T., and Luo, Z., "Auto-Painter: Cartoon Image Generation from Sketch by Using Conditional Wasserstein Generative Adversarial Networks," Neurocomputing, Vol. 311, 2018, pp. 78-87. https://doi.org/10.1016/j.neucom.2018.05.045
  12. Sandfort, V., Yan, K., Pickhardt, P. J., and Summers, R. M., "Data Augmentation Using Generative Adversarial Networks (Cyclegan) to Improve Generalizability in Ct Segmentation Tasks," Scientific reports, Vol. 9, No. 1, 2019, pp. 1-9.
  13. Zhu, J.-Y., Park, T., Isola, P., and Efros, A. A., "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks," paper presented at the Proceedings of the IEEE international conference on computer vision, 2017.
  14. Zhu, X., Liu, Y., Li, J., Wan, T., and Qin, Z., "Emotion Classification with Data Augmentation Using Generative Adversarial Networks," paper presented at the Pacific-Asia conference on knowledge discovery and data mining, 2018.
  15. Jang, W. and Song, J. E., "Webtoon as a New Korean Wave in the Process of Glocalization," Kritika Kultura, Vol. 29, 2017, pp. 168-187.
  16. 길문섭, "웹툰의 질적 향상을 위한 제작 프로그램 단순화와 첨예화 연구," Journal of Digital Convergence, Vol. 14, No. 12, 2016, pp. 389-395.
  17. 김태영, "2021 만화.웹툰 이용자 실태조사," 한국콘텐츠진흥원, 2021.
  18. 김태영, "2021 웹툰 사업체 실태조사," 한국콘텐츠진흥원, 2021.
  19. 김태영, "2021 웹툰 작가 실태조사," 한국콘텐츠진흥원, 2021.
  20. 류빈, ""내가 최고"...네이버 Vs 카카오, 웹툰시장 순위 신경전 치열," 아시아타임즈, 2021.
  21. 박석환, "웹툰 산업의 실태와 문제점," 디지털콘텐츠와 문화정책, Vol. 4, 2009, pp. 123-158.
  22. 방인철, 박선준, and 김준식, "2021년 상반기 콘텐츠산업 동향분석 보고서," 한국콘텐츠진흥원, 2021.
  23. 오대석, "카카오, 美 웹소설플랫폼 또 인수...북미서 네이버와 한판 승부," 매일경제, 2021.
  24. 이소정 and 최영우, ""Cyclegan을 이용한 Unpaired 근적외선 얼굴 이미지 생성 및 평가," 디지털콘텐츠학회논문지, Vol. 21, 2020, pp. 593-600.
  25. 이정후, "넷플릭스 1위 '지금 우리 학교는'...원작 웹툰 조회수도 80배 껑충," 뉴스1, 2022.
  26. 전자연, 지영서, 박동연, and 임순범, "딥러닝 학습을 이용한 한글 글꼴 자동 제작 시스템에서 글자 쌍의 매핑 기준 평가," 멀티미디어학회논문지, Vol. 23, 2020, pp. 850-861.
  27. 조석희 and 조규철, "Multi Cycle Consistent Adversarial Networks for Multi Attribute Image to Image Translation," 한국컴퓨터정보학회논문지, Vol. 25, 2020, pp. 63-69.
  28. 최형욱, 이승현, 김형훈, and 서용철, "Cyclegan을 활용한 항공영상 학습 데이터 셋 보완 기법에 관한 연구," 한국측량학회지, Vol. 38, 2020, pp. 499-509. https://doi.org/10.7848/KSGPC.2020.38.6.499
  29. 홍준표, 김형호, 김동이, and 황원준, "Gan 과 Edge Detector 를 사용한 Webtoon 자동 채색 기법," 한국정보과학회 학술발표논문집, 2018, pp. 2166-2168.
  30. 정덕현, "K웹툰과 드라마의 시너지는 '쭉' 이어진다," 시사저널, 2021.
  31. 박준호, "네이버웹툰 "웹툰 '지옥', 넷플릭스 시리즈 공개 후 조회수 22배↑"," 서울경제, 2021.
  32. 류빈, ""내가 최고"...네이버 Vs 카카오, 웹툰시장 순위 신경전 치열," 아시아타임즈, 2021.
  33. 류건욱, "디지털콘텐츠 산업 환경과 웹툰작가의 적응 전략," 한양대학교 석사학위 논문, 2020.
  34. 김성현, "네이버-카카오, '웹툰' 맞대결... 하반기 승자는?," 뉴데일리, 2021.
  35. 임지은, 최준두, 진나영, 오규택, and 고민삼, "Fx-Toon: 적대적 생성 네트워크 기반 효과툰 생성 시스템," 한국콘텐츠진흥원, 2020.
  36. 박석환, "포털 웹툰 플랫폼의 산업 규모와 운영정책 모델 연구," 애니메이션연구, Vol. 10, 2014, pp. 145-162.
  37. 박인하, "한국 웹툰의 변별적 특성연구," 애니메이션연구, Vol. 11, 2015, pp. 82-97.