Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Deep learning-based clothing attribute classification using fashion image data

패션 이미지 데이터를 활용한 딥러닝 기반의 의류속성 분류

  • 정혜선 (계명대학교 경영정보학과) ;
  • 이소영 (계명대학교 경영정보학과) ;
  • 이충권 (계명대학교 경영정보학과)
  • Received : 2023.11.04
  • Accepted : 2023.12.16
  • Published : 2024.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

Attributes such as material, color, and fit in fashion images are important factors for consumers to purchase clothing. However, the process of classifying clothing attributes requires a large amount of manpower and is inconsistent because it relies on the subjective judgment of human operators. To alleviate this problem, there is a need for research that utilizes artificial intelligence to classify clothing attributes in fashion images. Previous studies have mainly focused on classifying clothing attributes for either tops or bottoms, so there is a limitation that the attributes of both tops and bottoms cannot be identified simultaneously in the case of full-body fashion images. In this study, we propose a deep learning model that can distinguish between tops and bottoms in fashion images and classify the category of each item and the attributes of the clothing material. The deep learning models ResNet and EfficientNet were used in this study, and the dataset used for training was 1,002,718 fashion images and 125 labels including clothing categories and material properties. Based on the weighted F1-Score, ResNet is 0.800 and EfficientNet is 0.781, with ResNet showing better performance.

패션 이미지에 포함된 소재, 색상, 핏 등의 속성은 소비자가 의류를 구매하는 데 있어서 중요한 요인이다. 그러나 의류 속성을 분류하는 과정은 많은 인력을 필요로 하고, 작업자의 주관적인 판단에 의존하기 때문에 일관성이 떨어진다. 이러한 문제를 완화하기 위해 인공지능을 활용하여 패션 이미지의 의류 속성을 분류하는 연구가 필요하다. 기존 연구에서는 주로 상의 또는 하의 중 하나의 항목에 대한 의류 속성을 분류하는 것에 초점을 두고 있기 때문에 전신 패션 이미지의 경우에는 상의와 하의의 속성을 동시에 파악할 수 없다는 한계가 있었다. 본 연구는 패션 이미지의 상의와 하의를 구분하여 각 항목의 카테고리와 의류 소재의 속성을 분류할 수 있는 딥러닝 모델을 제안한다. 본 연구에서 딥러닝 모델 ResNet과 EfficientNet를 이용하였고, 학습에 활용한 데이터셋은 패션 이미지 1,002,718장과 의류 카테고리와 소재 속성을 포함한 라벨 총 125개를 사용하였다. Weighted F1-Score를 기준으로 ResNet은 0.800, EfficientNet는 0.781로 ResNet이 더 우수한 성능을 보였다.

Keywords

Acknowledgement

이 논문은 2023년도 한국산업기술진흥원 산업기술기반구축혁신사업의 지원을 받아 수행된 연구임 (No, P0014711)

References

  1. Z. He, , Y. Li, X. Shi, P. Li, and W. Huang, "Multi-Deep Features Fusion Algorithm for Clothing Image Recognition," In 2020 8th International Conference on Digital Home, pp. 104-109, Sep. 2020.
  2. 이수민, 오성찬, 정찬호, 김창익, "딥러닝을 이용한 시각적 의류 분석 기술: 서베이," 한국통신학회논문지, 제45권, 제7호, 1174-1182쪽, 2020년 7월
  3. A. Nestler, N. Karessli, K. Hajjar, R. Weffer, and R. Shirvany, "Sizeflags: reducing size and fit related returns in fashion e-commerce," In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data pp. 3432-3440, Aug. 2021.
  4. 박혜령, 박미령, "코로나 19 상황에서 온라인 쇼핑몰의 품질요인이 패션제품 구매자의 행동의도에 미치는 영향," 한국산학기술학회논문지, 제24권, 제 8호, 615-623쪽, 2023년 8월
  5. Y. Chun, C. Wang, and M. He, "A novel clothing attribute representation network-based self-attention mechanism," IEEE Access, Vol. 8, pp. 201762-201769, Nov. 2020.
  6. 김인화, 박명자, "패션소재이미지에 따른 직물감성의 인지-직물의 시각적 촉감을 중심으로," 한국의상디자인학회지, 제22권, 제1호, 97-111쪽, 2020년 2월 https://doi.org/10.30751/KFCDA.2020.22.1.97
  7. 이소영, 정혜선, 최윤성, 이충권, "딥러닝을 이용한 의류 이미지의 텍스타일 소재 분류," 스마트미디어저널, 제12권, 제7호, 43-51쪽, 2023년 8월
  8. P. S. Rajput, S. Aneja, "IndoFashion Apparel Classification for Indian Ethnic Clothes," In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 3935-3939, Sep. 2021.
  9. S. Pecenakova, N. Karessli, and R. Shirvany, "Fitgan: fit-and shape-realistic generative adversarial networks for fashion," In 2022 26th International Conference on Pattern Recognition, pp. 3097-3104, Aug. 2022.
  10. A. Nayak, J. Shah, A. Kuruvilla, J. Akshaya, and B. J. Sandesh, "Fine-grained Fashion Clothing Image Classification and Recommendation," In 2021 2nd International Conference on Electronics, Communications and Information Technology, pp. 600-606, Dec. 2021.
  11. 김형숙, 이종혁, 이현동, "인공지능 기반 개인 맞 춤형 의류 추천 서비스 개발" 스마트미디어저널, 제10호, 제1호, 116-123쪽, 2021년 3월
  12. O. Nocentini, J. Kim, M. Z. Bashir, and F. Cavallo, "Image classification using multiple convolutional neural networks on the fashion-MNIST dataset," Sensors, Vol. 22, no. 23, pp. 9544, Dec. 2022.
  13. S. Rohrmanstorfer, M. Komarov, and F. Modritscher, "Image classification for the automatic feature extraction in human worn fashion data," Mathematics, Vol. 9, no. 6, pp. 624, Mar. 2021.
  14. 조승아, 이하영, 장혜림, 김규리, 이현지, 손봉기, 이재호, "비정형 패션 이미지 검색을 위한 MASK R-CNN 선형처리 기반 CNN 분류 학습모델 구현," 한국산업정보학회논문지, 제27권, 제6호, 13-23쪽, 2022년 12월 https://doi.org/10.9723/JKSIIS.2022.27.6.013
  15. S. Xu, X. Li, J. Wang, G. Cheng, Y. Tong, and D. Tao, "Fashionformer: A simple, effective and unified baseline for human fashion segmentation and recognition," In European Conference on Computer Vision, pp. 545-563, Oct. 2022.
  16. A. Schindler, T. Lidy, S. Karner, and M. Hecker, "Fashion and apparel classification using convolutional neural networks," arXiv preprint arXiv:1811.04374, Nov. 2018.
  17. M. Shi, and V. D. Lewis, "Using artificial intelligence to analyze fashion trends," arXiv preprint arXiv:2005.00986, May 2020.
  18. Y. Zhang, P. Zhang, C. Yuan, and Z. Wang, "Texture and shape biased two-stream networks for clothing classification and attribute recognition," In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13538-13547, Aug. 2020.
  19. Y. Wan, C. Yan, B. Zhang, and G. Zou, "Learning Image Representation via Attribute-Aware Attention Networks for Fashion Classification," In MultiMedia Modeling: 28th International Conference (MMM), pp. 69-81, Phu Quoc, Vietnam, Jun. 2022.
  20. M. Shajini, and A. Ramanan, "A multi-staged feature-attentive network for fashion clothing classification and attribute prediction," ELCVIA: Electronic Letters on Computer Vision and Image Analysis, Vol. 20, no. 2, pp. 83-100, Dec. 2021.
  21. C. Kong, D. Jeon, O. Kwon, and N. Kwak, "Leveraging off-the-shelf diffusion model for multi-attribute fashion image manipulation," In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 848-857, Feb. 2023.
  22. K. HE, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, Jun. 2016.
  23. M. Tan, and Q. Le, "Efficientnet: Rethinking model scaling for convolutional neural networks," In International conference on machine learning, pp. 6105-6114, May 2019.
  24. 유수빈, 조정화, 반상우, "CWRU 데이터셋을 이용 한 ResNet 기반의 베어링 결함 진단 모델 구현," 대한전자공학회 학술대회, 655-657쪽, 2021년 11월
  25. 조장훈, 방준호, 유정훈, 선로빈, "단락흔 및 용융흔 판별을 위한 CNN 과 Resnet 알고리즘 비교 분석," 대한전기학회 학술대회 논문집, 1991-1992쪽, 2021년 7월
  26. 남은수, 이충권, 최윤성, "딥러닝을 이용한 직물의 결함 검출에 관한 연구," 스마트미디어저널, 제11권, 제11호, 92-98쪽, 2022년 12월
  27. A. E. Maxwell, and T. A. Warner, "Thematic classification accuracy assessment with inherently uncertain boundaries: An argument for center-weighted accuracy assessment metrics," Remote Sensing, Vol. 12, no. 12, pp. 1905, Jun. 2020.