DOI QR코드

DOI QR Code

Fashion Category Oversampling Automation System

  • Minsun Yeu (College of Business Administration, University of Ulsan) ;
  • Do Hyeok Yoo (Advanced Institute of Convergence Technology) ;
  • SuJin Bak (Advanced Institute of Convergence Technology)
  • Received : 2023.11.24
  • Accepted : 2023.12.26
  • Published : 2024.01.31

Abstract

In the realm of domestic online fashion platform industry the manual registration of product information by individual business owners leads to inconvenience and reliability issues, especially when dealing with simultaneous registrations of numerous product groups. Moreover, bias is significantly heightened due to the low quality of product images and an imbalance in data quantity. Therefore, this study proposes a ResNet50 model aimed at minimizing data bias through oversampling techniques and conducting multiple classifications for 13 fashion categories. Transfer learning is employed to optimize resource utilization and reduce prolonged learning times. The results indicate improved discrimination of up to 33.4% for data augmentation in classes with insufficient data compared to the basic convolution neural network (CNN) model. The reliability of all outcomes is underscored by precision and affirmed by the recall curve. This study is suggested to advance the development of the domestic online fashion platform industry to a higher echelon.

국내 온라인 패션 플랫폼은 개인사업자가 제품정보를 직접 등록하기 때문에 개인사업자의 불편함을 초래한다. 많은 제품군을 한꺼번에 수동 등록하므로 수기 입력된 제품정보로 인한 신뢰성 문제가 발생한다. 등록된 상품 이미지의 저품질 및 데이터 수의 불균형으로 인한 편향도 심각하게 제기된다. 본 연구는 오버샘플링 기법을 통해 데이터 편향을 최소화하고 13개 패션 카테고리의 다중 분류를 수행하는 ResNet50 모델을 제안한다. 컴퓨팅 자원과 오랜 학습시간을 최소화하기 위해 전이학습을 활용했다. 결과적으로, 데이터 수가 매우 부족했던 클래스의 데이터 증강을 통해 기본 CNN 모델에 비해 최대 33.4%의 향상된 식별력을 보여주었다. 모든 결과의 신뢰성은 정밀도-재현율 곡선으로 보장한다. 본 연구는 국내 온라인 패션 플랫폼 산업의 발전을 한 단계 끌어올릴 수 있을 것으로 기대한다.

Keywords

I. Introduction

코로나19는 언택트(untact) 소비 트렌드에 영향을 미쳤다. 언텍트 소비에 대한 수요가 증가하고 있으며, 그 결과 패션 플랫폼 시장 규모가 급격히 증가하고 있다[1-3].

국내 패션 비즈니스 전문 미디어인 Fashiobiz에 따르면[4], 최근 5개년 동안 한국 패션마켓의 규모가 팬데믹 이전보다 5.2% 증가했다(Fig. 1). 국내 패션 시장 규모는 2022년 기준 45조 7,787억 원에 달하며 2021년 대비 5.2% 상승했다. 복종별로 캐주얼복, 신발, 남성정장, 스포츠복 순으로 성장세가 두드러졌다[5]. 통계청에 따르면[6], 온라인 쇼핑 거래액은 패션 25.8%, 서비스 23.0%, 식품 17.0%, 가전 16.4%, 생활 14.0%, 도서 2.0%, 기타 1.8% 순으로, 패션 항목이 높은 온라인 쇼핑 거래액 구성비를 차지한다(Fig. 2). 패션은 특히 인터넷에서 경제의 중요한 부분으로 성장하고 있다.

CPTSCQ_2024_v29n1_31_f0001.png 이미지

Fig. 1. Five-year trend in the size of Korea’s fashion market in 2023

CPTSCQ_2024_v29n1_31_f0002.png 이미지

Fig. 2. Online transaction amount by product in 2021

온라인상의 패션 분야 매출 증가는 국내 패션 플랫폼의 성장 및 발전을 이끌었다. 국내 패션 플랫폼 톱 5는 무신사, SSF샵, 이랜드몰, 하프클럽, 더블유컨셉 순이며, 패션 플랫폼 이용자와 매출액은 증가추세다[7]. 국내 최대 온라인 패션 플랫폼 기업인 무신사는 인공지능(AI) 선도기업 애피어(Appier)와 협업하여 AI 기반 풀 퍼널(Full-funnel) 광고 솔루션을 도입했다. 대규모 사용자의 관심사 및 행동 빅데이터를 분석해 타깃팅을 고도화할 수 있었다. 또한, 애피어의 예측 머신러닝과 맞춤형 상품 추천 도구를 적용해 디스플레이 광고 및 동적 상품 피드 개인화 전략을 제시했다[8]. 개발된 AI 도입 결과 2020년 1월부터 10월까지 앱 매출이 132배 증가하였으며, 광고비대비수익률(Return On Ad Spend; ROAS) 260% 향상, 구매 건당 광고 비용(Cost Per Action; CAP) 50% 절감, 앱 잔존율 40% 상승의 성과를 거두었다[8]. 그러나 무신사 사례에서 볼 수 있듯 패션 플랫폼 대부분은 인공지능 기술을 프로모션 전략에 한정하여 활용한다.

전자상거래 활성화는 개인 판매자가 무신사와 같은 마켓플레이스에 참여할 수 있도록 했다[9]. 하지만 개인 판매자 입장에서 여러 제품을 카테고리별로 플랫폼에 등록하는 것은 쉬운 일이 아니다. Fig. 3은 무신사 제품 등록 과정을 담은 사용자 인터페이스다(User Interface; UI)[10]. 개인 판매자가 상품을 판매하기 위해 해당 화면과 같이 무신사에 직접 상품수식어, 검색어, 스타일넘버, 브랜드, 성별, 컬러, 상품무게까지 상품정보를 일일이 등록해야 한다. 패션 시장의 규모가 확대됨에 따라 패션 카테고리가 다양해지고, 그 수도 점점 증가하고 있다. 소규모의 개인 판매자가 직접 상품을 수동으로 등록하는 것은 비효율적이고, 상품정보를 완전히 신뢰할 수 없는 문제까지 야기한다[11]. 이러한 문제를 해결하기 위해, 일각에서는 딥러닝을 이용한 YOLO 모델을 개발해오고 있지만, 데이터 저품질 및 비율의 편향성 문제가 발생하면서 오히려 패션 산업에 적용하는 일은 요원하다.

CPTSCQ_2024_v29n1_31_f0003.png 이미지

Fig. 3. Product registration application procedure user interface (UI)

본 연구는 첫째, 개인 판매자의 수기입력을 지양하고 컴퓨터 비전(Computer Vision) 기술을 활용한 이미지 기반의 패션 카테고리를 자동적으로 분류할 수 있도록 하고자 한다. 둘째, 결과의 신뢰성을 판별하는 시스템을 개발하는 것을 목표로 삼는다. 이를 위해, 오버샘플링 기술을 활용하여 Random Cropping, 및 Rotation 방식을 통해 가장 적은 수의 데이터를 가진 클래스에 1,000개 이상의 데이터를 생성했다. 생성된 이미지 데이터로 샘플 품질을 높이고, 백본 ResNet50 모델에 맞는 데이터 리사이징을 통한 모델을 개발했다. 이러한 모델의 성능을 비교하기 위해 컨볼루션 신경망 (Convolution Neural Network; CNN) 모델인 BottleneckCSPNet와 YOLOv8 (You Only Live Once) 알고리즘을 적용한 기본 CNN 모델과 객체 인식률을 비교했다. 본 연구는 패션 제품들이 지속적으로 온라인 판매율이 증가하고, 시장이 확대되는 상황에서 인공지능이 패션 플랫폼의 발전과 함께 개인 판매자의 편리성을 높일 수 있을 것으로 기대된다.

본 연구논문의 구성은 다음과 같다. 2장에서 전통적으로 개발되었던 패션 분류 모델에 대한 사전연구를 소개한다. 제3장에서는 CNN과 YOLOv8이 적용된 모델과 본 연구에서 제안하는 오버샘플링 처리된 ResNet50 모델의 방법론을 소개한다. 제4장에서는 앞에서 소개된 방법론을 기반으로 측정된 성능 결과를 보여주고, 그 결과의 신뢰성을 검증한다. 제4장에서는 전체 모델의 비교 결과와 본 연구의 우수점 및 한계점에 대해서 논의한다. 마지막 장에서는 제안된 모델의 실증적 함의를 도출한다.

II. Related Works

본 장에서는 패션 카테고리 자동화 시스템 구현을 위해 관련 선행연구를 소개한다. 해당 기술 구현을 위해 가장 기본적인 조건은 패션 데이터셋의 유무로 Table 1에서 2014년부터 2019년 사이의 패션 데이터셋 규격을 비교한다. 딥러닝 학습은 기본적으로 대용량 빅데이터셋의 구성이 필수적이며, 그 중 DeepFashion[12]에서 가장 많은 데이터를 보유하고 있으므로 그 인기가 매우 높다. 그러나 각 이미지에는 하나의 의류 항목만 있으므로 정보량이 부족하며, 랜드마크가 있는 이미지 데이터셋이 적다. 또한, 픽셀 수준의 주석이 없어 세분화와 같은 연구에 적용하기 어렵다. 한계점을 보완하기 위해 개발된 데이터셋이 DeepFashion2[13]이다. 이 데이터셋은 의류 감지, 포즈 추정, 의류 세분화, 아이템 검색을 포함한 네 가지 다양한 벤치마크 유형으로 구성되어 있고, 491,000개의 다양한 이미지가 있다. 또한, 873,000개는 온라인 이미지와 오프라인 이미지의 쌍으로 이루어져 있어 다양한 응용에 적용할 수 있는 장점이 있다. DeepFashion2는 풍부한 데이터와 태그로 패션 관련 연구의 발전에 기여하고, 다양한 과제에서도 우수한 잠재력을 보여준다.

Table 1. Comparison of various fashion dataset specifications

CPTSCQ_2024_v29n1_31_t0001.png 이미지

이러한 대규모 데이터를 기반으로 한 대부분의 패션 연구는 컴퓨터 비전 및 이미지 처리와 관련된 컴퓨팅 기술인 객체 감지(Object Detection)를 수행한다. 객체 감지는 디지털 이미지와 비디오에서 특정 클래스의 의미 있는 인스턴스를 감지하는 기술로[14] 전통적인 객체 인식은 SIFT (Scale Invariant Feature Transform), SURF (Speeded-Up Robust Features), Haaf, HOG (Histogram of Oriented Gradients) 등 특징 기반의 객체 인식 및 SVM (Support Vector Machine) 기반의 분류로 인식률을 증가시켰다. 그 이후 CNN이 ImageNet 2012 대회에서 압도적인 성능을 보여줌으로써 딥러닝을 이용한 객체 인식 방법이 주류가 되었다. 이미지 내의 객체 위치를 인식하고 분류하는 방법은 R-CNN (Region-based Convolutional Neural Networks)이 대표적이지만 검출 속도가 너무 느린 단점이 존재한다. 이러한 검출 속도를 보완하기 위해 객체의 후보 영역을 찾는 Fast R-CNN이 나오게 되었다. 더 빠른 R-CNN은 딥러닝을 사용하여, 지역 정보에 의존하는 단점을 보완한 R-FCN 알고리즘으로 발전했지만, 빠른 처리 속도가 필요한 분야에 적용하는 것은 충분치 않았다. 속도 문제를 해결하기 위해 YOLO 등이 제안되고 있다. 특히, YOLO 알고리즘은 하나의 컨볼루션 네트워크로 여러 바운딩박스에 대한 클래스 확률을 계산하는 방식으로 이루어진다. 각각의 바운딩박스를 예측하기 위해 이미지 전체의 특징을 활용하는데 이러한 YOLO의 디자인 방식 덕분에 정확성을 유지하면서 end-to-end 학습과 빠른 객체 검출이 가능해진다. 급속도로 변화하는 패션 산업에 적용하고, 패션 소비 확대를 위해서는 빠른 성능이 필요하여 다른 시스템에 비해 빠르고 효율적인 YOLO를 객체 인식 시스템으로 선정하였고, 학습과 추론 테스트를 진행하였다.

III. Methods

3.1 Open DeepFashion2 datasets

본 연구에서 활용한 DeepFashion2는 공개형 패션 카테고리 데이터셋이다. 각 카테고리는 13개 항목으로 나뉜다. 본 연구는 [15]에 따라 구체적인 데이터 정보를 제공한다. 데이터셋은 Train set (191K), Validation set (32K), 및 Test set (62K)로 구성되고, Short sleeve top (Labeling Number 1), Long sleeve top (Labeling Number 2), Short sleeve outwear (Labeling Number 3), Long sleeve outwear (Labeling Number 4), Vest (Labeling Number 5), Sling (Labeling Number 6), Shorts (Labeling Number 7), Trousers (Labeling Number 8), Skirt (Labeling Number 9), Short sleeve dress (Labeling Number 10), Long sleeve dress (Labeling Number 11), Vest dress (Labeling Number 12), Sling dress (Labeling Number 13) 등 13개로 나누어 Fig. 4와 같이 1~13으로 라벨링 처리하였다. 클래스당 데이터 수는 Table 2와 같다.

Table 2. Number of data by fashion category

CPTSCQ_2024_v29n1_31_t0002.png 이미지

CPTSCQ_2024_v29n1_31_f0004.png 이미지

Fig. 4. Description of 13 Fashion Category samples

3.2 Oversampling using data augmentation

Table 2와 같이 13개 클래스별 데이터 불균형이 심하다. 이러한 편향은 모델 성능에 많은 영향을 미치므로 본 연구에서 테스트 수가 가장 작은 3과 6 클래스의 데이터 생성을 위해 오버샘플링(Oversampling) 기법을 적용한다. 이때, Random Cropping, 및 Rotation 방식을 적용하였고, 카테고리별 최소 천 개 이상의 데이터를 확보했다. 본 연구에서 제안하는 모델 학습과 성능검증을 위해 Table 3과 같이 Train과 Test set이 재구성되었다.

Table 3. Number of data by augmentation approaches

CPTSCQ_2024_v29n1_31_t0003.png 이미지

3.3 Deep learning simple architecture

본 연구에서 제안한 모델을 비교하기 위해, YOLO8과 기본 CNN 모델을 사용하여 13개 패션 카테고리를 다중 분류하였다. 모델 및 가상환경의 규격은 Table 4와 같다. 데이터 학습을 위해 신경망 YOLOv8을 이용하여 데이터 학습을 진행하였다. GPU 컴퓨팅 성능을 활용하기 위해, CUDA와 파이토치를 함께 설치한 다음 ultralytics 라이브러리를 설치하고, ultralytics의 YOLO를 import하여 model = YOLO(‘yolo8n.yaml’) 코드를 실행함으로써 새로운 모델을 생성했다. model.train() 코드를 통해 학습을 위한 데이터 경로 및 클래스 이름과 개수 데이터를 가지는 yaml 파일을 생성했다. CNN 모델의 설계는 Fig. 5와 동일하다. 최적의 하이퍼파라미터 값을 구하기 위해 fine-tunning 후, 데이터 학습을 수행하였다. 여기서 사용된 하이퍼파라미터 값은 Table 5와 같다. 본 연구는 비정형 패션 데이터를 학습하고, 학습된 가중치의 인식 및 패션 카테고리 탐지율을 확인하기 위해 객체 검출 성능 평가 지표를 구하고 결과의 신뢰성을 검증하였다.

CPTSCQ_2024_v29n1_31_f0005.png 이미지

Fig. 5. CNN model architecture

Table 4. System Environment

CPTSCQ_2024_v29n1_31_t0004.png 이미지

Table 5. Hyperparameter values

CPTSCQ_2024_v29n1_31_t0005.png 이미지

3.4 Proposed model: ResNet50 backbone network transfer learning using oversampling approaches

본 연구는 백본 네트워크 역할을 하는 ResNet50을 기반으로 패션 아이템의 이미지 데이터를 전처리하였다. 다양한 항목에 걸쳐 원본 이미지 데이터 수의 차이로 인해 전처리 단계에서 문제가 발생했다. 이 문제를 해결하기 위해 대규모 데이터 세트인 ImageNet을 활용하는 PyTorch의 사전 훈련된 ResNet50 모델이 사용되었다. 모델은 ResNet50 모델의 입력 크기에 맞춰 모든 이미지의 크기를 256의 균일한 크기로 조정했다. 전체 데이터셋이 1,000개 클래스로 분산된 천만 개 이상의 데이터 포인트로 구성되어 있다. 따라서 ResNet50 아키텍처의 최종 레이어 또한 1,000개 차원으로 생성했다. 본 연구에 사용된 특정 분류기와 데이터셋에 맞추기 위해 마지막 Dense 레이어의 출력 차원을 500차원으로 조정했다. 이 500차원 벡터는 분류기에 대한 입력 역할을 했으며, 결과적으로 데이터셋의 클래스 수에 해당하는 37차원에 걸쳐 확률 분포를 생성했다. 최적의 파인튜닝을 위해 ResNet50 모델의 아키텍처와 가중치를 전이(Transfer)하여 활용했다. ResNet50 모델은 추가 교육을 방지하기 위해 동결(Freezing)되었다. 다음으로 Dense 레이어-ReLU 활성화-드롭아웃-Dense 레이어로 구성된 분류기가 ResNet50 아키텍처에 추가되었다. 적용된 손실함수는 Cross Entropy을 사용했고, 옵티마이저는 아담(Adam)을 사용했다. Fig. 6은 제안된 ResNet50 모델의 구성을 나타낸다.

CPTSCQ_2024_v29n1_31_f0006.png 이미지

Fig. 6. Proposed ResNet50 architecture

3.5 Object detection evaluation metric

객체 검출의 정확도를 평가하는 지표로 알려진 mAP (Mean Average Precision)를 계산했다. mAP는 정밀도 (Precision)와 재현율 (Recall)을 고려한 종합적 평가 지표이며, 실제로 0과 1 사이의 모든 Recall에 대응하는 평균 Precision을 의미한다. 즉, mAP는 모든 객체에 대한 모델의 종합적인 검출 성능을 측정하기 위한 모든 AP 값의 평균을 의미한다. 1에 가까울수록 신뢰성이 높음을 의미한다. 해당 공식은 다음과 같다.

\(\begin{align}\text {Precision}=\frac{T P}{T P+F P}=\frac{T P}{\text { all detections }}\end{align}\)       (1)

여기서, TP는 True Positive로써 올바른 탐지를 나타내지만, FP는 False Positive로써 오탐한 경우를 보여준다. FN은 False Negative로 탐지하지 못함을 의미한다.

\(\begin{align}\text {Recall}=\frac{T P}{T P+F N}=\frac{T P}{\text { all groundtruths }}\end{align}\)       (2)

IV. Results

4.1 Fashion category automation classification results based on simple fashion model

Fig. 7은 라벨링된 패션 카테고리를 학습하고 예측한 결과를 보여주며, 의류만 나타낸 이미지에서는 월등하게 식별이 잘 되는 것을 보여주지만, 소비자가 의류를 착용한 이미지의 경우, 다소 바운딩박스가 나타나지 않는 이슈가 있다.

CPTSCQ_2024_v29n1_31_f0007.png 이미지

Fig. 7. Prediction of fashion category using simple model

Table 6은 패션 카테고리 평가 지표 결과를 보여준다. Precision은 모델이 예측한 바운딩박스가 얼마나 정확한 지를 나타내며, Recall은 실제 바운딩박스 중 얼마나 많은 바운딩박스를 모델이 찾아냈는지를 나타낸다. 두 지표는 100에 가까울수록 신뢰성이 높아진다. 또한, mAP50은 Mean Average Precision @ IOU=0.50의 약자로 IOU(Intersection over Union)가 50% 이상인 바운딩박스에 대한 평균 정밀도를 나타낸다. IOU란 실제 박스와 예측한 박스의 겹치는 비율이다.

Table 6. Evaluation metric by Fashion categories

CPTSCQ_2024_v29n1_31_t0006.png 이미지

따라서 본 모델의 평가 지표를 종합해 보면, 바운딩박스의 위치를 예측하는 데 있어 클래스 8의 상품이 85.5%의정확도를 보이고, IOU에 따른 바운딩박스의 평균 정밀도는 94.1%로 높은 성능을 보여주고 있다. 구체적인 결과는 Table 6과 같고 전반적으로 50% 이상의 패션 카테고리별 검출이 잘 이루어졌다. 이는 Table 6에서 보여주듯이 평균 Precision, Recall, 및 mAP50이 각각 70.0, 63.7, 68.4%로 신뢰성을 보장하였다. 그러나 개별적으로 3과 6 클래스에서 각각 mAP 24.7% 및 22.8%로 검출이 잘 이루어지지 않았다.

4.2 Simple fashion model verifying the reliability using Precision-Recall Curve

Fig. 8은 패션 카테고리 자동화 분류 시스템 정확도의 신뢰성을 판단하기 위해 Precision-Recall curve를 보여준다. 1에 가까울수록 결과의 신뢰성이 높다. Fig. 7에서 가장 높은 8(trousers) 클래스는 94.1에 달하고, 이는 Table 6에서 클래스 8의 높은 식별 결과와 동일하다. 게다가, 모든 클래스의 평균 신뢰성은 68.4에 도달했다.

CPTSCQ_2024_v29n1_31_f0008.png 이미지

Fig. 8. Precision-Recall Curve

4.3 Fashion category automation classification results based on ResNet50 fashion model

Table 7은 ResNet50에 대한 모델 성능 결과를 보여준다. 이에 따르면, 평균 Precision, Recall, 및 mAP50에서 각각 75.4, 73.7, 79.3%의 결과를 보인다. 본 결과는 Table 6과 비교했을 때 5~10% 높은 향상을 보여준다. 특히, 1과 8의 상품이 97.5%의 mAP를 보이며, 6 클래스에서 가장 낮은 mAP를 얻었다. 전반적으로 기본 모델보다 최대·최소값 3.4±33.4%까지 높은 향상을 보였는데, 이는 오버 샘플링에 의해 데이터 수가 증가했기 때문으로 추정한다.

Table 7. Evaluation metric by Fashion categories

CPTSCQ_2024_v29n1_31_t0006.png 이미지

V. Discussion

5.1 Improved accuracy of the proposed model

본 연구는 DeepFashion2 데이터를 기반으로 최고 mPA의 경우, 95.2%를 보여주었다. 이 결과에 대해 유사한 조건의 사전연구와 비교했을 때[16], 본 모델에서 향상된 mPA를 보여주는 것으로 나타났다. Table 8은 mPA 결과를 비교한 내용이다. 이것은 본 모델이 사전 연구와 비교했을 때 최대 31%까지 정확도가 우수함을 알 수 있다.

Table 8. Comparision of trousers mPA results

CPTSCQ_2024_v29n1_31_t0008.png 이미지

특히, Table 6과 같이 기본 CNN 모델과 비교했을 때 3과 6 클래스에서 각각 mAP 24.7% 및 22.8%로 검출이 잘 이루어지지 않았는데, 본 연구에서 제안한 ResNet50 모델에서 65.7%, 56.2%를 나타내면서 각각 38% 및 33.4% 향상된 결과를 보여준다. 이러한 결과는 오버샘플링 기법을 사용하여 기존 데이터에서 1,000개 이상의 데이터 수를 증폭한 결과로 추측한다. 게다가, 백본 ResNet50에 맞는 데이터 크기 변환을 통해 데이터 품질을 높였기 때문일 것으로 기대한다.

5.2 Applicability in the fashion industry

트렌드 예측은 패션 산업에서 도전적이고 중요한 과제다[17]. 자동 패션 카테고리 감지 시스템은 새로운 패션 트렌드나 이전에 소비자들에게 각광받지 못해 두드러지지 않았던 제품 카테고리를 식별하는데 도움이 될 수 있다. 이는 패션 산업이나 특정 패션 플랫폼에서 소비자 주도의 패션 흐름을 이해하는데 도움을 줄 수 있다. 다양한 연구자들은 패션 트렌드 예측을 위해 다양한 접근 방식을 채택해왔다[18]. 특히 기존 연구들은 데이터셋 확대와 기계학습 기법을 적용하지 못한 한계점을 가지고 있었다. 본 연구는 이러한 한계점을 극복했을 뿐만 아니라 이미지 기반 카테고리 분류를 통한 솔루션을 제시하고 있어 현재 패션 플랫폼에 적용할 수 있는 가장 효율적인 방법이라 할 수 있다.

또한, 다국어를 지원하거나 다양한 나라의 개인 판매자들이 이용하는 패션 플랫폼의 경우 이미지를 기반으로 카테고리를 구분하여 제품을 등록할 수 있다면, 사용자가 쉽게 제품을 등록할 수 있을 것이다.

VI. Conclusions

패션 플랫폼 영역에서 개별 사업자가 상품정보를 수동으로 등록하는 것은 판매자로 하여금 불편함을 느껴 플랫폼 사용을 저하시킬 수 있고, 다수의 상품군을 동시에 등록할 때, 발생할 수 있는 실수로 신뢰성 문제가 야기될 수 있다. 특히, 제품 이미지의 저품질 문제는 상당히 누적되어왔다. 본 연구는 ResNet50 과 YOLOv8 알고리즘을 활용하여 이미지를 분류할 수 있는 자동 패션 카테고리 감지 시스템을 고안, 이러한 문제를 해결하고자 했다. 기본 CNN 모델인 BottleneckCSPNet을 사용한 비교 분석에서 mPA 결과가 3.4%로 눈에 띄게 향상되었다. 이러한 개선은 클래스 8에서 특히 두드러지며, 본 연구에서 가장 높은 차별성을 보여준다. 전체적으로 정확도가 향상되었을 뿐만 아니라 특히 식별 정확도가 가장 낮은 클래스에서 33.4%의 놀라운 향상을 보였다.

본 연구에서 검증된 자동 패션 카테고리 감지 시스템을 활용하면, 첫번째로 개인 판매자에게 편리성을 제공할 수 있다. 개인 판매자가 상품 목록을 신속하고 정확하게 등록할 수 있기 때문이다. 결과적으로 패션 플랫폼이 개인 판매자에게 편리한 시스템을 제공하는 것이기 때문에 플랫폼과 개인 판매자 사이의 지속적인 관계를 유지할 수 있다. 두번째로 패션 플랫폼은 개인 판매자가 등록하는 상품을 체계적으로 관리할 수 있다. 즉, 플랫폼 자체의 운영 효율성을 증대시키는 것이 가능하다. 마지막으로 소비자는 원하는 제품을 조금 더 정확한 카테고리 분류를 통해 효율적으로 구매할 수 있다. 기술의 발전으로 인해 새로운 패션 플랫폼은 끊임없이 등장하고 있다. 소비자들은 의류를 검색하면서 몇 시간을 보내고 싶어 하지 않고 패션 플랫폼은 고객이 원하는 옷을 쉽게 찾을 수 있도록 해야 한다. 정확한 카테고리 분류는 상품 검색을 용이하게 만들어 소비자의 경험을 개선시키고 이는 매출 증대로까지 이어질 수 있다. 본 연구에서 제안한 오버샘플링 데이터 생성 접근 방식은 패션 카테고리 분류를 위한 전이학습과 결합되어 역동적인 패션 산업에서 개인 판매자, 소비자 및 플랫폼 운영자에게 귀중한 지원을 제공할 수 있는 잠재력을 가지고 있음을 시사한다. 현재 시스템은 13개의 패션 카테고리만 감지하지만 향후 연구에서는 다양한 패션 카테고리를 포함하도록 데이터셋을 확장하고, 더 나아가 성별 및 색상, 소비자의 니즈와 신제품 등을 반영한 카테고리 세분화를 통해 소비자가 원하는 제품을 찾을 수 있도록 패션 제품 카테고리를 분류하기 위한 모니터링 시스템을 개발하는 데 활용될 예정이다.

ACKNOWLEDGEMENT

This work was supported in part by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2023S1A5A8076043) and in part by the Korea Agency for Infrastructure Technology Advancement (KAIA) grant funded by the Ministry of Land,Infrastructure and Transport (Grant 20LTSM-B156015-01).

References

  1. Sen Bin, Haejung Yum, "Home Fashion in the COVID-19 Era Identified through Big Data Analysis." Journal of the Korean Society of Costume, Vol. 72, No. 5, pp. 92-108, October 2022. DOI: https://doi.org/10.7233/jksc.2022.72.5.092
  2. Agrawal, Durgesh Kumar, "Increasing digital dissemination and online apparel shopping behaviour of Generation Y." Journal of Fashion Marketing and Management, Vol. ahead-of-print, No. ahead-of-print, April 2023. DOI: 10.1108/JFMM-03-2022-0072
  3. Koch, J., Frommeyer, B., and Schewe, G., "Online shopping motives during the COVID-19 pandemic-lessons from the crisis." Sustainability, Vol. 12, No. 24, pp. 10247. December 2020. DOI: https://doi.org/10.3390/su122410247
  4. Ahn, Seolhee, The size of the Korean fashion market in 2023 has been trending for five years, URL. https://m.fashionbiz.co.kr:6001/index.asp?idx=203429
  5. Jo, Junghee, KRW 45.7787 trillion in the domestic fashion market in 2022, URL. https://www.itnk.co.kr/news/articleView.html?idxno=70484
  6. L. Kessous et al., "Multimodal emotion recognition in speech-based interaction using facial expression, body gesture and acoustic analysis," J. Multimodal User Interfaces, Vol. 3, No. 1-2, pp. 33-48, March 2010. DOI: 10.1007/s12193-009-0025-5
  7. Kim, Jinhee, Musinsa tops visitors to online fashion malls in Korea, URL. https://www.news1.kr/articles/?5088866
  8. Kim, Kyung-han, Apier Announces Successful Cases of online fashion platform 'Mushinsa' App, URR. https://www.epnc.co.kr/news/articleView.html?idxno=114146
  9. Orrin, It shakes the market of NAVER, Shopify, and e-commerce with stable growth through exposure to 'store' rather than 'product'. URL. https://dbr.donga.com/article/view/1202/article_no/9867
  10. CAFE24, Musinsa, URL. https://serviceguide.cafe24.com/ko_KR/MT.BA.TM.LR.MA.html
  11. CAFE 24, Frequently asked questions regarding Naver Shopping's entry and return, URL. https://support.cafe24.com/hc/ko/articles/17455706914201
  12. Liu, Z., Luo, P., Qiu, S., Wang, X., and Tang, X., "Deepfashion: Powering robust clothes recognition and retrieval with rich annotations." In Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), pp. 1096-1104, June 2016. DOI: 10.1109/CVPR.2016.124
  13. Ge, Y., Zhang, R., Wang, X., Tang, X., and Luo, P., "Deepfashion2: A versatile benchmark for detection, pose estimation, segmentation and re-identification of clothing images." In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 5337-5345, 2019.
  14. Kim, I., Kang, Y. S., and Lee, K. C., "Metadata Design and Machine Learning-Based Automatic Indexing for Efficient Data Management of Image Archives of Local Governments in South Korea." Journal of Korean Society of Archives and Records Management, Vol. 20, No. 2, pp., 67-83. May 2020. DOI: https://doi.org/10.14404/JKSARM.2020.20.2.067
  15. Switchablenorms, DeepFashion2, URL. https://github.com/switchablenorms/DeepFashion2
  16. MAJURAN, Shajini, RAMANAN, Amirthalingam. "A single-stage fashion clothing detection using multilevel visual attention." The Visual Computer, Vol. 39, pp. 6609-6623, December 2022. DOI: https://doi.org/10.1007/s00371-022-02751-4
  17. Zhao, L., Li, M., and Sun, P., "Neo-fashion: A data-driven fashion trend forecasting system using catwalk analysis." Clothing and Textiles Research Journal, Vol. 42, No. 1. 2021. DOI: https://doi.org/10.1177/0887302X211004299
  18. Chakraborty, S., Hoque, S. A., and Kabir, S. F., "Predicting fashion trend using runway images: application of logistic regression in trend forecasting." International Journal of Fashion Design, Technology and Education, Vol. 13, No. 3. pp. 376-386. 2020. DOI: https://doi.org/10.1080/17543266.2020.1829096