증강현실(AR) 기반의 생성형 FashionNet 에 관한 연구

A Study on AR- supported Generative FashionNet

  • 유민영 (성균관대학교 전자전기컴퓨터공학과) ;
  • 유재천 (성균관대학교 전자전기컴퓨터공학과)
  • Min-Yung Yu (Dept. of Electrical Engineering and Computer Science, Sungkyunkwan University) ;
  • Jae- Chern Yoo (Dept. of Electrical Engineering and Computer Science, Sungkyunkwan University)
  • 발행 : 2024.05.23

초록

본 논문에서는 MediaPipe 라이브러리 및 OpenCV 를 활용한 포즈 추정 및 체형 인식 알고리즘을 통해 사용자의 체형과 선호도에 맞는 의류를 가상으로 입어볼 수 있는 생성형 FashionNet 을 제안한다. 구체적으로는 먼저 웹 카메라를 통해 얻어진 사용자의 외형 이미지로부터, 사용자의 신체 포즈를 추정하고, OpenCV 코드를 통해 사용자의 신체 윤곽을 검출한다. 이후 가상 옷장 데이터베이스로부터 선택된 가상 의류를 사용자의 신체 윤곽에 맞춰 입혀진 가상 피팅 이미지를 생성한다. 특히, 본 논문의 FashionNet 은 사용자와 카메라 간의 거리에 따른 인체 비율을 사전 실험으로 미리 설정해놓음으로써, 카메라와 사용자간의 거리에 관계없이 의류 사이즈가 사용자의 신체 조건에 맞게 자동으로 피팅되는 특징을 갖는다. 또한 가상 옷장 데이터베이스로부터 의류 아이템 선정의 편의를 제공하기 위해, 가상 현실 속에서 스크린상의 메뉴 버튼과 사용자의 포즈 동작간의 상호작용을 통해 FashionNet 의 다양한 기능을 수행할 수 있는 증강현실(AR) 기법을 적용하였다. 가상 옷장 데이터베이스를 사용한 다양한 가상 피팅 체험 실험을 통해 온라인상에서 자기가 원하는 의류를 가상으로 착용해 볼 수 있고 이를 통해 구매를 결정하는 등의 FashionNet 의 유효성과 가능성을 확인하였다.

키워드

참고문헌

  1. Fortune Business Insights, Virtual Fitting Room (VFR) Market Growth and Global Report [2030]. Fortune Business Insights, 2023, . https://www.fortunebusinessinsights.com/industry-reports/virtual-fitting-room-vfr-market-100322
  2. N. Boyko, O. Basystiuk, Shakhovska, "Performance Evaluation and Comparison of Software for Face Recognition, Based on Dlib and Opencv Library", in 2018 IEEE Second International Conference on Data Stream Mining & Processing (DSMP), Lviv: IEEE, 8 2018, pp 478- 482.
  3. 양희덕, "딥러닝과 제스처 인식 기술", 한국방송.미디어공학회, 방송과 미디어, 제22권, 제1호, 67-74(8 pages), 2017.
  4. 이수현, 김태은, "OpenCV와 Python을 이용한 증강현실에 관한 연구", 한국정보기술학회, 2017.
  5. 조근식, 기범근, 박용재, "OpenCV를 적용한 신체 상태 인지 시스템 기초 연구, 한국생산제조학회, 2023.
  6. 고상근, 장현수, 민정호, 이다혁, and 이수안, "딥러닝 모델 기반 가상 피팅 웹 서비스 개발", 한국정보과학회 학술발표논문집, pp. 2195-2197, 2022.
  7. 전제성, 진동민 , and 이수안, "3D 가상 피팅 딥러닝 모델과 VR 연동을 위한 웹 서비스 개발", 대한전자공학회 학술대회, pp. 2076-2079, 2022.
  8. 류준영, 머니투데이, "3등신 아바타로 패션쇼? 폰카로 나만의 가상피팅 아바타 만든다", 2022.04.10, https://news.mt.co.kr/mtview.php?no=2022040513360635091
  9. 오수경, 오정아, 박구만, "증강현실(AR)을 이용한 가상 피팅 시스템의 설계 및 구현". 한국방송미디어공학회 학술발표대회 논문집, 온라인, 2020, 375-378.
  10. https://opencv.org
  11. https://developers.google.com/mediapipe
  12. Alexander Kirillov et al, "Segment Anything", 2007, arXiv preprint, arXiv:2304.02643, 2023.
  13. 강은미, 박은주, "가상피팅을 이용한 의류제품 구매의도 영향변수에 관한 연구", 한국디자인문화학회지, 2020.