DOI QR코드

DOI QR Code

Visualization System for Dance Movement Feedback using MediaPipe

MediaPipe를 활용한 춤동작 피드백 시각화 시스템

  • Received : 2023.11.16
  • Accepted : 2024.02.17
  • Published : 2024.02.29

Abstract

With the rapid growth of K-POP, the dance content industry is spreading. With the recent increase in the spread of SNS, they also shoot and share their dance videos. However, it is not easy for dance beginners who are new to dancing to learn dance moves because it is difficult to receive objective feedback when dancing alone while watching videos. This paper describes a system that uses MediaPipe to compare choreography videos and dance videos of users and detect whether they are following the movement correctly. This study proposes a method of giving feedback based on Color Map to users by calculating the similarity of dance movements between user images taken with webcam or camera and choreography images using cosine similarity and COCO OKS. Through this system, objective feedback on users' dance movements can be visually received, and beginners are expected to be able to learn accurate dance movements.

K-POP의 가파른 성장세에 따라 댄스 콘텐츠 산업이 확산되는 추세이다. 최근 SNS의 보급이 증가하면서 자신의 댄스 영상을 촬영하고 공유하기도 한다. 그러나 춤을 처음 접하는 댄스 초보자들은 동영상을 보며 혼자서 춤을 출 때, 객관적인 피드백을 받기 어려워 춤동작을 습득하기 쉽지 않다. 본 논문에서는 MediaPipe를 활용하여 안무 영상과 사용자의 춤 영상을 비교하고 올바르게 동작을 따라 하고 있는지 검출해 주는 시스템에 대해 기술한다. 본 연구에서는 웹캠이나 카메라로 촬영한 사용자 영상과 안무 영상 간의 춤동작 유사도를 코사인 유사도와 COCO OKS를 활용해 계산하여 사용자에게 색상 지표(Color Map)를 기반으로 한 피드백을 주는 방식을 제안한다. 본 시스템을 통해 사용자의 춤동작에 대한 객관적인 피드백을 시각적으로 받을 수 있으며 초보자들도 정확한 춤동작을 습득할 수 있을 것으로 기대한다.

Keywords

Acknowledgement

이 논문은 2023년도 동서대학교"Dongseo Cluster Project"지원에 의하여 이루어진 것임(DSU-20230005)

References

  1. S. Kim, "Announcement of the results of the 2021 Content Industry Survey," Ministry of Culture, Sports and Tourism Press Release, Jan. 2023, pp. 1-3.
  2. H. Son, H. Kim, and S. Kim, "Development of Technique on Correcting Golf Posture Based on Posture Comparison," Proc. of Korea Institue of Information Technology Conf., Cheonan, Korea, June 2019, pp. 404-407.
  3. H. Sim and J. Kim, "Development of a sign language learning assistance system using MediaPipe for sign language education of deaf-mutility", J. of the Korea Institute of Electronic Communication Sciences, vol. 16, no. 6, Dec. 2021, pp. 1355-1362.
  4. G. Kim, J. Lee, B. Choi, S. Hong, C. Yoo, and S. Kim, "MediaPipe-based Motion Analysis Service Architecture For Correcting Fitness Posture," Proc. of Korean Institute of Information Technology(KIIT) Conf., Jeju, Korea, June 2023, pp. 664-669.
  5. C. Lee and D. Lee, "Design and Implementation of Exercise Posture Correction System using Behavior Detection," The 2nd Korea Artificial Intelligence Conf., Jeju, Korea, 2021, pp. 320-321.
  6. Y. Liu, L. C. Li, J.X. Lu, M. Xu, and Y. Jeong, "Research on Human Posture Recognition System Based on The Object Detection Dataset," J. of the Korea Institute of Electronic Communication Sciences, vol. 17, no. 1, Feb. 2022, pp.111-118.
  7. R. Song, Y. Hong, and N. Kwak, "User Interface Using Hand Gesture Recognition Based on MediaPipe Hands Model," J. of Korea Multimedia Society, vol. 26, no. 2, Feb. 2023, pp. 103-115.
  8. C. Lugaresi, J. Tang, H. Nash , C. McClanahan, E. Uboweja, M. Hays, F. Zhang, C. L. Chang, M. G. Yong, J. Lee, W. T. Chang, W. Hua, M. Georg, and M. Grundmann, "MediaPipe: A Framework for Building Perception Pipelines," Computer Science, Distributed, Parallel, and Cluster Computing, June 2019, pp. 1-9.