• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.355-356
• /
• 2023

K-POP의 가파른 성장세에 따라 댄스 콘텐츠 산업이 확산되는 추세이다. 최근 SNS의 보급이 증가하면서 자신의 댄스 영상을 촬영하고 공유하기도 한다. 그러나 초보자들은 자신의 동작이 어떻게 보이는지 평가하는 데 어려움을 겪어 춤동작을 습득하기 쉽지 않다. 본 논문에서는 MediaPipe를 활용하여 안무 영상과 사용자의 춤영상을 비교하고 올바르게 동작을 따라 하고 있는지 검출해 주는 시스템에 대해 기술한다. 본 시스템을 통해 사용자의 춤동작에 대한 피드백을 받을 수 있으며 초보자들도 정확한 춤동작을 연습할 수 있을 것으로 기대한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.71-74
• /
• 2022

본 논문은 최적화알고리즘을 이용한 관절각 기반 3차원 자세 추정 기법의 정확도를 휴머노이드 로봇을 이용하여 검증하는 방법을 제안한다. 구글의 자세 추정 오픈소스 패키지인 MPP(MediaPipe Pose)로 특정자세를 취한 휴머노이드 로봇의 관절 좌표를 카메라의 픽셀 좌표로 추출한다. 추출한 픽셀 좌표를 전역최적화 방법인 uDEAS(univariate Dynamic Encoding Algorithm for Searches)를 통해 시상면과 관상면에서의 각도를 추정하고 휴머노이드 로봇의 실제 관절 각도와 비교하여 알고리즘의 정확도를 검증하는 방법을 제시한다.

• Journal of the Semiconductor & Display Technology
• /
• v.21 no.2
• /
• pp.117-122
• /
• 2022

This paper proposes a method for evaluating the work of manufacturing workers using MediaPipe as a risk factor for musculoskeletal diseases. Recently, musculoskeletal disorders (MSDs) caused by repeated working attitudes in industrial sites have emerged as one of the biggest problems in the industrial health field while increasing public interest. The Korea Occupational Safety and Health Agency presents tools such as NIOSH Lifting Equations (NIOSH), OWAS (Ovako Working-posture Analysis System), Rapid Upper Limb Assessment (RULA), and Rapid Entertainment Assessment (REBA) as ways to quantitatively calculate the risk of musculoskeletal diseases that can occur due to workers' repeated working attitudes. To compensate for these shortcomings, the system proposed in this study obtains the position of the joint by estimating the posture of the worker using the posture estimation learning model of MediaPipe. The position of the joint is calculated using inverse kinetics to obtain an angle and substitute it into the REBA equation to calculate the load level of the working posture. The calculated result was compared to the expert's image-based REBA evaluation result, and if there was a result with a large error, feedback was conducted with the expert again.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.271-272
• /
• 2023

본 논문에서는 게임 개발 플랫폼인 언리얼 엔진 4를 사용하여 동작 인식 기반 복싱 게임 콘텐츠를 개발하였다. Google 사의 미디어파이프(MediaPipe) 오픈소스를 통해 웹캠으로 플레이어의 동작을 인식하며, 미디어파이프의 Pose Landmarks를 기준으로 게임 내의 캐릭터와 매핑하여 캐릭터 동작을 제어하여 복싱 게임에 대한 동작, 자세, 반응속도 등을 연습할 수 있는 콘텐츠를 즐길 수 있다. 제안한 동작 인식 기반 게임은 MediaPipe 기술을 이용하여 자신의 동작으로 게임 캐릭터를 제어하여 더 강한 몰입감을 느낄 수 있고, 비싼 VR 기기들 없이 웹캠만 있으면 어디서든 즐길 수 있고, 다양한 콘텐츠를 싼 가격에 즐길 수 있다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.19 no.1
• /
• pp.217-224
• /
• 2024

With the rapid growth of K-POP, the dance content industry is spreading. With the recent increase in the spread of SNS, they also shoot and share their dance videos. However, it is not easy for dance beginners who are new to dancing to learn dance moves because it is difficult to receive objective feedback when dancing alone while watching videos. This paper describes a system that uses MediaPipe to compare choreography videos and dance videos of users and detect whether they are following the movement correctly. This study proposes a method of giving feedback based on Color Map to users by calculating the similarity of dance movements between user images taken with webcam or camera and choreography images using cosine similarity and COCO OKS. Through this system, objective feedback on users' dance movements can be visually received, and beginners are expected to be able to learn accurate dance movements.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.489-490
• /
• 2023

본 논문에서는 신체 영상 인식 기술을 이용한 운동 자세 교정 시스템을 제안하고 개발하였다. 구글에서 제공하는 미디어파이프 포즈(MediaPipe Pose) 오픈소스를 사용하여 웹캠으로 사용자의 운동 동작을 실시간으로 인식하여, 인식된 신체 구조의 33개의 관절 위치로 Pose Landmark를 사용하여 사용자의 운동 자세에 대한 횟수 카운트, 운동 동작의 정확도 측정을 할 수 있게 하여 혼자 운동하거나 처음 운동하는 사람들에게 운동의 접근성을 높이고, 올바른 자세로 운동을 하도록 유도할 수 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.12
• /
• pp.1770-1776
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on hand movement are used together. In this paper, we proposed a hand expression recognition method that recognizes symbols based on the trajectory of a hand movement on a virtual blackboard. In order to recognize a sign drawn by hand on a virtual blackboard, not only a method of recognizing a sign from a hand movement, but also hand pose recognition for finding the start and end of data input is also required. In this paper, MediaPipe was used to recognize hand pose, and LSTM(Long Short Term Memory), a type of recurrent neural network, was used to recognize hand gesture from time series data. To verify the effectiveness of the proposed method, it was applied to the recognition of numbers written on a virtual blackboard, and a recognition rate of about 94% was obtained.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.10
• /
• pp.1323-1329
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on the dynamic hand movement are used together. In this paper, we propose a hierarchical hand pose model based on finger position and shape for hand expression recognition. For hand pose recognition, a finger model representing the finger state and a hand pose model using the finger state are hierarchically constructed, which is based on the open source MediaPipe. The finger model is also hierarchically constructed using the bending of one finger and the touch of two fingers. The proposed model can be used for various applications of transmitting information through hands, and its usefulness was verified by applying it to number recognition in sign language. The proposed model is expected to have various applications in the user interface of computers other than sign language recognition.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.481-483
• /
• 2023

본 논문에서는 어린이통학버스 안전사고 예방을 위한 지능형 탑승객 모니터링 시스템을 개발한다. 지능형 탑승객 모니터링은 통학버스 내 설치된 카메라로 부터 촬영되는 영상을 실시간으로 분석한 후 통학버스 내 발생할 수 있는 다양한 이벤트를 운전자 또는 교사에게 적시에 통보하여 잠재적 안전사고를 지능적으로 회피할 수 있도록 지원하는 시스템을 말한다. 제안한 시스템은 Yolov4, DeepSort, MediaPipe등의 인공지능 관련 SW기술을 활용하여 영상을 분석한 후 싸움과 같은 이상행동, 정차 후 잔류 인원 발생, 하차자와 차량 간의 안전거리 확보 여부를 포함하는 3가지 이벤트를 인식한 후 운전자 또는 교사에게 알림을 제공한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.733-734
• /
• 2023

버츄얼 유튜버로서 자신의 동작을 3D 가상 캐릭터로 나타내고, SNS 에서 춤을 공유하는 경우가 많아졌다. 본 논문에서는 2D 영상에서 MediaPipe BlazePose 모델로 추정된 사람 포즈를 3D 인체 모델인 SMPL 에 피팅하여 사용자 정의 3D 모델을 생성하는 방법을 제안한다. 이를 통해 자신의 춤 영상으로 3D 모델을 생성하여 공유하거나, 기존의 춤 동영상으로 3D 모델을 생성하여 댄스 게임에 사용할 수 있다. 이처럼 본 기술은 예술 및 엔터테인먼트 분야에서 다양하게 활용될 수 있다.