• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.355-356
• /
• 2023

K-POP의 가파른 성장세에 따라 댄스 콘텐츠 산업이 확산되는 추세이다. 최근 SNS의 보급이 증가하면서 자신의 댄스 영상을 촬영하고 공유하기도 한다. 그러나 초보자들은 자신의 동작이 어떻게 보이는지 평가하는 데 어려움을 겪어 춤동작을 습득하기 쉽지 않다. 본 논문에서는 MediaPipe를 활용하여 안무 영상과 사용자의 춤영상을 비교하고 올바르게 동작을 따라 하고 있는지 검출해 주는 시스템에 대해 기술한다. 본 시스템을 통해 사용자의 춤동작에 대한 피드백을 받을 수 있으며 초보자들도 정확한 춤동작을 연습할 수 있을 것으로 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.71-74
• /
• 2022

본 논문은 최적화알고리즘을 이용한 관절각 기반 3차원 자세 추정 기법의 정확도를 휴머노이드 로봇을 이용하여 검증하는 방법을 제안한다. 구글의 자세 추정 오픈소스 패키지인 MPP(MediaPipe Pose)로 특정자세를 취한 휴머노이드 로봇의 관절 좌표를 카메라의 픽셀 좌표로 추출한다. 추출한 픽셀 좌표를 전역최적화 방법인 uDEAS(univariate Dynamic Encoding Algorithm for Searches)를 통해 시상면과 관상면에서의 각도를 추정하고 휴머노이드 로봇의 실제 관절 각도와 비교하여 알고리즘의 정확도를 검증하는 방법을 제시한다.

• 반도체디스플레이기술학회지
• /
• 제21권2호
• /
• pp.117-122
• /
• 2022

This paper proposes a method for evaluating the work of manufacturing workers using MediaPipe as a risk factor for musculoskeletal diseases. Recently, musculoskeletal disorders (MSDs) caused by repeated working attitudes in industrial sites have emerged as one of the biggest problems in the industrial health field while increasing public interest. The Korea Occupational Safety and Health Agency presents tools such as NIOSH Lifting Equations (NIOSH), OWAS (Ovako Working-posture Analysis System), Rapid Upper Limb Assessment (RULA), and Rapid Entertainment Assessment (REBA) as ways to quantitatively calculate the risk of musculoskeletal diseases that can occur due to workers' repeated working attitudes. To compensate for these shortcomings, the system proposed in this study obtains the position of the joint by estimating the posture of the worker using the posture estimation learning model of MediaPipe. The position of the joint is calculated using inverse kinetics to obtain an angle and substitute it into the REBA equation to calculate the load level of the working posture. The calculated result was compared to the expert's image-based REBA evaluation result, and if there was a result with a large error, feedback was conducted with the expert again.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.271-272
• /
• 2023

본 논문에서는 게임 개발 플랫폼인 언리얼 엔진 4를 사용하여 동작 인식 기반 복싱 게임 콘텐츠를 개발하였다. Google 사의 미디어파이프(MediaPipe) 오픈소스를 통해 웹캠으로 플레이어의 동작을 인식하며, 미디어파이프의 Pose Landmarks를 기준으로 게임 내의 캐릭터와 매핑하여 캐릭터 동작을 제어하여 복싱 게임에 대한 동작, 자세, 반응속도 등을 연습할 수 있는 콘텐츠를 즐길 수 있다. 제안한 동작 인식 기반 게임은 MediaPipe 기술을 이용하여 자신의 동작으로 게임 캐릭터를 제어하여 더 강한 몰입감을 느낄 수 있고, 비싼 VR 기기들 없이 웹캠만 있으면 어디서든 즐길 수 있고, 다양한 콘텐츠를 싼 가격에 즐길 수 있다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.217-224
• /
• 2024

K-POP의 가파른 성장세에 따라 댄스 콘텐츠 산업이 확산되는 추세이다. 최근 SNS의 보급이 증가하면서 자신의 댄스 영상을 촬영하고 공유하기도 한다. 그러나 춤을 처음 접하는 댄스 초보자들은 동영상을 보며 혼자서 춤을 출 때, 객관적인 피드백을 받기 어려워 춤동작을 습득하기 쉽지 않다. 본 논문에서는 MediaPipe를 활용하여 안무 영상과 사용자의 춤 영상을 비교하고 올바르게 동작을 따라 하고 있는지 검출해 주는 시스템에 대해 기술한다. 본 연구에서는 웹캠이나 카메라로 촬영한 사용자 영상과 안무 영상 간의 춤동작 유사도를 코사인 유사도와 COCO OKS를 활용해 계산하여 사용자에게 색상 지표(Color Map)를 기반으로 한 피드백을 주는 방식을 제안한다. 본 시스템을 통해 사용자의 춤동작에 대한 객관적인 피드백을 시각적으로 받을 수 있으며 초보자들도 정확한 춤동작을 습득할 수 있을 것으로 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.489-490
• /
• 2023

본 논문에서는 신체 영상 인식 기술을 이용한 운동 자세 교정 시스템을 제안하고 개발하였다. 구글에서 제공하는 미디어파이프 포즈(MediaPipe Pose) 오픈소스를 사용하여 웹캠으로 사용자의 운동 동작을 실시간으로 인식하여, 인식된 신체 구조의 33개의 관절 위치로 Pose Landmark를 사용하여 사용자의 운동 자세에 대한 횟수 카운트, 운동 동작의 정확도 측정을 할 수 있게 하여 혼자 운동하거나 처음 운동하는 사람들에게 운동의 접근성을 높이고, 올바른 자세로 운동을 하도록 유도할 수 있다.

• 한국정보통신학회논문지
• /
• 제25권12호
• /
• pp.1770-1776
• /
• 2021

손 표현 인식을 위해서는 손의 정적인 형태를 기반으로 하는 손 자세 인식과 손의 움직임을 기반으로 하는 손 동작 인식이 함께 사용된다. 본 논문에서는 가상의 칠판 위에서 움직이는 손의 궤적을 기반으로 기호를 인식하는 손 표현인식 방법을 제안하였다. 손으로 가상의 칠판에 그린 기호를 인식하기 위해서는 손의 움직임으로부터 기호를 인식하는 방법은 물론, 데이터 입력의 시작과 끝을 찾아내기 위한 손 자세 인식 역시 필요하다. 본 논문에서는 손 자세 인식을 위해 미디어파이프를, 시계열 데이터에서 손 동작을 인식하기 위해 순환 신경망의 한 종류인 LSTM(Long Short Term Memory)을 사용하였다. 제안하는 방법의 유효성을 보이기 위해 가상 칠판에 쓰는 숫자 인식에 제안하는 방법을 적용하였을 때 약 94%의 인식률을 얻을 수 있었다.

• 한국정보통신학회논문지
• /
• 제25권10호
• /
• pp.1323-1329
• /
• 2021

손 표현 인식을 위해서는 손의 정적인 형태를 기반으로 하는 손 자세 인식과 손의 동적인 움직임을 기반으로 하는 손 동작 인식이 함께 사용된다. 이 논문에서는 손 표현 인식을 위해 손가락의 위치와 형태를 기반으로 하는 계층적 손 자세 모델을 제안한다. 손 자세 인식을 위해서는 오픈소스인 미디어파이프를 기반으로 하고, 손가락 상태를 나타내는 모델과 이를 통해 손 자세를 나타내는 모델을 계층적으로 구성하였다. 손가락 모델 역시 손가락 하나의 굽힘과 손가락 두 개의 닿음을 사용하여 계층적으로 구성하였다. 제안하는 모델은 손을 통해 정보를 전달하는 다양한 응용에 사용할 수 있으며, 수화에서의 숫자 인식에 적용하여 그 유용성을 검증하였다. 제안하는 모델은 수화 인식 이외에 컴퓨터의 사용자 인터페이스에서 다양한 응용이 가능할 것으로 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.481-483
• /
• 2023

본 논문에서는 어린이통학버스 안전사고 예방을 위한 지능형 탑승객 모니터링 시스템을 개발한다. 지능형 탑승객 모니터링은 통학버스 내 설치된 카메라로 부터 촬영되는 영상을 실시간으로 분석한 후 통학버스 내 발생할 수 있는 다양한 이벤트를 운전자 또는 교사에게 적시에 통보하여 잠재적 안전사고를 지능적으로 회피할 수 있도록 지원하는 시스템을 말한다. 제안한 시스템은 Yolov4, DeepSort, MediaPipe등의 인공지능 관련 SW기술을 활용하여 영상을 분석한 후 싸움과 같은 이상행동, 정차 후 잔류 인원 발생, 하차자와 차량 간의 안전거리 확보 여부를 포함하는 3가지 이벤트를 인식한 후 운전자 또는 교사에게 알림을 제공한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.733-734
• /
• 2023

버츄얼 유튜버로서 자신의 동작을 3D 가상 캐릭터로 나타내고, SNS 에서 춤을 공유하는 경우가 많아졌다. 본 논문에서는 2D 영상에서 MediaPipe BlazePose 모델로 추정된 사람 포즈를 3D 인체 모델인 SMPL 에 피팅하여 사용자 정의 3D 모델을 생성하는 방법을 제안한다. 이를 통해 자신의 춤 영상으로 3D 모델을 생성하여 공유하거나, 기존의 춤 동영상으로 3D 모델을 생성하여 댄스 게임에 사용할 수 있다. 이처럼 본 기술은 예술 및 엔터테인먼트 분야에서 다양하게 활용될 수 있다.