• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.24 no.3
• /
• pp.147-156
• /
• 2024

This paper introduces the design of a turtle neck posture correction and prevention system for users of digital devices for a long time. The number of forward head posture patients in Korea increased by 13% from 2018 to 2021, and has not yet improved according to the latest statistics at the present time. Because of the nature of the disease, prevention is more important than treatment. Therefore, in this paper, we designed a system based on built-camera in most laptops to increase the accessiblility of the system, and utilize the features such as Pose Estimation, Face Landmarks Detection, Iris Tracking, and Depth Estimation of Google Mediapipe to prevent the need to produce artificial intelligence models and allow users to easily prevent forward head posture.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.489-490
• /
• 2023

본 논문에서는 신체 영상 인식 기술을 이용한 운동 자세 교정 시스템을 제안하고 개발하였다. 구글에서 제공하는 미디어파이프 포즈(MediaPipe Pose) 오픈소스를 사용하여 웹캠으로 사용자의 운동 동작을 실시간으로 인식하여, 인식된 신체 구조의 33개의 관절 위치로 Pose Landmark를 사용하여 사용자의 운동 자세에 대한 횟수 카운트, 운동 동작의 정확도 측정을 할 수 있게 하여 혼자 운동하거나 처음 운동하는 사람들에게 운동의 접근성을 높이고, 올바른 자세로 운동을 하도록 유도할 수 있다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.23 no.3
• /
• pp.150-159
• /
• 2022

This paper presents an implementation of detecting whether a helmet is worn and there is a fall accident through individual image analysis in real-time from extracting the image objects of several workers active in the industrial field. In order to detect image objects of workers, YOLO, a deep learning-based computer vision model, was used, and for whether a helmet is worn or not, the extracted images with 5,000 different helmet learning data images were applied. For whether a fall accident occurred, the position of the head was checked using the Pose real-time body tracking algorithm of Mediapipe, and the movement speed was calculated to determine whether the person fell. In addition, to give reliability to the result of a falling accident, a method to infer the posture of an object by obtaining the size of YOLO's bounding box was proposed and implemented. Finally, Telegram API Bot and Firebase DB server were implemented for notification service to administrators.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.10
• /
• pp.1323-1329
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on the dynamic hand movement are used together. In this paper, we propose a hierarchical hand pose model based on finger position and shape for hand expression recognition. For hand pose recognition, a finger model representing the finger state and a hand pose model using the finger state are hierarchically constructed, which is based on the open source MediaPipe. The finger model is also hierarchically constructed using the bending of one finger and the touch of two fingers. The proposed model can be used for various applications of transmitting information through hands, and its usefulness was verified by applying it to number recognition in sign language. The proposed model is expected to have various applications in the user interface of computers other than sign language recognition.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.215-217
• /
• 2021

본 논문은 3D 공간에서 사용자를 추출한 뒤, 체적 정보 분석을 통한 3D 스켈레톤(skeleton) 분석 과정을 통해 정확도 높은 다수 사용자의 위치 추적 기술에 대해 연구하였다. 이를 위하여 YOLO(You Only Look Once)를 활용하여 실시간으로 객체를 검출(Real-Time Object Detection)한 뒤 Google의 Mediapipe를 활용해 스켈레톤 추출, 스켈레톤 정규화(normalization)를 통한 스켈레톤의 크기 및 상대적 비율 계산, RGB 영상 스케일링(Scaling) 후 주요 마디 인접 영역의 RGB 색상 정보를 추출하는 방법을 통해 정확도가 개선된 높은 성능의 다중 사용자 추적 기술을 연구하였다.