• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.10
• /
• pp.409-418
• /
• 2022

In this paper, we propose SAAnnot-C3Pap, a semi-automatic annotation method for obtaining ground truth of a player's posture. In order to obtain ground truth about the two-dimensional joint position in the existing music domain, openpose, a two-dimensional posture estimation method, was used or manually labeled. However, automatic annotation methods such as the existing openpose have the disadvantages of showing inaccurate results even though they are fast. Therefore, this paper proposes SAAnnot-C3Pap, a semi-automated annotation method that is a compromise between the two. The proposed approach consists of three main steps: extracting postures using openpose, correcting the parts with errors among the extracted parts using supervisely, and then analyzing the results of openpose and supervisely. Perform the synchronization process. Through the proposed method, it was possible to correct the incorrect 2D joint position detection result that occurred in the openpose, solve the problem of detecting two or more people, and obtain the ground truth in the playing posture. In the experiment, we compare and analyze the results of the semi-automated annotation method openpose and the SAAnnot-C3Pap proposed in this paper. As a result of comparison, the proposed method showed improvement of posture information incorrectly collected through openpose.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.187-188
• /
• 2021

본 논문에서는 Openpose의 신뢰도를 이용해 3D pose estimation의 정확도를 높이는 방법을 제안한다. 모델의 앞뒤양옆 네 방향에서 pose estimation의 진행하기 위해 3D 모델에 AABB(Axis Aligned Bound Box)를 생성한 다음, box의 네 옆면으로 모델을 투영시킨다. 각 면에 투사된 2D image에 대해 Openpose 2D pose estimation의 진행한다. 네 면에서 생성한 2D 스켈레톤들의 평균을 통해 3D 상의 교차점을 획득한다. Openpose에서 제공하는 신뢰도(confidence)를 이용하여 잘못 나온 2D 관절을 제외하는 것으로 더 정확한 pose estimation의 수행하였다. 실험적인 방법을 통해 신뢰도 0.45 이상의 값을 가지는 joint 만을 사용해 3D 교차점을 구함으로써 3D pose estimation의 정확도를 높였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.289-290
• /
• 2020

본 논문에서는 오픈 소스인 openpose skeleton tracking 기술을 이용하여 특정 운동 동작을 영상처리 기술과 딥러닝 기술로 인체 자세에 대해서 인지와 상황 판단하여 운동 동작에 대한 인식 결과를 도출할 수 있다. 먼저 입력받은 영상을 전달받아서 딥러닝 인식 시스템를 통해 인식 결과을 추출한 뒤 비교, 분석한 후에 사전 등록된 운동 동작 명칭으로 화면에 표시하여 이용자가 정확한 동작을 취할 수 있도록 지도하는 데 활용할 수 있다. 또한, 이 기술은 행동 인식부터 얼굴 인식, 손동작 인식 등에 다양하게 활용할 수 있다.

• Journal of IKEEE
• /
• v.24 no.4
• /
• pp.1109-1116
• /
• 2020

The matching score evaluating human copying ability can be a good measure to check children's developmental stages, or sports movements like golf swing and dance, etc. It also can be used as HCI for AR, VR applications. This paper presents a method to evaluate the motion similarity between demonstrator who initiates movement and participant who follows the demonstrator action. We present a quantification method of the similarity which utilizes Euclidean L2 distance of Openpose keypoins vector similarity. The proposed method adapts DTW, thus can flexibly cope with the time delayed motions.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.05a
• /
• pp.76-77
• /
• 2022

In this paper, we propose a method to stabilize the 3D pose estimation result of a 3D volumetric data sequence by matching the pose estimation results from multi-view. Draw a circle centered on the volumetric model and project the model from the viewpoint at regular intervals. After performing Openpose 2D pose estimation on the projected 2D image, the 2D joint is matched to localize the 3D joint position. The tremor of 3D joints sequence according to the angular spacing was quantified and expressed in graphs, and the minimum conditions for stable results are suggested.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.19 no.2
• /
• pp.161-168
• /
• 2019

Recently, video equipments such as CCTV, which is spreading rapidly, is being used as a means to monitor and cope with abnormal situations in almost governments, companies, and households. However, in most cases, since recognizing the abnormal situation is carried out by the monitoring person, the immediate response is difficult and is used only for post-analysis. In this paper, we present the results of the development of video surveillance system that automatically recognizing the abnormal situations and sending such events to the smartphone immediately using the latest deep learning technology. The proposed system extracts skeletons from the human objects in real time using Openpose library and then recognizes the human behaviors automatically using deep learning technology. To this end, we reconstruct Openpose library, which developed in the Caffe framework, on Darknet framework to improve real-time processing. We also verified the performance improvement through experiments. The system to be introduced in this paper has accurate and fast behavioral recognition performance and scalability, so it is expected that it can be used for video surveillance systems for various applications.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1056-1059
• /
• 2020

최근 드론과 1인 미디어 시장의 성장으로, 영상 촬영 분야에서의 드론 산업이 활발하게 발전되고 있다. 본 논문에서는 딥러닝 기반 다중 객체 인식 기술인 Openpose를 활용하여 인물촬영을 위한 음성인식 드론 제어 시스템을 제안한다. 해당 시스템은 자연어 처리된 음성명령어를 통해 드론이 각 촬영 객체에 대한 회전, 초점변화 등 실제 영상촬영기법에 사용되는 다수의 동작을 수행할 수 있도록 한다. 최종적으로 96.2%의 정확도로 음성명령에 따라 동작을 수행하는 것을 확인할 수 있다. 이는 누구나 전문적 지식이나 경험 없이 음성만으로 쉽게 드론을 제어할 수 있을 것으로 기대된다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.361-364
• /
• 2022

본 논문에서는 스마트 기기를 사용할 시 자세가 거북목 자세인지 아닌지 판별하는 시스템을 제안한다. 거북목 증후군이란 목이 구부정하게 앞으로 나오는 자세를 오래 취해 목이 일자목으로 바뀌고 뒷목, 어깨, 허리 등에 통증이 생기는 증상을 말하며, 수술이나 약물치료보다 평소의 자세 습관을 고치는 방법이 효과적이다. 기존의 연구들은 노트북에 내장되어있는 웹캠을 이용한 CNN기반의 학습모델은 영상의 명도와 학습 데이터 등에 많은 영향을 받고 학습 데이터를 모을 때 초상권 문제로 수집이 어렵다. 본 논문에서는 이러한 문제를 예방하고자 Openpose 오픈 소스를 이용한 뼈대를 기반으로 측면에서의 앉은 자세를 한습 모델로 실시간 검증하여, 거북목 자세인지 아닌지를 효율적이고 정확하게 판별한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.

• Journal of Internet Computing and Services
• /
• v.21 no.5
• /
• pp.21-29
• /
• 2020

Accurate estimation of human pose relies on backbone method in which its role is to extract feature map. Up to dated, the method of backbone feature extraction is conducted by the plain convolutional neural networks named by CNN and the residual neural networks named by Resnet, both of which have various architectures and performances. The CNN family network such as VGG which is well-known as a multiple stacked hidden layers architecture of deep learning methods, is base and simple while Resnet which is a bottleneck layers architecture yields fewer parameters and outperform. They have achieved inspired results as a backbone network in human pose estimation. However, they were used then followed by different pose estimation networks named by pose parsing module. Therefore, in this paper, we present a comparison between the plain CNN family network (VGG) and bottleneck network (Resnet) as a backbone method in the same pose parsing module. We investigate their performances such as number of parameters, loss score, precision and recall. We experiment them in the bottom-up method of human pose estimation system by adapted the pose parsing module of openpose. Our experimental results show that the backbone method using VGG network outperforms the Resent network with fewer parameter, lower loss score and higher accuracy of precision and recall.