• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권10호
• /
• pp.409-418
• /
• 2022

본 논문에서는 연주자 자세의 그라운드 트루스 획득을 위한 반자동 주석 방법인 SAAnnot-C3Pap를 제안한다. 기존 음악 도메인에서 2차원 관절 위치에 대한 그라운드 트루스를 획득하기 위하여 2차원 자세 추정 방법인 오픈포즈를 활용하거나 수작업으로 라벨링 하였다. 하지만 기존의 오픈포즈와 같은 자동 주석 방법은 빠르지만 부정확한 결과를 보인다는 단점이 있고, 사용자가 직접 주석을 생성하는 수작업 주석화의 경우 많은 노동력이 필요하다는 한계점이 있다. 따라서 본 논문에서는 그 둘의 절충 방안인 반자동 주석화 방법인 SAAnnot-C3Pap을 제안한다. 제안하는 SAAnnot-C3Pap은 크게 3가지 과정으로 오픈포즈를 사용하여 자세를 추출하고, 추출된 부분 중 오류가 있는 부분을 슈퍼바이즐리를 사용하여 수정한 뒤, 오픈포즈와 슈퍼바이즐리의 결과값을 동기화하는 과정을 수행한다. 제안하는 방법을 통하여 오픈포즈에서 발생하는 잘못된 2차원 관절 위치 검출 결과를 교정할 수 있었고, 2명 이상의 사람을 검출하는 문제를 해결하였으며, 연주 자세 그라운드 트루스 획득이 가능하였다. 실험에서는 반자동 주석 방법인 오픈포즈와 본 논문에서 제안하는 SAAnnot-C3Pap의 결과를 비교·분석한다. 비교 결과, 제안하는 SAAnnot-C3Pap는 오픈포즈로 잘못 수집된 자세 정보를 개선한 결과를 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.187-188
• /
• 2021

본 논문에서는 Openpose의 신뢰도를 이용해 3D pose estimation의 정확도를 높이는 방법을 제안한다. 모델의 앞뒤양옆 네 방향에서 pose estimation의 진행하기 위해 3D 모델에 AABB(Axis Aligned Bound Box)를 생성한 다음, box의 네 옆면으로 모델을 투영시킨다. 각 면에 투사된 2D image에 대해 Openpose 2D pose estimation의 진행한다. 네 면에서 생성한 2D 스켈레톤들의 평균을 통해 3D 상의 교차점을 획득한다. Openpose에서 제공하는 신뢰도(confidence)를 이용하여 잘못 나온 2D 관절을 제외하는 것으로 더 정확한 pose estimation의 수행하였다. 실험적인 방법을 통해 신뢰도 0.45 이상의 값을 가지는 joint 만을 사용해 3D 교차점을 구함으로써 3D pose estimation의 정확도를 높였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
• /
• pp.289-290
• /
• 2020

본 논문에서는 오픈 소스인 openpose skeleton tracking 기술을 이용하여 특정 운동 동작을 영상처리 기술과 딥러닝 기술로 인체 자세에 대해서 인지와 상황 판단하여 운동 동작에 대한 인식 결과를 도출할 수 있다. 먼저 입력받은 영상을 전달받아서 딥러닝 인식 시스템를 통해 인식 결과을 추출한 뒤 비교, 분석한 후에 사전 등록된 운동 동작 명칭으로 화면에 표시하여 이용자가 정확한 동작을 취할 수 있도록 지도하는 데 활용할 수 있다. 또한, 이 기술은 행동 인식부터 얼굴 인식, 손동작 인식 등에 다양하게 활용할 수 있다.

• 전기전자학회논문지
• /
• 제24권4호
• /
• pp.1109-1116
• /
• 2020

사람이 따라 하는 능력을 평가하는 스코어는 아동의 발달 단계 혹은 골프, 무용 동작 등을 점검하는 좋은 수단이 될 수 있다. 또한, 이는 AR, VR 응용에서 HCI로도 활용될 수 있다. 본 논문에서는 동작을 주도해서 수행하는 시범자와 그 동작을 따라 하는 참여자 간의 동작 유사도를 평가하는 방안을 제시하고, 여기서 우리는 Openpose의 키포인트 벡터 유사도의 유클리디안 L2 거리를 활용하는 동작 유사도를 제안한다. 제안된 기법은 DTW를 사용하기 때문에 시간 지연차가 있는 동작에 유연하게 대처할 수 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.76-77
• /
• 2022

본 논문에서는 다시점에서의 자세 추정 결과를 정합하여 3D 볼류메트릭 데이터 시퀀스의 3D 자세 추정 결과의 떨림을 줄이는 방법을 제안한다. 볼류메트릭 모델을 중심으로 원을 그리며 일정 각도 간격의 시점에서 본 모델을 평면에 투사한다. 투영하여 얻은 2D 영상에 대해 Openpose를 이용하여 2D 자세 추정을 진행한 뒤, 2D 관절 정보를 정합하여 3D 관절 위치를 국한한다. 각도 간격에 따라 다른 3D 관절의 떨림의 정도를 수치화하여 표로 나타내고, 안정적인 결과를 위한 최소 조건을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제19권2호
• /
• pp.161-168
• /
• 2019

최근에 빠르게 확산되고 있는 CCTV와 같은 영상기기들은 거의 모든 공공기관, 기업, 가정 등에서 비정상적인 상황을 감시하고 대처하기 위한 수단으로 활용되고 있다. 그러나 대부분의 경우 이상상황에 대한 인식은 모니터링하고 있는 사람에 의해 수동적으로 이루어지고 있어 즉각적인 대처가 미흡하며 사후 분석용으로만 활용되고 있다. 본 논문에서는 최신 딥러닝 기술과 실시간 전송기술을 활용하여 이벤트 발생시 스마트폰으로 이상 상황을 동영상과 함께 실시간으로 전송하는 동영상 감시 시스템의 개발 결과를 제시한다. 개발된 시스템은 오픈포즈 라이브러리를 이용하여 실시간으로 동영상으로 부터 인간 객체를 스켈레톤으로 모델링한 후, 딥러닝 기술을 이용하여 인간의 행동을 자동으로 인식하도록 구현하였다. 이를 위해 Caffe 프레임워크를 개발된 오픈포즈 라이브러리를 다크넷 기반으로 재구축하여 실시간 처리 능력을 대폭 향상 시켰으며, 실험을 통해 성능을 검증하였다. 본 논문에서 소개할 시스템은 정확하고 빠른 행동인식 성능과 확장성을 갖추고 있어 다양한 용도의 동영상 감시 시스템에 활용될 수 있을 것으로 기대된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.1056-1059
• /
• 2020

최근 드론과 1인 미디어 시장의 성장으로, 영상 촬영 분야에서의 드론 산업이 활발하게 발전되고 있다. 본 논문에서는 딥러닝 기반 다중 객체 인식 기술인 Openpose를 활용하여 인물촬영을 위한 음성인식 드론 제어 시스템을 제안한다. 해당 시스템은 자연어 처리된 음성명령어를 통해 드론이 각 촬영 객체에 대한 회전, 초점변화 등 실제 영상촬영기법에 사용되는 다수의 동작을 수행할 수 있도록 한다. 최종적으로 96.2%의 정확도로 음성명령에 따라 동작을 수행하는 것을 확인할 수 있다. 이는 누구나 전문적 지식이나 경험 없이 음성만으로 쉽게 드론을 제어할 수 있을 것으로 기대된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
• /
• pp.361-364
• /
• 2022

본 논문에서는 스마트 기기를 사용할 시 자세가 거북목 자세인지 아닌지 판별하는 시스템을 제안한다. 거북목 증후군이란 목이 구부정하게 앞으로 나오는 자세를 오래 취해 목이 일자목으로 바뀌고 뒷목, 어깨, 허리 등에 통증이 생기는 증상을 말하며, 수술이나 약물치료보다 평소의 자세 습관을 고치는 방법이 효과적이다. 기존의 연구들은 노트북에 내장되어있는 웹캠을 이용한 CNN기반의 학습모델은 영상의 명도와 학습 데이터 등에 많은 영향을 받고 학습 데이터를 모을 때 초상권 문제로 수집이 어렵다. 본 논문에서는 이러한 문제를 예방하고자 Openpose 오픈 소스를 이용한 뼈대를 기반으로 측면에서의 앉은 자세를 한습 모델로 실시간 검증하여, 거북목 자세인지 아닌지를 효율적이고 정확하게 판별한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.

• 인터넷정보학회논문지
• /
• 제21권5호
• /
• pp.21-29
• /
• 2020

Accurate estimation of human pose relies on backbone method in which its role is to extract feature map. Up to dated, the method of backbone feature extraction is conducted by the plain convolutional neural networks named by CNN and the residual neural networks named by Resnet, both of which have various architectures and performances. The CNN family network such as VGG which is well-known as a multiple stacked hidden layers architecture of deep learning methods, is base and simple while Resnet which is a bottleneck layers architecture yields fewer parameters and outperform. They have achieved inspired results as a backbone network in human pose estimation. However, they were used then followed by different pose estimation networks named by pose parsing module. Therefore, in this paper, we present a comparison between the plain CNN family network (VGG) and bottleneck network (Resnet) as a backbone method in the same pose parsing module. We investigate their performances such as number of parameters, loss score, precision and recall. We experiment them in the bottom-up method of human pose estimation system by adapted the pose parsing module of openpose. Our experimental results show that the backbone method using VGG network outperforms the Resent network with fewer parameter, lower loss score and higher accuracy of precision and recall.