• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.1906-1907
• /
• 2011

본 논문에서는 손 영역 스켈레톤 모델을 이용한 비접촉식 스크린 입력 장치를 제안한다. 제안하는 방법은 HCbCr 컬러 모델을 생성한 후 손 후보 영역을 추출하고, 손 영역을 추출하기 위해 레이블링 기법을 사용한다. 손 이외의 피부를 제거하기 위해 손 크기 이하의 객체는 필터링을 거친 후 최종적인 손 영역을 추출한다. 손 영역의 특징점은 무게 중심법과 굴곡 기법을 이용하여 추출한다. 특징점을 연결하여 손의 스켈레톤 모델을 생성하고 각 손가락에 터치 이벤트를 부여한다. 손가락의 구부러진 각도를 이용하여 터치 동작을 인식 및 실행하게 된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.1101-1104
• /
• 2019

키넥트는 RGBD 카메라로 인체의 뼈대와 관절을 3D 공간에서 스켈레톤 데이터수집을 가능하게 해주었다. 스켈레톤 데이터를 활용한 행동 분류는 RNN, CNN 등 다양한 인공 신경망으로 접근하고 있다. 본 연구는 키넥트를 이용해서 Skeleton Joints를 수집하고, DNN 기반 스켈레톤 모델링 학습으로 행동을 분류한다. Skeleton Joints Processing 과정은 키넥트의 Depth Map 기반의 Skeleton Tracker로 25가지 Skeleton Joints 좌표를 얻고, 학습을 위한 전처리 과정으로 각 좌표를 상대좌표로 변경하고 데이터 수를 제한하며, Joint가 트래킹 되지 않은 부분에 대한 예외 처리를 수행한다. 스켈레톤 모델링 학습 과정에선 3계층의 DNN 신경망을 구축하고, softmax_cross_entropy 함수로 Skeleton Joints를 집는 모션, 내려놓는 모션, 팔짱 낀 모션, 얼굴을 가까이 가져가는 모션 해서 4가지 행동으로 분류한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.157-160
• /
• 2022

딥러닝이 각광받기 시작하면서 인간의 자세와 행동을 인식하고 분류하기 위한 인공지능 기술 또한 급속도로 발전하게 되었다. 영상에서 인간의 자세를 디지털 데이터로 표현할 때 인체의 주요 관절점의 위치와 연결관계를 나타내는 스켈레톤 표현 방식을 주로 사용한다. 본 논문에서는 스켈레톤 데이터에 비밀 메시지를 은닉할 수 있는 스테가노그라피 알고리즘에 대해 소개하고, 스켈레톤을 구성하는 주요 관절점 키포인트를 조작했을 때 행동 인식 인공지능 모델이 어떻게 반응하는지 살펴봄으로써 스켈레톤 데이터에 대한 스테가노그라피 알고리즘의 특성과 보안성에 대해 논의한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.297-299
• /
• 2020

본 논문에서는 다시점 카메라 시스템을 통해 실사기반의 3D 모델을 획득하여 모션센서와 같은 별도의 기기 없이 해당 모델에 대한 고정밀 스켈레톤 추출 기법에 대해서 제시한다. 다시점 카메라 시스템을 이용하여 생성한 3D 모델을 앞, 뒤, 좌, 우 각 위치에서의 사상 매트릭스로 사상 영상을 생성하고 딥러닝 기술을 이용하여 2D 스켈레톤을 추출한다. 그리고 사상 매트릭스의 역변환 과정을 통해 2D 스켈레톤의 삼차원 좌표를 계산하고 추가적인 후처리를 통해 고정밀 스켈레톤을 획득한다.

• Proceedings of the KIEE Conference
• /
• 2007.07a
• /
• pp.321-322
• /
• 2007

본 논문에서는 로봇과 인간의 인터액션을 위해 인간 몸의 실루엣 및 액티브 스켈레톤 추출 기법을 제안한다. 연속된 이미지 정보로 부터 얻어진 옷영역등의 정보에서 background subtraction를 이용한 adaptive fusion을 통해 추출된 인간 몸의 실루엣을 바탕으로 active contour와 가상 신체 모델인 skeleton model을 응용하여 작은 움직임에 보다 강한 active skeleton model을 이용하여 인간 몸의 특징 점 위치를 추출하는 방법을 한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2006.11a
• /
• pp.362-365
• /
• 2006

본 논문에서는 인간 로봇 상호 작용을 위해 정확한 스켈레톤 특징점을 추출하는 강인한 추출기를 설계한다. 제안된 특징점 추출기는 인간의 움직임 정보로부터 얻어진 색상, 윤곽선, 시간차 정보 및 가상 신체 모델을 이용하여 정확한 특징점 위치를 찾아낸다. 또한 특징점 추출에 소요되는 탐색 시간을 줄이기 위해 격자박스를 이용한 원형 탐색 기법을 도입하였다. 최종적으로 기법의 우수성을 확인하기 위해 다양한 동작의 특징점 추출 실험을 수행하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.

• Smart Media Journal
• /
• v.11 no.1
• /
• pp.46-57
• /
• 2022

In this paper, multi-region based Radial Graph Convolutional Network (MRGCN) algorithm which can perform end-to-end action recognition using the optical flow and gradient of input image is described. Because this method does not use information of skeleton that is difficult to acquire and complicated to estimate, it can be used in general CCTV environment in which only video camera is used. The novelty of MRGCN is that it expresses the optical flow and gradient of the input image as directional histograms and then converts it into six feature vectors to reduce the amount of computational load and uses a newly developed radial type network model to hierarchically propagate the deformation and shape change of the human body in spatio-temporal space. Another important feature is that the data input areas are arranged being overlapped each other, so that information is not spatially disconnected among input nodes. As a result of performing MRGCN's action recognition performance evaluation experiment for 30 actions, it was possible to obtain Top-1 accuracy of 84.78%, which is superior to the existing GCN-based action recognition method using skeleton data as an input.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.513-515
• /
• 2023

본 논문에서는 그리드 탐색과 트랜스포머를 사용한 그룹 행동 인식 모델을 제안한다. 추출된 여러 사람의 스켈레톤 정보를 차분 벡터, 변위 벡터, 관계 벡터로 변환하고 사람별로 묶어 이를 TimeDistributed 함수에 넣고 풀링을 한다. 이를 트랜스포머 모델의 입력으로 넣고 그룹 행동 인식 분류를 출력하였다. 논문에서 3가지 벡터를 입력으로 하여 합치고 트랜스포머 계층을 거친 모델과 3가지 벡터를 입력으로 하고 계층적으로 트랜스포머 모델을 거쳐 행동 인식 분류를 출력하는 두 가지 모델을 제안한다. 3가지 벡터를 합친 모델에서 클래스 분류 정확도는 CAD 데이터 세트 96.6%, Volleyball 데이터 세트 91.4%, 계층적 트랜스포머 모델은 CAD 데이터 세트 96.8%, Volleyball 데이터 세트 91.1%를 얻었다

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.187-188
• /
• 2021

본 논문에서는 Openpose의 신뢰도를 이용해 3D pose estimation의 정확도를 높이는 방법을 제안한다. 모델의 앞뒤양옆 네 방향에서 pose estimation의 진행하기 위해 3D 모델에 AABB(Axis Aligned Bound Box)를 생성한 다음, box의 네 옆면으로 모델을 투영시킨다. 각 면에 투사된 2D image에 대해 Openpose 2D pose estimation의 진행한다. 네 면에서 생성한 2D 스켈레톤들의 평균을 통해 3D 상의 교차점을 획득한다. Openpose에서 제공하는 신뢰도(confidence)를 이용하여 잘못 나온 2D 관절을 제외하는 것으로 더 정확한 pose estimation의 수행하였다. 실험적인 방법을 통해 신뢰도 0.45 이상의 값을 가지는 joint 만을 사용해 3D 교차점을 구함으로써 3D pose estimation의 정확도를 높였다.