• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권8호
• /
• pp.3136-3150
• /
• 2015

A vision-based 3D tracking of articulated human hand is one of the major issues in the applications of human computer interactions and understanding the control of robot hand. This paper presents an improved approach for tracking and recovering the 3D position and orientation of a human hand using the Kinect sensor. The basic idea of the proposed method is to solve an optimization problem that minimizes the discrepancy in 3D shape between an actual hand observed by Kinect and a hypothesized 3D hand model. Since each of the 3D hand pose has 23 degrees of freedom, the hand articulation tracking needs computational excessive burden in minimizing the 3D shape discrepancy between an observed hand and a 3D hand model. For this, we first created a 3D hand model which represents the hand with 17 different parts. Secondly, Random Forest classifier was trained on the synthetic depth images generated by animating the developed 3D hand model, which was then used for Haar-like feature-based classification rather than performing per-pixel classification. Classification results were used for estimating the joint positions for the hand skeleton. Through the experiment, we were able to prove that the proposed method showed improvement rates in hand part recognition and a performance of 20-30 fps. The results confirmed its practical use in classifying hand area and successfully tracked and recovered the 3D hand pose in a real time fashion.

• 제어로봇시스템학회논문지
• /
• 제21권4호
• /
• pp.367-371
• /
• 2015

In this paper, a novel localization method for a monocular camera is proposed by using a feature-based probabilistic map. The localization of a camera is generally estimated from 3D-to-2D correspondences between a 3D map and an image plane through the PnP algorithm. In the computer vision communities, an accurate 3D map is generated by optimization using a large number of image dataset for camera pose estimation. In robotics communities, a camera pose is estimated by probabilistic approaches with lack of feature. Thus, it needs an extra system because the camera system cannot estimate a full state of the robot pose. Therefore, we propose an accurate localization method for a monocular camera using a probabilistic approach in the case of an insufficient image dataset without any extra system. In our system, features from a probabilistic map are projected into an image plane using linear approximation. By minimizing Mahalanobis distance between the projected features from the probabilistic map and extracted features from a query image, the accurate pose of the monocular camera is estimated from an initial pose obtained by the PnP algorithm. The proposed algorithm is demonstrated through simulations in a 3D space.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권2호
• /
• pp.800-816
• /
• 2018

In recent years, video surveillance research has been able to recognize various behaviors of pedestrians and analyze the overall situation of objects by combining image analysis technology and deep learning method. Human Activity Recognition (HAR), which is important issue in video surveillance research, is a field to detect abnormal behavior of pedestrians in CCTV environment. In order to recognize human behavior, it is necessary to detect the human in the image and to estimate the pose from the detected human. In this paper, we propose a novel approach for 2D Human Pose Estimation based on object detection using RGB-D information. By adding depth information to the RGB information that has some limitation in detecting object due to lack of topological information, we can improve the detecting accuracy. Subsequently, the rescaled region of the detected object is applied to ConVol.utional Pose Machines (CPM) which is a sequential prediction structure based on ConVol.utional Neural Network. We utilize CPM to generate belief maps to predict the positions of keypoint representing human body parts and to estimate human pose by detecting 14 key body points. From the experimental results, we can prove that the proposed method detects target objects robustly in occlusion. It is also possible to perform 2D human pose estimation by providing an accurately detected region as an input of the CPM. As for the future work, we will estimate the 3D human pose by mapping the 2D coordinate information on the body part onto the 3D space. Consequently, we can provide useful human behavior information in the research of HAR.

• 대한기계학회논문집A
• /
• 제23권11호
• /
• pp.1929-1939
• /
• 1999

This paper presents a neural network approach, which was named PRONET, to 3D object recognition and pose calculation. 3D objects are represented using a set of centroidal profile patterns that describe the boundary of the 2D views taken from evenly distributed view points. PRONET consists of the training stage and the execution stage. In the training stage, a three-layer feed-forward neural network is trained with the centroidal profile patterns using an error back-propagation method. In the execution stage, by matching a centroidal profile pattern of the given image with the best fitting centroidal profile pattern using the neural network, the identity and approximate orientation of the real object, such as a workpiece in arbitrary pose, are obtained. In the matching procedure, line-to-line correspondence between image features and 3D CAD features are also obtained. An iterative model posing method then calculates the more exact pose of the object based on initial orientation and correspondence.

• 제어로봇시스템학회논문지
• /
• 제14권2호
• /
• pp.133-140
• /
• 2008

In this paper, a small and effective attitude estimation system for a humanoid robot was developed. Four small inertial sensors were packed and used for inertial measurements(3D accelerometer and three 1D gyroscopes.) An effective 3D pose estimation algorithm for low cost DSP using an extended Kalman filter was developed and evaluated. The 3D pose estimation algorithm has a very simple structure composed by 3 modules of a linear acceleration estimator, an external acceleration detector and an pseudo-accelerometer output estimator. The algorithm also has an effective switching structure based on probability and simple feedback loop for the extended Kalman filter. A special test equipment using linear motor for the testing of the 3D pose sensor was developed and the experimental results showed its very fast convergence to real values and effective responses. Popular DSP of TMS320F2812 was used to calculate robot's 3D attitude and translated acceleration, and the whole system were packed in a small size for humanoids robots. The output of the 3D sensors(pitch, roll, 3D linear acceleration, and 3D angular rate) can be transmitted to a humanoid robot at 200Hz frequency.

• 한국정보통신학회논문지
• /
• 제14권2호
• /
• pp.469-478
• /
• 2010

본 논문은 3차원 발 자세를 추정하기 위한 효과적 형상 기술자를 제안하였다. 처리 시간을 단축시키기 위하여 특수 제작된 3차원 발 모형을 2차원 투영하여 발 형상 데이터베이스를 구축하고, 3차원 자세 요약정보를 메타 정보로 추가한 2.5차원 영상 데이터베이스를 구성하였다. 그리고 특징 공간 크기가 작고 다른 형상 기술자에 비하여 자세 추정 성능이 뛰어난 수정된 Centroid Contour Distance를 제안하였다. 제안된 기술자의 성능을 분석하기 위하여, 검색 정확도와 시공간 복잡도를 계산하고 기존의 방식들과 비교하였다. 실험 결과를 통하여 제안된 기술자는 특징 추출 시간과 자세 추정 정확도면에서 기존의 방식들보다 효과적인 것으로 나타났다.

• 전자공학회논문지
• /
• 제52권12호
• /
• pp.77-86
• /
• 2015

LIDAR를 이용해서 얻은 3차원 점군 데이터는 작은 물체를 추출하기에는 오차의 영향이 크기 때문에 작은 밸브를 자동으로 추출하는데 많은 어려움이 있다. 본 논문에서는 이러한 잡음이 있는 3차원 점군 데이터 사이에서 밸브의 위치 및 방향(Pose)의 정보를 얻는 방법을 제안한다. Pose를 얻기 위해서 밸브가 원환체 모양의 손잡이, 원통 모양의 Rib, 평면 모양의 중심축 평면인 기본 도형으로 이루어진 모델이라고 가정한다. 그리고 밸브의 중심 좌표에 대한 추가적인 입력을 받아서 밸브의 Pose를 추출한다. 중심점을 기준으로 거리에 따른 히스토그램을 생성하고, 히스토그램의 값에 따라 손잡이, Rib, 중심축 평면의 파라미터를 통계적인 방법으로 추출하여 최종 밸브의 Pose를 추출한다. 추출된 밸브의 Pose를 이용하여 3차원 점군 데이터에 밸브의 모형을 각 모양으로 복원한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.1033-1034
• /
• 2008

To solve Pose-variation problem in 3D, we propose an iterative 3D head pose normalization method using 2D and 3D interaction. The proposed method uses 2D information with the AAM(Active Appearance Model) and 3D information with a 3D normal vector.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권10호
• /
• pp.419-426
• /
• 2022

본 논문에서는 다양한 운동 모션에서 3차원 사람 자세 추정 모델의 정확도를 향상하는 방법을 제안한다. 기존의 사람 자세 추정 모델은 사람의 자세를 추정할 때 좌표 오차를 유발하는 흔들림, 반전, 교환, 오검출 등의 문제가 발생한다. 이러한 문제는 사람 자세 추정 모델의 정확한 자세 추정을 어렵게 한다. 이를 해결하기 위해 본 논문에서는 딥러닝 기반 이상치 검출 및 보정 방법을 제안한다. 딥러닝 기반의 이상치 검출 방법은 여러 모션에서 좌표의 이상치를 효과적으로 검출하고, 모션의 특징을 활용한 규칙 기반 보정 방법을 통해 이상치를 보정한다. 다양한 실험과 분석을 통하여 제안하는 방법이 골프 스윙 모션과 다양한 운동 모션에서도 사람의 자세를 정확히 추정할 수 있고, 3차원 좌표 데이터에서도 확장 가능함을 보인다.

• 대한전자공학회논문지SP
• /
• 제40권6호
• /
• pp.31-40
• /
• 2003

대부분의 얼굴인식 시스템은 현재 2차원 영상을 기반으로 많은 분야에 응용되고 있다. 그러나 2차원 얼굴인식 시스템은 심하게 변화된 얼굴 포즈에 강인한 얼굴인식이 매우 어렵다. 이에 얼굴 포즈 추정은 정면 영상이 아닐 경우 인식률 향상을 위한 필수적인 과정이라 할 수 있다. 그러므로, 본 논문은 3차원 얼굴인식을 위한 새로운 얼굴 포즈 추정 방식을 제안한다 먼저 3차원 거리(range) 영상이 입력될 때 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용한다. 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 적용 한 새로운 3차원 얼굴 포즈 추정 방식을 제안한다. 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상한다. 제안 알고리즘은 정규화된 3차원 얼굴 공간에서 추출된 특징점의 기하학적 위치를 이용하여 수행된다. 또한 3차원 얼굴인식을 위하여 3차원 최근접 이웃 분류기를 이용한 데이터베이스내에서 후보 얼굴을 선택하는 방식을 제안한다. 실험 결과를 통해 다양한 얼굴 포즈에 대하여 제안 알고리즘의 효율성과 타당성을 검증하였다.