• 대한임베디드공학회논문지
• /
• 제17권4호
• /
• pp.191-197
• /
• 2022

This study proposes an image-based Pose Intention Network (PIN) algorithm for rehabilitation via patients' intentions. The purpose of the PIN algorithm is for enabling an active rehabilitation exercise, which is implemented by estimating the patient's motion and classifying the intention. Existing rehabilitation involves the inconvenience of attaching a sensor directly to the patient's skin. In addition, the rehabilitation device moves the patient, which is a passive rehabilitation method. Our algorithm consists of two steps. First, we estimate the user's joint position through the OpenPose algorithm, which is efficient in estimating 2D human pose in an image. Second, an intention classifier is constructed for classifying the motions into three categories, and a sequence of images including joint information is used as input. The intention network also learns correlations between joints and changes in joints over a short period of time, which can be easily used to determine the intention of the motion. To implement the proposed algorithm and conduct real-world experiments, we collected our own dataset, which is composed of videos of three classes. The network is trained using short segment clips of the video. Experimental results demonstrate that the proposed algorithm is effective for classifying intentions based on a short video clip.

• 한국전자통신학회논문지
• /
• 제19권3호
• /
• pp.583-588
• /
• 2024

BCI(뇌-컴퓨터 인터페이스) 기술의 등장으로 거울 신경을 분석하는 것이 용이해졌다. 그러나 인간의 생각에 의존하는 BCI 시스템의 정확성을 평가하는 것은 그 질적 특성으로 인해 어려움을 겪는다. BCI의 잠재력을 활용하기 위해 우리는 움직임의 궁극적인 목표에 따라 발화 속도가 영향을 받는 인간의 거울 신경의 특성을 기반으로 정확도를 측정하는 새로운 접근법을 제안한다. 본 논문에 2장에서는 거울 신경을 소개한다. 또한, 거울 신경을 위한 인간 자세 추정에 대한 설명을 제시한다. 3장에서는 인간 자세 추정 기법을 활용하여 실시간 동적 환경에 적합한 강력한 포즈 추정 방법을 소개한다. 이어서 이러한 로봇 환경을 이용한 BCI의 정확성을 분석하는 방법을 제시한다.

• 한국멀티미디어학회논문지
• /
• 제19권2호
• /
• pp.240-251
• /
• 2016

This paper presents a real-time indoor location and pose estimation method that utilizes simple artificial markers and image analysis techniques for the purpose of warehouse automation. The conventional indoor localization methods cannot work robustly in warehouses where severe environmental changes usually occur due to the movement of stocked goods. To overcome this problem, the proposed framework places artificial markers having different interior pattern on the predefined position of the warehouse floor. The proposed algorithm obtains marker candidate regions from a captured image by a simple binarization and labeling procedure. Then it extracts maker interior pattern information from each candidate region in order to decide whether the candidate region is a true marker or not. The extracted interior pattern information and the outer boundary of the marker are used to estimate location and heading angle of the localization system. Experimental results show that the proposed localization method can provide high performance which is almost equivalent to that of the conventional method using an expensive LIDAR sensor and AMCL algorithm.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.973-975
• /
• 2016

본 논문에서는 센서 결합을 이용하여 강체 자세 추정을 정확히 할 수 있는 선택적 확장 칼만 필터 방법을 제안한다. 강체의 자세는 Gauss-Newton방법을 적용하여 가속도 데이터와 지자기 데이터로 부터 쿼터니언 상태 변수를 개략 추정하고 비전 정보와 자이로 센서 정보를 이용하여 정밀 추정을 하는데 외부 간섭 잡음이 강 할 경우 이 방식을 이용한 개략 추정이 어려워진다. 본 논문은 외부 간섭 잡음의 정도를 측정하고 잡음이 강할 때 비전 정보와 자이로 센서정보를 주로 이용하는 선택적 확장 칼만 필터 방법을 이용하여 추정 값에 대한 신뢰도를 높인다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.2000-2003
• /
• 2003

This paper presents a three-dimensional (3D) head pose estimation algorithm for robust face recognition. Given a 3D input image, we automatically extract several important 3D facial feature points based on the facial geometry. To estimate 3D head pose accurately, we propose an Error Compensated-SVD (EC-SVD) algorithm. We estimate the initial 3D head pose of an input image using Singular Value Decomposition (SVD) method, and then perform a Pose refinement procedure in the normalized face space to compensate for the error for each axis. Experimental results show that the proposed method is capable of estimating pose accurately, therefore suitable for 3D face recognition.

• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.39-47
• /
• 2010

영상 기반의 모션 캡처에 대한 연구는 인체의 특징 영역 검출, 정확한 자세 추정 및 실시간 성능 등의 문제를 풀기 위해 많은 연구가 진행되고 있다. 특히, 인체의 많은 관절 정보를 복원하기 위해 다양한 방법이 제안되고 있다. 본 논문에서는 수치적인 역운동학 방법의 단점을 개선한 실시간 모션 캡처 방법을 제안한다. 기존의 수치적인 역운동학 방법은 많은 반복 연산이 필요하며, 국부최소치 문제가 발생할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 기존의 수치적인 역운동학 해법과 UKF를 결합하여 중간관절을 복원하는 방법을 제안한다. 수치적인 역운동학의 해와 UKF를 결합함으로써, 중간 관절 추정 시 최적값에 보다 안정적이고 빠른 수렴이 가능하다. 모션 캡처를 위해 먼저, 배경 차분과 피부색 검출 방법을 이용하여 인체의 특징 영역을 추출한다. 다수의 카메라로부터 추출된 2차원 인체 영역 정보로부터 3차원 정보를 복원하고, UKF와 결합된 수치적인 역운동학 해법을 통해 동작자의 중간 관절 정보를 추정한다. 수치적인 역운동학의 해는 UKF의 상태 추정 시 안정적인 방향을 제시하고, UKF는 다수의 샘플을 기반으로 최적 상태를 찾음으로써, 전역해에 보다 빠르게 수렴한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권11호
• /
• pp.960-966
• /
• 2009

다양체는 고차원 표본 데이터들 사이의 관계를 표현하기 위해 저차원 공간에서 생성된 구조로서 고차원 데이터인 영상과 3차원 인체 구성 데이터를 처리하는데 많이 사용되고 있다. 다양체 학습은 이러한 다양체를 생성하는 과정을 말한다. 그러나 다양체 학습을 이용한 포즈 추정은 학습하지 못한 실루엣 변화에 취약하다. 실루엣 변화는 2차원 영상에서 시점 변화, 포즈 변화, 사람 변화, 거리 변화, 잡영에 의해 발생되며, 이러한 변화를 하나의 다양체로 학습하기란 어렵다. 본 논문에서는 실루엣 변화를 유발하는 문제중 하나인 시점 변화에 대한 문제를 해결하고자 한다. 종래에 시점 변화에 상관 없이 포즈를 추정하는 방법에서는, 각 시점마다 다양체를 가지거나 사상 함수에서 시점에 관련한 요소들을 분리하석 별도의 다양체로 학습한다. 하지만 이러한 방법들은 복잡하고, 추정 과정에서 어떠한 시점의 다양체를통해 포즈를 추정할지 판단을 요구하며, 비교사 학습으로 인해 실루엣과 대응되는 3차원 인체 구성을 지정하기 어렵다. 본 논문에서는 시점 다양체, 포즈 다양체, 인체 구성 다양체를 편향된 다양체로 학습하여 사용하는 방법을 제안한다. 그리고 영상과 시점 다양체, 영상과 포즈 다양체, 인체 구성과 인체 구성 다양체, 포즈 다양체와 인체 구성 다양체 간에 사상 함수를 학습한다. 실험에서는 학습된 다양체와 사상 함수를 이용하여 24개의 시점에서 강인한 포즈 추정 결과를 보여주고 있다.

• 인터넷정보학회논문지
• /
• 제21권3호
• /
• pp.113-121
• /
• 2020

Human Pose Estimation (HPE) which localizes the human body joints becomes a high potential for high-level applications in the field of computer vision. The main challenges of HPE in real-time are occlusion, illumination change and diversity of pose appearance. The single RGB image is fed into HPE framework in order to reduce the computation cost by using depth-independent device such as a common camera, webcam, or phone cam. However, HPE based on the single RGB is not able to solve the above challenges due to inherent characteristics of color or texture. On the other hand, depth information which is fed into HPE framework and detects the human body parts in 3D coordinates can be usefully used to solve the above challenges. However, the depth information-based HPE requires the depth-dependent device which has space constraint and is cost consuming. Especially, the result of depth information-based HPE is less reliable due to the requirement of pose initialization and less stabilization of frame tracking. Therefore, this paper proposes a new method of HPE which is robust in estimating self-occlusion. There are many human parts which can be occluded by other body parts. However, this paper focuses only on head self-occlusion. The new method is a combination of the RGB image-based HPE framework and the depth information-based HPE framework. We evaluated the performance of the proposed method by COCO Object Keypoint Similarity library. By taking an advantage of RGB image-based HPE method and depth information-based HPE method, our HPE method based on RGB-D achieved the mAP of 0.903 and mAR of 0.938. It proved that our method outperforms the RGB-based HPE and the depth-based HPE.

• 한국컴퓨터정보학회논문지
• /
• 제21권10호
• /
• pp.11-19
• /
• 2016

The size of a display is large, The form becoming various of that do not apply to previous methods of gaze tracking and if setup gaze-track-camera above display, can solve the problem of size or height of display. However, This method can not use of infrared illumination information of reflected cornea using previous methods. In this paper, Robust pupil detecting method for eye's occlusion, corner point of inner eye and center of pupil, and using the face pose information proposes a method for calculating the simply position of the gaze. In the proposed method, capture the frame for gaze tracking that according to position of person transform camera mode of wide or narrow angle. If detect the face exist in field of view(FOV) in wide mode of camera, transform narrow mode of camera calculating position of face. The frame captured in narrow mode of camera include gaze direction information of person in long distance. The method for calculating the gaze direction consist of face pose estimation and gaze direction calculating step. Face pose estimation is estimated by mapping between feature point of detected face and 3D model. To calculate gaze direction the first, perform ellipse detect using splitting from iris edge information of pupil and if occlusion of pupil, estimate position of pupil with deformable template. Then using center of pupil and corner point of inner eye, face pose information calculate gaze position at display. In the experiment, proposed gaze tracking algorithm in this paper solve the constraints that form of a display, to calculate effectively gaze direction of person in the long distance using single camera, demonstrate in experiments by distance.

• 제어로봇시스템학회논문지
• /
• 제14권1호
• /
• pp.70-74
• /
• 2008

In the field of camera motion research, it is widely held that the position (movement) and pose (rotation) of cameras are correlated and cannot be independently separated. A new equation based on inner product is proposed here to independently separate the position and pose. It is proved that the position and pose are not correlated and the equation is applied to estimation of the camera exterior parameters using a real image and 3D data.