• 로봇학회논문지
• /
• 제14권1호
• /
• pp.1-7
• /
• 2019

Recently, smart factories have attracted much attention as a result of the 4th Industrial Revolution. Existing factory automation technologies are generally designed for simple repetition without using vision sensors. Even small object assemblies are still dependent on manual work. To satisfy the needs for replacing the existing system with new technology such as bin picking and visual servoing, precision and real-time application should be core. Therefore in our work we focused on the core elements by using deep learning algorithm to detect and classify the target object for real-time and analyzing the object features. We chose YOLO CNN which is capable of real-time working and combining the two tasks as mentioned above though there are lots of good deep learning algorithms such as Mask R-CNN and Fast R-CNN. Then through the line and inside features extracted from target object, we can obtain final outline and estimate object posture.

• 전자공학회논문지SC
• /
• 제49권4호
• /
• pp.23-35
• /
• 2012

본 논문은 3차원 공간상에 존재하는 타원형 물체의 위치 및 자세 추정 기법을 다룬다. 영상에 투영된 타원특징을 해석하여 원래의 타원에 대한 3차원 자세정보를 구하는 것은 어려운 문제이다. 본 논문은 타원특징의 3차원 정보를 추출하기 위하여, 두개의 공면점을 도입한 위치 및 자세 추정 알고리즘을 제안한다. 제안된 방법은 모델과 영상좌표계에서 각각 정의되는 타원-공면점에 대한 대응쌍이 주어질 때 두 좌표계에 대한 동차변환행렬의 유일해를 결정한다. 타원-공면점은 폴라리티를 기반으로 원근변환에 불변하는 한 쌍의 삼각특징으로 변환되며, 삼각특징들로부터 평면 호모그래피가 추정된다. 카메라 좌표계에 대한 물체 좌표계의 3차원 위치 및 자세 파라미터들은 호모그래피 분해를 통해 계산된다. 제안된 방법은 3차원 자세 및 위치 추정 오차의 분석과 공면점의 위치에 따른 민감도의 분석을 통해 평가된다.

• 전자공학회논문지B
• /
• 제33B권1호
• /
• pp.15-24
• /
• 1996

본 논문은 로봇 매니퓰레이터의 엔드 이펙터(end-effector)에 부착된 스테레오 카메라를 사용하여 움직이는 물체의 초기자세나 이동에 관한 정보가 미지인 3차원 물체의 파지(grasping)를 위해서, 로봇 매니퓰레이터의 자세(위치 및 방위)제어에 관한 새로운 비주얼 서보잉(visual servoing)을 제안한다. 로봇 매니퓰레이터의 현재의 자세를 목표자세에 잘 추적하기 위해서 본 논문에서는 카메라 자세에 대한 대상물체의 자세변화와 이미지상의 특정점 변화를 기술하는 관계식인 이미지 Jacobian을 미분변환을 이용하여 구했으며, 로봇 매니퓰레이터의 제어를 위해서는 간단한 PD제어기를 사용하였다. 마지막으로 다양한 컴퓨터 시뮬레이션을 통하여 제안한 수법의 유효성을 확인했다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.200-204
• /
• 2008

본 논문에서는 지능형 무인 운송 시스템의 위치 인식 문제를 풀기 위한 방법으로, 실외 환경에서 보이는 건물 혹은 건물 입구의 상대적 위치와 자세 추정이 가능한 파티클 필터 기반 3 차원 물체 인식 방법을 제안한다. 제안하는 파티클 필터에 기반한 인식 시스템은 다양한 인식 증거들을 연속 영상에서 융합 및 모델 매칭을 함으로써 강인한 3 차원 물체 인식 및 자세 추정이 가능하다. 제안하는 방법은, 적합한 인식 증거들을 수집/선택하고, 다양한 인식 증거들로 부터 나타나는 인식 대상의 자세를 3 차원 공간상의 확률적인 파티클로 표현하며, 파티클 필터링을 통하여 연속 영상 상의 다양한 인식 증거들을 융합하는 것을 특징으로 한다. 스테레오 카메라를 이용한 실험을 통하여, 제안하는 방법이 실외 건물의 기하학적 특정을 인식 증거로 활용한 효율적인 3 차원 인식 및 자세 추정을 수행하는 것은 보여준다.

• 정보처리학회논문지B
• /
• 제13B권5호
• /
• pp.499-506
• /
• 2006

본 논문에서는 실시간 증강현실 시스템에서의 가상 객체 삽입을 위한 빠르고 안정된 카메라 자세 추정 방법을 제안한다. 단일 프레임에서 마커의 특징점 추출을 통해 카메라의 회전행렬과 이동벡터를 추정한다. 카메라 자세 추정을 위해 정사영 투영모델에서의 분해기법을 사용한다. 정사영 투영모델에서의 분해기법은 객체의 모든 특징점의 깊이좌표가 동일하다고 가정하기 때문에 깊이좌표의 기준이 되는 참조점의 설정과 점의 분포에 따라 카메라 자세 계산의 정확도가 달라진다. 본 논문에서는 실제 환경에서 일반적으로 잘 동작하고 융통성 있는 참조점 설정 방법과 이상점 제거 방법을 제안한다. 제안된 카메라 자세추정 방법에 기반하여 탐색된 마커 위치에 가상객체를 삽입하기 위한 비디오 증강 시스템을 구현하였다. 실 환경에서의 다양한 비디오에 대한 실험 결과, 제안된 카메라 자세 추정 기법은 기존의 자세추정 기법만큼 빠르고 기존의 방법보다 안정적이고 다양한 증강현실 시스템 응용에 적용될 수 있음을 보여주었다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제21권4호
• /
• pp.19-26
• /
• 2015

본 논문에서는 양팔을 이용한 물체 들기 자세를 최적화 하는 기술을 소개한다. 입력 값은 인체 모델과 임의의 모양의 물체이다. 물체는 크기가 크고 무거워서 두 팔을 사용해서만이 들 수 있다고 가정한다. 작은 물체와 달리 큰 물체는 물리적 안정성을 유지하면서 들고 있는 것이 쉽지 않다. 물체의 방향 그리고 손, 팔, 몸통 등 상체의 자세가 적절한 경우에만 물리적 안정성이 보장될 수 있고, 그러한 자세의 범위는 매우 제한적이다. 본 논문에서는 먼저 렌치스페이스 개념을 사용하여 주어진 인체 자세에 대해 안정성을 평가하는 알고리즘을 제시한다. 다음 전체 형태 공간을 정의 하고 형태 공간 내에서 안정성 평가 점수가 가장 높은 자세를 찾아내는 방법을 소개한다. 여러 가지 모양의 물체와 사용자 요구 조건이 주어졌을 때 최적화 된 들기 자세를 찾아내는 실험을 통해 유용성을 증명한다.

• 반도체디스플레이기술학회지
• /
• 제14권3호
• /
• pp.67-72
• /
• 2015

This paper proposes an object tracking system based on keypoints using homography in mobile environments. The proposed system is based on markerless tracking, and there are four modules which are recognition, tracking, detecting and learning module. Recognition module detects and identifies an object to be matched on current frame correspond to the database using LSH through SURF, and then this module generates a standard object information. Tracking module tracks an object using homography information that generate by being matched on the learned object keypoints to the current object keypoints. Then update the window included the object for defining object's pose. Detecting module finds out the object based on having the best possible knowledge available among the learned objects information, when the system fails to track. The experimental results show that the proposed system is able to recognize and track objects with updating object's pose for the use of mobile platform.

• Journal of Information Processing Systems
• /
• 제14권6호
• /
• pp.1307-1317
• /
• 2018

To deal with the problems of occlusion, pose variations and illumination changes in the object tracking system, a regression model weighted multi-templates mean-shift (MS) algorithm is proposed in this paper. Target templates and occlusion templates are extracted to compose a multi-templates set. Then, the MS algorithm is applied to the multi-templates set for obtaining the candidate areas. Moreover, a regression model is trained to estimate the Bhattacharyya coefficients between the templates and candidate areas. Finally, the geometric center of the tracked areas is considered as the object's position. The proposed algorithm is evaluated on several classical videos. The experimental results show that the regression model weighted multi-templates MS algorithm can track an object accurately in terms of occlusion, illumination changes and pose variations.

• 한국멀티미디어학회논문지
• /
• 제24권3호
• /
• pp.345-354
• /
• 2021

Recently, deep learning-based image recognition systems have been adopted to various surveillance environments, but most of them are still picture-type object recognition methods, which are insufficient for the long term temporal analysis and high-dimensional situation management. Therefore, we propose a method recognizing the specific dangerous situation generated by human in real-time, and utilizing deep learning-based object analysis techniques. The proposed method uses deep learning-based object detection and tracking algorithms in order to recognize the situations such as 'trespassing', 'loitering', and so on. In addition, human's joint pose data are extracted and analyzed for the emergent awareness function such as 'falling down' to notify not only in the security but also in the emergency environmental utilizations.

• 인터넷정보학회논문지
• /
• 제18권6호
• /
• pp.85-92
• /
• 2017

최근 영상감시 분야에서는 영상에서 움직이는 사람을 탐지하고, 탐지된 사람의 행위를 분석하는 방식에 딥러닝 기반 학습방법이 적용되기 시작했다. 이러한 지능형 영상분석 기술을 적용할 수 있는 분야 중 하나인 인간 행위 인식은 객체를 탐지하고 탐지된 객체의 행위를 인식하기 위해 신체 키포인트를 검출 하는 과정을 거치게 된다. 본 논문에서는 RGB-D 정보를 이용한 객체 탐지 기반의 신체 키포인트 검출 방법을 제시한다. 먼저, 두 대의 카메라로 생성된 색상정보와 깊이정보를 이용하여 이동하는 객체를 배경으로부터 분할하여 탐지한다. RGB-D 정보를 이용하여 탐지된 객체의 영역을 재조정하여 생성된 입력 데이터를 한 사람의 자세 추정을 위한 Convolutional Pose Machines(CPM)에 적용한다. CPM을 이용하여 한 사람당 14개의 신체부위에 대한 신념 지도(Belief Map)를 생성하고, 신념 지도를 기반으로 신체 키포인트를 검출한다. 이와 같은 방법은 키포인트를 검출할 객체에 대한 정확한 영역을 제공하게 되며, 개별적인 신체 키포인트의 검출을 통하여 단일 신체 키포인트 검출에서 다중 신체 키포인트 검출로 확장 할 수 있다. 향후, 검출된 키포인트를 이용하여 인간 자세 추정을 위한 모델을 생성할 수 있으며 인간 행위 인식 분야에 기여 할 수 있다.