• 한국생산제조학회지
• /
• 제26권2호
• /
• pp.223-229
• /
• 2017

Recently, robotic bin-picking tasks have drawn considerable attention, because flexibility is required in robotic assembly tasks. Generally, stereo camera systems have been used widely for robotic bin-picking, but these have two limitations: First, computational burden for solving correspondence problem on stereo images increases calculation time. Second, errors in image processing and camera calibration reduce accuracy. Moreover, the errors in robot kinematic parameters directly affect robot gripping. In this paper, we propose a method of correcting the bin-picking error by using trinocular vision system which consists of two stereo cameras andone hand-eye camera. First, the two stereo cameras, with wide viewing angle, measure object's pose roughly. Then, the 3rd hand-eye camera approaches the object, and corrects the previous measurement of the stereo camera system. Experimental results show usefulness of the proposed method.

• 한국컴퓨터정보학회논문지
• /
• 제11권3호
• /
• pp.151-159
• /
• 2006

본 논문에서는 두 대의 카메라 영상으로부터 얼굴의 포즈를 추정하는 방법을 제안한다. 제안된 방법은 먼저 두 얼굴 영상으로부터 대응되는 눈썹, 눈, 입의 특징점을 추출한 다음, 스테레오 비전의 삼각법에 의해 특징점에 대한 3차원 위치를 계산한다. 그 다음에는 특징점으로 부터 삼각형을 생성하고 그 삼각형에 수직 방향을 계산함으로써 얼굴의 포즈를 계산한다. 계산된 얼굴의 포즈를 3D 얼굴 모델에 적용해 본 결과 본 논문에서 제안된 방법이 정확한 얼굴 포즈를 추정할 수 있음을 알 수 있었다.

• 제어로봇시스템학회논문지
• /
• 제18권1호
• /
• pp.54-61
• /
• 2012

In this paper, the pose estimation method for the satellite GTB (Ground Test Bed) using vision/MEMS IMU (Inertial Measurement Unit) integrated system is presented. The GTB for verifying a satellite system on the ground is similar to the mobile robot having thrusters and a reaction wheel as actuators and floating on the floor by compressed air. The EKF (Extended Kalman Filter) is also used for fusion of MEMS IMU and vision system that consists of a single camera and infrared LEDs that is ceiling landmarks. The fusion filter generally utilizes the position of feature points from the image as measurement. However, this method can cause position error due to the bias of MEMS IMU when the camera image is not obtained if the bias is not properly estimated through the filter. Therefore, it is proposed that the fusion method which uses the position of feature points and the velocity of the camera determined from optical flow of feature points. It is verified by experiments that the performance of the proposed method is robust to the bias of IMU compared to the method that uses only the position of feature points.

• Journal of Computing Science and Engineering
• /
• 제10권3호
• /
• pp.95-101
• /
• 2016

In this study, we propose a new system for constructing parallel corpora for sign languages, which are generally under-resourced in comparison to spoken languages. In order to achieve scalability and accessibility regarding data collection and corpus construction, our system utilizes deep learning-based techniques and predicts depth information to perform pose estimation on hand information obtainable from video recordings by a single RGB camera. These estimated poses are then transcribed into expressions in SignWriting. We evaluate the accuracy of hand tracking and hand pose estimation modules of our system quantitatively, using the American Sign Language Image Dataset and the American Sign Language Lexicon Video Dataset. The evaluation results show that our transcription system has a high potential to be successfully employed in constructing a sizable sign language corpus using various types of video resources.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권11호
• /
• pp.4103-4117
• /
• 2014

Image processing and computer vision algorithms are gaining larger concern in a variety of application areas such as robotics and man-machine interaction. Vision allows the development of flexible, intelligent, and less intrusive approaches than most of the other sensor systems. In this work, we determine the location and orientation of a mobile robot which is crucial for performing its tasks. In order to be able to operate in real time there is a need to speed up different vision routines. Therefore, we present and evaluate a method for introducing parallelism into the multiple non-overlapping camera pose estimation algorithm proposed in [1]. In this algorithm the problem has been solved in real time using multiple non-overlapping cameras and the Extended Kalman Filter (EKF). Four cameras arranged in two back-to-back pairs are put on the platform of a moving robot. An important benefit of using multiple cameras for robot pose estimation is the capability of resolving vision uncertainties such as the bas-relief ambiguity. The proposed method is based on algorithmic skeletons for low, medium and high levels of parallelization. The analysis shows that the use of a multiprocessor system enhances the system performance by about 87%. In addition, the proposed design is scalable, which is necaccery in this application where the number of features changes repeatedly.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.173.1-173
• /
• 2001

This paper proposes the methodology in image processing algorithm that estimates the pose of the pipe crawling robot. The pipe crawling robots are usually equipped with a lighting device and a camera on its head for monitoring and inspection purpose. The proposed methodology is using these devices without introducing the extra sensors and is based on the fact that the position and the intensity of the reflected light varies with the robot posture. The algorithm is divided into two parts, estimating the translation and rotation angle of the camera, followed by the actual pose estimation of the robot. To investigate the performance of the algorithm, the algorithm is applied to a sewage maintenance robot.

• 한국정보전자통신기술학회논문지
• /
• 제16권5호
• /
• pp.315-324
• /
• 2023

본 논문에서는 UKF(unscented Kalman filter)와 연동된 입자필터를 이용한 단안시 카메라의 실시간 자세추정 기법을 제안한다. 단안시 카메라 자세 추정 기법에는 주로 카메라 영상과 자이로스코프, 가속도센서 데이터 등을 연동하는 방법이 많이 이용되고 있으나 본 논문에서 제안하는 방법은 별도의 센서 없이 카메라 영상에서 취득되는 2차원 시각 정보만을 이용하는 것을 목표로 한다. 제안된 방법은 카메라 영상 이외의 부가적인 장비를 이용하지 않고 별도의 센싱 정보 없이 2차원 영상만으로 카메라 추적이 가능하며, 따라서 기존에 비해 하드웨어 구성이 단순해질수 있다는 장점을 갖고 있다. 제안된 방법은 UKF와 연동된 입자필터를 기반으로 한다. 입자필터의 각 입자마다 개별적으로 정의된 UKF로부터 카메라의 상태를 추정한 다음 입자필터의 전체 입자로부터 카메라 상태에 대한 통계데이터를 산출하고 이로부터 카메라의 실시간 자세정보를 계산한다. 기존의 방법과 달리 제안된 방법은 카메라의 급격한 흔들림이 발생하는 경우에도 카메라 추적이 가능함을 보여주며, 영상 내의 특징점 대다수가 가려지는 환경에서도 카메라 추적에 실패하지 않음을 실험을 통하여 확인하였다. 또한 입자의 개수가 35개인 경우 프레임 당 소요 시간이 약 25ms이며 이로부터 실시간 처리에 문제가 없음을 확인할 수 있었다.

• Journal of Electrical Engineering and Technology
• /
• 제11권2호
• /
• pp.508-518
• /
• 2016

In this paper, we propose a method combining an accelerometer with a cross structured light system to estimate the golf green slope. The cross-line laser provides two laser planes whose functions are computed with respect to the camera coordinate frame using a least square optimization. By capturing the projections of the cross-line laser on the golf slope in a static pose using a camera, two 3D curves’ functions are approximated as high order polynomials corresponding to the camera coordinate frame. Curves’ functions are then expressed in the world coordinate frame utilizing a rotation matrix that is estimated based on the accelerometer’s output. The curves provide some important information of the green such as the height and the slope’s angle. The curves estimation accuracy is verified via some experiments which use OptiTrack camera system as a ground-truth reference.

• 대한전자공학회논문지SP
• /
• 제40권5호
• /
• pp.347-356
• /
• 2003

비디오 영상으로부터 카메라의 움직임과 3차인 구조를 복원하는 기술은 다양한 분야에 응용되고 있다. 특히 비교정(un calibrated) 동영상을 해석하기 위해서는 대상 영상의 정보만을 이용하는 카메라의 자동 보정(auto-calibration)기술이 필수적이다. 그러나 비디오 상의 많은 프레임에 안정적으로 이를 적용하려면 기존의 자동 보정기술은 무기조정(bundle adjustment) 또는 비선형 최적화 등의 매우 복잡한 과정이 요구된다. 본 논문에서는 최적화 과정 없이도 정확하게 대상 카메라의 궤적과 3차원 구조를 복원하는 새로운 방법이 제안된다. 첫 번째 단계에서 대상 시퀀스에서 카메라 궤적의 해석에 적절한 키프레임(key-frame)을 선택하여 전체 연산 시간을 줄이며, 두 번째 과정에서 보다 정확한 카메라 자동 보정을 하기 위해 이미 추출된 키프레임 가운데 적대 2차 원추곡면(absolute quadric)의 추정을 통해 오차가 많이 포함된 키프레임을 제거한다. 가상 및 실사영상에 대한 실험결과로부터 제안된 방법의 성능을 확인하였으며, 다양한 실사 영상을 대상으로 가상의 3차원 모델을 합성한 결과도 제시하였다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.189-196
• /
• 2024

지능형 선별 관제 시스템의 잦은 오탐지로 인해 관제 요원들의 업무 능률 및 시장 신뢰도 저하 문제가 꾸준히 보고되고 있다. 오탐지 문제 개선을 위해 새 AI 모델을 개발하거나 교체하는 것은 기회비용이 크므로, 훈련 데이터 세트 품질을 향상하여 문제를 개선하는 것이 현실적이다. 그러나 소규모 조직은 데이터 세트 수집 및 정제 역량이 부족한 실정이다. 이에 본 논문에서는 사람 자세 추정 모델을 중심으로 엣지 디바이스와 카메라 센서 퓨전을 활용한 사람 자세 데이터 자동 수집 시스템을 제안한다. 이 시스템은 네트워크 말단에서 현장 데이터를 직접 수집하고 레이블링하는 과정을 실시간으로 처리하도록 만들어, 중앙으로 집중되는 연산 부하를 분산시킨다. 또한 현장 데이터를 직접 레이블링하므로 새로운 훈련 데이터 구축에 도움을 준다.