• Journal of the Institute of Convergence Signal Processing
• /
• v.22 no.1
• /
• pp.30-37
• /
• 2021

Accurate 3D object tracking with camera images is a key enabling technology for augmented reality applications. Motivated by the impressive success of convolutional neural networks (CNNs) in computer vision tasks such as image classification, object detection, image segmentation, recent studies for 3D object tracking have focused on leveraging deep learning. In this paper, we review deep learning approaches for 3D object tracking. We describe key methods in this field and discuss potential future research directions.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.185-188
• /
• 2015

미리 저장된 객체의 3차원 특징점(Feature point) 좌표와 카메라 영상의 2차원 특징점 좌표를 매칭(Matching)하여 객체를 추적하는 방식의 경우, 카메라의 시점이 변할 때 특징점에서 발생되는 원근 효과(Perspective effect)가 반영되지 못하여 특징점 매칭 오류가 발생한다. 따라서 특징점에서 발생하는 원근 효과를 반영하여 정확한 카메라 포즈를 추정하기 위해 이전 프레임(Frame)의 카메라 포즈(Camera Pose)에 맞추어 텍스쳐가 포함 된 3차원 객체의 모델을 렌더링 하여 원근 효과를 적용한 후, 현재 카메라 영상과 특징점 매칭하여 프레임 사이의 카메라 움직임을 구하여 객체를 추적한다. 더 나아가 본 논문에서는 특징점 매칭에서 발생하는 작은 오류들로 인한 미세한 카메라 움직임은 2단계의 임계치(Threshold)를 적용하여 떨림 현상으로 간주하여 떨림 현상이 제거된 객체 추적을 수행한다. 매 프레임마다 카메라 포즈에 맞춘 추적 객체를 렌더링 하기 때문에 떨림 현상으로 간주되어 제거된 카메라 움직임은 누적되지 않고, 추적 오류도 발생시키지 않는다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.415-416
• /
• 2012

모델 기반 카메라 추적에서 추적을 위한 3 차원 객체 모델의 정확도는 매우 중요하다. 하지만 3 차원 객체의 실측 모델링은 일반적으로 정교한 작업을 요구할 뿐 아니라, 오차 없이 모델링 하기가 매우 어렵다. 반면에 오차를 포함하고 있는 객체 모델을 이용하더라도 실제 추적 환경에서 사용자가 느끼는 성공적인 추적의 허용 오차는 실제 추적 오차와 다를 수 있다. 따라서, 본 논문에서는 모델 기반 카메라 추적에서 모델링 오차에 따른 모델과 영상 정보 간의 실제 정합 오차와 육안으로 판단되는 정합의 허용 오차를 사용자 평가를 통해 비교 분석하고, 3 차원 객체 모델링의 허용 오차 범위에 대해 논의한다.

• Journal of Broadcast Engineering
• /
• v.18 no.1
• /
• pp.1-9
• /
• 2013

Accuracy of the 3-D model is essential in model-based camera tracking. However, 3-D object modeling requires dedicated and complicated procedures for precise modeling without any errors. Even if a 3-D model contains a certain level of errors, on the other hand, the tracking errors cause by the modeling errors can be different from its perceptual errors; thus, it is an important aspect that the camera tracking can be successful without precise 3-D modeling if the modeling errors are within the user's permissible range. In this paper, we analyze the tolerance of 3-D object modeling errors by comparing computational matching errors with perceptual matching errors through user evaluations, and also discuss permissible ranges of 3-D object modeling errors.

• Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
• /
• v.24 no.2
• /
• pp.217-226
• /
• 2006

Extraction and tracking objects are fundamental and important steps of the digital image processing and computer vision. Many algorithms about extracting and tracking objects have been developed. In this research, a method is suggested for tracking a moving object using a pair of CCD cameras and calculating the coordinate of the moving object. A 1/100 miniature of soccer field was made to apply the developed algorithms. After candidates were selected from the acquired images using the RGB value of a moving object (soccer ball), the object was extracted using its size (MBR size) among the candidates. And then, image coordinates of a moving object are obtained. The real-time position of a moving object is tracked in the boundary of the expected motion, which is determined by centering the moving object. The 3D position of a moving object can be obtained by conducting the relative orientation, absolute orientation, and space intersection of a pair of the CCD camera image.

• Journal of Korea Multimedia Society
• /
• v.15 no.8
• /
• pp.963-976
• /
• 2012

'Gesture' except for voice is the most intuitive means of communication. Thus, many researches on how to control computer using gesture are in progress. User detection and tracking in these studies is one of the most important processes. Conventional 2D object detection and tracking methods are sensitive to changes in the environment or lights, and a mix of 2D and 3D information methods has the disadvantage of a lot of computational complexity. In addition, using conventional 3D information methods can not segment similar depth object. In this paper, we propose object detection and tracking method using Depth Projection Map that is the cumulative value of the depth and motion information. Simulation results show that our method is robust to changes in lighting or environment, and has faster operation speed, and can work well for detection and tracking of similar depth objects.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.65-68
• /
• 2011

본 논문에서는 모바일 증강현실을 실현하기 위한 3차원 모델기반 카메라 추적 기술을 제안한다. 3차원 모델기반 추적 기술은 평면적이지 않은 객체에 적용 가능하며, 특히 텍스처가 없는 환경에서 유용하다. 제안하는 방식은 대상 객체의 3차원 모델정보로부터 영상에서 추출한 에지와의 대응점을 찾고, 대응점의 거리를 최소화하는 카메라 움직임을 추정함으로써 이전 카메라 포즈(위치 및 방향)로부터 현재 포즈가 추적되는 방식이다. 안드로이드 플랫폼의 스마트폰 상에서 제안된 방식으로 카메라 포즈를 추적하고 3차원 가상 콘텐츠를 증강시켜 봄으로써 그 유용성을 확인한다.

• Journal of Advanced Navigation Technology
• /
• v.14 no.2
• /
• pp.272-277
• /
• 2010

AR(Augmented Reality) needs medium between real and virtual, world, and recognition techniques are necessary to track an object continuously. Optical tracking using marker is mainly used, but it takes time and is inconvenient to attach marker onto the target objects. Therefore, many researchers try to develop markerless tracking techniques nowaday. In this paper, we extract features and 3D position from 3D objects and suggest realtime tracking based on these features and positions, which do not use just coplanar features and 2D position. We extract features using SURF, get rotation matrix and translation vector of 3D object using POSIT with these features and track the object in real time. If the extracted features are nor enough and it fail to track the object, then new features are extracted and re-matched to recover the tracking. Also, we get rotation in matrix and translation vector of 3D object using POSIT and track the object in real time.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.88-89
• /
• 2014

본 논문에서는 미리 모델링된 실객체에 대한 3차원 모델을 변형하면서 애니메이션을 정의하고, 실사 객체를 추적하면서 카메라 뷰 상의 실사 객체에 애니메이션을 적용하는 방법을 제안한다. 애니메이션 정의는 라플라시안 기반 메쉬 변형 방법으로 3차원 모델을 변형시키며 키프레임을 지정함으로써 이루어진다. 정의된 애니메이션은 실제 환경에서 추적된 실사 객체의 영상으로부터 모델에 텍스처를 입힌 뒤, 카메라 포즈를 이용하여 객체 위치에 객체 모델을 렌더링할 때 적용된다. 제안된 방법을 통해 사용자가 원하는 대로 실제 환경에 대한 카메라 뷰 상에서 실사 객체가 변형되는 모습을 용이하게 보여줄 수 있다.

• Journal of Broadcast Engineering
• /
• v.28 no.3
• /
• pp.329-332
• /
• 2023

3D Object Detection using deep neural network has been developed a lot for obstacle detection in autonomous vehicles because it can recognize not only the class of target object but also the distance from the object. But in the case of 3D Object Detection models, the detection performance for distant objects is lower than that for nearby objects, which is a critical issue for autonomous vehicles. In this paper, we introduce a technique that increases the performance of 3D object detection models, particularly in recognizing distant objects, by generating virtual 3D vehicle data and adding it to the dataset used for model training. We used a spherical point tracing method that leverages the characteristics of 3D LiDAR sensor data to create virtual vehicles that closely resemble real ones, and we demonstrated the validity of the virtual data by using it to improve recognition performance for objects at all distances in model training.