• 한국멀티미디어학회논문지
• /
• 제24권2호
• /
• pp.167-177
• /
• 2021

In the field of augmented reality, edge-based methods have been popularly used in tracking textureless 3D objects. However, edge-based methods are inherently vulnerable to cluttered backgrounds. Another way to track textureless or poorly-textured 3D objects is to directly align image intensity of 3D object between consecutive frames. Although the direct methods enable more reliable and stable tracking compared to using local features such as edges, they are more sensitive to occlusion and less accurate than the edge-based methods. Therefore, we propose a method that combines an edge-based method and a direct method to leverage the advantages from each approach. Experimental results show that the proposed method is much robust to both fast camera (or object) movements and occlusion while still working in real time at a frame rate of 18 Hz. The tracking success rate and tracking accuracy were improved by up to 84% and 1.4 pixels, respectively, compared to using the edge-based method or the direct method solely.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.486-492
• /
• 2006

본 논문에서는 비디오에서의 특징점 추적을 통해 얻은 2D 좌표를 이용한 3D 구조를 추정하는 방법과 네 점 이상의 공통점을 이용한 융합 방법을 제안한다. 영상의 각 프레임에서 공통되는 특징점을 이용하여 형상을 추정한다. 영상의 각 프레임에 대한 특징점의 추적은 Lucas-Kanade 방법을 사용하였다. 3D 좌표 추정 방법으로 개선된 직교분해기법을 사용하였다. 개선된 직교분해기법에서는 3D 좌표를 복원함과 동시에 카메라의 위치와 방향을 계산할 수 있다. 복원된 부분 데이터들은 전체를 이루는 일부분이므로, 융합을 통해 완성된 모습을 만들 수 있다. 복원된 부분 데이터들의 서로 다른 좌표계를 기준 좌표계로 변환함으로써 융합할 수 있다. 융합은 카메라의 모션에 해당하는 카메라의 위치와 방향에 의존된다. 융합 과정은 모두 선형으로 평균 0.5초 이하의 수행 속도를 보이며 융합의 오차는 평균 0.1cm 이하의 오차를 보였다.

• Advances in robotics research
• /
• 제2권1호
• /
• pp.45-57
• /
• 2018

Even though the popularity of projection mapping continues to increase and it is being implemented in more and more settings, most current projection mapping systems are limited to special purposes, such as outdoor events, live theater and musical performances. This lack of versatility arises from the large number of projectors needed and their proper calibration. Furthermore, we cannot change the positions and poses of projectors, or their projection targets, after the projectors have been calibrated. To overcome these problems, we propose a projection mapping method using a projector robot that can perform projection mapping in more general or ubiquitous situations, such as shopping malls. We can estimate a projector's position and pose with the robot's self-localization sensors, but the accuracy of this approach remains inadequate for projection mapping. Consequently, the proposed method solves this problem by combining self-localization by robot sensors with position and pose estimation of projection targets based on a 3D model. We first obtain the projection target's 3D model and then use it to accurately estimate the target's position and pose and thus achieve accurate projection mapping with a projector robot. In addition, our proposed method performs accurate projection mapping even after a projection target has been moved, which often occur in shopping malls. In this paper, we employ Ubiquitous Display (UD), which we are researching as a projector robot, to experimentally evaluate the effectiveness of the proposed method.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.615-616
• /
• 2024

현대 야구에서 타자의 스윙 패턴 분석은 상대 투수가 투구 전략을 수립하는데 상당히 중요하다. 이미지 기반의 인간 포즈 추정(HPE)은 대규모 스윙 패턴 분석을 자동화할 수 있다. 그러나 기존의 HPE 방법은 빠르고 가려진 신체 움직임으로 인해 복잡한 스윙 모션을 정확하게 추정하는 데 어려움이 있다. 이러한 문제를 극복하기 위해 스윙 모션에 대한 사전 정보를 활용하여 야구 선수의 포즈를 보정하는 방법(BPPC)을 제안한다. BPPC는 동작 인식, 오프셋 학습, 3D에서 2D 프로젝션 및 동작 인지 손실 함수를 통해 스윙 모션에 대한 사전 정보를 반영하여 기성 HPE 모델 결과를 보정한다. 실험에 따르면 BPPC는 벤치마크 데이터셋에서 기성 HPE 모델의 2D 키포인트 정확도를 정량적 및 정성적으로 향상시키고, 특히 신뢰도 점수가 낮고 부정확한 키포인트를 크게 보정했다.

• 대한전자공학회논문지SP
• /
• 제40권5호
• /
• pp.347-356
• /
• 2003

비디오 영상으로부터 카메라의 움직임과 3차인 구조를 복원하는 기술은 다양한 분야에 응용되고 있다. 특히 비교정(un calibrated) 동영상을 해석하기 위해서는 대상 영상의 정보만을 이용하는 카메라의 자동 보정(auto-calibration)기술이 필수적이다. 그러나 비디오 상의 많은 프레임에 안정적으로 이를 적용하려면 기존의 자동 보정기술은 무기조정(bundle adjustment) 또는 비선형 최적화 등의 매우 복잡한 과정이 요구된다. 본 논문에서는 최적화 과정 없이도 정확하게 대상 카메라의 궤적과 3차원 구조를 복원하는 새로운 방법이 제안된다. 첫 번째 단계에서 대상 시퀀스에서 카메라 궤적의 해석에 적절한 키프레임(key-frame)을 선택하여 전체 연산 시간을 줄이며, 두 번째 과정에서 보다 정확한 카메라 자동 보정을 하기 위해 이미 추출된 키프레임 가운데 적대 2차 원추곡면(absolute quadric)의 추정을 통해 오차가 많이 포함된 키프레임을 제거한다. 가상 및 실사영상에 대한 실험결과로부터 제안된 방법의 성능을 확인하였으며, 다양한 실사 영상을 대상으로 가상의 3차원 모델을 합성한 결과도 제시하였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.762-766
• /
• 2003

In this paper, we present a new approach to solve the problem of estimating the camera 3-D location and orientation from a matched set of 3-D model and 2-D image features. An iterative least-square method is used to solve both rotation and translation simultaneously. Because conventional methods that solved for rotation first and then translation do not provide good solutions, we derive an error equation using roll-pitch-yaw angle to present the rotation matrix. To minimize the error equation, Levenberg-Marquardt algorithm is introduced with uniform sampling strategy of rotation space to avoid stuck in local minimum. Experimental results using real images are presented.

• 한국멀티미디어학회논문지
• /
• 제23권2호
• /
• pp.186-203
• /
• 2020

Image-based Virtual Try-On Systems are among the most potential solution for virtual fitting which tries on a target clothes into a model person image and thus have attracted considerable research efforts. In many cases, current solutions for those fails in achieving naturally looking virtual fitted image where a target clothes is transferred into the body area of a model person of any shape and pose while keeping clothes context like texture, text, logo without distortion and artifacts. In this paper, we propose a new improved image-based virtual try-on network system based on keypoints, which we name as KP-VTON. The proposed KP-VTON first detects keypoints in the target clothes and reliably predicts keypoints in the clothes of a model person image by utilizing a dense human pose estimation. Then, through TPS transformation calculated by utilizing the keypoints as control points, the warped target clothes image, which is matched into the body area for wearing the target clothes, is obtained. Finally, a new try-on module adopting Attention U-Net is applied to handle more detailed synthesis of virtual fitted image. Extensive experiments on a well-known dataset show that the proposed KP-VTON performs better the state-of-the-art virtual try-on systems.

• 한국멀티미디어학회논문지
• /
• 제10권12호
• /
• pp.1566-1576
• /
• 2007

Camera pose information from 2D face image is very important for making virtual 3D face model synchronize with the real face. It is also very important for any other uses such as: human computer interface, 3D object estimation, automatic camera control etc. In this paper, we have presented a camera position determination algorithm from a single 2D face image using the relationship between mouth position information and face region boundary information. Our algorithm first corrects the color bias by a lighting compensation algorithm, then we nonlinearly transformed the image into $YC_bC_r$ color space and use the visible chrominance feature of face in this color space to detect human face region. And then for face candidate, use the nearly reversed relationship information between $C_b\;and\;C_r$ cluster of face feature to detect mouth position. And then we use the geometrical relationship between mouth position information and face region boundary information to determine rotation angles in both x-axis and y-axis of camera position and use the relationship between face region size information and Camera-Face distance information to determine the camera-face distance. Experimental results demonstrate the validity of our algorithm and the correct determination rate is accredited for applying it into practice.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.182-189
• /
• 2023

깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.826-829
• /
• 2024

3D 사람 자세 추정 기술은 다양한 응용 분야에서의 높은 활용성으로 인해 대량의 학습 데이터가 수집되어 딥러닝 모델 연구가 진행되어 온 반면, 동물 자세 추정의 경우 3D 동물 데이터의 부족으로 인해 관련 연구는 극히 미진하다. 본 연구는 동물 자세 추정을 위한 예비연구로서, 3D 학습 데이터가 없는 상황에서 단일 이미지로부터 3D 사람 자세를 추정하는 딥러닝 기법을 제안한다. 이를 위하여 사전 훈련된 다중 시점 학습모델을 사용하여 2D 자세 데이터로부터 가상의 다중 시점 데이터를 생성하여 훈련하는 연역적 학습 기반 교사-학생 모델을 구성하였다. 또한, 키포인트 깊이 정보 대신 2D 이미지로부터 레이블링 된 순서 깊이 정보에 기반한 손실함수를 적용하였다. 제안된 모델이 동물데이터에서 적용 가능한지 평가하기 위해 실험은 사람 데이터를 사용하여 이루어졌다. 실험 결과는 제안된 방법이 기존 단안 이미지 기반 모델보다 3D 자세 추정의 성능을 개선함을 보여준다.