• 제목/요약/키워드: 3D augmentation

검색결과 103건 처리시간 0.026초

Keypoint Detection과 Annoy Tree를 사용한 2D Hand Pose Estimation (Fast Hand Pose Estimation with Keypoint Detection and Annoy Tree)

  • 이희재;강민혜
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.277-278
    • /
    • 2021
  • 최근 손동작 인식에 대한 연구들이 활발하다. 하지만 대부분 Depth 정보를 포함한3D 정보를 필요로 한다. 이는 기존 연구들이 Depth 카메라 없이는 동작하지 않는다는 한계점이 있다는 것을 의미한다. 본 프로젝트는 Depth 카메라를 사용하지 않고 2D 이미지에서 Hand Keypoint Detection을 통해 손동작 인식을 하는 방법론을 제안한다. 학습 데이터 셋으로 Facebook에서 제공하는 InterHand2.6M 데이터셋[1]을 사용한다. 제안 방법은 크게 두 단계로 진행된다. 첫째로, Object Detection으로 Hand Detection을 수행한다. 데이터 셋이 어두운 배경에서 촬영되어 실 사용 환경에서 Detection 성능이 나오지 않는 점을 해결하기 위한 이미지 합성 Augmentation 기법을 제안한다. 둘째로, Keypoint Detection으로 21개의 Hand Keypoint들을 얻는다. 실험을 통해 유의미한 벡터들을 생성한 뒤 Annoy (Approximate nearest neighbors Oh Yeah) Tree를 생성한다. 생성된 Annoy Tree들로 후처리 작업을 거친 뒤 최종 Pose Estimation을 완료한다. Annoy Tree를 사용한 Pose Estimation에서는 NN(Neural Network)을 사용한 것보다 빠르며 동등한 성능을 냈다.

  • PDF

Video Augmentation by Image-based Rendering

  • Seo, Yong-Duek;Kim, Seung-Jin;Sang, Hong-Ki
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1998년도 Proceedings of International Workshop on Advanced Image Technology
    • /
    • pp.147-153
    • /
    • 1998
  • This paper provides a method for video augmentation using image interpolation. In computer graphics or augmented reality, 3D information of a model object is necessary to generate 2D views of the model, which are then inserted into or overlayed on environmental views or real video frames. However, we do not require any three dimensional model but images of the model object at some locations to render views according to the motion of video camera which is calculated by an SFM algorithm using point matches under weak-perspective (scaled-orthographic) projection model. Thus, a linear view interpolation algorithm is applied rather than a 3D ray-tracing method to get a view of the model at different viewpoints from model views. In order to get novel views in a way that agrees with the camera motion the camera coordinate system is embedded into model coordinate system at initialization time on the basis of 3D information recovered from video images and model views, respectively. During the sequence, motion parameters from video frames are used to compute interpolation parameters, and rendered model views are overlayed on corresponding video frames. Experimental results for real video frames and model views are given. Finally, discussion on the limitations of the method and subjects for future research are provided.

  • PDF

Robust Deep Age Estimation Method Using Artificially Generated Image Set

  • Jang, Jaeyoon;Jeon, Seung-Hyuk;Kim, Jaehong;Yoon, Hosub
    • ETRI Journal
    • /
    • 제39권5호
    • /
    • pp.643-651
    • /
    • 2017
  • Human age estimation is one of the key factors in the field of Human-Robot Interaction/Human-Computer Interaction (HRI/HCI). Owing to the development of deep-learning technologies, age recognition has recently been attempted. In general, however, deep learning techniques require a large-scale database, and for age learning with variations, a conventional database is insufficient. For this reason, we propose an age estimation method using artificially generated data. Image data are artificially generated through 3D information, thus solving the problem of shortage of training data, and helping with the training of the deep-learning technique. Augmentation using 3D has advantages over 2D because it creates new images with more information. We use a deep architecture as a pre-trained model, and improve the estimation capacity using artificially augmented training images. The deep architecture can outperform traditional estimation methods, and the improved method showed increased reliability. We have achieved state-of-the-art performance using the proposed method in the Morph-II dataset and have proven that the proposed method can be used effectively using the Adience dataset.

SBAS 이동측위 정확도 분석 (Accuracy Analysis of Kinematic SBAS Surveying)

  • 김혜인;손은성;이호석;김현호;박관동
    • 한국측량학회지
    • /
    • 제26권5호
    • /
    • pp.493-504
    • /
    • 2008
  • SBAS(Space-Based Augmentation System)는 광역보정항법시스템(WADGPS, Wide Area DGPS)으로써 지역 보정항법시스템(LADGPS, Local Area DGPS)의 단점을 보완한 위성항법 보정시스템이다. 이 연구에서는 GPS 측위의 대표적인 방법인 실시간 이동측위(RTK; Real-Time Kinematic), DGPS(Differential GPS) 측위, 단독측위(Standalone)와 SBAS 이동측위를 실시하고 그에 따른 측위 정확도 비교를 통해 SBAS 이동측위의 성능을 분석하였다. 정지측위 결과 산출한 좌표를 참값으로 간주하였고, 각각의 측위방법으로 획득한 관측데이터를 참값과 비교하여 계산한 2차원 평균제곱근(RMS: Root Mean Square)오차와 3차원 RMS 오차를 정확도 비교의 지표로 사용하였다. 그 결과, 각 측위방법에 따른 3차원 RMS 오차는 RTK 측위 13.1cm, DGPS 측위 126.0cm, 이중주파수 단독측위 135.7cm, 단일주파수 단독측위 428.9cm, 그리고 SBAS 측위 109.2cm로 나타났다. 이를 통해 SBAS 측위의 정확도가 DGPS 측위 정확도와 대등한 수준임을 확인할 수 있었다.

서울 도심지에서의 QZSS를 이용한 GPS 확장시스템의 가용도 평가 (Availability Assessment of GPS Augmentation System Using QZSS at Urban Environment of seoul)

  • 유경호;성상경;강태삼;이영재;이은성;이상욱
    • 한국항공우주학회지
    • /
    • 제36권8호
    • /
    • pp.761-766
    • /
    • 2008
  • 본 논문에서는 사용자 위치결정에 널리 사용되는 GPS를 일본의 QZSS (Quasi-Zenith Satellite System)과 결합하여 서울 도심지역에서의 위성항법시스템의 가용도 및 DOP (Dilution Of Precision)성능을 분석하였다. QZSS 궤도 파라메터를 이용한 궤도 시뮬레이터를 구현하였다. 3D GIS 수치지도를 기반으로 서울 도심의 3차원 모델을 생성하고, 위성 관측 알고리즘을 이용하여 구성한 가시위성 시뮬레이션 시스템에 대해 기술하였다. 서울 도심지에서 GPS와 QZSS의 결합을 통한 가용도와 DOP 성능 향상을 보였다.

질려자 추출물의 피부 볼륨 증진 및 주름개선 효과 (Skin Volume Augmentation and Anti-wrinkle Effects of Tribulus terrestris Fruit Extract)

  • 김미진;정택규;박현철;윤경섭
    • KSBB Journal
    • /
    • 제31권3호
    • /
    • pp.178-185
    • /
    • 2016
  • Aging of the face is mainly related to the features that are sagging or loss of elasticity of the skin by reducing the volume around the eyes or cheek. Intrinsic aging can be seen to cause thinner dermis, reduction of extracellular matrix and subcutaneous fat. This study was carried out to investigate the skin volume augmentation and anti-wrinkle effects of Tribulus terrestris fruit extract. Skin anti-aging effect of Tribulus terrestris fruit extract was evaluated by using lipid accumulation, expressin of type I procollagen and elastin in preadipocytes and human dermal fibroblasts. Tribulus terrestris fruit extract augmented preadipocytes differentiation about 56% at 100 µg/mL. The type I procollagen and elastin were increased about 35% and 25% by treatment 20% Tribulus terrestris fruit extract, respectively. The clinical study also showed that skin sagging, skin elasticity, and dermal density improved without adverse effect following 4 week application of cream containing 2% Tribulus terrestris fruit extract. We suggest that Tribulus terrestris fruit extract can have the good possibility as skin volume augmenting, skin elasticity and wrinkle improving agent.

비디오 영상에서의 비보정 3차원 좌표 복원을 통한 가상 객체의 비디오 합성 (Video Augmentation of Virtual Object by Uncalibrated 3D Reconstruction from Video Frames)

  • 박종승;성미영
    • 한국멀티미디어학회논문지
    • /
    • 제9권4호
    • /
    • pp.421-433
    • /
    • 2006
  • 본 논문에서는 비디오에서 비보정 3차원 좌표의 복원과 카메라의 움직임 추정을 통하여 가상 객체를 비디오에 자연스럽게 합성하는 방법을 제안한다. 비디오의 장면에 부합되도록 가상 객체를 삽입하기 위해서는 장면의 상대적인 구조를 얻어야 하고 비디오 프레임의 흐름에 따른 카메라 움직임의 변화도 추정해야 한다. 먼저 특장점을 추적하고 비보정 절차를 수행하여 카메라 파라메터와 3차원 구조를 복원한다. 각 프레임에서 카메라 파라메터들을 고정시켜 촬영하고 이들 카메라 파라메터는 일정 프레임 동안 불변으로 가정하였다. 제안된 방법으로 세 프레임 이상에서 작은 수의 특징점 만으로도 올바른 3차원 구조를 얻을 수 있었다. 가상객체의 삽입 위치는 초기 프레임에서 특정 면의 모서리점의 대응점을 지정하여 결정한다. 가상 객체의 투사 영역을 계산하고 이 영역에 이음새가 없도록 텍스처를 혼합하여 가상객체와 비디오의 부자연스러운 합성 문제를 해결하였다. 제안 방법은 비보정 절차를 선형으로만 구현하여 기존의 방법에 비해서 안정성과 수행속도의 면에서 우수하다. 실제 비디오 스트림에 대한 다양한 실험을 수행한 결과 여러 증강현실 응용 시스템에 유용하게 사용될 수 있음을 입증하였다.

  • PDF

증강 비디오 시스템을 위한 AR 영상 Registration 알고리즘 연구 (A Study of AR Image Registration Algorithm For Augmentation Video System)

  • 김혜경;오해석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.454-456
    • /
    • 2001
  • 본 논문에서는 비디오 영상열 내에 컴퓨터가 생성한 가상의 3D 영상을 이음새 없이 추가하기 위한 문제에 초점을 맞추고 있다. 2단계의 견고한 통계적인 메소드는 추적된 커브들의 모델-영상 대응점으로부터 보다 정확한 자세를 평가하기 위하여 자세 계산을 위해 사용되었다. 또한, 관점의 정확성 향상을 위하여 두 개의 연속하는 영상들간에 매치될 수 있는 핵심점을 카메라 움직임에 대한 상관관계 함수로 사용하여 매칭 에러와 reprojection 에러를 포함한 비용함수를 최소화함에 의해 관점을 향상시킨다. 비디오 영상내 객체 영상과 가상의 3D 영상간에 발생하는 폐색 공간문제를 해결하기 위하여 반 자동 알고리즘을 제안하였다.

  • PDF

증강현실을 활용한 상황인지기반의 편재형 자동차 정비 서비스 (Ubiquitous Car Maintenance Services Using Augmented Reality and Context Awareness)

  • 이규원;서동우;이재열
    • 한국CDE학회논문집
    • /
    • 제12권3호
    • /
    • pp.171-181
    • /
    • 2007
  • Ubiquitous computing is a vision of our future computing lifestyle in which computer systems seamlessly integrate into our everyday lives, providing services and information in anywhere and anytime fashion. Augmented reality (AR) can naturally complement ubiquitous computing by providing an intuitive and collaborative visualization and simulation interface to a three-dimensional information space embedded within physical reality. This paper presents a service framework and its applications for providing context-aware u-car maintenance services using augmented reality, which can support a rich set of ubiquitous services and collaboration. It realizes bi-augmentation between physical and virtual spaces using augmented reality. It also offers a context processing module to acquire, interpret and disseminate context information. In particular, the context processing module considers user's preferences and security profile for providing private and customer-oriented services. The prototype system has been implemented to support 3D animation, TTS (Text-to-Speech), augmented manual, annotation, and pre- and post-augmentation services in ubiquitous car service environments.

표정 인식을 이용한 3D 감정 아바타 생성 및 애니메이션 (3D Emotional Avatar Creation and Animation using Facial Expression Recognition)

  • 조태훈;정중필;최수미
    • 한국멀티미디어학회논문지
    • /
    • 제17권9호
    • /
    • pp.1076-1083
    • /
    • 2014
  • We propose an emotional facial avatar that portrays the user's facial expressions with an emotional emphasis, while achieving visual and behavioral realism. This is achieved by unifying automatic analysis of facial expressions and animation of realistic 3D faces with details such as facial hair and hairstyles. To augment facial appearance according to the user's emotions, we use emotional templates representing typical emotions in an artistic way, which can be easily combined with the skin texture of the 3D face at runtime. Hence, our interface gives the user vision-based control over facial animation of the emotional avatar, easily changing its moods.