• 제목/요약/키워드: Real-time Motion Reconstruction

검색결과 24건 처리시간 0.178초

모션 캡쳐를 위한 다시점 영상의 효율적인 분석법 (An Efficient Analysis Method of Multiple View Images for Motion Capture)

  • 서융호;박유신;구떠올라;두경수;최종수
    • 대한전자공학회논문지SP
    • /
    • 제45권6호
    • /
    • pp.44-56
    • /
    • 2008
  • 기존 모션 캡쳐의 경우, 고가의 장비나 사용의 복잡도, 동작자의 움직임 제한 등 모션 캡쳐의 어려움이 있었다. 최근 실시간으로 모션 캡쳐가 가능한 컴퓨터 비젼 기반 시스템에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 다시점 영상으로부터 쉽고, 빠르게 추출할 수 있는 피부색과 정확한 3차원 복원을 위한 2차원 영상 좌표 보정을 사용하여 효율적인 다시점 영상 분석 알고리즘을 제안한다. 동작자와 피부색을 검출하고, 카메라 보정 및 에피폴라 기하학 정보를 이용하여 보다 정확한 영상 분석, 그리고 칼만 필터(Kalman filter)를 사용한 추적 등을 통해 보다 안정적인 모션 캡쳐가 가능하게 된다. 실험결과를 통하여, 제안된 방법은 보다 정확한 위치 추정 및 실시간 모션 캡쳐를 위한 알고리즘임을 보여주고 있다.

스테레오 2D 비디오 영상을 이용한 비정형 3D 형상 복원 (Non-rigid 3D Shape Recovery from Stereo 2D Video Sequence)

  • 고성식
    • 한국정보통신학회논문지
    • /
    • 제20권2호
    • /
    • pp.281-288
    • /
    • 2016
  • 움직임이 자연스러운 피사체는 대부분 형태가 불규칙하게 변형되는 비정형(non-rigid) 형상이고, 그 종류 또한 매우 다양하게 존재하다. 비정형 형상 복원에 관한 기술은 영화나 게임 산업에서 최근 폭넓게 적용되고 있다. 그렇지만, 현실적인 접근 방법은 움직이는 피사체에 많은 비콘 장치를 부착해야한다. 이러한 제약사항을 극복하기 위해, 비콘장치가 없는 입력 비디오 영상으로부터 비정형 형상을 복원하는 연구가 멀티미디어 응용 분야에서 광범위하게 진행되고 있다. 이러한 관점에서 본 논문은 비정형 3D 형상을 복원할 수 있는 새로운 CPSRF(Chained Partial Stereo Rigid Factorization) 알고리즘을 제안한다. 본 방법은 스테레오 2D 비디오 영상으로부터 비정형 3D 형상을 프레임 별로 실시간 복원하는데 포커스 한다. 또한 시변 형상 변형은 가우시한 분포를 따라야 하는 제한을 두지 않는다. 실험결과에서는 제안한 CPSRF 방법의 복원 성능이 불규칙한 형상 변형을 고려하지 않은 기존 방법 보다 우수함을 확인한다.

Design and Implementation of a Real-time Region Pointing System using Arm-Pointing Gesture Interface in a 3D Environment

  • Han, Yun-Sang;Seo, Yung-Ho;Doo, Kyoung-Soo;Choi, Jong-Soo
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2009년도 IWAIT
    • /
    • pp.290-293
    • /
    • 2009
  • In this paper, we propose a method to estimate pointing region in real-world from images of cameras. In general, arm-pointing gesture encodes a direction which extends from user's fingertip to target point. In the proposed work, we assume that the pointing ray can be approximated to a straight line which passes through user's face and fingertip. Therefore, the proposed method extracts two end points for the estimation of pointing direction; one from the user's face and another from the user's fingertip region. Then, the pointing direction and its target region are estimated based on the 2D-3D projective mapping between camera images and real-world scene. In order to demonstrate an application of the proposed method, we constructed an ICGS (interactive cinema guiding system) which employs two CCD cameras and a monitor. The accuracy and robustness of the proposed method are also verified on the experimental results of several real video sequences.

  • PDF

cGANs(Conditional Generative Adversarial Networks) 기반 3차원 객체의 임의 재생 기법 연구 (A Study on Random Reconstruction Method of 3-D Objects Based on Conditional Generative Adversarial Networks (cGANs))

  • 신광성;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.157-159
    • /
    • 2019
  • 홀로그램 기술은 3차원 객체의 생성, 전송, 재생 관점에서 기술 개발이 활발히 수행되고 있지만 현재 여러 가지 한계로 인하여 답보상태에 머물러 있다. VR, AR을 넘어 새로운 기술의 요구에 부합하기 위해 중간 단계로 유사홀로그램 시장이 성장하고 있는 추세다. 홀로그램의 기술의 핵심은 point cloud 형태의 방대한 3차원 데이터를 생성하고 그 방대한 데이터를 통신망을 통해 실시간으로 전송하여 목적지에서 원본과 같이 재생하는 것이다. 본 연구에서는 방대한 3차원 데이터를 실시간으로 전송하기 위한 방법으로 생성된 3차원 객체 정보의 특징점을 전송하여 목적지에서 원본과 비슷한 형태의 객체로 재생하는 방법에 대해 연구한다.

  • PDF

HEVC 스트림 상에서의 객체 추적 방법 (Object Tracking in HEVC Bitstreams)

  • 박동민;이동규;오승준
    • 방송공학회논문지
    • /
    • 제20권3호
    • /
    • pp.449-463
    • /
    • 2015
  • 동영상에서의 객체 추적은 보안, 색인 및 검색, 감시, 통신, 압축 등 다양한 분야에서 중요하다. 본 논문은 HEVC 비트스트림 상에서의 객체 추적 방법을 제안한다. 복호화를 수행하지 않고, 비트스트림 상에 존재하는 움직임 벡터(MV : Motion Vector)와 부호화 크기 정보를 Spatio-Temporal Markov Random Fields (ST-MRF) 모델에 적용해 객체 움직임의 공간적 및 시간적 특성을 반영한다. 변환계수를 특징점으로 활용하는 객체형태 조정 알고리즘을 적용해 ST-MRF 모델 기반 객체 추적방법에서 나타나는 과분할에 의한 오차전파 문제를 해결한다. 제안하는 방법의 추적성능은 정확도 86.4%, 재현율 79.8%, F-measure 81.1%로 기존방법 대비 평균 F-measure는 약 0.2% 향상하지만 기존방법에서 과분할 및 오차전파가 두드러지는 영상에 대해서는 최대 9% 정도의 성능향상을 보인다. 전체 수행시간은 프레임 당 평균 5.4ms이며 실시간 추적이 가능하다.

실세계 3차원 기하학 정보를 이용한 실시간 지시영역 추정 시스템의 구현 및 응용 (Real-time Implementation and Application of Pointing Region Estimation System using 3D Geometric Information in Real World)

  • 한윤상;서융호;두경수;김진태;최종수
    • 대한전자공학회논문지SP
    • /
    • 제45권2호
    • /
    • pp.29-36
    • /
    • 2008
  • 본 논문에서는 취득된 영상으로부터 실세계 지시 영역을 추정하는 방법을 제안한다. 일반적으로 사람은 무엇인가를 지시할 경우, 얼굴 방향을 목표물에 두게 된다. 따라서 얼굴영역과 손끝 영역을 연결한 직선을 지시방향이라 간주하였다. 먼저, 제안된 알고리듬은 2대의 카메라로부터 실시간으로 얻어진 영상에서 피부색 검출을 통해 사용자의 얼굴 및 손끝영역에서 2점을 추출하고, 이를 실세계 3차원 기하학 정보를 이용하여 지시방향 및 지시영역을 추정한다. 또한 제안된 알고리듬을 이용한 정확한 지시영역 추출을 기반으로 두 대의 카메라와 한 대의 빔 프로젝터로 구성된 '양방향 영화정보 안내 시스템(ICIGS: Interactive Cinema Information Guiding System)'을 구성하여 제안된 알고리듬의 실용화 가능성을 확인하였다.

블라인드 워터마킹을 내장한 실시간 비디오 코덱의 FPGA기반 단일 칩 구조 및 설계 (FPGA-based One-Chip Architecture and Design of Real-time Video CODEC with Embedded Blind Watermarking)

  • 서영호;김대경;유지상;김동욱
    • 한국통신학회논문지
    • /
    • 제29권8C호
    • /
    • pp.1113-1124
    • /
    • 2004
  • 본 논문에서는 입력 영상을 실시간으로 압축 및 복원할 수 있는 하드웨어(hardware, H/W)의 구조를 제안하고 처리되는 영상의 보안 및 보호를 위한 워터마킹 기법(watermarking)을 제안하여 H/W로 내장하고자 한다. 영상압축과 복원과정을 하나의 FPGA 칩 내에서 처리할 수 있도록 요구되는 모든 영상처리 요소를 고려하였고 VHDL(VHSIC Hardware Description Language)을 사용하여 각각을 효율적인 구조의 H/W로 사상하였다. 필터링과 양자화 과정을 거친 다음에 워터마킹을 수행하여 최소의 화질 감소를 가지고 양자화 과정에 의해 워터마크의 소실이 없으면서 실시간으로 동작이 가능하도록 하였다. 구현된 하드웨어는 크게 데이터 패스부(data path part)와 제어부(Main Controller, Memory Controller)로 구분되고 데이터 패스부는 영상처리 블록과 데이터처리 블록으로 나누어진다. H/W 구현을 위해 알고리즘의 기능적인 간략화를 고려하여 H/W의 구조에 반영하였다. 동작은 크게 영상의 압축과 복원과정으로 구분되고 영상의 압축 시 대기지연 시간 없이 워터마킹이 수행되며 전체 동작은 A/D 변환기에 동기하여 필드단위의 동작을 수행한다. 구현된 H/W는 APEX20KC EP20K600CB652-7 FPGA 칩에서 69%(16980개)의 LAB(Logic Array Block)와 9%(28352개)의 ESB(Embedded System Block)을 사용하였고 최대 약 82MHz의 클록주파수에서 안정적으로 동작할 수 있어 초당 67필드(33 프레임)의 영상에 대해 워터마킹과 압축을 실시간으로 수행할 수 있었다.

Dual detector system에서 Brain SPECT의 new reconstruction method의 연구 (The Study of New Reconstruction Method for Brain SPECT on Dual Detector System)

  • 이형진;김수미;이홍재;김진의;김현주
    • 핵의학기술
    • /
    • 제13권1호
    • /
    • pp.57-62
    • /
    • 2009
  • 목적 : 기존의 fan-beam을 이용한 triple detector system에서 parallel collimator를 이용한 dual detector system으로 변화에 있어 acquisition과 processing 부분에서 발생할 수 있는 여러 가지의 변수를 phantom과 volunteer test를 통하여 실험해 보았다. 1 day protocol brain spect를 위하여 parallel collimator에서만 적용되는 OSEM2D와 OSEM3D의 비교 분석을 중점으로 하였고, 모든 연구는 동등한 검사시간으로 fan-beam을 사용하였던 Triple gamma camera보다 parallel을 사용한 dual camera에서 보다 우수한 영상을 구현하고자 하는 목표를 지향하였다. 실험재료 및 방법 : Normal time scan과 short time scan을 실시하였고, collimator 변화에 따른 영상의 변화도 알아보았다. Jaczack performance phantom과 Body IEC phantom을 이용하여 SNR과 contrast를 평가해보았고 Hoffman 3D phantom의 실험을 거쳐 volunteer test를 실시하였다. 결과 : Normal time과 short time의 비교에서는 FLASH3D를 제외한 OSEM2D와 FBP는 분석방법으로 부적합하였다. LEAP는 resolution과 sharpness 등 전체적인 영상의 질이 기존의 fan-beam을 이용한 영상과 유사하였고, LEUHR은 감도의 저하로 1 day protocol을 적용하기 위한 scan time에는 부적합하였다. 재구성법의 비교에서는 Flash-3D를 이용한 결과들이 기존의 FBP와 OSEM-2D보다 월등히 정확함을 정성적으로 확인하였다. 결론 : OSEM3D 재구성법으로 Dual detector system에서의 1 day protocol brain SPECT 시 Fan-beam보다 sensitivity가 떨어지는 parallel collimator의 단점을 보완하면서 영상의 질 또한 de-noising과 scatter correction, resolution recovery 등의 효과를 얻을 수 있으므로 1 day protocol brain SPECT의 검사의 적용에 유용할 것으로 사료된다. 그러나 이러한 half-time method라 제공되는 다양한 프로그램의 임상적용에 대한 광범 위한 연구가 현실적으로 필요하며 향후 계속적인 연구가 기대되는 바이다.

  • PDF

2차원 기상 위성 영상의 구름 모델링 기법을 이용한 3차원 구름 애니메이션 (3D Cloud Animation using Cloud Modeling Method of 2D Meteorological Satellite Images)

  • 이정진;강문구;이호;신병석
    • 한국게임학회 논문지
    • /
    • 제10권1호
    • /
    • pp.147-156
    • /
    • 2010
  • 본 논문에서는 기상 위성으로부터 수신된 2차원 영상들을 구름 모델링 기법을 이용하여 3차원 입체 영상으로 재구성하는 구름 애니메이션 방법을 제안한다. 먼저 위성 영상들에 다수의 제어점을 분포시킨 후, 박판 스플라인 워핑 해석을 통하여 구름의 움직임을 모델링한다. 이에 더하여 가시채널과 적외채널 영상으로부터 구름의 양과 높낮이 정보를 추출하여 입체감을 가진 3차원 구름을 모델링한다. 구름 가시화를 위하여 적은 수의 볼륨데이터 슬라이스로도 우수한 품질의 영상을 빠르게 얻을 수 있는 선적분 볼륨 렌더링 방식을 사용한다. 제안 기법으로 2차원 위성 영상으로부터 적절한 속도와 화질을 갖는 3차원 구름 애니메이션이 가능하다.

UAS 및 지상 LiDAR 융합기반 건축물의 3D 재현 (3D Reconstruction of Structure Fusion-Based on UAS and Terrestrial LiDAR)

  • 한승희;강준오;오성종;이용창
    • 도시과학
    • /
    • 제7권2호
    • /
    • pp.53-60
    • /
    • 2018
  • Digital Twin is a technology that creates a photocopy of real-world objects on a computer and analyzes the past and present operational status by fusing the structure, context, and operation of various physical systems with property information, and predicts the future society's countermeasures. In particular, 3D rendering technology (UAS, LiDAR, GNSS, etc.) is a core technology in digital twin. so, the research and application are actively performed in the industry in recent years. However, UAS (Unmanned Aerial System) and LiDAR (Light Detection And Ranging) have to be solved by compensating blind spot which is not reconstructed according to the object shape. In addition, the terrestrial LiDAR can acquire the point cloud of the object more precisely and quickly at a short distance, but a blind spot is generated at the upper part of the object, thereby imposing restrictions on the forward digital twin modeling. The UAS is capable of modeling a specific range of objects with high accuracy by using high resolution images at low altitudes, and has the advantage of generating a high density point group based on SfM (Structure-from-Motion) image analysis technology. However, It is relatively far from the target LiDAR than the terrestrial LiDAR, and it takes time to analyze the image. In particular, it is necessary to reduce the accuracy of the side part and compensate the blind spot. By re-optimizing it after fusion with UAS and Terrestrial LiDAR, the residual error of each modeling method was compensated and the mutual correction result was obtained. The accuracy of fusion-based 3D model is less than 1cm and it is expected to be useful for digital twin construction.