• 제목/요약/키워드: Monocular Depth Map

검색결과 13건 처리시간 0.026초

GPGPU를 이용한 단일 영상에서의 깊이 추정에 관한 연구 (A Study of Depth Estimate using GPGPU in Monocular Image)

  • 유태훈;박영수;이종용;이강성;이상훈
    • 디지털융복합연구
    • /
    • 제11권12호
    • /
    • pp.345-352
    • /
    • 2013
  • 본 논문에서는 GPU(Graphics Processing Unit)에서 데이터를 처리할 수 있게 하여 단일 영상에서 효율적으로 깊이를 추정하는 방법을 제안한다. 단일 영상은 카메라의 투영 과정에 의해 깊이 정보가 소실되게 되며 영상에서 소실된 깊이를 추정하기 위해서 단안 단서를 이용한다. 제안하는 깊이 추정 알고리즘은 좀 더 신뢰성 있는 깊이를 추정하고자 여러 단안 단서를 이용하며 에너지 최소화를 통해 단안 단서들을 결합한다. 그러나 여러 단안 단서들을 고려해야하기 때문에 처리해야 할 데이터가 많은 단점이 존재한다. 따라서 GPGPU(General Purpose Graphics Processing Unit)를 통해 데이터를 병렬적으로 처리하게 하여 효율적으로 깊이를 추정하는 방법을 제안한다. 객관적인 효율성을 검증하기 위해 PSNR(Peak Signal to Noise Ratio)을 통해 실험하였으며 GPGPU을 이용함으로써 알고리즘의 수행시간을 평균 61.22% 감소시켰다.

Pix2Pix 모델을 활용한 단일 영상의 깊이맵 추출 (Depth Map Extraction from the Single Image Using Pix2Pix Model)

  • 강수명;이준재
    • 한국멀티미디어학회논문지
    • /
    • 제22권5호
    • /
    • pp.547-557
    • /
    • 2019
  • To extract the depth map from a single image, a number of CNN-based deep learning methods have been performed in recent research. In this study, the GAN structure of Pix2Pix is maintained. this model allows to converge well, because it has the structure of the generator and the discriminator. But the convolution in this model takes a long time to compute. So we change the convolution form in the generator to a depthwise convolution to improve the speed while preserving the result. Thus, the seven down-sizing convolutional hidden layers in the generator U-Net are changed to depthwise convolution. This type of convolution decreases the number of parameters, and also speeds up computation time. The proposed model shows similar depth map prediction results as in the case of the existing structure, and the computation time in case of a inference is decreased by 64%.

자율주행을 위한 Self-Attention 기반 비지도 단안 카메라 영상 깊이 추정 (Unsupervised Monocular Depth Estimation Using Self-Attention for Autonomous Driving)

  • 황승준;박성준;백중환
    • 한국항행학회논문지
    • /
    • 제27권2호
    • /
    • pp.182-189
    • /
    • 2023
  • 깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

실안개를 이용한 단일 영상으로부터의 깊이정보 획득 및 뷰 생성 알고리듬 (Depth estimation and View Synthesis using Haze Information)

  • 소용석;현대영;이상욱
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2010년도 하계학술대회
    • /
    • pp.241-243
    • /
    • 2010
  • Previous approaches to the 2D to 3D conversion problem require heavy computation or considerable amount of user input. In this paper, we propose a rather simple method in estimating the depth map from a single image using a monocular depth cue: haze. Using the haze imaging model, we obtain the distance information and estimate a reliable depth map from a single scenery image. Using the depth map, we also suggest an algorithm that converts the single image to 3D stereoscopic images. We determine a disparity value for each pixel from the original 'left' image and generate a corresponding 'right' image. Results show that the algorithm gives well refined depth maps despite the simplicity of the approach.

  • PDF

단안 영상에서 인간 오브젝트의 고품질 깊이 정보 생성 방법 (High-Quality Depth Map Generation of Humans in Monocular Videos)

  • 이정진;이상우;박종진;노준용
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제20권2호
    • /
    • pp.1-11
    • /
    • 2014
  • 단안 영상에서 3차원 입체영상으로 변환한 결과물의 품질은장면의 물체들에게 부여한 깊이 정보의 정확도에 의존적이다. 영상의 매 프레임마다 장면의 물체들의 깊이 정보를 수동으로 입력하는 것은 많은 시간을 필요로 하는 노동집약적인 작업이다. 특히, 높은 자유도를 가진 관절형 물체인 인간의 몸은 고품질 입체변환에 있어서 가장 어려운 물체 중에 하나이다. 다양한 스타일의 옷, 액세서리, 머리카락들이 만드는 매우 복잡한 실루엣은 문제를 더욱 어렵게 한다. 본 논문에서는 단안 영상에 나타난 인간 오브젝트의 고품질 깊이 정보를 생성하는 효율적인 방법을 제안한다. 먼저, 적은 수의 사용자입력을 기반으로 3 원 템플릿 모델을 순차 관절 각도 제약을 가진 자세 추정 방법을 통해서 영상에 등장하는 2차원 인간 오브젝트에 정합한다. 정합된 3차원 모델로부터 초기 깊이 정보를 획득한 뒤, 컬러 세그멘테이션 방법을 기반으로 한 부분 깊이 전파 방법을 통해 세밀한 표현을 보장하며 누락된 영역을 포함하는 최종 깊이 정보를 생성한다. 숙련된 아티스트들의 수작업 결과물과 제안된 방법의 결과물을 비교한 검증 실험은 제안된 방법이 단안 영상에서 동등한 수준의 깊이 정보를 효율적으로 생성한다는 것을 보여준다.

Depth-Map을 이용한 객체 증강 시스템 (Augmented Reality system Using Depth-map)

  • 반경진;김종찬;김경옥;김응곤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.343-344
    • /
    • 2010
  • 마커리스 시스템의 경우 2차원 영상에서 깊이 값을 추정하기 위해서는 스테레오 비젼과 같이 고가의 장비를 통해 깊이 값을 추정하였다. 이에 단안 영상에서 깊이 값을 추정하여 객체를 증강하기 위해 소실점을 추출하고 상대적 깊이 값을 추정한다. 객체 증강에 있어 향상된 몰입감을 얻기 위해서는 가상의 객체들이 거리에 따라 서로 다른 크기로 그려져야 한다. 본 논문에서는 획득한 영상에서 소실점을 생성하고 깊이정보를 이용하여 증강된 객체를 서로 다른 크기로 증강하여 객체간 상호 몰입감을 향상시켰다.

  • PDF

단안단서를 이용한 자연영상의 상대적 깊이지도 생성 (Relative Depth-Map Generation of Natural Scenes using Monocular Cues)

  • 한종원;조진수;이일병
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
    • /
    • pp.367-369
    • /
    • 2006
  • 사람은 일반적으로 깊이를 지각하는데 두 눈으로 들어오는 영상의 시차(binocular disparity)를 이용하며 6-15m 정도의 범위 내에서는 매우 뛰어난 깊이 판별 능력을 보인다. 그러나 사람은 하나의 눈만으로도 깊이를 지각하는데 별 어려움을 느끼지 못한다. 이것은 공간의 깊이 지각 단서로 양안단서안이 아니라 다양한 단안단서(monocular Cue)들이 함께 사용되기 때문이다. 본 논문에서는 사람이 공간 깊이정보 파악에 사용하는 것으로 알려진 여러 단안 단서들 중 영상의 채도(saturation) 정보와 디포커스(defocus) 정보, 기하학적 깊이(geometric depth) 정보에 기반을 둔 단안 영상에서의 상대적 깊이지도의 생성방법을 제안한다.

  • PDF

소실점 영역을 이용한 개선된 Depth-map 생성 기법 (Improved depth map generation method using Vanishing Point area)

  • 반경진;김종찬;김경옥;김응곤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.357-359
    • /
    • 2010
  • 단안영상에서 영상의 깊이를 판단하기 위해서 사용하는 소실점은 건물, 도로와 같은 건축물이 포함된 실외영상이나 복도, 방 내부 등의 실내구조에 대한 영상에서 소실점은 매우 강력한 깊이단서이다. 소실점을 이용한 깊이지도는 2차원 영상에서 3차원 공간구조를 복원하기위해 사용된다. 하지만 소실점이 영상 내에 존재하는 경우 소실점의 위치에 따라서도 서로 다른 상대적 깊이표현 방법이 필요하다. 본 논문에서는 영상에 존재하는 소실점의 위치를 고려하여 보다 개선된 depth-map 생성하였다. 제안된 방법은 소실점이 위치하는 영역을 7구역으로 정의하고 영역에 따라서 서로 다른 깊이 방향을 제안하였다.

  • PDF

Deep Learning-based Depth Map Estimation: A Review

  • Abdullah, Jan;Safran, Khan;Suyoung, Seo
    • 대한원격탐사학회지
    • /
    • 제39권1호
    • /
    • pp.1-21
    • /
    • 2023
  • In this technically advanced era, we are surrounded by smartphones, computers, and cameras, which help us to store visual information in 2D image planes. However, such images lack 3D spatial information about the scene, which is very useful for scientists, surveyors, engineers, and even robots. To tackle such problems, depth maps are generated for respective image planes. Depth maps or depth images are single image metric which carries the information in three-dimensional axes, i.e., xyz coordinates, where z is the object's distance from camera axes. For many applications, including augmented reality, object tracking, segmentation, scene reconstruction, distance measurement, autonomous navigation, and autonomous driving, depth estimation is a fundamental task. Much of the work has been done to calculate depth maps. We reviewed the status of depth map estimation using different techniques from several papers, study areas, and models applied over the last 20 years. We surveyed different depth-mapping techniques based on traditional ways and newly developed deep-learning methods. The primary purpose of this study is to present a detailed review of the state-of-the-art traditional depth mapping techniques and recent deep learning methodologies. This study encompasses the critical points of each method from different perspectives, like datasets, procedures performed, types of algorithms, loss functions, and well-known evaluation metrics. Similarly, this paper also discusses the subdomains in each method, like supervised, unsupervised, and semi-supervised methods. We also elaborate on the challenges of different methods. At the conclusion of this study, we discussed new ideas for future research and studies in depth map research.

스테레오 적외선 조명 및 단일카메라를 이용한 3차원 환경인지 (3D Environment Perception using Stereo Infrared Light Sources and a Camera)

  • 이수용;송재복
    • 제어로봇시스템학회논문지
    • /
    • 제15권5호
    • /
    • pp.519-524
    • /
    • 2009
  • This paper describes a new sensor system for 3D environment perception using stereo structured infrared light sources and a camera. Environment and obstacle sensing is the key issue for mobile robot localization and navigation. Laser scanners and infrared scanners cover $180^{\circ}$ and are accurate but too expensive. Those sensors use rotating light beams so that the range measurements are constrained on a plane. 3D measurements are much more useful in many ways for obstacle detection, map building and localization. Stereo vision is very common way of getting the depth information of 3D environment. However, it requires that the correspondence should be clearly identified and it also heavily depends on the light condition of the environment. Instead of using stereo camera, monocular camera and two projected infrared light sources are used in order to reduce the effects of the ambient light while getting 3D depth map. Modeling of the projected light pattern enabled precise estimation of the range. Two successive captures of the image with left and right infrared light projection provide several benefits, which include wider area of depth measurement, higher spatial resolution and the visibility perception.