• 한국정보통신학회논문지
• /
• 제26권3호
• /
• pp.389-395
• /
• 2022

심층 학습 기술의 발전으로 인해 분류, 객체 검출, 분할과 같은 시각 정보를 이용한 심층 학습이 다양한 분야에서 활용되고 있다. 그 중 자율 주행은 시각 데이터를 잘 활용하는 대표적인 분야 중 하나이다. 본 논문에서는 도로 위의 사람과 운송수단 객체에 대한 개별적인 깊이 값을 예측하는 망을 제안한다. 제안하는 모델은 YOLOv3와 Monodepth를 기반으로 하며, 하드 파라미터 쉐어링을 이용한 인코더와 디코더를 통해 객체 검출과 깊이 추정을 동시에 수행한다. 또한 주의 집중 기법을 사용하여 객체 검출 및 깊이 추정의 정확도를 높이고자 하였다. 깊이 추정은 단안 이미지를 통해 이루어지며, 자가 학습 방법을 통해 학습을 수행하였다.

• 융합신호처리학회논문지
• /
• 제5권2호
• /
• pp.96-105
• /
• 2004

2차원 이미지로부터 3차원 이미지 복원은 각 픽셀까지의 깊이 정보가 필요하고, 3차원 모델의 복원에 관한 일반적인 수작업은 많은 시간과 비용이 소모된다. 본 논문의 목표는 카메라가 이동하는 중에, 획득된 단안 영상에서 영역의 상대적인 깊이 정보를 추출하는 것이다. 카메라 이동에 의한 영상의 모든 점들의 움직임은 깊이 정보에 종속적이라는 사실에 기반을 두고 있다. 전역 탐색 기법을 사용하여 획득한 움직임 벡터에서 카메라 회전과 배율에 관해서 보상을 한다. 움직임 벡터를 분석하여 평균 깊이를 측정하고, 평균 깊이에 대한 각 영역의 상대적 깊이를 구하였다. 실험결과 영역의 상대적인 깊이는 인간이 인식하는 상대적인 깊이와 일치한다는 것을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.95-96
• /
• 2021

본 논문에서는 단안비디오 입력으로부터 각 SAI(sub-aperture image)간의 넓은 기준선을 갖는 라이트필드 합성기법을 제안한다. 기존의 라이트필드 영상은 취득의 어려움에 의해 규모가 작고 특정 물체위주로 구성되어 있어 컴퓨터 비전 및 그래픽스 분야의 최신 딥러닝 기법들을 라이트필드 분야에 적용하기 어렵다는 문제를 갖고 있다. 이러한 문제점들을 해결하기 위해 사실적 렌더링 기반의 가상환경상에서 실제환경과 유사함을 갖는 데이터를 취득하였다. 생성한 데이터셋을 이용하여 기존의 새로운 시점을 생성하는 기법 중 하나인 다중 평면 영상(Multi Plane Image) 기반 합성기법을 통해 라이트필드 영상을 합성한다. 제안하는 네트워크는 단안비디오의 연속된 두개의 프레임으로부터 MPI 추정하는 네트워크와 입력영상의 깊이 정보를 추정하는 네트워크로 구성되어 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 추계학술대회
• /
• pp.343-344
• /
• 2010

마커리스 시스템의 경우 2차원 영상에서 깊이 값을 추정하기 위해서는 스테레오 비젼과 같이 고가의 장비를 통해 깊이 값을 추정하였다. 이에 단안 영상에서 깊이 값을 추정하여 객체를 증강하기 위해 소실점을 추출하고 상대적 깊이 값을 추정한다. 객체 증강에 있어 향상된 몰입감을 얻기 위해서는 가상의 객체들이 거리에 따라 서로 다른 크기로 그려져야 한다. 본 논문에서는 획득한 영상에서 소실점을 생성하고 깊이정보를 이용하여 증강된 객체를 서로 다른 크기로 증강하여 객체간 상호 몰입감을 향상시켰다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제28권3호
• /
• pp.45-54
• /
• 2022

영상의 깊이 추정은 다양한 영상 분석의 기반이 되는 기술이다. 딥러닝 모델을 활용한 분석 방법이 대두되면서, 영상의 깊이 추정 분야 또한 딥러닝을 활용하는 연구가 활발하게 이루어지고 있다. 현재 대부분의 딥러닝 영상 깊이 추정 모델들은 깨끗하고 이상적인 환경에서 학습되고 있다. 하지만 연무, 안개가 낀 열악한 환경에서도 깊이 추정 기술이 잘 동작할 수 있으려면 이러한 환경의 데이터를 포함하여야 한다. 하지만 열악한 환경의 영상을 충분히 확보하는 것이 어려운 실정이며, 불균일한 안개 데이터를 얻는 것은 특히 어려운 문제이다. 이를 해결하기 위해, 본 연구에서는 불균일 안개 영상 합성 방법과 이를 활용한 단안 기반의 깊이 추정 딥러닝 모델의 학습을 제안한다. 안개가 주로 실외에서 발생하는 것을 고려하여, 실외 위주의 데이터 세트를 구축한다. 그리고 실험을 통해 제안된 방법으로 학습된 모델이 합성 데이터와 실제 데이터에서 깊이를 잘 추정하는 것을 보인다.

• 한국항공우주학회지
• /
• 제37권3호
• /
• pp.267-274
• /
• 2009

최근 무인 항공기(Unmanned Aerial Vehicle, UAV)는 다양한 임무수행이 가능한 무인 시스템이라는 점에서 크게 주목받고 있다. 특히 정찰, 추적 등의 임무는 영상을 이용하여 임무 수행이 이루어진다. 소형 무인 항공기의 경우 중량과 비용을 고려하여 단안 영상을 이용하는 임무 수행 연구가 활발하게 이루어지고 있다. 그러나 실제 지표면과 목표물이 고도 차이를 가지고 있어, 영상의 상대깊이를 고려하지 않은 3차원 거리는 임무 수행 시 오차 요인으로 작용 할 수 있다. 본 연구에서는 상대 깊이 추정을 위한 평균이동 알고리즘, 광류, 부분 공간법에 관하여 차례로 제시한다. 평균이동 알고리즘은 영상 내 목표물 추적과 관심영역을 결정하며 광류는 영상의 자기를 이용한 영상 이동 정보를 포함한다. 마지막으로 부분 공간법은 영상안의 움직임을 추정하며 각 영역의 상대깊이를 결정한다.

• 정보처리학회논문지B
• /
• 제12B권3호
• /
• pp.247-256
• /
• 2005

컴퓨터 비젼에 관한 고전적인 연구 주제들 중의 하나는 두 개 이상의 이미지로부터 3차원 형상을 재구성하는 3차원 변환에 관한 것이다. 본 논문은 단안 카메라로 촬영한 일반적인 2차원 영상물에서 능동적으로 움직이는 3차원 영상의 깊이 정보를 추출하는 문제를 다룬다. 연속하는 프레임들간의 영상 블록의 움직임을 평가하여 카메라의 회전과 배율효과를 보상하고 다음과 같은 두 개의 단계에 걸쳐 블록의 움직임을 추출한다. (i) 블록의 위치와 움직임을 이용하여 카메라의 이동과 초점거리에 대한 전역 파라메타를 계산한다. (ii) 전역 파라메타, 블록의 위치와 움직임을 이용하여 평균 영상 깊이에 대한 상대적인 블록의 깊이를 계산한다. 다양한 동영상을 대상으로 특이점인 경우와 그렇지 않은 경우를 실험하였다. 결과로 얻어지는 상대적인 깊이 정보와 객체는 인간이 판단하는 경우와 동일함을 보였다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.341-350
• /
• 2022

본 논문은 온디바이스 환경에서 다중 시점 영상을 입력 받아 객체를 증강하고, 현실 공간에 의한 가려짐을 구현하는 딥러닝 기반의 증강현실 시스템을 제안한다. 이는 세부적으로 카메라 자세 추정, 깊이 추정, 객체 증강 구현의 세 기술적 단계로 나눠지며 각 기법은 온디바이스 환경에서의 최적화를 위해 다양한 모바일 프레임워크를 사용한다. 카메라 자세 추정 단계에서는 많은 계산량을 필요로 하는 특징 추출 알고리즘을 GPU 병렬처리 프레임워크인 OpenCL을 통해 가속하여 사용하며, 깊이 영상 추론 단계에서는 모바일 심층신경망 프레임워크 TensorFlow Lite를 사용하여 가속화된 단안, 다중 영상 기반의 깊이 영상 추론을 수행한다. 마지막으로 모바일 그래픽스 프레임워크 OpenGL ES를 활용해 객체 증강 및 가려짐을 구현한다. 제시하는 증강현실 시스템은 안드로이드 환경에서 GUI를 갖춘 애플리케이션으로 구현되며 모바일과 PC 환경에서의 동작 정확도 및 처리 시간을 평가한다.

• 로봇학회논문지
• /
• 제14권2호
• /
• pp.114-121
• /
• 2019

This paper presents a new benchmark system for visual odometry (VO) and monocular depth estimation (MDE). As deep learning has become a key technology in computer vision, many researchers are trying to apply deep learning to VO and MDE. Just a couple of years ago, they were independently studied in a supervised way, but now they are coupled and trained together in an unsupervised way. However, before designing fancy models and losses, we have to customize datasets to use them for training and testing. After training, the model has to be compared with the existing models, which is also a huge burden. The benchmark provides input dataset ready-to-use for VO and MDE research in 'tfrecords' format and output dataset that includes model checkpoints and inference results of the existing models. It also provides various tools for data formatting, training, and evaluation. In the experiments, the exsiting models were evaluated to verify their performances presented in the corresponding papers and we found that the evaluation result is inferior to the presented performances.

• 전자공학회논문지CI
• /
• 제43권3호
• /
• pp.30-38
• /
• 2006

본 논문에서는 스테레오 얼굴영상으로부터 3차원 정보인 거리와 깊이 정보를 이용해 거리에 따라 얼굴인식률이 떨어지는 것을 개선하였다. 단안 영상은 객체의 거리, 크기, 이동, 회전, 깊이 등의 불확실한 정보로 인해 인식률이 떨어지는 문제점이 있다. 또한 얼굴의 회전, 조명, 표정변화 등의 영상정보가 취득되지 않으면 인식률이 매우 저하되는 단점이 있다. 그래서 본 연구는 이와 같은 문제점을 해결하고자 한다. 제안된 방법은 눈 검출 알고리듬, 얼굴의 회전 방향분석, PCA(Principal Component Analysis)로 구성된다. 또한 제한된 영역에서 얼굴을 고속으로 검출하기 위해 RGB컬러공간에서 YCbCr공간으로 변환한다. 얼굴후보 영역에서 다층 상대적인 밝기 맵을 생성하여 얼굴의 기하학적인 구조로부터 얼굴인지를 판별한다. 스테레오 얼굴영상으로부터 거리 및 눈과 입의 깊이 정보를 취득하고, 거리에 따라 확대, 축소, 이동, 회전 등의 정규화를 통해 $92{\times}112$ 크기의 얼굴을 검출한다. 검출된 왼쪽 얼굴영상과 추정된 방향의 차를 PCA로 학습한다. 제안된 방법은 정면에서 최대 95.8%(100cm), 포즈변화에 따라 98.3%의 인식률을 얻을 수 있었다. 따라서 실험을 통하여 제안된 방법은 거리에 따라 확대, 축소와 회전 등의 정확한 정규화로 높은 인식률을 얻을 수 있음을 보였다.