• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.375-384
• /
• 2016

본 논문에서는 스테레오 영상과 스테레오 영상 바깥 시점의 위성 영상 그리고 상응하는 깊이 영상이 입력으로 주어질 때 이 입력 영상들을 압축에 적합한 포맷으로 변환하고 활용하여 중간시점 영상을 합성하는 새로운 기법을 제안한다. 송출 단에서 깊이 영상들은 하나의 global 영상으로, 위성영상은 시점 이동 시에 발생하는 프레임 밖의 영역 및 가려짐 영역과 같은 홀 영역에만 해당하는 residual 영상으로 변환 후에 데이터 량을 줄이기 위하여 다운샘플링하고 주시점의 스테레오 영상과 더불어 HEVC 코덱으로 부호화 한 후 전송한다. 수신 단에서 복호화된 각 입력 영상들을 이용하여 스테레오 영상 간 그리고 스테레오 영상과 위성 영상간의 중간시점 영상을 합성한다. 실험을 통하여 제안한 포맷을 이용하여 합성한 중간 시점 영상을 MVD(Multiview Video plus Depth) 포맷을 이용하여 합성한 중간 시점 영상과 비교했을 때 전송하는 데이터의 비트율(bit-rate) 대비 객관적 그리고 주관적 화질이 뛰어남을 확인하였다.

• 정보처리학회논문지B
• /
• 제12B권3호
• /
• pp.247-256
• /
• 2005

컴퓨터 비젼에 관한 고전적인 연구 주제들 중의 하나는 두 개 이상의 이미지로부터 3차원 형상을 재구성하는 3차원 변환에 관한 것이다. 본 논문은 단안 카메라로 촬영한 일반적인 2차원 영상물에서 능동적으로 움직이는 3차원 영상의 깊이 정보를 추출하는 문제를 다룬다. 연속하는 프레임들간의 영상 블록의 움직임을 평가하여 카메라의 회전과 배율효과를 보상하고 다음과 같은 두 개의 단계에 걸쳐 블록의 움직임을 추출한다. (i) 블록의 위치와 움직임을 이용하여 카메라의 이동과 초점거리에 대한 전역 파라메타를 계산한다. (ii) 전역 파라메타, 블록의 위치와 움직임을 이용하여 평균 영상 깊이에 대한 상대적인 블록의 깊이를 계산한다. 다양한 동영상을 대상으로 특이점인 경우와 그렇지 않은 경우를 실험하였다. 결과로 얻어지는 상대적인 깊이 정보와 객체는 인간이 판단하는 경우와 동일함을 보였다.

• 융합신호처리학회논문지
• /
• 제5권2호
• /
• pp.96-105
• /
• 2004

2차원 이미지로부터 3차원 이미지 복원은 각 픽셀까지의 깊이 정보가 필요하고, 3차원 모델의 복원에 관한 일반적인 수작업은 많은 시간과 비용이 소모된다. 본 논문의 목표는 카메라가 이동하는 중에, 획득된 단안 영상에서 영역의 상대적인 깊이 정보를 추출하는 것이다. 카메라 이동에 의한 영상의 모든 점들의 움직임은 깊이 정보에 종속적이라는 사실에 기반을 두고 있다. 전역 탐색 기법을 사용하여 획득한 움직임 벡터에서 카메라 회전과 배율에 관해서 보상을 한다. 움직임 벡터를 분석하여 평균 깊이를 측정하고, 평균 깊이에 대한 각 영역의 상대적 깊이를 구하였다. 실험결과 영역의 상대적인 깊이는 인간이 인식하는 상대적인 깊이와 일치한다는 것을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.259-262
• /
• 2008

본 논문에서는 다시점 비디오와 깊이 정보의 상관도를 이용해서 현재 JVT(joint video team)에서 표준화 된 다시점 비디오 부호화 (multi-view video coding : MVC)의 참조 소프트웨어인 JMVM(joint multi-view video model)을 기반으로 하여 효율적인 다시점 비디오 압축 방법을 제안한다. 기존의 일반적인 비디오 부호화 방식은 단일 시점에 대한 비디오 부호화 기술이기 때문에 다시점 비디오 전송을 위해서는 시점 당 각각 전송 채널에 필요하다. 하지만 다시점 비디오 부호화 기법을 이용하게 되면, 단일 전송 채널을 이용하여 전송이 가능하다. 본 논문에서 제안된 방법은 입력된 다시점 입력 영상과 해당 하는 깊이 정보를 이용하여 시점 간의 예측 방법의 효율성을 높였다. 다시점 입력 영상과 깊이 정보의 전역 변이 벡터 (global disparity vector : GDV)의 상관도를 이용하였으며, 다시점 영상과 깊이 정보를 동시에 전송해야 할 경우 복잡도를 낮출 수 있고, 약 $0.01{\sim}0.1dB$의 PSNR 이득을 얻을 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제19권3호
• /
• pp.25-35
• /
• 2014

본 논문에서는 실시간 얼굴 검출을 위한 부스팅 기반 분류 방법을 제안한다. 제안하는 방법에서는 조명과 얼굴크기 및 변형에 강건하게 얼굴을 검출하기 위해 깊이영상을 이용하고, 깊이차이특징을 사용하여 I-MCTBoost 분류기를 통해 학습 및 인식을 수행한다. I-MCTBoost는 약분류기로 구성된 강분류기들의 연결을 통해 인식을 수행한다. 약분류기의 학습 과정은 깊이차이특징을 생성하고, 이중에서 8개의 특징을 조합하여 약분류기를 구성하며 이때 각 특징은 2진비트(binary bit)로 표현된다. 강분류기는 정해진 약분류기의 개수만큼 반복적으로 약분류기를 선택하는 과정을 통해 학습이 이루어지며, 학습 과정에서 학습 샘플의 가중치를 갱신하고 학습 데이터를 추가하여 강건한 분류를 수행할 수 있도록 한다. 본 논문에서는 깊이차이특징에 대해 설명하고 이를 이용한 I-MCTBoost의 약분류기 학습 방법과 강분류기 학습 방법에 대해 제안한다. 마지막으로 제안된 분류기를 기존 MCT를 이용한 분류기와 정성적, 정량적 분석을 통해 비교하고 제안한 분류기의 타당성과 효율성을 입증한다.

• 한국정보통신학회논문지
• /
• 제17권4호
• /
• pp.935-944
• /
• 2013

본 논문에서는 영상 분할을 이용한 다시점 영상의 조명보상 기법을 제안한다. 제안하는 기법에서는 깊이 정보를 이용하여 일정 거리에 따라 참조 영상의 깊이 영상을 레이어로 분리한다. 분리된 레이어에서 서로 다른 객체를 분리하기 위하여 각 레이어에 레이블링 과정을 수행한다. 레이블링 된 참조 영상의 깊이 영상은 3D 워핑 기법을 통하여 왜곡 영상의 시점으로 변환되고 레이블링 된 영역을 찾아 히스토그램을 이용한 조명 보상을 각 영역에서 독립적으로 수행한다. 3D 워핑으로 발생하는 가려짐 영역은 전역적인 방법을 이용하여 보상하게 된다. 다양한 실험을 통해 제안하는 기법으로 조명보상 전처리를 수행한 다시점 영상의 부호화 효율이 향상되는 것을 확인할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제15권2호
• /
• pp.31-39
• /
• 2015

2D-to-3D 비디오 변환 기술은 2D 비디오 속에 내재하는 깊이 단서를 이용하여 스테레오 영상을 생성함으로써 2D 비디오에 3D 효과를 부여한다. 이 기술은 완전한 3D 비디오 시대로 가는 과도 기간 동안 3D 콘텐츠의 부족문제를 해결할 수 있는 유용한 기술이다. 본 논문은 2D-to-3D 비디오 변환의 저 복잡도 구현을 위한 새로운 깊이 생성 방안을 제시한다. 제안 기법에서는 전역 깊이의 시방향 일관성을 위하여 패턴 기반의 전역 깊이 생성 기법을 제안하였다. 뿐만 아니라 객체 영역의 3D 입체감 개선을 위한 저 복잡도의 객체 깊이 개선 알고리즘도 추가적으로 제시하였다. 실험을 통해 제안 알고리즘이 복잡도와 주관적 화질 측면에서 기존 방식들에 비해 우수한 성능을 나타냄을 보인다.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.182-189
• /
• 2023

깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

• 한국전자통신학회논문지
• /
• 제16권6호
• /
• pp.1311-1316
• /
• 2021

본 논문에서는 이중시점 스테레오 이미지와 그에 상응하는 깊이맵을 생성하기 위해 서로 다른 초점거리를 가지고 있는 두 카메라를 결합한 이중시점 스테레오 카메라 시스템을 제안한다. 제안한 이중초점 스테레오 카메라 시스템을 이용해 깊이맵을 생성하기 위해서는 먼저 서로 다른 초점을 가진 두 카메라에 대한 카메라 정보를 추출하기 위한 카메라 보정(Camera Calibration)을 수행한다. 카메라 파라미터를 이용해 깊이맵 생성을 위한 공통 이미지 평면을 생성하고 스테레오 이미지 정렬화(Image Rectification)를 수행한다. 마지막으로 정렬화된 스테레오 이미지를 이용하여 깊이맵을 생성하였다. 본 논문에서는 깊이맵을 생성하기 위해서 SGM(Semi-global Matching) 알고리즘을 사용하였다. 제안한 이중초점 스테레오 카메라 시스템은 서로 다른 초점 카메라들이 수행해야 하는 기능을 수행함과 동시에 두 카메라를 이용한 스테레오 정합(Stereo Matching)을 통해서 현재 주행 중인 환경에서의 차량, 보행자, 장애물과의 거리 정보까지 생성할 수 있어서 보다 안전한 자율주행 차량 설계를 가능하게 하였다.

• 전자공학회논문지CI
• /
• 제39권2호
• /
• pp.35-44
• /
• 2002

카메라의 이동과 회전은 영상 프레임 전체에 영향을 미치는 전역 움직임(global motion)을 유발한다. 이러한 전역 움직임을 포함하는 영상을 부호화하는 경우, 변화성분 검출(change detection) 기법을 사용하여 정확한 오브젝트를 분할하는 것은 실제적으로는 불가능하며 큰 움직임 벡터로 인해 높은 압축률을 얻기 어렵다. 이러한 문제는 전역 움직임이 보상된 영상 시퀀스를 사용함으로써 해결할 수 있다. 전역 움직임 보상을 위한 기존의 카메라 움직임 추정 방법들은 계산량이 많다는 문제점을 가지고 있다. 따라서, 본 논문에서는 간단한 선 형식으로 구성되는 전역 움직임 추정 알고리즘을 제안한다 제안 알고리즘은 영상 프레임 내의 대칭점(symmetric points)의 움직임 정보를 이용하여 패닝(panning)과 틸팅(tilting), 줌잉(zooming)에 대한 전역 움직임 파라미터를 산출한다. 전역 움직임 계산에는 카메라 회전에 대해 깊이(depth)에 독립적인 원경만이 사용되며, 영상 내에서 원경을 구분하기 위한 판별식도 논문에 제시된다. 또한, MPEG 시험 영상을 사용한 실험 결과도 나타내었다. 본 논문에서 제안한 기법의 실시간 수행 능력은 많은 영상처리 분야의 전처리 단계에서 사용될 수 있다.