• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.68-69
• /
• 2013

본 논문에서는 스마트폰에서 한 장의 깊이 영상을 이용하여 내용기반 3 차원 모델 검색 기법을 범용적으로 수행하기 위한 깊이 영상 전처리 기법을 제안한다. 우선 모바일 증강현실 플랫폼 중 하나인 Vuforia 를 이용하여 다수의 영상 취득과 동시에 스마트폰 카메라의 외부 인자들을 추정한다. 그 후 취득된 영상과 외부 인자들을 이용하여 Multi-View Stereo 기법을 통해 깊이 영상을 추정한다. 이렇게 추정된 깊이 영상은 3 차원 모델 검색 기법의 질의 깊이 영상으로 활용되어 3 차원 모델 검색 기법의 입력으로 활용할 수 있다. 실험 결과 본 논문에서 제안하는 전처리 기법으로 추정된 깊이 영상을 이용하였을 경우 3 차원 모델 검색의 범용성이 확장되고 3 차원 모델 검색이 올바르게 수행된 것을 확인하였다.

• 디지털융복합연구
• /
• 제11권12호
• /
• pp.345-352
• /
• 2013

본 논문에서는 GPU(Graphics Processing Unit)에서 데이터를 처리할 수 있게 하여 단일 영상에서 효율적으로 깊이를 추정하는 방법을 제안한다. 단일 영상은 카메라의 투영 과정에 의해 깊이 정보가 소실되게 되며 영상에서 소실된 깊이를 추정하기 위해서 단안 단서를 이용한다. 제안하는 깊이 추정 알고리즘은 좀 더 신뢰성 있는 깊이를 추정하고자 여러 단안 단서를 이용하며 에너지 최소화를 통해 단안 단서들을 결합한다. 그러나 여러 단안 단서들을 고려해야하기 때문에 처리해야 할 데이터가 많은 단점이 존재한다. 따라서 GPGPU(General Purpose Graphics Processing Unit)를 통해 데이터를 병렬적으로 처리하게 하여 효율적으로 깊이를 추정하는 방법을 제안한다. 객관적인 효율성을 검증하기 위해 PSNR(Peak Signal to Noise Ratio)을 통해 실험하였으며 GPGPU을 이용함으로써 알고리즘의 수행시간을 평균 61.22% 감소시켰다.

• 전자공학회논문지CI
• /
• 제47권3호
• /
• pp.29-35
• /
• 2010

본 논문에서는 한 장의 정지 영상에서 학습을 통한 방법으로 깊이 정보를 추정하는데 사용되어지는 특징 정보를 PCA(Principal Component Analaysis)기반으로 축소하여 깊이 정보의 정확성을 향상시키는 방법에 대하여 기술한다. 정지 영상에서 깊이 정보를 추정하기 위하여 이미지의 에너지 값과 기울기와 같은 특징을 추출하며 특징들의 관계를 이용하여 각 영역의 깊이 정보를 추정한다. 이 때 영상 필터를 사용하여 많은 특징을 추출하지만 특징의 중요성을 판단하지 않고 모두 사용하면 오히려 성능에 좋지 않은 영향을 미친다. 본 논문에서는 한 장의 정지 영상의 깊이 추정을 위해 PCA를 기반으로 중요도를 판단하여 특징 벡터의 차원을 줄이고 깊이를 정확하게 추정할 수 있는 방법에 대하여 제안한다. 제안한 방법을 스탠포드 대학의 평가 데이터로 실험한 결과, 깊이를 추정하는데 있어서 전체 특징 벡터의 30%만을 이용하여 평균 0.4%에서 최대 2.5%의 정확도가 향상되었다.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.182-189
• /
• 2023

깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.705-708
• /
• 2023

다중밀집 사고를 사전에 방지하기 위해 군중 밀집도를 정확하게 파악하는 것은 중요하다. 기존 방법 중 일부는 군중 계수를 기반으로 군중 밀집도를 추정하거나 원근 왜곡이 있는 데이터를 그대로 학습한다. 이 방식은 물체의 거리에 따라 크기가 달라지는 원근 왜곡에 큰 영향을 받는다. 본 연구는 보행자 깊이 정보를 이용한 군중 밀집도 알고리즘을 제안한다. 보행자의 깊이 정보를 계산하기 위해 편차가 적은 머리 크기를 이용한다. 머리를 탐지하기 위해 OC-Sort를 학습모델로 사용한다. 탐지된 머리의 경계박스 좌표, 실제 머리 크기, 카메라 파라미터 등을 이용하여 보행자의 깊이 정보를 추정한다. 이후 깊이 정보를 기반으로 밀도 맵을 추정한다. 제안 알고리즘은 혼잡한 환경에서 객체의 위치와 밀집도를 정확하게 분석하여 군중밀집 사고를 사전에 방지하는 지능형 CCTV시스템의 기반 기술로 활용될 수 있으며, 더불어 보안 및 교통 관리 시스템의 효율성을 향상하는 데 중요한 역할을 할 것으로 기대한다.

• 한국멀티미디어학회논문지
• /
• 제16권2호
• /
• pp.131-137
• /
• 2013

동영상의 줌 움직임 추정은 구현이 아주 복잡하다. 본 논문에서는 줌 움직임 추정을 구현하기 위하여 깊이 카메라와 색상 카메라를 동시에 이용하는 방법을 제안한다. 깊이 카메라로부터 현재블록과 참조블록 사이의 거리 정보를 얻고, 이 거리 정보로부터 두 블록사이의 줌 비율을 계산한다. 줌 비율에 맞게 참조블록을 확대 또는 축소시켜 줌으로서 움직임 추정 차신호를 줄일 수 있다. 따라서, 제안된 방법은 줌 움직임 추정을 위한 복잡도가 크지 않으면서 움직임 추정 정확도를 높이는 것이 가능하다. 모의실험을 바탕으로 제안된 방법의 움직임 추정 정확도를 측정하였으며, 기존 블록정합 방법에 비하여 움직임 추정 오차값이 크게 감소함을 확인하였다.

• 방송과미디어
• /
• 제2권1호
• /
• pp.45-56
• /
• 1997

이 논문에서는 여러대의 카메라를 이용하여, 화면내의 모든 화소에 대해 정확한 깊이정보를 추출하는 알고리듬을 제안한다. 제안방법은 스테레오정합에 기반하고 있다. 스트레오정압에 의해 깊이정보를 추정하는데 있어서는 , 오클루전(occlusion)이 추정에 미치는 악영향을 어떻게 극복하는가가매우 중요한 문제이다. 오클루전문제는 2대의 카메라로는 근본적으로 해결이 불가능하다. 따라서 이논문에서는 5대의 카메라를 사용하여, 각 카메라로부터의 정보를 선택적으로 사용함으로써, 이 문제를 상당히 개선한다. 한편, 스테레오 정합법에서는 정합창의 크기가 추정성능에 영향을 미치는데, 큰 창을 이요하면 잡음내성은 우수하나 깊이가 불연속인 곳에서 오차가 발생하고, 작은창을 이용하면 잡음성능은 저하되나 불연속부에서의 창크기에 의한 오차가 줄어드는, 대차관계가 존재한다. 이 논문에서는 처음에 큰 창으로 추정하고 차츰 창의 크기를 줄여나가는 계층적 방법을 제안하여, 잡음내성을 강화하고 불연속부의 오차를 줄이고 있다. 실험경과를 통하여 제안방법의 성능을 제시하고 타당성을 확인한다.

• 한국광학회지
• /
• 제20권1호
• /
• pp.16-22
• /
• 2009

본 논문에서는 2차원 동영상을 normalized cut과 optical flow를 이용하여 3차원 동영상으로 변환하는 방법을 제안하였다. 이를 통해 특정 디스플레이 장치와 특정 동영상 포맷에 국한되지 않는 2차원 동영상의 3차원 동영상 변환 방법을 제안하였다. 본 연구에서는 2차원 동영상의 3차원 변환을 위하여 먼저 영상을 객체로 분할하고, 분할된 객체의 깊이를 추정하는 방법을 사용하였다. Normalized cut은 영상분할의 한 방법으로, 본 연구에서는 연산속도 향상을 위하여 기존 방법에 watershed 알고리즘을 적용하였고, 정확도 향상을 위하여 가중치에 optical flow를 추가하였다. Normalized cut을 이용하여 분할된 영상의 깊이 정보를 추정하기 위하여 optical flow를 이용하였다. Optical flow의 차이를 통해 정의할 수 있는 가려진 영역의 분할 영상 변화를 통해 순서적 깊이 정보를 추정한다. 추정된 순서적 깊이를 보정하기 위해 optical flow의 절대적 크기를 이용해 운동시차로 상대적 깊이를 추정하였다. 최종적으로 추정된 깊이 정보는 순서적 깊이와 상대적 깊이의 곱을 평균 optical flow로 나누어, 순서적 깊이의 차이를 보정하였다. 제안한 방법의 검증을 위하여 2차원 동영상을 3차원 동영상으로 변환하여 깊이 정보가 추정됨을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1350-1352
• /
• 2022

본 논문에서는 희소깊이영상과 컬러영상을 이용해 조밀한 깊이영상을 추정하는 깊이 완성(depth completion)을 수행하기위해 최근접 이웃 커널을 추정하는 방식의 네트워크를 제안한다. 회귀방식의 딥러닝 네트워크는 일반적으로 값을 직접 예측하는 것보다 기본 값에 더해질 잔차를 추정하는 방식이 더욱 효율적이다. 본 논문에서는 최근접 이웃 커널을 입력영상에 적용하여 추정하고자 하는 픽셀의 인근 픽셀에서 값을 가져와 기본 값으로 사용하고, 해당 값의 잔차를 회귀방식으로 추정하는 네트워크를 설계했다. 이러한 방식으로 여러 SOTA 알고리즘 대비 좋은 성능을 나타냈고, 특히 이와 유사한 방식인 Plane-residual net 보다 높은 성능을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.87-90
• /
• 2012

본 논문에서는 깊이 변화에 강인한 스테레오 비디오의 변이 탐색 범위 추정 방법을 제안한다. 정확한 스테레오 비디오의 변이 탐색 범위는 3D 영상 분야에서 다양한 응용으로 사용되는 변이 지도를 보다 정확하게 추정하는데 도움이 된다. 기존의 변이 탐색 범위 추정 방법은 인접한 프레임 간의 변이 히스토그램의 유사도를 이용함으로써 보다 안정적인 변이 탐색 범위를 추정할 수 있었지만, 시간의 흐름에 따라 깊이가 변하는 부분에서는 상당히 취약한 문제점을 가지고 있다. 이에 본 논문에서는 기존 방법의 이러한 문제점을 개선한 새로운 방법을 제안한다. 제안하는 방법은 변이 히스토그램의 유사도뿐만 아니라 프레임 간의 시간적 유사도를 고려하며, 비디오의 장면 전환에 의한 급격한 깊이 변화 또한 고려한다. 이에 추가적으로 변이 히스토그램의 유사도를 계산하기 위해 기존의 방법과는 달리 히스토그램 확산 거리를 이용하였으며, 서로 다른 개수의 대응점을 가지고 있는 프레임간의 변이 히스토그램이 대응점의 개수에 영향을 받지 않고 균일한 중요도를 갖도록 하였다. 실험 결과로 기존 방법과 제안한 방법의 변이 탐색 범위 추정 결과를 비교하였으며, 비교한 결과는 제안한 방법이 기존 방법에 비해 스테레오 비디오의 깊이 변화에 강인함을 보여준다.