• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.4-7
• /
• 2022

최근 다 시점 영상 콘텐츠 기반 3차원 공간(장면) 복원을 위한 다 시점 깊이 추정 딥러닝 네트워크 방법론이 널리 연구되고 있다. 다 시점 영상 콘텐츠는 촬영 구도, 촬영 환경 및 세팅에 따라 다양한 특성을 가지며, 고품질의 3차원 복원을 위해서는 이러한 특성을 이해하고, 적절한 깊이 추정 네트워크 기법들을 적용하는 것이 중요하다. 다 시점 영상 촬영 구도로는 수렴형, 발산형이 존재하며, 촬영 세팅에는 카메라 시점 간 물리적 거리인 baseline이 있다. 본 연구는 이와 같은 다 시점 영상 콘텐츠의 종류와 각 특징에 기반하여 콘텐츠(데이터 셋)의 특성에 따른 적절한 깊이 추정 네트워크 방법론을 다룬다. 실험 결과로부터, 기존의 다 시점 깊이 추정 네트워크를 발산형 또는 large baseline 특성을 가지는 데이터 셋에 곧바로 적용하는데 한계점이 존재함을 확인하였다. 따라서, 각 영상 환경에 적합한 '참조 시점 개수' 및 적절한 '참조 시점 선택 알고리즘'의 필요성을 검증하였다. 결론적으로, 3차원 공간(장면) 복원을 위한 딥러닝 기반 깊이 추정 네트워크 구현 시, 본 연구 결과가 다 시점 영상 콘텐츠 기반 깊이 추정 기법 선택에 있어 가이드라인으로 활용될 수 있음을 확인하였다.

• 대한기계학회논문집
• /
• 제19권8호
• /
• pp.1907-1914
• /
• 1995

An on-line measurement of the workpiece hardened depth in laser surface hardening processes is very much difficult to achieve, since the hardening process occurs in depth wise direction. In this paper, the hardened depth is estimated using a multilayered neural network. Input data of the neural network are the surface temperatures at arbitrary chosen five surface points, laser power and traveling speed of laser beam torch. To simulate the actual hardening process, a finite difference method(FDM) is used to model the process. Since this model yields the calculation results of the temperature distribution around the workpiece volume in the vicinity of the laser torch, this model is used to obtain the network's training data and laser to evaluate the performance of the neural network estimator. The simulation results show that the proposed scheme can be used to estimate the hardened depth with reasonable accuracy.

• 로봇학회논문지
• /
• 제17권3호
• /
• pp.314-321
• /
• 2022

Depth information used in SLAM and visual odometry is essential in robotics. Depth information often obtained from sensors or learned by networks. While learning-based methods have gained popularity, they are mostly limited to RGB images. However, the limitation of RGB images occurs in visually derailed environments. Thermal cameras are in the spotlight as a way to solve these problems. Unlike RGB images, thermal images reliably perceive the environment regardless of the illumination variance but show lacking contrast and texture. This low contrast in the thermal image prohibits an algorithm from effectively learning the underlying scene details. To tackle these challenges, we propose multi-channel remapping for contrast. Our method allows a learning-based depth prediction model to have an accurate depth prediction even in low light conditions. We validate the feasibility and show that our multi-channel remapping method outperforms the existing methods both visually and quantitatively over our dataset.

• 정보처리학회논문지B
• /
• 제8B권5호
• /
• pp.549-556
• /
• 2001

2차원 영상으로 부터 3차원 영상으로 복원하는 일은 일반적으로 카메라의 초점에서 영상 프레임의 각 픽셀까지의 깊이 정보가 필요하고, 3차원 모델의 복원에 관한 일반적인 수작업은 많은 식나과 비용이 소모된다. 본 논문에서는 카메라의 움직임이 포함되어 있는 단안 영상 시퀸스로부터 3차원 영상 제작에 필요한 상대적인 깊이 정보를 실시간으로 추출하는 알고리즘을 제안하고, 하드웨어를 구현하기 위한여 알고리즘을 단순화하였다. 이 알고리즘은 카메라 이동에 의한 영상의 모든 점들의 움직임은 깊이 정보의 종속적이라는 사실에 기반을 두고 있다. 불록매칭 알고리즘에 기반을 둔 전역 움직임 탐색에 의한 움직임 벡터를 추출한 후, 카메라 회전과 확대/축소에 관한 카메라 움직임 보상을 실행하고 깉이 정보 추출 과정이 전개된다. 깊이 정보 추출 과정은 단안 영상에서 객체의 이동처리를 분석하여 움직임 벡터를 구하고 프레임내의 모든 픽셀에 대한 평균 깊이를 계산한 후, 평균 깊이에 대한 각 블록의 상대적 깊이를 산출하였다. 모의 실험 결과 전경과 배경에 속하는 영역의 깊이는 인간 시각 체계가 인식하는 상대적인 깊이와 일치한다는 것을 보였다.

• 전자공학회논문지CI
• /
• 제48권2호
• /
• pp.47-54
• /
• 2011

본 논문에서는 한 장의 이미지에서 학습을 통하여 영역 별 깊이 정보를 추정할 때 사용되는 특징 정보를 유전 알고리즘(Genetic Algorithm)을 기반으로 축소하고 깊이 정보 추정 시간을 단축하는 방법에 대해서 기술 한다. 깊이 정보는 이미지의 에너지 값과 텍스쳐의 기울기 등을 특징으로 생성하여 특징들의 관계를 기반으로 추정 된다. 이 때 사용되는 특징의 차원이 크기 때문에 연산시간이 증가하고 특징의 중요성을 판단하지 않고 사용하여 오히려 성능에 나쁜 영향을 미치기도 한다. 이에 따라 중요성을 판단하여 특징의 차원을 줄일 필요가 있다. 본 논문에서 제안한 방법을 미국 스탠포드(Stanford)대학에서 제공하는 벤치마크 데이터로 실험한 결과, 특징의 추출과 깊이 추정 연산 시간이 모든 특징을 사용하는 방법에 비하여 약 60%정도 향상되고 정확도가 평균 0.4%에서 최대 2.5% 향상 되었다.

• ETRI Journal
• /
• 제35권6호
• /
• pp.949-959
• /
• 2013

Since the recent launch of Microsoft Xbox Kinect, research on 3D human pose estimation has attracted a lot of attention in the computer vision community. Kinect shows impressive estimation accuracy and real-time performance on massive graphics processing unit hardware. In this paper, we focus on further reducing the computation complexity of the existing state-of-the-art method to make the real-time 3D human pose estimation functionality applicable to devices with lower computing power. As a result, we propose two simple approaches to speed up the random-forest-based human pose estimation method. In the original algorithm, the random forest classifier is applied to all pixels of the segmented human depth image. We first use a multi-scale approach to reduce the number of such calculations. Second, the complexity of the random forest classification itself is decreased by the proposed cascade approach. Experiment results for real data show that our method is effective and works in real time (30 fps) without any parallelization efforts.

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.429-437
• /
• 2017

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 또한 비디오에서 추출할 수 있는 모션정보를 활용하여 모션 깊이맵을 얻기도 한다. 본 논문에서는 기존의 블록기반 모션예측, 광유 등의 모션 추출 방식이 아닌 운동 히스토리 영상(Motion History Image)를 활용하여 모션 깊이맵을 얻는 새로운 방법을 제안하고 실제 활용 가능성을 조사한다. 실험에서는 제안한 방법을 다양한 운동 유형을 가지는 8개의 2D 비디오 콘텐츠에 적용하였고, 생성된 모션 깊이맵의 정성적 평가 및 수행 속도의 비교를 통하여 MHI 기반 깊이맵의 실제 적용이 적합함을 증명하였다.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.182-189
• /
• 2023

깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

• 방송공학회논문지
• /
• 제19권3호
• /
• pp.362-371
• /
• 2014

카메라 초점에 의해 발생하는 흐림(blur)의 변화는 깊이값을 측정하는데 사용한다. DFD(Depth from Defocus)는 깊이값과 흐림의 비례 관계를 이용하여 흐림의 양을 측정하는 기술이다. 기존 DFD 방법은 입력으로 두 장의 비초점 영상(defocused image)을 사용하는데, 기술적인 문제로 낮은 품질의 복원된 초점 영상(infocused image)과 깊이맵을 얻고 있다. 상기 문제점을 해결하는 방법으로 초점영상과 비초점 영상을 이용함으로써 복원된 초점 영상의 품질 저하를 해결한다. 제안 방법에서는 Subbaro가 제안한 DFD 방법에 새로운 에지 흐림 측정 방법을 결합하여 보다 정확한 흐림 값을 구한다. 또한 명암의 변화가 적은 영역에서는 흐림의 양을 측정하기가 어렵기 때문에, 관심맵(saliency)을 이용하여 비에지 영역을 채울 수 있도록 하였다. 실험에서는 초점 조절 기능이 있는 카메라로부터 20장의 2K FHD 해상도의 초점 및 비초점 영상을 생성한 후에 제안 방법을 이용하여 깊이맵을 생성하고, 마지막으로 입력 초점 영상과 깊이맵으로부터 3D 입체영상을 제작하였다. 3D 모니터로 시청한 결과 안정된 3D 공간감과 입체감을 얻을 수 있었다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.611-624
• /
• 2012

'제스처'는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 따라서 키보드나 마우스를 대체하여 제스처를 입력으로 컴퓨터를 제어할 수 있는 방법에 대한 연구가 많이 진행되고 있다. 이러한 연구에서 사용자 객체의 검출과 주요 신체부위의 추정은 매우 중요한 과정 중의 하나이다. 본 논문에서는 깊이정보가 부정확한 조건에서 사용자 객체검출과 주요 신체부위를 추정하는 방법을 제시한다. 본 논문에서는 2D 영상정보와 3D 깊이정보를 이용하여 조명 변화와 잡음에 강인하고, 3D 깊이정보를 1D 신호로 변환하여 처리함으로써 실시간에 적합하며, 이전 객체정보를 이용하여 더욱 정확하고 환경변화에 강인한 사용자 검출 방법을 제안한다. 또한 주요 신체부위 추정 방법에서 본 논문에서는 2D 외곽선 정보와 3D 깊이정보 및 추적을 혼합 사용하여 사용자 자세를 추정하는 방법을 제안한다. 실험결과 제안된 사용자 객체 검출방법은 2D정보만을 이용하는 방법에 비해 조명변화와 복잡한 환경에 강인하고, 깊이정보가 부정확한 경우에도 정확한 객체검출을 수행하였다. 또한 제안된 주요 신체부위 추정방법은 2D 외곽선 정보만 이용할 경우 겹친 부분에 대한 검출이 불가능하고, 색상 정보를 사용하는 방법은 조명이나 환경에 민감한 단점을 극복함을 확인할 수 있다.