• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.236-239
• /
• 2014

3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다. 본 논문에서는 다중 GPU의 병렬 수행을 통하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안한다. 다중 GPU 병렬 수행은 범용 목적 GPU(general purpose computing on GPU, GPGPU) 중의 하나인 CUDA를 이용하였으며, 본 논문에서 제안된 방법을 이용하여 3개의 GPU 사용한 실험 결과 초당 35 프레임의 다시점 깊이맵을 생성했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.457-459
• /
• 2015

본 논문에서는 원의 호 곡선에 따라 배치된 다중 RGB 카메라 영상으로 생성한 깊이 지도를 정렬하는 방법을 제안한다. 원의 호 곡선에 따라 배치된 카메라는 각 카메라의 광축이 한 점으로 만나서 수렴하는 형태가 이상적이다. 그러나 카메라 파라미터를 살펴보면 광축이 서로 수렴하지 않는다. 또한 카메라 파라미터는 오차가 존재하고 내부 파라미터도 서로 다르기 때문에 각 카메라 영상들은 수평과 수직 오차가 발생한다. 이와 같은 문제점을 해결하기 위해 첫 번째로 광축이 한 점으로 수렴하기 위해서 카메라 외부 파라미터를 보정하여 깊이 영상 정렬을 하였다. 두 번째로 내부 파라미터를 수정하여 각 깊이 영상들의 수평과 수직 오차를 감소시켰다. 일반적으로 정렬된 깊이 지도를 얻기 위해서는 초기 RGB 카메라 영상으로 정렬을 수행하고 그 결과 영상으로 깊이 영상을 생성한다. 하지만 RGB 영상으로 카메라의 회전과 위치를 보정하여 정렬하면 카메라 위치 변화에 따른 깊이 지도 변화값 적용이 복잡해 진다. 즉 정렬 계산 과정에서 소수점 단위 값이 사라지기에 최종 깊이 지도의 값에 영향을 미친다. 그래서 RGB 영상으로 깊이 지도를 생성하고 그것을 처음 RGB 카메라 파라미터로 워핑(warping)하였다. 그리고 워핑된 깊이 지도 값을 가지고 정렬을 수행하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.22 no.5
• /
• pp.408-417
• /
• 2003

In this paper, we have studied the enhancement of the acoustic image by combining bases of support for SFR (Spatial Frequency Response) taken at multi-frequencies. The scanning acoustic microscope system have been constructed using the quadrature detector that is able to measure the amplitude and phase of the reflected signal simultaneously. Both real and quadrature components of reflected signal have been acquired at 4.4 ㎒ to 5.6 ㎒ reliably and accurately. In this experimental result, better depth resolution can be obtained by numerically combining images taken at several different frequencies. Image intensity have been better about 3.4 times at multi-frequency than one at a single frequency.

• Journal of Broadcast Engineering
• /
• v.9 no.3
• /
• pp.185-195
• /
• 2004

This paper presents a multi-depth map fusion method for the 3D scene reconstruction. It fuses depth maps obtained from the stereo matching technique and the depth camera. Traditional stereo matching techniques that estimate disparities between two images often produce inaccurate depth map because of occlusion and homogeneous area. Depth map obtained from the depth camera is globally accurate but noisy and provide a limited depth range. In order to get better depth estimates than these two conventional techniques, we propose a depth map fusion method that fuses the multi-depth maps from stereo matching and the depth camera. We first obtain two depth maps generated from the stereo matching of 3-view images. Moreover, a depth map is obtained from the depth camera for the center-view image. After preprocessing each depth map, we select a depth value for each pixel among them. Simulation results showed a few improvements in some background legions by proposed fusion technique.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.31-33
• /
• 2012

MPEG 3DV 그룹에서는 재생되는 시점 수 보다 적은 시점의 다시점 비디오와 그에 대응하는 깊이영상 및 관련 파라미터를 하나의 비트스트림으로 부호화하는 다시점 및 깊이영상 부호화(MVD: Multiview Video plus Depth) 표준화가 진행 중에 있다. 본 논문은 3DV MVD 비트스트림 포맷을 MPEG-2 TS 로 다중화하기 위한 TS 다중화 확장기법을 제안한다. 또한, MVD 재현 시나리오에 따른 효율적인 TS 전송 구조를 제시하고, TS 다중화 SW 툴의 설계 및 구현을 통하여 그 장단점을 고찰한다. 제안된 기법은 프로그램 및 ES 에 대한 정보를 함께 다중화하여 MVD 의 다양한 재현 시나리오 적응 및 효율적인 복호화 및 가상시점 합성을 지원할 수 있다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.395-398
• /
• 1999

본 연구에서는 초음파현미경에서 다중의 동작주파스를 사용하여 얻어진 영상을 합성하여 깊이분해능이 개선된 초음파영상을 복원하는 방법을 연구하였다. 실험을 위하여 중심주파수가 5MHz이고 비대역폭이 $35\%$인 초음파변환기를 사용하여 초음파현미경을 구성하였다. 시편은 알루미늄을 이용하여 표면에 깊이가 $100{\mu}m$이고 지름이 2mm인 원형결함을 제작하였다. 실험결과, 동작주파수가 5MHz인 단일 주파수를 사용하여 얻어진 영상에서 결함이 존재하는 면과 그렇지 않은 면에 대한 콘트라스트가 0.098로 나타났다. 반면에 동작주파수를 $4.4MHz\~5.6MHz$ 범위에서 200kHz씩 변화시키면서 획득한 데이터를 합성하여 얻어진 영상에서 결함이 존재하는 면과 그러하지 않은 면에 대한 영상 콘트라스트가 0.398로 나타났다. 따라서 초음파현미경에서 다중의 동작주파수를 사용한 경우, 피사체의 깊이 변화에 대한 영상의 콘트라스트가 단일주파수를 사용한 경우에 비하여 개선되어 나타났으며 깊이분해능이 향상되었다. 앞으로의 과제는 초음파현미경에서 음향렌즈의 집속도 변화에 대한 적절한 동작주파수의 동작범위와 영상의 분해능과의 관계에 대한 연구가 계속되어져야 한다고 본다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.727-730
• /
• 2024

최근 딥러닝 기술이 급속히 발전하며 현대 사회의 다양한 응용분야에서 빠르게 적용되고 있다. 특히 영상 기반의 딥러닝 기술은 자연어 처리와 함께 인공지능 기술의 핵심 연구 분야로 많은 연구가 진행되고 있다. 논문에서는 최근 많은 연구가 진행되고 있는 영상의 의미적 분할 (Semantic Segmentation) 성능을 향상하기 위한 연구를 진행한다. 특히 모델에서 고정밀의 의미적 분할을 수행할 수 있도록 추가적인 정보로써 의사 깊이맵 (Pseudo Depth-Map)을 활용하는 방법을 제안하였다. 더불어, 의사 깊이맵을 모델 상에서 효과적으로 학습시키기 위하여 다중 디코더 모델과 학습 효율을 높이는 학습 스케줄링 전략을 제안한다. 의사 깊이맵과 다중 디코더 모델 기반의 제안 모델은 기존 의미적 분할 모델과 비교하여 iIoU 기준 2%의 성능 향상을 보였다.

• Journal of Korea Game Society
• /
• v.13 no.2
• /
• pp.99-110
• /
• 2013

As volume rendering has been applied for computer game, the visualization of volume data with surface data in one scene has been required. Though a hybrid rendering of volume and surface data have been developed using the GPGPU functionality, computer games which run on low-level hardware are difficult to perform the hybrid rendering. In this paper, we propose a new hybrid rendering based on DirectX 9.0 and general hardware. We generate the layered depth images from surface data using a new method to reduce the depth complexity and generation time. Then, we perform the hybrid rendering using the layered depth images. In the rendering process, we suggest a new method to transform the coordinate system from a surface coordinate to a volume coorinate and propose an accelerated rendering technique. As the result, we can perform volume-surface hybrid rendering in an efficient way.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.555-560
• /
• 2008

두 장의 2차원 영상을 가지고 3차원을 재구성하기 위해서는 스테레오 정합을 이용한다. 이러한 이유로 그 동안에 많은 스테레오 정합에 대한 연구가 진행되었다. 스테레오 정합은 컴퓨터 기술의 발전과 더불어 좀 더 빠르고 높은 정확성을 보이고 있다. 하지만 속도와 정확성을 동시에 만족시키면서 대형영상에서도 동작할 수 있게 메모리을 적게 사용하는 방법은 많지가 않다. 본 논문에서는 이런 요구 조건을 만족시키기 위하여 새로운 스테레오 정합방법을 제시한다. 우리가 제시하는 새로운 방법은 다중 방향성 Greedy 알고리즘과 RANSAC을 반복적으로 사용하여 영상전체에 대한 스테레오 정합을 시도하는 방법이다. 우선 Greedy 알고리즘을 이용하여 여러 방향의 scan-line을 따라 깊이값 영상을 구한다. 그리고 이 여러 장의 깊이값 영상들의 분포를 RANSAC을 이용하여 신뢰영역을 찾아낸다. 구해진 신뢰영역을 바탕으로 Greedy 알고리즘과 RANSAC을 수 차례 반복하여 신뢰영역을 확장해 나가면 최종 깊이값 영상을 얻는다. 우리가 제안하는 알고리즘은 적은 메모리로도 큰 영상의 정합이 가능하고, 속도와 정확도 측면에서도 우수한 결과를 보인다.