• 정보과학회 논문지
• /
• 제44권2호
• /
• pp.186-194
• /
• 2017

깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.438-446
• /
• 2013

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

• Journal of Electrical Engineering and information Science
• /
• 제3권2호
• /
• pp.202-210
• /
• 1998

This paper is concerned with an efficient generation of stereoscopic views for complex virtual environments by exploiting frame coherence in visibility. The basic idea is to keep visible polygons throughout the rendering process. P-buffer, a buffer of image size, holds the id of the visible polygon for each pixel. This contrasts to the frame buffer and the Z-buffer which hold the color information and the depth information, respectively. For the generation of a consecutive image, the position and the orientation of the visible polygons in the current view are updated according to the viewer's movements, and re-rendered on the current image under the assumption that, when the viewer moves slightly, the visibility of polygons remains unchanged. In the case of stereoscopic views, it may not introduce much difficulty when we render the right(left) image using visible polygons on the (right) image only, The less difference in two images is, the easier the matching becomes in perceiving depth. Some psychophysical experiments have been conducted to support this claim. The computational complexity for generating a fight(left) image from the previous left(right) image is bounded by the size of image space, and accordingly. It is somewhat independent of the complexity of the 3-D scene.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권11호
• /
• pp.5506-5521
• /
• 2017

Three-dimensional video (3DV), as the new generation of video format standard, can provide the viewers with a vivid screen sense and a realistic stereo impression. Meanwhile the view synthesis has become an important issue for 3DV application. Differently from the conventional methods based on depth, in this paper we propose a new view synthesis algorithm, which can employ the correlation among views and warp in the image domain only. There are mainly two contributions. One is the incorporation of sobel edge points into feature extraction and matching, which can obtain a better stable homography and then a visual comfortable synthesis view compared to SIFT points only. The other is a novel image blending method proposed to obtain a better synthesis image. Experimental results demonstrate that the proposed method can improve the synthesis quality both in subjectivity and objectivity.

• 한국전자통신학회논문지
• /
• 제18권6호
• /
• pp.1307-1312
• /
• 2023

본 논문에서는 자율주행 인지 기술의 핵심 요소인 객체 인식과 거리 측정을 위해 서로 다른 초점거리를 가진 다시점 카메라와 라이다(LiDAR) 센서를 결합한 복합형 카메라 시스템을 제안한다. 제안한 복합형 카메라 시스템을 이용해 장면 안의 객체를 추출하고, 추출한 객체의 정확한 위치와 거리 정보를 생성한다. 빠른 계산 속도와 높은 정확도, 실시간 처리가 가능하다는 장점 때문에 자율주행 분야에서 많이 사용하고 있는 YOLO7 알고리즘을 이용해 장면 안의 객체를 추출한다. 그리고 객체의 위치와 거리 정보를 생성하기 위해 다시점 카메라를 이용해 깊이맵을 생성한다. 마지막으로 거리 정확도를 향상시키기 위해 라이다 센서에서 획득한 3차원 거리 정보와 생성한 깊이맵을 하나로 결합한다. 본 논문에서는 제안한 복합형 카메라 시스템을 기반으로 주행중인 주변 환경을 더욱 정확하게 인식함과 동시에 3차원 공간상의 정확한 위치와 거리 정보까지 생성할 수 있는 자율주행 차량 플랫폼을 제안하였으며, 이를 통해 자율주행 차량의 안전성과 효율성을 향상시킬 수 있을 것으로 기대한다.

• 한국지구물리탐사학회:학술대회논문집
• /
• 한국지구물리탐사학회 2007년도 공동학술대회 논문집
• /
• pp.151-156
• /
• 2007

In December 2006, 2D surface streamer and Ocean Bottom Seismometer (OBS) data were acquired in the Ulleung basin in Korea where strong Bottom Simulating Reflectors (BSR) were shown as a result of 2D and 3D multichannel (MCS) reflection survey. The aim of this study is to provide another reliable source for estimating P wave velocity around BSR depth using OBS data in addition to velocity information from 2D surface seismic data. Four OBSs were deployed and four 20-km shot lines which pass two OBSs respectively were designed. To derive P wave velocity profile, interactive interval velocity analysis using ${\tau}$-p trajectory matching method (Kumar, 2005) was used for OBS data and semblance analysis was used for surface data. The seismic profiles cross the OBS instruments in two different directions yield recordings for four different azimuths. This raised the confidence for the results. All velocity profiles in the vicinity of BSR depth of four OBS sites show almost definite velocity changes which we could consider as upper BSR and free gas layer. Making comparison between velocity from OBS and that from 2D seismic semblance velocity analysis gives consistency in result.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.610-617
• /
• 2003

비디오 데이타베이스에서 유사도 정합은 비디오 클러스터링과 비디오 라이브러리 등과 같은 많은 새로운 응용분야에서 중요성이 증가하고 있다. 대용량 데이타베이스에서 효과적인 접근을 제공하기 위하여 다양한 공간과 시간에 대한 특징치를 이용한 비디오 인덱싱 분야의 많은 연구노력이 있어왔다. 그러나 대부분의 기존 방법들은 순차적인 정합방법 또는 메모리 기반의 역 파일 기법 등에 의존하므로 대용량 데이타베이스에는 적합하지 않다. 이러한 문제를 해결하기 위하여 본 논문에서는 효과적이고 스케일 조정가능한 인덱싱 기법을 제안하기 위하여, 문자열 정합을 위해 제안된 trio를 인덱스 구조로 이용하였다. 인덱스 구성을 위하여 윈도우 순서 휴리스틱을 이용하여 각 프레임을 기호 시퀀스로 변환하고, 기호 시퀀스의 집합으로부터 디스크 상주 trio를 구성하였다 질의 처리를 위하여 trio 상에서 깊이-우선 검색과 시간 축분할을 실시하였으며, 제안한 방법의 성능을 검증하기 위하여 실제와 합성 데이터 집합에 대한 실험을 수행하였다. 제안한 방법은 지속적으로 순차적 스캔 방법보다 우수한 성능을 보였고, 성능이득은 대용량 비디오 데이타베이스에서도 유지되었다.

• 한국정보과학회논문지:시스템및이론
• /
• 제32권10호
• /
• pp.520-529
• /
• 2005

본 논문에서는 특징 기반 3D 모델링 알고리즘을 제안한다. 깊이 기반 기술을 다루는 전통적인 방법들은 영상 정합을 위한 깊이정보추출에 많은 시간을 필요로 한다. 특징 기반 알고리즘에서 삼각형 내부의 모든 픽셀들에 대한 모델링 오차 계산이 필요하다 할지라도 깊이 기반 보다는 특징기반 방법들이 보다 적은 계산 부담을 가지나 이는 또한 계산 시간을 증가 시킨다. 그러므로 제안된 알고리즘은 효율적인 3D 모델을 생성하기 위해 초기 3D 모델 생성, 모델 평가 및 모델 세분화의 3단계로 구성하였다. 초기 모델 생성을 위해 자기 변화와 델루니 삼각화가 사용되었고 이 단계에서 빠른 경계 추출과 점진적인 델루니 삼각화 및 삼각형 내부의 중심에 가까운 정점을 선택하거나 모든 픽셀에 대한 오차 계산을 위한 연산 시간을 줄이기 위해 형태학적 미분 연산자를 수정하여 이용하였다. 모델 생성 후 평가 단계에서 표면의 변이 변화와 근사 오차 및 표면의 크기를 평가하여 드물게 정합을 수행 하였고, 그 후 큰 오차를 갖는 표면들을 선택하여 작은 표면이 되게 세밀화 작업을 했다. 실험 결과 제안된 알고리즘이 평탄영역 및 급격한 영역에서 보다 적은 모델링 오류로 적응적인 모델을 획득할 수 있었고 모델 획득시간을 현저하게 줄일 수 있었다.

• 전자공학회논문지
• /
• 제50권5호
• /
• pp.61-66
• /
• 2013

본 논문에서는 절연물체로 $Si_3N_4$를 사용한 MIM 커패시터의 정합특성의 온도에 대한 의존성에 대해 분석하였다. 온도가 올라감에 따라 정합특성이 열화 되는 현상이 나타났다. 즉, $25^{\circ}C$, $75^{\circ}C$ 그리고 $125^{\circ}C$에서 $Si_3N_4$ MIM 커패시터의 정합특성 계수는 각각 0.5870, 0.6151, $0.7861%{\mu}m$으로 측정 되었다. 이러한 현상은 온도가 증가함에 따라 커패시터 내부의 캐리어들의 이동도가 감소하고 전하의 농도가 많아지기 때문이라고 할 수 있다. 따라서 고온에서의 $Si_3N_4$ MIM 커패시터의 정합특성의 분석은 아날로그 집적회로나 SoC (System on Chip)에 아주 중요하고 필수적인 연구라고 할 수 있다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.