• Journal of Multimedia Information System
• /
• 제1권1호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a new view synthesis technique for coding of multi-view color and depth data in arbitrary camera arrangements. We treat each camera position as a 3-D point in world coordinates and build clusters of those vertices. Color and depth data within a cluster are gathered into one camera position using a hierarchical representation based on the concept of layered depth image (LDI). Since one camera can cover only a limited viewing range, we set multiple reference cameras so that multiple LDIs are generated to cover the whole viewing range. Therefore, we can enhance the visual quality of the reconstructed views from multiple LDIs comparing with that from a single LDI. From experimental results, the proposed scheme shows better coding performance under arbitrary camera configurations in terms of PSNR and subjective visual quality.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.881-886
• /
• 2013

여러 대의 카메라를 이용하여 영상을 획득하는 다시점 카메라 시스템에서 각 시점의 색상이 서로 다르게 촬영되는 문제가 발생한다. 본 논문에서는 이런 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 제안한다. 특징점 기반 대응점 추출 알고리즘을 이용하여 기준 시점과 다른 시점 간의 색상 대응 관계를 획득하고, 이를 이용하여 상대적인 매핑 곡선을 계산한다. 이때 비선형적인 관계를 반영하기 위해서 5차 다항 모델을 이용한다. 추출된 대응점의 동적 영역이 좁을 경우에 매핑 곡선의 정확도가 떨어지게 되는데, 이를 보완하기 위해서 매핑 곡선의 양 끝 부분을 1차 다항 모델을 이용하여 다시 추정한다. 이렇게 유추된 모델을 이용하여 색상을 보정하면, 추출된 대응점의 동적 영역에 강인하게 색상 불일치 문제를 해결할 수 있다. 제안한 방법은 색상 차트 촬영과 같은 전처리 과정이 필요하지 않기 때문에, 기존에 촬영된 다시점 영상에도 적용할 수 있다는 장점을 갖는다. 다양한 실험을 통해 제안한 알고리즘이 다른 최신의 알고리즘보다 보정 효과가 우수함을 확인했고, 객관적 평가에서도 우수한 성능을 보였다.

• 방송공학회논문지
• /
• 제12권2호
• /
• pp.128-136
• /
• 2007

사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 최근 인접한 시점의 영상을 이용하여 중간시점의 영상을 합성하고 이를 부호화에 적용하는 방법이 연구되고 있다. 다시점 비디오 부호화 효율을 높이기 위해 제안되었던 기존의 영상보간법은 최대변위 설정과 고정된 블록을 이용한 블록정합 방법을 이용한다. 이때, 변위 종류가 다양한 영상이거나 변위차가 큰 영역에 대해서 변위 오류가 많이 발생한다. 이 논문에서는 이러한 문제점을 보완하고 개선된 화질의 중간시점의 영상을 얻기 위한 방법과 이 영상을 이용하여 부호화에 적용하는 방법을 제안한다. 제안한 영상보간법은 변위의 검색 범위를 초기에 설정하지 않고 블록 단위부터 화소 단위까지 변위를 측정하여 중간영상을 합성한다. 또한 이렇게 합성한 영상을 부호화 과정에서 참조 영상으로 추가하여 부호화한다. 이 논문에서 제안한 방법을 이용한 결과, 기존의 영상 보간법보다 약 $1{\sim}4dB$ 정도 개선된 화질의 중간시점 영상을 얻었고, 이 영상들을 이용하여 제안한 부호화 방법으로 부호화한 결과 참조 모델에 비해 최대 0.5 dB의 부호화 효율이 개선됨을 확인했다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.1000-1005
• /
• 2007

본 논문에서는 실물체의 3차원 모델을 복원하기 위해 거리영상 카메라에서 획득된 3차원 점군에 대한 온라인 정합 기법을 제안한다. 제안하는 방법은 거리영상 카메라를 사용하여 연속된 거리영상과 사진영상을 획득하고 문턱값(threshold)을 이용하여 물체와 배경에 대한 정보를 분류한다. 거리영상에서 특징점을 선택하고 특징점에 해당하는 거리영상의 3차원 점군을 이용하여 투영 기반 정합을 실시한다. 초기정합이 종료되면 사진영상간의 대응점을 추적하여 거리영상을 정제하는 과정을 거치는데 대응점 추적에 사용되는 KLT(Kanade-Lucas-Tomasi) 추적기를 수정하여 초기정합의 결과를 대응점 탐색에 이용함으로써 탐색의 속도와 성공률을 증가시켰다. 특징점과 추적된 대응점에 해당하는 3차원 점군을 이용하여 거리영상의 정제를 수행하고 정합이 완료되면 오프라인에서 3차원 모델을 합성하였다. 제안한 알고리듬을 적용하여 2개의 실물체에 대하여 실험을 수행하고 3차원 모델을 생성하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권7호
• /
• pp.2464-2479
• /
• 2014

Multi-view video coding is an international encoding standard that attains good performance by fully utilizing temporal and inter-view correlations. However, it suffers from high computational complexity. This paper presents a fast encoder design to reduce the level of complexity. First, when the temporal correlation of a group of pictures is sufficiently strong, macroblock-based inter-view prediction is not employed for the non-anchor pictures of B-views. Second, when the disparity between two adjacent views is above some threshold, frame-based inter-view prediction is disabled. Third, inter-view prediction is not performed on boundary macroblocks in the auxiliary views, because the references for these blocks may not exist in neighboring views. Fourth, finer partitions of inter-view prediction are cancelled for macroblocks in static image areas. Finally, when estimating the disparity of a macroblock, the search range is adjusted according to the mode size distribution of the neighboring view. Compared with reference software, these techniques produce an average time reduction of 83.65%, while the bit-rate increase and peak signal-to-noise ratio loss are less than 0.54% and 0.05dB, respectively.

• 정보처리학회논문지B
• /
• 제14B권7호
• /
• pp.493-502
• /
• 2007

본 논문에서는 물체의 3차원 모델을 복원하기 위하여 거리영상 카메라에서 획득한 다시점 3차원 거리영상을 온라인으로 정합(registration)하는 기술을 제안한다. 3차원 모델 복원을 위하여 거리영상 카메라를 복원하고자하는 물체 주위로 이동하여 연속된 다시점 거리영상과 사진영상을 획득하고 물체와 배경을 분리한다. 분리된 다시점 거리영상의 정합을 위하여 이미 등록된 거리영상의 변환정보 그리고 두 거리영상 사이의 기하정보를 이용하여 정합을 초기화한다. 위 과정을 통해 서로 인접한 거리영상에서 영상 특징점을 선택하고 특징점에 해당하는 거리영상의 3차원 점군을 이용하여 투영 기반(projection-based) 정합을 실시한다. 기하정합이 완료되면 사진영상 간의 대응점을 추적하여 정합을 정제(refinement)하는 과정을 거치는데 KLT (Kanade-Lucas-Tomasi) 추적기를 수정하여 대응점 탐색의 속도와 성공률을 증가시켰다. 영상 특징점과 추적된 대응점에 해당하는 3차원 점군을 이용하여 거리영상을 정제하였다. 정합과 정제의 결과를 통해 추정된 변환 행렬과 정합된 대응점들 사이의 거리를 계산하여 정합 결과를 검증하고 거리영상의 사용 여부를 결정한다. 만약 정합이 실패하더라도 경우에도 거리영상을 실시간으로 계속 획득하고 정합을 다시 시도한다. 위와 같은 과정을 반복하여 충분한 거리 영상을 획득하고 정합이 완료되면 오프라인에서 3차원 모델을 합성하였다. 실험 결과들을 통해 제안한 방법이 3차원 모델을 성공적으로 복원할 수 있음을 확인 할 수 있었고 오차 분석을 통해 모델 복원의 정확도를 검증하였다.

• 산업융합연구
• /
• 제19권6호
• /
• pp.49-57
• /
• 2021

디지털 사이니지와 다면 영상 시스템은 강한 몰입감으로 스토리와 정보를 전달하는 제4의 미디어로 사용되고 있다. 대형 디지털 사이니지에서 상영되는 콘텐츠는 주로 실사 영상보다는 컴퓨터 그래픽을 이용한 영상으로 제작되고 있다. 그 이유 중 하나는 콘텐츠 제작을 위해 촬영된 영상을 사용하려면 제작범위가 극히 제한적이고 고해상도 실사 촬영의 한계로 크고 넓게 구성된 디지털 사이니지 화면에서 고화질 재현에 무리가 많기 때문이다. 반면 영화 상영관 중앙에 있는 스크린과 좌, 우측 벽면을 스크린으로 활용한 Screen X와 Escape는 디지털 시네마용 카메라 3대로 실사 촬영하여 스티칭 작업 후 다면 영상 시스템을 갖춘 극장에서 실감 영상으로 상영되는데 관객들에게 많은 실감 체험을 주고 있다. 이번 연구는 Screen X의 다면 영상 촬영 제작기술과 크로마키 기법을 이용하여 고해상도로 촬영된 영상을 디지털 사이니지에서 화질 열화 없이 상영할 수 있을 것이다.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.915-929
• /
• 2008

본 논문은 다시점 카메라로부터 획득된 영상을 이용하여 영상내의 모든 화소에 대한 정확한 변이 정보를 구하는 알고리듬을 제안한다. 제안한 방법은 객체의 경계 정보를 고려하여 초기 변이를 예측한 후 획득된 변이 정보를 이용하여 탐색 범위를 줄임으로 써 효율적으로 변이를 예측한다. 또한 가변 블록을 사용하여 텍스쳐 정보가 부족한 영역과 경계부분에서 발생하는 오정합 문제를 줄일 수 있다. 획득된 변이 맵 정보를 이용하여 중간시점영상을 생성한 결과 기존의 블록기반 변이 추정방식과 화소기반의 변이 예측방식에 비해 $0.1dB{\sim}1.2dB$의 PSNR(Peak signal to noise ratio)이 향상되는 것을 확인하였다.

• 한국광학회지
• /
• 제23권4호
• /
• pp.147-153
• /
• 2012

고정 화소수의 표시소자를 기반으로 하는 무안경 방식 다시점 3D 디스플레이는 시점수 증가에 따른 입체영상 저해상도 문제를 안고 있다. 이를 해결하기 위하여, 본 논문은 프로젝션 기반의 무안경식 다시점 3D 디스플레이 시스템에서 구면 형태의 상용 렌티큐라 렌즈시트를 사용하여 단위화소의 폭을 집속하고 광원수 증가에 따른 유효 해상도를 증가시켜 저해상도의 문제를 해결하는 광학적 접근 방법을 제시하였다. 제시된 방법은 주어진 시스템환경에서 도출 가능한 주요 파라메터의 정의 및 이론적, 실험적 결과를 통하여 축소 가능한 단위화소폭 및 확장 가능한 유효 해상도를 도출하는 수순으로 수행되었다. 결과적으로 1.016 mm의 단위화소폭을 기준으로 25 LPI의 렌티큐라 렌즈 시트를 투과하였을 경우, 축소된 폭(Beam waist)은 0.19 mm, 확장 가능한 유효 해상도는 최대 5배를 나타내었다. 이와 더불어, 초점심도(Depth of focus)는 1.496 mm로서 상용 렌티큐라 렌즈 시트의 두께 허용치 및 광학계 정렬 허용범위를 충분히 확보하였다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.1-7
• /
• 2011

깊이 카메라는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용된다. 그러나 깊이 카메라 자체가 가지는 기술적 한계로 인하여 영상에 잡음과 왜곡이 포함되어 있기 때문에 이를 효과적으로 제거할 수 있는 기술이 요구되며, 처리 된 깊이 카메라 영상은 다양한 방법으로 색상 영상과 융합되어 장면의 깊이 정보를 생성할 수 있다. 본 논문에서는 이와 같이 다시 점 카메라와 깊이 카메라를 함께 사용하여 고화질의 깊이 정보를 획득할 수 있는 혼합형 카메라 방식의 원리와 깊이 영상 처리 및 깊이 생성을 위한 기술 동향을 설명한다.