• 한국정보통신학회논문지
• /
• 제17권8호
• /
• pp.1908-1918
• /
• 2013

자유시점 또는 오토스테레오스코픽 비디오 서비스는 3차원 영상을 제공하는 차세대 방송 시스템으로, 여러 시점의 영상들이 필요하다. 본 논문에서는 가상 시점 영상을 고속 생성하기 위해 알고리즘 병렬 구조를 최적화하고, Compute Unified Device Architecture(CUDA)를 이용한 General Propose Graphic Processing Unit(GPGPU) 기반의 중간시점 영상 고속 생성을 위한 최적화 기법을 제안한다. 제안한 방법은 좌/우 깊이영상을 병렬화시킨 스테레오 정합알고리즘을 이용하여 변위정보를 얻은 후, 깊이 당 변위증분을 계산하여 사용한다. 계산된 변위증분을 사용하여 해당 각 화소들의 깊이 값을 이용하여 좌/우 영상들을 원하는 위치의 중간시점으로 영상을 이동시킨다. 그 다음, 비폐색영역들을 서로 상호 보완하여 없앤 다음에 남은 홀들은 홀 필링으로 없애 최종 중간시점 영상을 생성한다. 제안한 방법을 구현하여 여러 실험 영상에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 30.47dB이었으며, Full HD급 중간시점 영상을 초당 38 프레임 정도 생성하는 속도를 보였다.

• 방송공학회논문지
• /
• 제22권6호
• /
• pp.829-849
• /
• 2017

TV디스플레이 대형화, 방송과 통신의 융합화, 신호 압축 및 전송 기술의 고도화로 인해 지상파 디지털 방송은 초고품질 방송, 하이브리드 방송, 고정UHD/이동HD 동시방송을 제공할 수 있는 UHD 방송으로 진화하고 있다. 이러한 지상파 UHDTV 방송을 위한 국내 표준은 북미의 차세대 방송 표준인 ATSC3.0을 근간으로 하고 있다. ATSC3.0은 비디오 압축 표준으로 HEVC 비디오 부호화 표준을, 오디오 압축 표준으로는 MPEG-H 3D 오디오 부호화 표준을 채택하고 있다. 또한 방송망과 IP망에서의 운용을 위해 기존의 MPEG-2 TS 방식을 대신하여 IP기반의 ROUTE/DASH와 MMT를 전송 포맷으로 채택하고 있으며, 4K UHD 방송과 이동 HD 서비스를 동시에 제공하기 위한 다중화 기술을 도입하고 있다. 본 논문에서는 ATSC3.0을 기반으로 HDR/WCG 지원 고품질 비디오 서비스, 10.2채널/4객체 지원 입체음향 서비스, 고정 UHD와 이동 HD 동시방송 서비스를 제공하기 위해 필요한 오디오/비디오 부호화기, ROUTE/DASH 패키저, 다중화 시스템과 물리계층 송수신을 위한 ATSC 3.0 LDM 시스템을 구현하고, 이를 실시간 방송 송수신 환경에 적용하여 서비스 가능성을 검증하고자 하였다.

• 방송공학회논문지
• /
• 제14권4호
• /
• pp.450-462
• /
• 2009

최근까지 단일 영상이나 동영상을 영역화하는 기법들은 다양하게 제시되어 왔으나, 유사한 장면에 대한 여러 장의 영상을 동시에 영역화하는 기법은 많지 않았다. 본 논문에서는 한 장소에서 연속적으로 촬영하였거나 전경 물체가 유사한 여러 영상들을 동일 장면 영상으로 정의하고, 이런 동일 장면 영상들을 적은 양의 사용자 입력을 통해 효과적으로 영역화하는 기법을 제안한다. 구체적으로, 사용자가 최초의 영상 한 장을 직접 영역화한 후, 그 영상의 영역화 결과와 영상의 특성을 토대로 다중 단계 신호를 적응적 가중치를 주어서 인접 영상으로 전파하고, 이를 통해 제안하는 기법은 인접 영상을 반복적으로 영역화한다. 영역화는 마르코프 랜덤 장에서의 에너지 최소화를 통해 이루어지는데, 전파되는 신호는 각 픽셀에 대한 에너지를 정의하는 바탕이 되며, 픽셀, 픽셀 패치, 그리고 영상 전체로부터 비롯되었는가에 따라 낮은 단계, 중간 단계, 그리고 높은 단계의 신호로 지칭된다. 또한 에너지 최소화 틀 안에서 전파된 신호를 통해 정의되는 에너지 역시 낮은 단계, 중간 단계, 그리고 높은 단계의 세 단계로 정의한다. 이런 과정을 통해 전파된 신호를 최대한 다양하게 활용하고, 이를 통해 다양한 영상에 영역화 결과가 일관되게 유지된다. 다양한 동일 장면 영상들에 제안하는 기법을 적용하여 성능을 평가하고, 픽셀 패치를 바탕으로 하는 중간 단계 신호만을 이용한 결과와 제안하는 다중 신호를 적용하는 기법의 결과를 비교한다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.

• 방송공학회논문지
• /
• 제17권5호
• /
• pp.838-850
• /
• 2012

본 논문에서는 스테레오 영상에서 얻은 다양한 특징들을 이용하여 다시점 영상을 생성하는 방법을 제안한다. 제안된 기법에서는 먼저 주어진 스테레오 영상에서 명암변화 주목도 지도(intensity gradient saliency map)를 생성한다. 다음으로 좌우 영상 간에 블럭 단위의 움직임을 나타내는 광류(optical flow)를 계산하고 scale-invariant feature transform(SIFT) 기법을 통해 사물의 크기와 회전에 변하지 않는 영상의 특징 점을 구하여 이 특징점 간의 변이를 구한 다음, 이 두 변이 정보들을 결합하여 변이 주목도 지도(disparity saliency map)를 생성 한다. 생성된 변이 주목도 지도는 가려짐 영역 검출을 통해 오류 변이가 제거된다. 세 번째로 영상 워핑시에 직선의 왜곡을 최소화하기 위해 직선 세그먼트를 얻는다. 마지막으로 다시점 영상은 이렇게 추출된 영상 특징들을 제한 조건으로 사용하여 그리드 메쉬(grid-mesh) 기반 영상 워핑(warping) 기법에 의해 생성된다. 실험 결과를 통해 제안한 기법으로 생성된 다시점 영상의 화질이 기존 DIBR 기법보다 우수한 것을 확인할 수 있었다.