• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.134-137
• /
• 2010

다시점 영상 비디오를 부호화하기 위해 다시점 영상 부호화기(MVC)가 제안되었다. MVC가 다시점 영상 비디오를 효율적으로 압축함에도 불구하고 여전히 제한된 대역폭의 채널을 통해 다시점 영상을 전송하기에는 한계가 있다. 따라서 제한된 대역폭을 효과적으로 활용할 수 있도록 효율적인 비트율 제어 알고리즘이 요구된다. 2D 영상 부호화를 위한 비트율 제어 알고리즘은 활발한 연구가 이루어졌지만 다시점 영상 부호화를 위한 비트율 제어 알고리즘은 아직 충분히 연구되어지지 않았다. 본 논문에서는 시점 간 화질 분산과 계층적 B 픽처 구조를 고려한, 다시점 영상 부호화를 위한 비트율 제어 알고리즘을 제안한다. 제안된 알고리즘은 부호화 전 단계, 시점 레벨 비트율 제어, GOP 레벨 비트율 제어, 픽처 레벨 비트율 제어의 네 단계로 이루어진다. 부호화 전 단계에서 시점 간 비트율의 비중과 계층 레벨 간의 비중을 계산한다. 그리고 시점의 목표 비트율, GOP의 목표 비트율, 픽처의 목표 비트율이 각각 시점 레벨 비트율 제어단계, GOP 레벨 비트율 제어단계, 픽처 레벨 비트율 제어 단계에서 계산된다. 실험 결과는 제안된 방식이 시점 간 화질(PSNR)의 분산을 줄이면서 비트율을 제어하는데 효과적이라는 것을 보여준다.

• KSCI Review
• /
• v.15 no.1
• /
• pp.179-183
• /
• 2007

다시점에서의 다중 객체 추적은 여러 분야에서 연구되고 있다. 다시점 영상 추적은 두 객체가 서로 근접하면 하나로 인식하는 문제점을 가지고 있다. 이러한 문제를 해결하기 위한 하나의 방법으로 능동형태모델(active shape mode: ASM)을 들 수 있다 ASM은 훈련집합을 이용하여 다른 객체에 가려진 목표 객체를 추적할 수 있다. 본 논문에서는 겹쳐진 객체를 추적하기 위해 ASM 기반의 다시점 추적 알고리듬(Multi-view tracking using ASM: MVTA)에 대해서 제안한다. 제안된 추적 방법은 (i) 영상 획득, (ii) 객체 추출, (iii) 객체 추적, 그리고 (iv) 현재 형태의 업데이트, 4가지 단계로 나눌 수 있다. 첫 번째 단계에서는 여러 대의 카메라를 사용해서 다시점 영상을 획득하며, 두 번째 단계에서는 객체를 배경으로부터 분리하며, 겹쳐진 객체로부터 목표 객체를 분리해낸다. 세 번째 단계에서는 추적을 위해 ASM을 사용하며, 마지막 단계인 네 번째 단계는 현재 입력 영상의 업데이트이다. 실험결과 제안한 MVTA는 겹쳐진 객체를 추적 시에 생기는 문제에 대해서 향상 된 결과를 보여준다.

• Journal of Broadcast Engineering
• /
• v.13 no.6
• /
• pp.796-803
• /
• 2008

In this paper, we present a depth scaling method for multiview images that could provide an 3D depth that a user prefers. Unlike previous works that change a camera configuration, the proposed method utilizes depth data in order to carry out the scaling of a depth range requested by users. From multivew images and their corresponding depth data, depth data is transformed into a disparity and the disparity is adjusted in order to control the perceived depth. In particular, our method can deal with multiview images captured by multiple cameras, and can be expanded from stereoscopic to multiview images. Based upon a DSCQS subjective evaluation test, our experimental results tested on an automultiscopic 3D display show that the perceived depth is appropriately scaled according to user's preferred depth.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.8
• /
• pp.1704-1713
• /
• 2011

This paper proposes a method to generate multiview images which use a synthesized image consisting of layered objects. The camera system which consists of a depth camera and a RGB camera is used in capturing objects and extracts 3-dimensional information. Considering the position and distance of the synthesizing image, the objects are synthesized into a layered image. The synthesized image is spaned to multiview images by using multiview generation tools. In this paper, we synthesized two images which consist of objects and human and the multiview images which have 37 view points were generated by using the synthesized images.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.93-96
• /
• 2006

2D 및 입체 영상 콘텐츠의 공급이 많아지면서 실감 콘텐츠에 대한 관심이 더욱 높아지고 있다. 실감 콘텐츠는 다시점 카메라로부터 획득한 다시점 비디오, 깊이 카메라에서 얻은 RGB 영상과 컴퓨터 그래픽스와 같은 synthetic data를 합성하여 보다 실감나게 제작된다. 다시점 카메라를 이용하면 다시점 비디오를 쉽게 획득할 수 있으나 제작비용이 많이 들고, 깊이 카메라를 사용하면 시스템 구성은 상대적으로 용이하나 시점 영상이 하나라는 단점이 있다. 본 논문에서는 깊이 카메라에서 얻은 RGB 텍스쳐 데이터와 깊이 데이터로부터 가상 다시점 영상을 생성하고, 생성된 영상에 컴퓨터 그래픽스를 합성하는 방법을 제안한다. 제안한 방법은 다시점 카메라 시스템을 사용하지 않고도 시점에 따른 가상 시점 화상을 용이하게 제작하여 그래픽 객체를 합성한다. 합성된 다시점 3D 모니터나 입체 모니터를 이용하여 3차원으로 실감나게 시청할 수 있다.

• Journal of Broadcast Engineering
• /
• v.9 no.3
• /
• pp.236-245
• /
• 2004

A multiview sequence CODEC with view scaiability is proposed in this paper. We define a GGOP (Group of GOP) structure as a basic coding unit to efficiently code multiview sequences. 7he proposed CODEC provides flexible GGOP structures based on the number of views and baseline distances among cameras. Multiview sequences encode consists of disparity estimation/compensation, motion estimation/compensation, residual coding and rate control and generates multiview sequence bitstream. The main bitstream is the same as an MPEG-2 mono-sequence bitstream for MPEG-2 compatibility. The auxiliary bitstream contains information concerning the remaining multiview sequences except for the reference sequences. The proposed CODEC with view scalability provides that a number of view flints are selectively determined at the receiver according to the type of display modes. The proposed multiview sequence CODEC is tested with several multiview sequences to determine its flexibility. compatibility with MPEG-2 and view scaiability. In addition, we subjectively confirm that the decoded bitstreams with view scaiability can be Properly displayed by several types of display modes. including 3D monitors.

• Proceedings of the KAIS Fall Conference
• /
• 2008.11a
• /
• pp.227-230
• /
• 2008

본 논문에서는 MPEG-4 기반으로 다시점 동영상 재생을 위한 전송방법을 제안한다. 그리고 MP4 파일포맷을 분석하여 OSMO4에서 제공하는 MP4BOX를 이용해서 동영상을 MP4 파일로 변환한다. 기존의 MPEG4 플레이어는 다시점 동영상을 전송하기 위한 정보들이 부족하여 활용하지 못하지만, 새로운 객체 기술자와 BIFS 구조를 추가하여 OSMO4 플레이어에 입력되는 MP4 파일이 다시점 동영상임을 알 수 있게 하여 OSMO4에서 다시점 동영상 시점 전환이 가능하도록 한다. 실험은 여러 개의 영상에 대한 시점의 스위칭을 수행했으며, N개의 다시점 동영상으로도 확장이 가능함을 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.270-272
• /
• 2011

다시점 비디오는 사용자들에게 자유로운 시점 선택 및 넓은 시점에서의 입체감을 제공하지만, 시점의 증가에 따른 데이터 량의 증가가 불가피하다. 이에 따라 최근 MPEG 에서는 재생되는 시점 수 보다 적은 수의 다시점 비디오와 그에 대응하는 깊이 영상 및 관련 파라미터를 메타데이터 형태로 제공하는 다시점 및 깊이 영상 부호화(MVD: Multiview plus Depth)에 대한 표준화를 진행하고 있다. 본 논문은 MVD 가 방송망에서 서비스되는 시나리오를 가정하여 다시점 비디오와 그에 대응하는 깊이 영상을 MPEG-2 TS(Transport Stream)로 전송하기 위한 기법을 제시한다. 제안한 기법은 기존의 단일 영상 및 깊이 영상을 전송하기 위한 부가비디오스트림 서술자(Auxiliary Video Stream Descriptor) 및 MPEG-C Part 3 표준을 확장하여 다시점 비디오와 그에 대응하는 깊이 영상간의 매핑 정보 및 각 시점의 깊이 파라미터를 제공할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.77-79
• /
• 2010

본 논문은 다시점 비디오의 조명 불일치 현상을 효과적으로 보상하기 위한 히스토그램 매칭 기법의 성능을 향상시키는 영상의 에지 방향성을 고려한 전처리 기법을 제안하였다. 다시점 비디오는 카메라 간 서로 다른 위치와 방위로 인해 인접한 시점 영상 간에 존재하는 동일 물체에 색상 차이가 발생할 수 있다. 히스토그램 매칭 기법은 모든 시점 영상의 히스토그램을 정해진 참조시점 영상의 히스토그램에 매칭시켜 다시점 비디오의 조명 불일치 현상을 보상하는 방법이다. 본 논문에서는 히스토그램 매칭을 수행하기 전에 ELA(Edge-based Line Averaging) 선형 보간 기법과 Cosited 대표 값 추출 필터를 결합한 전처리 필터를 선행하여 조명 보상 효과와 다시점 부호화 성능을 향상시켰다. 실험을 통해 제안하는 전처리 기법이 일반적인 다시점 비디오 부호화에 비해 약 2 dB의 평균 PSNR 향상과 34%의 비트율 절감 효과를 가짐을 확인하였다.