• 한국컴퓨터정보학회지
• /
• 제15권1호
• /
• pp.179-183
• /
• 2007

다시점에서의 다중 객체 추적은 여러 분야에서 연구되고 있다. 다시점 영상 추적은 두 객체가 서로 근접하면 하나로 인식하는 문제점을 가지고 있다. 이러한 문제를 해결하기 위한 하나의 방법으로 능동형태모델(active shape mode: ASM)을 들 수 있다 ASM은 훈련집합을 이용하여 다른 객체에 가려진 목표 객체를 추적할 수 있다. 본 논문에서는 겹쳐진 객체를 추적하기 위해 ASM 기반의 다시점 추적 알고리듬(Multi-view tracking using ASM: MVTA)에 대해서 제안한다. 제안된 추적 방법은 (i) 영상 획득, (ii) 객체 추출, (iii) 객체 추적, 그리고 (iv) 현재 형태의 업데이트, 4가지 단계로 나눌 수 있다. 첫 번째 단계에서는 여러 대의 카메라를 사용해서 다시점 영상을 획득하며, 두 번째 단계에서는 객체를 배경으로부터 분리하며, 겹쳐진 객체로부터 목표 객체를 분리해낸다. 세 번째 단계에서는 추적을 위해 ASM을 사용하며, 마지막 단계인 네 번째 단계는 현재 입력 영상의 업데이트이다. 실험결과 제안한 MVTA는 겹쳐진 객체를 추적 시에 생기는 문제에 대해서 향상 된 결과를 보여준다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.174-184
• /
• 2022

3차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다. Human3.6M과 MPI-INF-3DHP 데이터셋을 사용한 실험은 제안하는 방법이 3차원 휴먼 자세 추정을 위한 단시점 모델의 학습에 효과적임을 보여준다.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.796-803
• /
• 2008

본 논문에서는 사용자에게 보다 실감있고, 사용자가 선호하는 다시점 3D 영상의 3D 입체감을 제공할 수 있는, 다시점 3D 동영상의 인식 깊이감을 조절하는 기법을 제안한다. 카메라 배열을 변경하는 기존의 방법들과 달리, 제안한 기법은 사용자가 요청하는 깊이 범위의 스케일링을 활용하기 위하여 영상의 깊이 데이터를 활용한다. 다시점 영상 및 해당 시점의 깊이 영상을 입력받아 각 화소의 변이로 변환하고, 각 화소의 변이를 조절함으로써 인식되는 깊이감을 조절하게 된다. 제안 방법은 다시점 카메라로부터 획득한 다시점 영상의 처리가 가능하며, 또한 2-시점 입체영상부터 다시점 영상까지 적용이 가능하다. 실험에서는 제안한 방법을 통하여 깊이감이 조절된 다시점 동영상을 다시점 3D 모니터로 시청하였을 때, 깊이감이 사용자가 선호하는 깊이에 따라서 스케일되는 것을 DSCQS(Double Stimulus Continuous Quality Scale)으로 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.134-137
• /
• 2010

다시점 영상 비디오를 부호화하기 위해 다시점 영상 부호화기(MVC)가 제안되었다. MVC가 다시점 영상 비디오를 효율적으로 압축함에도 불구하고 여전히 제한된 대역폭의 채널을 통해 다시점 영상을 전송하기에는 한계가 있다. 따라서 제한된 대역폭을 효과적으로 활용할 수 있도록 효율적인 비트율 제어 알고리즘이 요구된다. 2D 영상 부호화를 위한 비트율 제어 알고리즘은 활발한 연구가 이루어졌지만 다시점 영상 부호화를 위한 비트율 제어 알고리즘은 아직 충분히 연구되어지지 않았다. 본 논문에서는 시점 간 화질 분산과 계층적 B 픽처 구조를 고려한, 다시점 영상 부호화를 위한 비트율 제어 알고리즘을 제안한다. 제안된 알고리즘은 부호화 전 단계, 시점 레벨 비트율 제어, GOP 레벨 비트율 제어, 픽처 레벨 비트율 제어의 네 단계로 이루어진다. 부호화 전 단계에서 시점 간 비트율의 비중과 계층 레벨 간의 비중을 계산한다. 그리고 시점의 목표 비트율, GOP의 목표 비트율, 픽처의 목표 비트율이 각각 시점 레벨 비트율 제어단계, GOP 레벨 비트율 제어단계, 픽처 레벨 비트율 제어 단계에서 계산된다. 실험 결과는 제안된 방식이 시점 간 화질(PSNR)의 분산을 줄이면서 비트율을 제어하는데 효과적이라는 것을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.119-122
• /
• 2009

멀티미디어 처리 분야의 급속한 발전으로 인해 3차원 TV (3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자가 원하는 시점을 자유롭게 선택할 수 있고, 입체감을 제공하여 사용자가 마치 그 곳에 있는 듯한 효과를 줄 수 있다. 지금까지 입체 영상은 스테레오 영상을 기반으로 하나의 시점에 대한 입체 영상을 제공했지만 최근에는 다시점 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 연구되고 있다. 다시점 영상은 사용자에게 임의 시점의 영상에 대한 시청을 가능케 하여 입체감 있는 화면을 제공할 수 있다. 입체감 있는 영상을 만들기 위해서는 다시점 영상의 시점 간 가상 시점을 생성할 수 있도록 하고 깊이 정보를 포함하고 있는 깊이 영상 (Depth Image)을 획득하여야 한다. 획득된 깊이 영상 데이터와 다시점 비디오 데이터를 동시에 전송하는 다시점 비디오 시스템이 상용화되기 위해서는 방대한 양의 데이터를 효율적으로 압축하는 다시점 비디오 부호화 기술 개발이 필수적이다. 본 논문에서는 기존의 컬러 영상의 효율적인 압축 방법을 제안하던 다시점 비디오 부호화 기술에 국한되지 않고 3차원 영상 화질을 객관적으로 높일 수 있도록 깊이 영상의 효율적 압축 기법에 대한 새로운 방법을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.80-82
• /
• 2010

본 논문에서는 깊이 정보를 이용하여 영상을 색상 분포가 각각 다른 객체 영상으로 분리하고 개별적으로 히스토그램 매칭 기법을 적용하는 조명 보상 기법을 제안한다. 서로 위치가 다른 다시점 카메라의 경우, 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 인접 시점 영상 간 조명 불일치 현상이 발생한다. 이러한 조명 불일치를 보상하기 위한 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 제안되었다. 모든 시점의 다시점 영상 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어 조명 불일치와 다시점 비디오 부호화의 성능을 개선할 수 있다. 하지만 일반적인 영상은 색상 분포와 깊이 정보가 상호 독립적인 객체들로 구성되어 있다. 또한 다시점 비디오는 시점에 따라 획득된 영상 간에 동일 객체의 위치와 깊이가 서로 달라 정해진 참조 시점의 히스토그램으로 매칭하는 기존의 방법은 적합하지 않다. 본 논문에서는 주어진 영상 내에서 깊이 정보를 이용하여 객체를 먼저 분리하고, 객체 영상별로 히스토그램 매칭 기법을 적용하여 색상 보상을 수행하는 새로운 기법을 제안한다. 실험을 통해 제안하는 객체 단위의 조명 보상 기법이 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• 정보와 통신
• /
• 제28권6호
• /
• pp.21-30
• /
• 2011

본고에서는 안경식 3DTV가 가지고 있는 안경착용의 불편함을 해결할 수 있는 무안경 3DTV 개발을 위한 다시점 3D 영상 기술에 대해 기술한다. 다시점 3DTV 서비스를 위해서는 다시점 3D 영상 획득, 부호화 기술, 재현 및 디스플레이 기술 등의 개발이 필요하며, 본 고에서는 이들 기술에 대해 간략하게 소개하기로 한다.

• 방송공학회논문지
• /
• 제9권3호
• /
• pp.236-245
• /
• 2004

본 논문에서는 view scalability를 고려한 3차원 다시점 동영상 코덱을 제안한다. 다시점 동영상을 효율적으로 부호화하기 위하여 부호화의 기본 단위로는 GGOP (Group of GOP) 구조를 제안하며 그 GGOP 구조는 시점의 수와 카메라 사이의 베이스 라인의 간격에 따라 유동적으로 여러 가지 타입을 가질 수 있다 제안된 다시점 동영상 부호기는 전처리, 변이 추정/보상, 움직임 추정/보상, 차영상 부호화, 비트율 제어로 구성되며 다시점 동영상 비트열을 생성하게 된다. MPEG-2와의 호환성을 위하여 기준이 되는 동영상은 MPEG-2로 부호화를 수행하여 메인 비트열을 생성하였고, 나머지 시점들에 해당되는 동영상들은 변이 벡터 및 움직임 벡터를 이용하여 보조 비트열을 생성하여 복호단에 전송된다. 다시점 동영상 복호기는 메인 비트열을 복호하기 위한 MPEG-2 복호기와 보조 비트열을 복호하기 위한 복호기로 구성된다. 또한, 수신단에서 보유하고 있는 디스플레이의 특징에 따라 원하는 시점만을 선택하여 복호화를 가능하게 할 수 있는 view scalability 기능을 제안한다. 실험을 통하여 제안한 다시점 동영상 코덱의 GGOP 구조의 유동성, MPEG-2와의 호환성, view scalability의 성능을 확인하였다. 또한 view scalability로 원하는 시점만을 복원한 3차원 동영상을 여러 종류의 3차원 다시점 모니터에 디스플레이를 하여 주관적인 성능을 확인하였다

• 한국통신학회논문지
• /
• 제27권3A호
• /
• pp.249-257
• /
• 2002

본 논문에서는 스테레오/다시점 영상을 효율적으로 압축할 수 있는 차 영상 부호화 방법을 제안한다. 예측된 영상과 원 영상의 차이 정보를 보다 효율적으로 전송하기 위하여 DCT를 기반으로 차 영상 부호화를 하게 되는데 DCT 계수들의 방향성을 이용하여 양자화 및 스캔 방법을 각 블록의 특성에 따라 다르게 적용하였다. 특히 다시점 영상의 부호화는 첫 번째 시점 영상을 기준 영상으로 정하여 나머지 시점 영상을 기준 영상으로부터 변이를 추정하여 복원하는 방식과 다시점 영상 중 가려진 영역의 비율을 고려하여 가려진 영역이 상대적으로 제일 적은 영상을 기준 영상으로 설정하여 나머지 영상을 변이 추정하여 복원하는 방법으로 나누어 실험하였다. 실험 결과 모든 압축률에 대하여 제안 방식이 기존의 차 영상 부호화 방법보다 우수함을 확인하였고, 가려진 영역의 상대적인 비율을 고려하여 다시점 영상을 부호화한 제안 방식이 기존의 방식 및 첫 번째 시점을 기준 영상으로 설정하여 부호화한 제안 방식보다 우수함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.220-223
• /
• 2012

본 논문에서는 스테레오 영상으로부터 무안경 3D 디스플레이를 위한 다시점 영상을 생성하는 시스템을 제안한다. 제안한 시스템에서는 먼저 비디오 캡쳐 카드를 통해 입력되는 스테레오 영상으로부터 FPGA 상에서 구현된 Trellis 동적 프로그래밍 기법에 의해 좌우 변이 영상을 실시간으로 추출한다. 이 변이 영상을 기반으로 좌우 영상 사이에서 중간 시점 영상을 생성한다. 이렇게 추출된 좌우 변이 영상과 좌우 스테레오 영상은 각각 USB 3.0 과 PCI-express 인터페이스를 통해 GPU 로 전송되고, GPU 에서는 이들 데이터를 사용하여 변이 기반 영상 합성 방법을 통해 다시점 영상을 생성한다. 생성된 다시점 영상은 다시점 3 차원 디스플레이 규격에 맞게 재배치되어 재생된다.