• 한국컴퓨터정보학회지
• /
• 제15권1호
• /
• pp.179-183
• /
• 2007

다시점에서의 다중 객체 추적은 여러 분야에서 연구되고 있다. 다시점 영상 추적은 두 객체가 서로 근접하면 하나로 인식하는 문제점을 가지고 있다. 이러한 문제를 해결하기 위한 하나의 방법으로 능동형태모델(active shape mode: ASM)을 들 수 있다 ASM은 훈련집합을 이용하여 다른 객체에 가려진 목표 객체를 추적할 수 있다. 본 논문에서는 겹쳐진 객체를 추적하기 위해 ASM 기반의 다시점 추적 알고리듬(Multi-view tracking using ASM: MVTA)에 대해서 제안한다. 제안된 추적 방법은 (i) 영상 획득, (ii) 객체 추출, (iii) 객체 추적, 그리고 (iv) 현재 형태의 업데이트, 4가지 단계로 나눌 수 있다. 첫 번째 단계에서는 여러 대의 카메라를 사용해서 다시점 영상을 획득하며, 두 번째 단계에서는 객체를 배경으로부터 분리하며, 겹쳐진 객체로부터 목표 객체를 분리해낸다. 세 번째 단계에서는 추적을 위해 ASM을 사용하며, 마지막 단계인 네 번째 단계는 현재 입력 영상의 업데이트이다. 실험결과 제안한 MVTA는 겹쳐진 객체를 추적 시에 생기는 문제에 대해서 향상 된 결과를 보여준다.

• 방송공학회논문지
• /
• 제15권6호
• /
• pp.768-782
• /
• 2010

다시점 비디오의 조명 불일치 현상은 서로 다른 카메라의 위치와 카메라간의 불완전한 보정(calibration)으로 인하여 발생한다. 이러한 인접 시점간의 색상 불일치는 획득된 영상을 참조 영상으로 이용하여 부호화하는 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 요인이 된다. 이러한 조명 불일치를 보상하기 위한 방법 중에서 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 있다. 히스토그램 매칭을 통해 모든 시점 영상의 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어지고 다시점 비디오 부호화의 성능을 개선할 수 있다. 그러나 다시점 비디오 시퀀스는 카메라와 등장인물의 이동으로 인하여 시점 간 영상뿐만 아니라, 한 시점 내에 시간의 흐름에 따른 영상간의 히스토그램 분포가 서로 다를 수 있다. 참조 시점 시퀀스에 속한 모든 영상을 참조하는 기존의 히스토그램 매칭 기법은 시공간적으로 상관성이 높지 않은 영상의 조명을 효과적으로 보상하기에 적합하지 않다. 본 논문에서는 시점 영상 간의 색상 분포의 차이를 보이는 다시점 비디오를 보상하여 공간적 상관성을 높이기 위해 두 조건식이 반영된 영상분리 기법을 적용한 레이어별 히스토그램 매칭 기법과 시간의 흐름에 따라 색상 분포의 차이를 보이는 다시점 비디오를 비디오 부호화의 단위인 화면 그룹(group of pictures : GOP)별로 보상하여 시간적 상관성을 높이는 개별적인 히스토그램 매칭 기법을 제안한다. 실험을 통해 제안하는 조명 보상 기법이 기존의 조명 보상 기법보다 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권7호
• /
• pp.495-502
• /
• 2013

영상 화질과 인코더의 속도에 영향을 주는 움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 동영상 압축에서 중요한 역할을 하지만 높은 계산 복잡도를 요구한다. 다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오를 위한 움직임 추정은 카메라 수에 비례하여 많은 계산량을 필요로 한다. 본 논문에서는 다시점 비디오 부호화를 위한 움직임 추정의 계산량을 줄이면서 영상 화질을 유지하는 고속 움직임 추정 기법을 제안한다. 제안한 기법은 계층적인 탐색 기법으로 수정된 다이아몬드 탐색 패턴, 다중 다이아몬드 탐색 패턴, 그리고 래스터 탐색 패턴으로 구성된다. 이 탐색 패턴들은 국부적 최소화 문제를 해결하기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하거나 움직임 벡터의 분포 특성을 이용하여 탐색 점들을 배치한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법의 성능과 비교한 경우, 영상 화질과 비트량을 비슷하지만 계산량을 줄임으로서 움직임 추정 속도를 약 1.2~3배 향상시킨다.

• 한국콘텐츠학회논문지
• /
• 제8권7호
• /
• pp.1-8
• /
• 2008

본 논문에서는 다시점 비디오의 카메라 특성 불일치에 따른 시점간 비정합 문제를 해결하기 위한 보상 알고리즘을 제시한다. 시점간 비정합은 다시점 영상의 융합을 어렵게 할 뿐 아니라 압출 효율의 저하를 가져온다. 따라서 이를 보상하기 위한 전처리 기술은 다시점 부호화기의 성능 개선에 있어 필수적이다. 우선, 광-전 전달 특성의 불일치에 의한 다시점 카메라 출력신호의 비정합이 이득과 오프셋의 1차원 모형으로 근사화 될 수 있음을 보인다. 그리고 겹침 영역 검출에 기반한 새로운 시점간 비정합 파라미터 추정 및 보상 알고리즘을 제시한다. Rectify 된 다양한 스테레오 영상을 대상으로 한 모의실험을 통해 제안 알고리즘이 기존 방법에 비해 시점간 비정합을 더욱 정확하게 보상함을 보인다.

• 한국멀티미디어학회논문지
• /
• 제17권3호
• /
• pp.333-341
• /
• 2014

다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오 부호화는 카메라의 수에 비례하여 데이터의 양이 증가하기 때문에 계산량을 줄일 수 있는 다시점 비디오 부호화 기술이 필요하다. 본 논문에서 다시점 비디오의 부호화를 위한 움직임 추정의 계산량을 줄이면서 화질을 유지하는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 움직임 벡터의 분포 특성을 이용한 효과적인 초기 종료 움직임 추정 기법이다. 제안한 움직임 추정기법은 계층적 움직임 추정 기법으로 다중 사각형 탐색 패턴, 래스터 탐색 패턴, 수정된 다이아몬드 탐색 패턴 그리고 작은 다이아몬드 탐색으로 이루어져있다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 전역 탐색 기법(FS)의 성능과 비교한 경우, 영상 화질과 비트량을 비슷하지만 움직임 추정 속도를 각각 약 1.7~4.5배, 90배 향상시킨다.

• 한국HCI학회논문지
• /
• 제1권1호
• /
• pp.53-61
• /
• 2006

본 논문에서는 다시점 카메라를 이용하여 실내환경의 3D 복원을 위한 새로운 방법을 제안한다. 지금까지 다양한 양안차 추정 알고리즘이 제안되었으며, 이는 활용 가능한 깊이 영상이 다양함을 의미한다. 따라서 본 논문에서는 일반화된 다시점 카메라로 여러 방향에서 획득된 3D 점군을 이용한 실내환경 복원 방법을 다룬다. 첫 번째, 3D 점군들의 시간적 특성을 기반으로 변화량이 큰 3D 점들을 제거하고, 공간적 특성을 기반으로 주변의 3D 점을 참조하여 빈 영역을 채움으로써 깊이 영상 정제 과정을 수행한다. 두 번째, 연속된 두 시점에서의 3D 점군을 동일한 영상평면으로 투영하고 수정된 KLT (Kanade-Lucas-Tomasi) 특징 추적기를 사용하여 대응점을 찾는다. 그리고 대응점간의 거리 오차를 최소화함으로써 정밀한 정합을 수행한다. 마지막으로, 여러 시점에서 획득된 3D 점군과 한 쌍의 2D 영상을 동시에 이용하여 3D 점들의 위치를 세밀하게 조절함으로써 최종적인 3D 모델을 생성한다. 제안된 방법은 대응점을 2D 영상 평면에서 찾음으로써 계산의 복잡도를 줄였으며, 3D 데이터의 정밀도가 낮은 경우에도 주변화소와의 상관관계를 이용함으로써 효과적으로 동작한다. 또한, 다시점 카메라를 이용함으로써 수 시점에서의 깊이 영상과 컬러 영상만으로도 실내환경에 대한 3D 복원이 가능하다. 제안된 방법은 네비게이션 뿐만 아니라 상호작용을 위한 가상 환경 생성 및 Mediated Reality (MR) 응용 분야에 활용될 수 있다.

• 한국정보통신학회논문지
• /
• 제15권12호
• /
• pp.2527-2533
• /
• 2011

본 논문에서는 특징점 기반 색상 보정을 통한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 갖게 된다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 제안한다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)으로 추정한다. 또한 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정한다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 개선되고 bit rate 는 14% 정도 감소되는 성능을 확인하였다.

• 전자공학회논문지CI
• /
• 제42권3호
• /
• pp.39-52
• /
• 2005

본 논문에서는 실내환경의 3차원 복원을 위해 다시점 카메라부터 획득된 부분적인 3차원 점군에 대한 정합 기법을 제안한다. 일반적으로, 기존의 정합 방법들은 많은 계산량을 요하며, 정합하는데 많은 시간이 소요된다 또한, 상대적으로 정밀도가 낮은 3차원 점군에 대해서는 정합이 어렵다. 이러한 문제점을 해결하기 위해 투영 기반 정합 방법을 제안한다. 첫 번째, 시간적 특성을 기반으로 변화량이 큰 3차원 점들을 제거하고, 공간적 특성을 이용하여 현재 화소의 주변 3차원 점을 참조하여 빈 영역을 채움으로써 깊이 영상 정제 과정을 수행한다. 두 번째, 연속된 두 장면에서의 3차원 점군을 동일한 영상 평면으로 투영하고, 두 단계 정수 매핑을 적용한 후 수정된 KLT (Kanade-Lucas-Tomasi) 특징 추적기를 사용해 대응점을 찾는다. 그리고 적응적 탐색 영역에 기반하여 거리 오차를 최소화함으로써 정밀한 정합을 수행한다. 마지막으로, 대응되는 점들에 대한 색을 참조하여 최종적인 색을 계산하고, 위의 과정을 연속된 장면에 적용함으로써 실내환경을 복원한다. 제안된 방법은 대응점을 2차원 영상 평면에서 찾음으로써 계산의 복잡도를 줄이며, 3차원 데이터의 정밀도가 낮은 경우에도 정합이 효과적이다. 또한, 다시점 카메라를 이용함으로써 몇 장면에 대한 색과 깊이 영상만으로도 실내환경의 3차원 복원이 가능하다.

• 스마트미디어저널
• /
• 제1권1호
• /
• pp.10-16
• /
• 2012

3차원 영상은 기본적으로 양안식 혹은 다시점 카메라를 이용해 촬영되며, 3차원 공간의 정보를 실시간적으로 얻기 위해 깊이 센서도 함께 사용된다. 이렇게 얻어진 영상은 잡음과 왜곡 제거, 깊이 생성, 중간 시점 합성 등의 3차원 영상처리 기술을 이용하여 3차원 입체영상 콘텐츠로 제작된다. 실감방송은 다양한 실감 콘텐츠를 이용하여 시청자가 마치 현장에 있는 것과 같은 생생함을 느끼게 해주는 차세대 방송이며, 3차원 입체영상 콘텐츠는 실감방송을 위한 가장 기본적인 미디어로 사용된다. 본 논문에서는 다양한 카메라 시스템을 이용하여 3차원 영상을 촬영하고 편집하여 실감방송을 위한 3차원 콘텐츠를 제작하는 연구의 국내외 기술동향을 살펴보고 주요 기술을 소개, 비교 및 분석한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.80-82
• /
• 2010

본 논문에서는 깊이 정보를 이용하여 영상을 색상 분포가 각각 다른 객체 영상으로 분리하고 개별적으로 히스토그램 매칭 기법을 적용하는 조명 보상 기법을 제안한다. 서로 위치가 다른 다시점 카메라의 경우, 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 인접 시점 영상 간 조명 불일치 현상이 발생한다. 이러한 조명 불일치를 보상하기 위한 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 제안되었다. 모든 시점의 다시점 영상 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어 조명 불일치와 다시점 비디오 부호화의 성능을 개선할 수 있다. 하지만 일반적인 영상은 색상 분포와 깊이 정보가 상호 독립적인 객체들로 구성되어 있다. 또한 다시점 비디오는 시점에 따라 획득된 영상 간에 동일 객체의 위치와 깊이가 서로 달라 정해진 참조 시점의 히스토그램으로 매칭하는 기존의 방법은 적합하지 않다. 본 논문에서는 주어진 영상 내에서 깊이 정보를 이용하여 객체를 먼저 분리하고, 객체 영상별로 히스토그램 매칭 기법을 적용하여 색상 보상을 수행하는 새로운 기법을 제안한다. 실험을 통해 제안하는 객체 단위의 조명 보상 기법이 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.