• 한국통신학회논문지
• /
• 제38C권5호
• /
• pp.409-419
• /
• 2013

키넥트 카메라는 마이크로소프트사에서 2010년 11월에 출시한 xbox360의 움직임 감지 카메라로 깊이 영상과 색상 영상을 획득할 수 있다. 하지만 적외선 패턴을 이용한 깊이 영상의 획득 방법의 한계로 인해 객체의 경계 주변으로 홀(hole) 및 잡음이 생기고 영상으로 재생 시 경계 주변에서 흔들림(flickering) 현상이 발생한다. 본 논문에서는 이러한 흔들림 현상을 보정하여 화질이 좋은 가상 시점 영상을 실시간으로 생성하는 기법을 제안한다. 제안하는 기법에서는 먼저 결합형 양방향 필터를 이용하여 경계 주변의 홀을 채운다. 경계 주변의 흔들림 현상은 화소를 탐색하여 처리하는 기법을 적용하여 보정한다. 향상된 깊이 영상과 색상 영상에 3D 워핑(3D warping) 기법을 적용하여 가상 시점 영상을 획득한다. 획득된 영상에서 가려짐 영역(occlusion region)으로 인하여 생기는 홀은 블록기반의 기울기 탐색 기법과 블록의 신뢰도를 이용하여 채우게 된다. 실험을 통해 제안하는 시스템이 가상 시점 영상을 실시간으로 합성하는 것을 확인하였다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.773-793
• /
• 2022

다수의 고품질 몰입형 영상 전송을 통해 가상 현실에서 six degrees of freedom(6DoF)를 지원하기 위해 the moving picture experts group (MPEG) immersive video (MIV) 압축 표준이 설립되었다. MIV는 비트율과 연산 복잡도 간 상충관계를 고려하여 1) 시점 간 연관성 제거 또는 2) 대표 시점을 선택하여 전송하는 2가지 압축 방식을 제공한다. 본 논문은 전술한 두 가지 방식에 대해 high-efficiency video coding (HEVC), versatile video coding (VVC) 기반 성능 분석 결과를 입력 영상 위치에 합성한 가상 영상 및 사용자 시점 영상 중심으로 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.55-57
• /
• 2011

본 논문에서는 텍스쳐 최적화 기법을 사용하는 동영상 프레임 비율 상향 변환 방법을 제안한다. 제안하는 기법은 입력 영상의 텍스쳐 특성을 분석하여 블록 매칭에 의해 예측된 움직임 벡터의 정확도를 향상시킨다. 또한 패치 단위의 영상 합성을 통해 블록 경계에서 발생하는 화질 열화 현상을 최소화한다. 실험 결과를 통하여 제안하는 기법은 자연스러운 중간 시점 영상을 생성함을 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.248-249
• /
• 2010

본 논문에서는 최근 국내 및 국제 표준화 작업이 활발히 진행되고 있는 3DV/FTV(Free viewpoint TV)를 위한 코딩에 대하여 알아본다. 먼저 기존의 2D 영상 코딩 방법을 사용하여 Texture와 Depth를 코딩하고, 복원한 영상을 사용하여 가상시점 영상을 합성하여, 코딩된 영상의 품질과 합성된 영상의 품질 사이의 관계에 대해서 알아본 후, 고품질 3DV/FTV 서비스를 위해 고려해야 할 사항들에 대하여 살펴본다.

• 스마트미디어저널
• /
• 제4권1호
• /
• pp.9-15
• /
• 2015

언어를 사용하지 않고 몸짓이나 손짓, 표정 등 신체의 동작으로 의사나 감정을 표현하고 전달하는 비언어적 전달 방법은 중요한 의사전달 방법 중 하나이다. 이러한 몸짓이나, 손짓, 시선 맞춤 그리고 손동작은 때론 말보다 더 강력한 의사전달의 방법으로 작용한다. 비언어적 의사전달 방법에서 시선 맞춤은 그중에서도 가장 중요한 의사전달 방법이다. 하지만 화상회의를 할 때 디스플레이 상에서의 눈과 카메라의 차이 때문에 상호간에 시선 맞춤이 되지 않는다. 만약 상호간에 시선 맞춤을 하지 않고 대화를 하면 정확한 의사전달이 힘들고 서로의 이야기에 집중하기 어려워진다. 본 논문에서는 화상회의 상황에서 시선 맞춤을 개선하는 방법을 제안한다. 시선 맞춤을 개선하기 위해 두 대의 카메라를 텔레비전의 위, 아래에 설치하였다. 동시에 두 영상을 촬영하여 2D 워핑을 하여 가상의 중간시점으로 옮기고, 뷰 모핑을 한다. 모핑된 얼굴과 배경영상을 합성하여 화상회의를 위해 개선된 시선 맞춤 영상을 만든다. 실험 결과를 통하여 제안한 알고리즘이 시선 맞춤을 개선하고 자연스러운 중간 시점 영상을 합성하는 것을 확인 할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제9권5호
• /
• pp.13-23
• /
• 2009

다시점 영상 처리 기술은 다시점 디스플레이 장치와 압축된 데이터 복원 장치를 통해 장치 사용자의 시각에 3차원의 입체 영상을 제공하는데 목적이 있다. 본 논문은 4시점의 병렬 카메라를 통해 실시간으로 입력되는 스테레오 이미지들에 대해서 효율적인 영상 합성을 통해 3차원 입체 영상을 브라우징할 수 있는 램 디스크 기반의 다시점 영상 합성 기법을 제안한다. 제안하는 기법은 입력 영상들을 이진화 영상으로 변환한 후, Sobel 및 Prewitt 에지 발견 알고리즘을 적용시키고 이를 토대로 4개 영상들의 시차를 구한다. 아울러 기존의 알고리즘에서 모호하게 언급되었던 동기화 문제를 해결하기 위해 하드웨어 트리거와 소프트웨어 트리거를 위한 시간 간격을 적용한다. 제안하는 기법을 분산 환경에서도 적용할 수 있도록 영상의 스냅샷에 대한 유일한 식별자를 이용한다. 성능 분석 결과, 전체 영상(왼쪽, 오른쪽) 및 시차정보를 모두 전송하여 고정밀의 3차원 입체 영상을 출력하는 데 소요되는 전체 시간은 각 이진 배열 당 약 0.67초로 실시간으로 적용하는 데 적합하다고 볼 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.302-305
• /
• 2016

본 논문에서는 3 차원 영상시스템에서 발생하는 경계 잡음을 Projection onto Convex Sets(POCS) 방법을 활용하여 제거하는 기법에 대해서 소개한다. 3 차원 영상시스템에서의 경계 잡음은 일반적으로 손상된 깊이영상 의하여 가상 시점의 합성 과정에서 발생하는 잡음을 뜻한다. 본 논문에서는 이러한 경계 잡음을 분석하고, 제안 방식을 이용하여 효과적으로 제거할 수 있음을 여러 실험을 통하여 확인하였다.

• 방송공학회논문지
• /
• 제4권1호
• /
• pp.59-67
• /
• 1999

본 논문에서는 입체 영상 시스템 중 전송단에서의 영상의 입체감 분석을 위한 변이추정 과정과 수신단에서의 중간시점영상 재구성 방식에 대해 중점적으로 연구하였다. 변이추정은 기본적으로 MAE(mean absolute error)를 최소가 되도록 하는 동시에, 블록의 변이를 각 방향에서의 영상의 벼화량에 반비례하게 평활화하는 반복적 블록 정합 방식을 제안하여 적용하였다. 수신단에서는 복원된 영상과 변이 정보를 이용하여 중간시점 영상을 재구성하였으며, 보간법(interpolation)을 사용하는 동시에 좌 또는 우영상의 가려진 영역(occlusion)에서는 좌우 영상 중 한 영상에서의 외삽법(extrapolation)을 사용하여 변이-보상 변이 전달방식으로 이를 합성하였다. 이 변이 추정 방식으로영상의 평활 영역에서 일정하게 평활화된 변이를 추정하여 변이 정보에 대한 정보량을 줄이고, 경계부분에서는 평활화 방식에서 흔히 발생하는 과평활화 문제를 해결하였다. 또한 IVR 에서는 다른 방식에 비해 영상의 경계 부분을 보존하며, occlusion 영역을 잘 살리는 특성을 보였다.

• 대한전자공학회논문지TE
• /
• 제42권1호
• /
• pp.61-68
• /
• 2005

영상 기반 엔더링은 장면을 3차원 기하 모델로 구축할 필요없이 실사 영상만을 이용하여 빠른 속도로 사실감 높은 결과 영상을 렌더링 할 수 있는 기법이다. 특히, '그림 속으로의 여행(Tour into the Picture: TIP)' 기법은 3차원 배경을 매우 간단히 구축할 수 있어 널리 이용되고 있다. 그러나 기존 TIP 기법은 영상 촬영 지점을 많이 벗어나면 원거리 지형 정보 부족으로 인해 시점 이동 범위에 한계가 있다. 이점을 보완하기 위해 본 연구에서는 다수의 TIP 영상을 합성하여 넓은 가상환경을 구축하는 방법을 개발하였다. 제안된 방법은 먼저, 다수의 시점에서 각각 TIP 모델을 구축하고, TIP 모델을 구성하는 전경 물체와 배경 물체를 각각 보간하여 렌더링 함으로써 부드러운 네비게이션 영상을 얻었다. 본 연구는 게임, 차량용 네비게이션 등 다양한 산업 분야에 응용될 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.177-179
• /
• 2019

이미지 스티칭 기술은 360 VR 영상을 제작하기 위한 기술들 중 가장 중요한 기술 중 하나이며 활발하게 연구되고 있는 분야이다. 이렇게 제작된 VR 영상에서 발생하는 이질감은 이미지를 합성하는 스티칭 과정에서 오류에 의해 전체적인 품질이 저하되기 때문이다. 본 논문에서는 스티칭 과정에서 발생하는 다양한 오류 중 다양한 시점으로의 촬영으로 인해 발생하는 밝기 차에 의해 발생하는 이질감을 감소시키고 명암 대비를 높임으로써 후처리 과정에서 발생 가능한 오류를 사전에 감소시킬 수 있는 밝기 보상 알고리즘을 제안한다.