• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1997년도 학술대회
• /
• pp.135-138
• /
• 1997

Multi-view 영상 DB의 surround view 입체 화상을 재현하기 위해서는 영상 정보를 효과적으로 합성, 보간하는 방법이 필연적으로 요구된다. 다시점 입체 영상의 표시 기능을 구현하기 위해서 이론적으로는 충분한 개수의 카메라를 상하 좌우로 배치하여 영상을 획득하고 보는 이의 위치에 가장 적합한 영상을 선택하여 표현하면 된다. 이 경우 많은 수의 카메라로부터 입력되는 방대한 영상 데이터의 저장, 처리, 전송, 설치 문제 등 현실적으로 많은 제약점이 존재한다. 이러한 문제점을 해결하기 위해 기존의 블록 매칭과 같은 3D 구조 추정에 기초하여 블록 단위의 깊이 정보와 텍스쳐 정보의 추출, 다시점 영상 set의 가장 왼쪽 영상으로부터 시작하여 차례로 한 줄씩 쌓아서 얻어진 EPI(Epipolar Plane Image)에 기초한 유사 영상 값의 자취선 탐색 방법에 의한 시차와 텍스쳐 정보 추출로 전체 다안화상을 다해상도로 표현하여 전송하는 방식을 제안한다. 다해상도의 영상 표현과 점진적 전송 방법을 통해 다시점 영상 검색 시스템의 성능향상을 위한 네트워크 모델링을 제안하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2005년도 학술대회
• /
• pp.21-24
• /
• 2005

본 논문에서는 3DTV를 위한 다시점 동영상 부호화 기법을 제안한다. 제안하는 다시점 동영상 부호화기는 다수의 카메라 입력에 대하여 기존의 MPEG 기반의 부호화 기법에서 사용된 시 ${\cdot}$ 공간적 중복성 제거와 각 시점에 해당하는 영상간의 공간적 중복성을 제거하여 부호화효율을 개선할 수 있다. 각 시점 영상간의 공간적 중복성을 효율적으로 제거하기 위하여 전역 시차보상(global disparity compensation)된 집적영상(Accumulated Image)를 사용하였다. 또한 기존의 디지털 TV 전송 표준인 MPEG-2를 기반으로 하였기 때문에 기존의 디지털 TV 표준을 크게 수정하지 않고 3DTV를 구현 할 수 있다. 제안하는 기법은 기존의 MPEG-2 기법으로 각 시점에 해당하는 영상을 각각 부호화한(simulcast 기법) 결과와 비교하여 객관적 화질면에서 우수하였으며, 각 시점간의 동기화 문제도 해결 할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.258-259
• /
• 2011

3DTV를 시청하는 경우 조절거리는 TV 화면까지의 거리에 해당하지만, 수렴거리는 좌 우 영상의 화면 시차에 따라 영상의 도출과 후퇴의 깊이가 변하게 되고 수렴거리와 조절거리에 불일치가 발생하게 된다. 3DTV의 입체영상을 시청할 때 발생하는 시각적 불편감은 이러한 수렴과 조절과정의 불일치가 가장 주된 원인으로 알려졌다. 본 연구에서는 입체영상의 시각적 자극으로 눈에서부터 시작된 시각피로감이 인체에 전해지는 단계, 즉 정보의 최종 통합기관인 뇌에 전달결과로서의 생체적 반응을 EEG 방법으로 측정하였다. 3DTV 시청 전 후의 뇌파측정과 뇌기능지수 분석에 의한 방법으로 실험한 결과 시각피로는 ${\delta}$, ${\theta}$, ${\alpha}$, SMR, ${\beta}$Low, ${\beta}$High 파 등 여러 종류의 뇌파 밴드에 영향을 미치고 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.49-50
• /
• 2021

본 논문에서는 홀로그래픽 영상을 시간 다중화 방식으로 구현한 360 도 홀로그래픽 테이블탑 디스플레이에 대해서 설명한다. 공간 다중화 방식의 경우 필요한 광학 소자의 수와 정렬 난이도를 시간 다중화 방식을 이용하여 해결하고, 홀로그래픽 영상을 재생하기 위하여 푸리에 변환 광학 소자를 추가하여 부드러운 운동 시차를 갖는 형태로 구현한다. 설계된 홀로그래픽 테이블탑 디스플레이는 풀-컬러 영상을 재생하기 위해서 총 3 개의 고속 구동이 가능한 DMD(Digital micromirror device)를 정렬하는 라이트 엔진 구조를 갖고 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.126-128
• /
• 2021

MPEG(Moving Picture Experts Group) 비디오 그룹은 사용자에게 움직임 시차(motion parallax)를 제공하면서 3D 공간 내에서 임의의 위치와 방향의 시점(view)을 렌더링(rendering) 가능하게 하는 6DoF(Degree of Freedom)의 몰입형 비디오 부호화 표준인 MIV(MPEG Immersive Video) 표준화를 진행하고 있다. MIV 표준화 과정에서 참조 SW 인 TMIV(Test Model for Immersive Video)도 함께 개발하고 있으며 점진적으로 부호화 성능을 개선하고 있다. TMIV 는 여러 뷰로 구성된 방대한 크기의 6DoF 비디오를 압축하기 위하여 입력되는 뷰 비디오들 간의 중복성을 제거하고 남은 영역들은 각각 개별적인 패치(patch)로 만든 후 아틀라스에 패킹(packing)하여 부호화되는 화소수를 줄인다. 이때 아틀라스 비디오에 패킹된 패치들의 위치 정보를 메타데이터로 압축 비트열과 함께 전송하게 되며, 본 논문에서는 이러한 패킹 정보를 보다 효율적으로 표현하기 위한 방법을 제안한다. 제안방법은 기존 TMIV10.0 에 비해 약 10%의 메타데이터를 감소시키고 종단간 BD-rate 성능을 0.1% 향상시킨다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.75-77
• /
• 2021

MPEG 비디오 그룹은 제한된 3D 공간 내에서 움직임 시차(motion parallax)를 제공하면서 원하는 시점(view)을 렌더링(rendering)하기 위한 표준으로 TMIV(Test Model for Immersive Video)라는 테스트 모델과 함께 효율적인 몰입형 비디오의 부호화를 위한 MIV(MPEG Immersive Video) 표준을 개발하고 있다. 몰입감 있는 시각적 경험을 제공하기 위해서는 많은 수의 시점 비디오가 필요하기 때문에 방대한 양의 비디오를 고효율로 압축하는 것이 불가피하다. TMIV 는 여러 개의 입력 시점 비디오를 소수의 아틀라스(atlas) 비디오로 변환하여 부호화되는 화소수를 줄이게 된다. 아틀라스는 선택된 소수의 기본 시점(basic view) 비디오와 기본 시점으로부터 합성할 수 없는 나머지 추가 시점(additional view) 비디오의 영역들을 패치(patch)로 만들어 패킹(packing)한 비디오이다. 본 논문에서는 아틀라스 비디오의 보다 효율적인 부호화를 위해서 패치 내에 생기는 작은 홀(hole)들을 채우는 기법을 제안한다. 제안기법은 기존 TMIV8.0 에 비해 1.2%의 BD-rate 이 향상된 성능을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.292-294
• /
• 2020

3DoF+ 및 6DoF를 구현하기 위해선 사용자의 움직임에 따른 운동시차를 반영하여 가상 시점 이미지를 렌더링 해야 한다. 이를 위한 방법 중 하나인 멀티뷰 기반 합성 방법은 멀티뷰 데이터(텍스쳐, 뎁스맵, 카메라 파라미터)를 기반으로 가상 시점 이미지를 합성한다. 본 논문은 멀티뷰 기반 합성의 과정 중 하나인 메쉬 구성 단계에서 뎁스맵과 텍스쳐의 엣지 정보를 고려한 효율적인 메쉬 구성을 제안한다. 제안 방법은 각 2×2 화소 격자 단위로 엣지의 방향을 측정하고 측정한 엣지를 고려한 보간으로 1/2 화소들을 생성한 뒤, 이 새로운 화소들을 메쉬 구성에 이용하여 기존 방법보다 특성이 비슷한 화소끼리 메쉬를 구성하게 하였다. 제안한 방법으로 합성된 이미지는 뭉게짐 현상과 잔상 현상이 사라진 결과를 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.51-53
• /
• 2022

고정된 위치를 중심으로 회전운동만 체험할 수 있는 3 자유도(DoF: Degrees of Freedom)를 넘어 위치를 변경하며 운동시차까지 포함된 6 자유도를 지원하는 몰입형 미디어에 대한 연구가 지속해서 진행되고 있다. 특히 부드러운 시점 변경을 제공하기 위해 특정 위치에서 샘플링 된 여러 개의 텍스쳐(또는 컬러) 및 깊이맵 영상(MVD: Multiview Video plus Depth)으로 구성된 다시점 영상을 통해 실제로 획득되지 않은 위치에서의 영상을 만들어내는 가상시점 합성(virtual view synthesis) 기술이 많이 사용되고 있다. 본 논문에서는 몰입형 미디어의 대표적인 데이터 형식인 다시점 영상을 실사 및 컴퓨터 그래픽스(CG: Computer Graphics) 환경에서 획득하는 방법에 관해 설명한다.

• 방송공학회논문지
• /
• 제19권2호
• /
• pp.205-214
• /
• 2014

고품질의 스테레오스코픽 3D 콘텐츠를 제작하기 위해서는 입체피로를 유발하는 문제요인들을 최소화하는 것이 중요하다. 촬영과정에서 스테레오 좌우 영상 간에 발생되는 수직시차는 입체피로의 주된 요인으로, 정확한 입체시를 유지하기 위해 필수적으로 제거될 필요가 있다. 본 논문에서는 콘텐츠 제작의 효율성 향상을 위하여 후처리 과정에서뿐만 아니라 촬영과 동시에 영상정렬이 수행된 결과를 모니터링할 수 있는 자동화된 방식의 영상처리 기법을 제안하였다. 제안방법은 대응점 추출과 기하구조 추정, 그리고 수직시차의 제거로 이어지는 편위수정 부분과 카메라 움직임 탐지 부분으로 구성되어 있으며, 각각에 대해 성능분석이 실시되었다. 실험결과, 제안방법은 비교분석을 위해 사용된 기존방법들에 비해 보다 향상된 성능을 나타냈으며, 카메라 움직임 탐지부분에서도 98.35% 성공률의 뛰어난 탐지성능을 보여주었다. 이러한 일련의 성능검증을 통해 실제 콘텐츠 제작현장에서 본 논문의 제안방법이 효과적으로 활용될 수 있음을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제16권4호
• /
• pp.573-583
• /
• 2011

본 논문에서는 가상 시점 영상을 생성하는 과정에서 발생하는 가려짐 영역(occlusion region)을 보상하는 기법을 제안한다. 기존에 제안되었던 가려짐 영역 보상 기법들이 가려짐 영역이 발생한 주변 화소를 그대로 이용하거나, 평균값 또는 중간값을 이용하여 보상하기 때문에 시차의 분포 특성을 고려하기 어렵고 따라서 보상된 영역에서 시차의 정확성이 보장되지 않는다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 에너지 편향치 또는 특징점 기반의 영상 크기 조절 방법인 심카빙(seam carving) 기법의 기본 원리를 응용하여 가려짐 영역을 보상하는 기법을 제안한다. 제안한 기법에서는 먼저 소벨 마스크(Sobel mask)를 사용해 영상의 에지 맵을 검출하고, 이진화 과정과 세선화 과정을 거친 후 심카빙 기법을 응용하여 원 영상과 세선화 된 에지 맵의 에너지 패턴을 구한다. 구한 에너지 패턴으로 가려짐 영역을 보상하게 된다. 다양한 영상에 적용하여 제안된 기법의 성능을 실험하였고, 그 결과 기존의 보상 방법에 비해 영상의 중요 정보를 손상시키지 않고 가려짐 영역을 비교적 정확하게 보상하는 것을 확인하였다.