• Journal of Electrical Engineering and Technology
• /
• 제9권3호
• /
• pp.1016-1022
• /
• 2014

Kinect is a motion sensing camera released by Microsoft in November 2010 for the Xbox360 that is used to produce depth and color images. Because Kinect uses an infrared pattern, it generates holes and noises around an object's boundaries in the obtained images. The flickering phenomenon and unmatched edges also occur. In this paper, we propose a real time virtual-view video synthesis algorithm which results in a high quality virtual view by solving these problems stated above. The experimental results show that the proposed algorithm performs much better than the conventional algorithms.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.22-24
• /
• 2018

MPEG-I Visual group is actively working on enhancing immersive experiences with up to six degree of freedom (6DoF). In virtual space of omnidirectional 6DoF, which is defined as a case of degree of freedom providing 6DoF in a restricted area, looking at the scene from another viewpoint (another position in space) requires rendering additional viewpoints called virtual omnidirectional viewpoints. This paper presents the performance analysis on view synthesis, which is done as the exploration experiment (EE) in MPEG-I, from a set of 360 videos providing omnidirectional 6DoF in various ways with different distances, directions, and number of input views. In addition, we compared the subjective quality between synthesized images with one input view and two input views.

• 방송공학회논문지
• /
• 제12권2호
• /
• pp.128-136
• /
• 2007

사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 최근 인접한 시점의 영상을 이용하여 중간시점의 영상을 합성하고 이를 부호화에 적용하는 방법이 연구되고 있다. 다시점 비디오 부호화 효율을 높이기 위해 제안되었던 기존의 영상보간법은 최대변위 설정과 고정된 블록을 이용한 블록정합 방법을 이용한다. 이때, 변위 종류가 다양한 영상이거나 변위차가 큰 영역에 대해서 변위 오류가 많이 발생한다. 이 논문에서는 이러한 문제점을 보완하고 개선된 화질의 중간시점의 영상을 얻기 위한 방법과 이 영상을 이용하여 부호화에 적용하는 방법을 제안한다. 제안한 영상보간법은 변위의 검색 범위를 초기에 설정하지 않고 블록 단위부터 화소 단위까지 변위를 측정하여 중간영상을 합성한다. 또한 이렇게 합성한 영상을 부호화 과정에서 참조 영상으로 추가하여 부호화한다. 이 논문에서 제안한 방법을 이용한 결과, 기존의 영상 보간법보다 약 $1{\sim}4dB$ 정도 개선된 화질의 중간시점 영상을 얻었고, 이 영상들을 이용하여 제안한 부호화 방법으로 부호화한 결과 참조 모델에 비해 최대 0.5 dB의 부호화 효율이 개선됨을 확인했다.

• 한국통신학회논문지
• /
• 제24권6B호
• /
• pp.1183-1190
• /
• 1999

본 논문에서는 MPEG-2 비디오 인코더를 ASIC 칩으로 구현할 때, 움직임추정기와 함께 대량의 하드웨어 영역을 차지하는 프레임메모리 인터페이스를 개선한 효율적인 구조를 제시한다. 이를 위해 비디오 인코더와 듀얼 뱅크를 가지는 외부 SDRAM 사이의 인터페이스를 효율적으로 처리할 수 있도록 메모리 맵을 구성하고 메모리 액세스 타이밍을 최적화하여 내부 메모리 크기와 인터페이스 로직을 줄였다. 본 설계에는 0.5 m, CMOS, TLM(Triple Layer Metal) 표준 셀 라이브러리가 사용되었으며, 하드웨어 설계 및 검증을 위해서 VHDL 시뮬레이터와 로직 합성툴이 사용되었고, 기능 검증을 위한 테스트 벡터 생성을 위해서, C 언어로 모델링한 하드웨어 에뮬레이터가 사용되었다. 개선된 프레임 메모리 인터페이스의 구조는 기존의 구조[2-3]에 비해 58% 정도의 면적이 감소했으며, 전체 비디오 인코더에 대해서는 24.3% 정도의 하드웨어 면적이 감소되어, 프레임메모리 인터페이스가 비디오 인코더 전체의 하드웨어 면적에 대단히 심각한 영향을 미친다는 것을 결과로 제시한다.

• 한국콘텐츠학회논문지
• /
• 제16권6호
• /
• pp.9-18
• /
• 2016

본 논문에서는 시공간 적응적인 예측에 기초한 다시점 위너-지브 비디오 부호화 기법을 제안한다. 제안하는 알고리즘은 기존 움직임 추정 방법을 보완하여 가중치를 부여한 결합 양방향 움직임 추정을 수행하고, 각 시점 영상의 에지 검출 및 합성을 통해 관심영역을 효과적으로 분류하여 움직임 벡터 분석을 통해 최종 참조 프레임을 선택하여 보간 한다. 제안하는 알고리즘은 단일 시점 내의 움직임 정보와 인접 카메라 프레임의 정보를 적응적으로 이용함으로써 영상 내 다양한 폐색, 반사 영역에 대해 효율적으로 처리하고 더 나은 성능을 갖는다. 다양한 다시점 영상 시퀀스에 대한 실험을 통하여, 제안하는 알고리즘은 보조정보 생성하는 기존 알고리즘에 비해 평균 비트율 감소와 더불어 우수한 객관적 화질 향상을 얻었다.

• 인터넷정보학회논문지
• /
• 제23권2호
• /
• pp.71-77
• /
• 2022

본 연구에서는 음성 합성 모델을 감정에 따라 음성을 합성하는 모델로 확장하고 감정에 따른 얼굴 표정을 생성하기 위한 데이터 베이스를 수집한다. 데이터베이스는 남성과 여성의 데이터가 구분되며 감정이 담긴 발화와 얼굴 표정으로 구성되어 있다. 성별이 다른 2명의 전문 연기자가 한국어로 문장을 발음한다. 각 문장은 anger, happiness, neutrality, sadness의 4가지 감정으로 구분된다. 각 연기자들은 한 가지의 감정 당 약 3300개의 문장을 연기한다. 이를 촬영하여 수집한 전체 26468개의 문장은 중복되지 않으며 해당하는 감정과 유사한 내용을 담고 있다. 양질의 데이터베이스를 구축하는 것이 향후 연구의 성능에 중요한 역할을 하므로 데이터베이스를 감정의 범주, 강도, 진정성의 3가지 항목에 대해 평가한다. 데이터의 종류에 따른 정확도를 알아보기 위해 구축된 데이터베이스를 음성-영상 데이터, 음성 데이터, 영상 데이터로 나누어 평가를 진행하고 비교한다.

• 한국인터넷방송통신학회논문지
• /
• 제9권1호
• /
• pp.53-59
• /
• 2009

다시점 비디오는 데이터 양이 매우 많아서 이를 효과적으로 저장하고 전송하기 위해서는 새로운 압축 부호화의 기술 개발이 필수적이다. 계층적 깊이 영상은 다시점 비디오를 효과적으로 부호화할 수 있는 방법으로 여러 시점의 컬러와 깊이 영상을 합성하여 하나의 데이터 구조로 만든 것이다. 본 논문에서는 실제 거리비교, 오버랩 문제해결, 보간법을 이용한 효율적인 계층적 깊이 영상 표현을 통해서 다시점 영상에 대한 압축 효율을 향상시키는 방법을 제안 하였다. 실험 결과를 통해서 압축 성능 향상을 얻을 수 있었다.

• 한국통신학회논문지
• /
• 제34권2C호
• /
• pp.186-193
• /
• 2009

다시점 비디오는 데이터 양이 매우 많아서 이를 효과적으로 저장하고 전송하기 위해서는 새로운 압축 부호화의 기술 개발이 필수적이다. 계층적 깊이 영상은 다시점 비디오를 효과적으로 부호화할 수 있는 방법으로 여러 시점의 컬러와 깊이 영상을 합성하여 하나의 데이터 구조로 만든 것이다. 본 논문에서는 실제 거리비교, 오버랩 문제해결, YCrCb 컬러변환을 이용한 효율적인 계층적 깊이 영상 표현을 통해서 다시점 영상에 대한 압축 효율을 향상시키는 방법을 제안하였다. 실험 결과를 통해서 압축성능 향상과 우수한 복원 성능을 얻을 수 있었다.

• 한국음향학회지
• /
• 제23권8호
• /
• pp.554-561
• /
• 2004

반도체 기술과 멀티미디어 통신기술이 발달하면서 고품위 영상과 다중 채널의 오디오에 관심을 갖게 되었다. MPEG 오디오 계층 3 디코더는 표준안에 기반을 둔 프로세서로써 기존에 많이 구현되어 있다. MPBG-1오디오 계층3 디코더의 합성필터는 디코더 전체에서 가장 많은 연산을 필요로 하기 때문에 고속 프로세서를 설계하기 위해서는 연산량을 줄일 수 있는 새로운 방식의 합성필터를 필요로 한다. 따라서 본 논문에서는 MPEG-1 오디오 계층 3의 핵심부분인 합성필터 부분을 DALUT (distributed arithmetic look-up table)방식을 이용하여 FPGA (Field Programmable Gate Array)에 구현하였다. 고속 필터를 설계하기 위해서 승산기 대신에 DALUT방식을 사용하였고, 파이프라인 구조를 사용하였으며, 데이터를 코사인 함수와 곱셈한 결과를 테이블로 만듦으로써 곱셈기를 제거하여 30%의 성능향상을 얻었다. 본 논문에서의 하드웨어 설계는 모두 VHDL (VHSIC Hardware Description Language)로 기술하였다. VHDL 시뮬레이션은 ALDEC사의 Active-HDL 6.1과 Model-sim 및 합성은 Synplify Pro 7.2v을 사용하였다. 대상 라이브러리는 XILINX사의 XC4010E, XC4020BX, XC4052 XL, P&R 툴은 XACT Ml.4를 사용하여 구현하였다. 구현된 프로세서는 20MHz∼70MHz사이에서 동작한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제13권4호
• /
• pp.7-12
• /
• 2007

최근들어 디지털 영상 기술의 발달로 많은 영화들이 디지털화되어 제작되고 있고, 이러한 디지털 영화를 직접 상영할 수 있는 디지털 시네마로의 전환이 빠르게 진행되고 있다. 하지만 아직 까지 디지털시네마에서 요구하는 2K이상의 고해상도를 지원하는 촬영 장비는 매우 고가이기 때문에 디지털 영화의 제작에 걸림돌이 되고 있다. 본 논문에서는 이러한 문제를 저가의 일반 비디오 카메라와 디지털 스틸 카메라의 조합을 통해 해결할 수 있는 방법을 제시한다. 즉, 비디오 카메라로 촬영한 저해상도 비디오 영상과 동시에 일정한 간격의 키프레임마다 함께 촬영된 고해상도 이미지들을 이용하여 새로운 고해상도 비디오 영상을 합성하는 것이다. 비디오 합성은 프레임 단위로 이루어지는데, 먼저 현재 프레임의 픽셀마다 대응되는 점의 위치를 앞뒤 키프레임들에서 찾는다. 대응점은 현재 프레임과 키프레임 간의 광흐름(optical flow)을 계산하여 찾게 된다. 대응점이 구해지면 키프레임의 고해상도 이미지에서 대응점 위치의 이미지 블럭을 가져와 현재 프레임의 해당 픽셀 위치에 복사한다. 만일 키프레임에서의 대응점을 찾을 수 없는 경우에는 현재 저해상도 비디오 프레임의 확대 이미지를 빈곳 채움에 이용하여 이미지를 완성한다. 본 연구의 결과는 고해상도 비디오 합성 외에 비사실적 비디오 렌더링 등과 같은 영상 효과의 구현에도 적용할 수 있다.