• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.90-91
• /
• 2018

We propose a novel high dynamic range (HDR) video synthesis algorithm using alternatively exposed low dynamic range (LDR) videos. We first develop a superpixel-based illumination invariant correspondence estimation algorithm. Then, we propose a reliability weight to further improve the quality of the synthesized HDR frame. Experimental results show that the proposed algorithm provides high-quality HDR frames compared to conventional algorithms.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 신호처리소사이어티 추계학술대회 논문집
• /
• pp.83-86
• /
• 2003

In this paper, we propose a new hardware architecture for integer transform, quantizer operation of a new video coding standard H.264/JVT. We describe the algorithm to derive hardware architecture emphasizing the importance of area for low cost and low power consumption. The proposed architecture has been verified by PCI-interfaced emulation board using APEX-II Altera FPGA and also by ASIC synthesis using Samsung 0.18 ${\mu}{\textrm}{m}$ CMOS cell library. The ASIC synthesis result shows that the proposed hardware can operate at 100 MHz, processing more than 1, 300 QCIF video frames per second. The hardware is going to be used as a core module when implementing a complete H.264 video encoder/decoder ASIC for real-time multimedia application.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.452-454
• /
• 2015

본 논문에서는 다시점 깊이영상 기반 3 차원 영상시스템에서 깊이영상의 해상도에 따른 압축성능을 비교 실험한다. 다시점 깊이영상 시스템에서 깊이영상은 중간시점 합성을 위해 사용되며, 깊이영상은 중간영상의 화질에 큰 영향을 미치게 된다. 본 논문에서는 3 차원 영상시스템에서 깊이영상 해상도에 따른 중간영상의 화질변화를 분석하고, dilation filter 로 인한 성능변화를 비교 분석한다.

• International Journal of Advanced Culture Technology
• /
• 제7권2호
• /
• pp.195-200
• /
• 2019

Media art, which is a combination of media technology and art, is making a lot of progress in combination with AI, IoT and VR. This paper aims to meet people's needs by creating a video that simulates the dance moves of an object that users admire by using media art that features interactive interactions between users and works. The project proposed a universal image synthesis system that minimizes equipment constraints by utilizing a deep running-based Skeleton estimation system and one of the deep-running neural network structures, rather than a Kinect-based Skeleton image. The results of the experiment showed that the images implemented through the deep learning system were successful in generating the same results as the user did when they actually danced through inference and synthesis of motion that they did not actually behave.

• ETRI Journal
• /
• 제36권2호
• /
• pp.242-252
• /
• 2014

Since July of 2012, the 3D video extension of H.264/AVC has been under development to support the multi-view video plus depth format. In 3D video applications such as multi-view and free-view point applications, synthesized views are generated using coded texture video and coded depth video. Such synthesized views can be distorted by quantization noise and inaccuracy of 3D wrapping positions, thus it is important to improve their quality where possible. To achieve this, the relationship among the depth video, texture video, and synthesized view is investigated herein. Based on this investigation, an edge noise suppression filtering process to preserve the edges of the depth video and a method based on a total variation approach to maximum a posteriori probability estimates for reducing the quantization noise of the coded texture video. The experiment results show that the proposed methods improve the peak signal-to-noise ratio and visual quality of a synthesized view compared to a synthesized view without post processing methods.

• 인터넷정보학회논문지
• /
• 제20권1호
• /
• pp.47-55
• /
• 2019

Free-viewpoint video (FVV) service provides multi viewpoints of contents and synthesizes intermediate video files which are not captured on some view angles so that enables users to watch as they choose wherever they want. Synthesizing video is necessary technique to provide FVV video service, because every video of the FVV contents for different view angles cannot be stored to the content server physically. For the reason, fast view synthesis can improve the quality of video service and increase user's satisfaction. One of the studies for FVV service, a method was proposed to transmit FVV service based on DASH (Dynamic Adaptive Streaming over HTTP). There is big advantage on using DASH that it is commonly used to transport video service. However, the method was only a conceptual proposal, so it is difficult to implement the system using the proposal. In this paper, we propose an implementation method to provide real-time FVV service smoothly. We suggest a system structure and operation method on the server and client side in detail, which is to be applicable to synthesize video quickly. Also, we suggest generating FVV service map additionally which controls a FVV service overall. We manage real-time information of the whole service through the service map. The service can be controlled by reducing the possible delay from network situation.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1070-1075
• /
• 2009

본 논문에서는 3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법을 제안한다. 제안하는 방법은 깊이맵의 시간적 상관도를 향상시키기 위해 깊이값을 추정하는 과정에서 기존의 정합 함수에 이전 프레임에서 추정한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 중간시점 영상을 합성하는 과정에서 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점 영상을 합성할 때, 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 (disocclusion) 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용하여 경계 잡음을 처리한다. 컴퓨터 모의실험 결과를 통해 깊이맵의 시간적 상관도를 향상시켜서 사용자의 시각적 피로감을 줄일 수 있었고, 배경 잡음이 사라진 자연스러운 중간시점 영상을 생성할 수 있었다.

• 한국통신학회논문지
• /
• 제28권12C호
• /
• pp.1182-1191
• /
• 2003

본 논문에서는 H.264의 정수 변환 모듈, 양자화 모듈, 역양자화 모듈, 정수 역변환 모듈에 대한 하드웨어 구조를 제안한다. 새로운 동영상 압축기술인 H.264의 전체 구성 중에서 핵심 부분인 동영상 데이터의 영역 변환 및 양자화 기능들을 하드웨어로 설계할 수 있도록 알고리즘을 기술하고, 저전력 설계를 위하여 하드웨어 사이즈를 최소화하도록 구조를 정하였다. 구현된 전체 모듈들은 PCI 인터페이스를 통한 Altera APEX-II FPGA 구성과 삼성 STD130 0.18um CMOS Cell Library를 이용하여 각각 합성하고 검증하였다. 이렇게 검증된 구조의 성능은 ASIC으로 구현하였을 경우 최대 동작 주파수가 100MHz이며, QCIF의 사이즈 기준으로 초당 최대 1295 프레임의 계산을 수행할 수 있으며, 이는 하드웨어 기반의 H.264 실시간 부호화기를 설계하기에 적합한 구조임을 보여준다.

• 방송공학회논문지
• /
• 제15권4호
• /
• pp.540-546
• /
• 2010

사용자에게 보다 실감나는 입체감을 제공하는 양안식 3차원 영상을 위해서는 기존 2차원 영상의 두 배에 해당하는 데이터가 필요하므로 이를 고속으로 처리하는데 어려움이 따른다. 본 논문에서는 2차원 영상과 깊이 영상을 입력 영상으로 한 고속 양안식 3차원 방송 시스템을 제안한다. 제안하는 시스템은 전송해야 할 데이터의 양을 줄이기 위해 전송 전에 H.264/AVC 오픈 소스 고속 부호화기인 x264를 이용하여 부호화를 수행한다. 수신단에서는 수신한 비트스트림을GPU(Graphics Processing Unit)에 내장된 CUDA 비디오 복호기 API를 이용해 설계된 복호기로 고속으로 복호하고, GPU를 이용해 고속으로 가상시점의 영상을 생성하여 양안식 3차원 영상을 재현한다. 제안한 시스템을 이용하면 수신단의 환경에 따라 2차원 디스플레이와 3차원 디스플레이에서 모두 영상을 출력할 수 있다. 컴퓨터 모의 실험을 통해 제안한 시스템이 3차원 양안식 콘텐츠를 초당 최대 24 프레임까지 서비스할 수 있음을 확인했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.352-355
• /
• 2011

본 논문에서는 깊이 맵의 재배열 과정을 통해서, 보다 개선된 영상을 합성하는 방법을 제안한다. 제안하는 방법은 전체 깊이 맵을 여러 그룹(Group)으로 나누고, 각각의 그룹에 서로 다른 가중치를 주어 가까운 물체에 좀 더 많은 깊이 값을 가질수 있도록 조절하였다. 깊이 맵 추정(Depth Estimation) 및 중간 시점 영상의 합성(View Synthesis)을 통하여 기존 방식과의 비교를 진행하였고 그 결과, 전체적인 비디오 시퀀스(Video Sequence)에 대한 PSNR은 유지하면서, 보다 시각적으로 자연스러운 영상을 얻을 수 있었다.