• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.273-274
• /
• 2014

본 논문에서는 비디오 콘텐츠 제작에서 비디오 영상의 합성 효과에 대해서 제안한다. 비디오는 동화상으로 정지 영상에 움직임을 주어 동화상으로 나타낸다. 즉 프레임의 움직임으로 영화는 24 프레임을 TV는 30프레임으로 영상을 전송한다. 영상은 비디오카메라나 여러 광학 렌즈를 통하여 촬영하여 영상을 얻게 되는데 자연 현상을 촬영하여 영상을 얻거나 목적과 필요에 따라 다양한 편집 방법과 효과로 영상을 얻게 된다. 촬영한 영상은 자연 그대로의 메시지를 가지고 있지만 영상의 효과를 주기 위해서 다양한 비디오 효과나 합성을 통하여 새로운 영상을 얻게 된다. 따라서 이러한 영상은 시각 효과가 크고, 메시지 전달의 효과를 갖는다. 본 연구에서는 비디오 영상을 보다 효과적으로 나타내기 위해서 합성을 적용하며, 정지 영상 기법과 동영상 기법의 적용하여 효과에 대한 비교를 나타낸다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.577-579
• /
• 2001

본 논문에서는 웨이블릿 변환 기법으로 키프레임을 분석하여 객체 영역을 추출함과 동시에 가상의 객체 영상을 현실감있게 합성하는 기술에 대하여 연구하였다. 가상의 객체 영상이나 실물체 영상을 비디오 영상내에 삽입하여 좀 더 현실감있는 새로운 동영상 비디오 데이터를 제작하는 데 초점을 맞추어 연구를 진행하였다. 웨이블릿 변환이 새로운 영상을 재구성하는데 커다란 기여를 하였으며 본 논문에서 제시한 AR 영상 합성 기법은 동영상 데이터를 합성하는데 사용자가 원하는 지점에 정확하게 영상의 특성정보를 충분히 잘 살린 새로운 방법의 시도였다. 또한, 영상의 캘리브 레이션 방법을 거치지 않고 비디오 영상의 회전행렬과 위치성분을 계산하여 매핑된 가상의 객체 영상을 영상 보간법을 적용하여 직접 가사의 객체 영상을 비디오 객체 영상을 비디오 영상열에 삽입한다. 제시한 영상 합성 기법은 가상의 객체 영상이 디지털 동영상내에 삽입되었을 때 가장 큰 문제점인 떨림 현상과 부조화 현상이 제거되었다.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.11
• /
• pp.465-472
• /
• 2022

In this paper, the style synthesis network is trained to generate style-synthesized video through the style synthesis through training Stylegan and the video synthesis network for video synthesis. In order to improve the point that the gaze or expression does not transfer stably, 3D face restoration technology is applied to control important features such as the pose, gaze, and expression of the head using 3D face information. In addition, by training the discriminators for the dynamics, mouth shape, image, and gaze of the Head2head network, it is possible to create a stable style synthesis video that maintains more probabilities and consistency. Using the FaceForensic dataset and the MetFace dataset, it was confirmed that the performance was increased by converting one video into another video while maintaining the consistent movement of the target face, and generating natural data through video synthesis using 3D face information from the source video's face.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.9 no.1
• /
• pp.95-101
• /
• 2005

In this paper, some performance characteristics of multimedia traffic for mobile ad-hoc networks is studied with simulations. Synthetic streaming video is considered as the multimedia traffic for MPEG-coded video in the simulation. The synthetic video stream is generated with a video stream generation algorithm. The algorithm generate VBR traffics for MPEG video streams with special predefined GOP(group of pictures) patterns that is consisted of a sequence of I(intra-coded), P(predicted-coded) and B(bidirectional-coded) frames. The synthetic VBR streams is transmitted through UDP protocol with on-demand mobile ad-hoc network routing protocols like as AODV and DSR. And performances for video streams through mobile ad-hoc networks is evaluated, the throughputs is compared between data and video traffics.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.150-152
• /
• 2019

본 논문에서는 기존의 연구를 극복하여 단일 영상이 아닌 단안 비디오로부터 5D 라이트필드 영상을 합성하는 딥러닝 프레임워크를 제안한다. 현재 일반적으로 사용 가능한 Lytro Illum 카메라 등은 초당 3프레임의 비디오만을 취득할 수 있기 때문에 학습용 데이터로 사용하기에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 가상 환경 데이터를 구성하며 이를 위해 UnrealCV를 활용하여 사실적 그래픽 렌더링에 의한 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 두 개의 입력 단안 비디오에서 $5{\times}5$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 luminance 영상으로 변환된 입력 영상으로부터 appearance flow를 추측하는 플로우 추측 네트워크(flow estimation network), appearance flow로부터 얻어진 두 개의 라이트필드 비디오 프레임 간의 optical flow를 추측하는 광학 플로우 추측 네트워크(optical flow estimation network)로 구성되어있다.

• Journal of Korea Multimedia Society
• /
• v.9 no.4
• /
• pp.421-433
• /
• 2006

This paper proposes a method to insert virtual objects into a real video stream based on feature tracking and camera pose estimation from a set of single-camera video frames. To insert or modify 3D shapes to target video frames, the transformation from the 3D objects to the projection of the objects onto the video frames should be revealed. It is shown that, without a camera calibration process, the 3D reconstruction is possible using multiple images from a single camera under the fixed internal camera parameters. The proposed approach is based on the simplification of the camera matrix of intrinsic parameters and the use of projective geometry. The method is particularly useful for augmented reality applications to insert or modify models to a real video stream. The proposed method is based on a linear parameter estimation approach for the auto-calibration step and it enhances the stability and reduces the execution time. Several experimental results are presented on real-world video streams, demonstrating the usefulness of our method for the augmented reality applications.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1333-1335
• /
• 2022

최근 딥러닝은 다양한 컴퓨터 비전에 적용되어 높은 성능을 제공하고 있고 이에 따라 중간 프레임을 생성하는 비디오 프레임 보간 기법에도 딥러닝이 적용되고 있다. 많은 딥러닝 기반의 비디오 프레임 보간 기법은 크게 옵티컬 플로우를 추정하는 플로우 추정 네트워크와 합성 네트워크로 구성되며 본 논문에서는 합성 네트워크 부분의 성능향상을 위한 네트워크에 대하여 다룬다. 합성 네트워크에 주로 사용되는 UNet 구조와 GridNet 구조의 장단점과 네트워크에 따른 보간 결과의 차이에 대해서 알아보고 영상 복원에서 제안된 NAFNet 을 비디오 보간 기법에 맞게 변형시켜 합성 네트워크에 적용한 보간 결과의 차이를 보였다. 실험결과는 기존 네트워크 대비 Vimeo90K 데이터셋에 대하여 PSNR 값이 0.63dB 개선됨을 보여준다.

• Journal of Broadcast Engineering
• /
• v.24 no.5
• /
• pp.755-764
• /
• 2019

Currently commercially available light field cameras are difficult to acquire 5D light field video since it can only acquire the still images or high price of the device. In order to solve these problems, we propose a deep learning based method for synthesizing the light field video from monocular video. To solve the problem of obtaining the light field video training data, we use UnrealCV to acquire synthetic light field data by realistic rendering of 3D graphic scene and use it for training. The proposed deep running framework synthesizes the light field video with each sub-aperture image (SAI) of $9{\times}9$ from the input monocular video. The proposed network consists of a network for predicting the appearance flow from the input image converted to the luminance image, and a network for predicting the optical flow between the adjacent light field video frames obtained from the appearance flow.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.43 no.4 s.310
• /
• pp.96-107
• /
• 2006

In this paper, a low bitrate video coding method based on new panoramic modeling is proposed for panning cameras. An input video frame from a panning camera is decomposed into a background image, rectangular moving object regions, and a residual image. In coding the background, we employ a panoramic model that can account for several image formation processes, such as perspective projection, lens distortion, vignetting and illumination effects. Moving objects aredetected, and their minimum bounding rectangular regions are coded with a JPEG-2000 coder. We have evaluated the effectiveness of the proposed algorithm with several indoor and outdoor sequences and found that the PSNR is improved by $1.3{\sim}4.4dB$ compared to that of JPEG-2000.

• Journal of Broadcast Engineering
• /
• v.25 no.3
• /
• pp.428-438
• /
• 2020

The jitter in the digital videos lowers the visibility and degrades the efficiency of image processing and image compressing. In this paper, we propose a video stabilizer architecture based on triplet CNN and a method of synthesizing training datasets based on video synthesis. Compared with a conventional deep-learning video stabilization method, the proposed video stabilizer can reduce wobbling distortion.