• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.11
• /
• pp.465-472
• /
• 2022

In this paper, the style synthesis network is trained to generate style-synthesized video through the style synthesis through training Stylegan and the video synthesis network for video synthesis. In order to improve the point that the gaze or expression does not transfer stably, 3D face restoration technology is applied to control important features such as the pose, gaze, and expression of the head using 3D face information. In addition, by training the discriminators for the dynamics, mouth shape, image, and gaze of the Head2head network, it is possible to create a stable style synthesis video that maintains more probabilities and consistency. Using the FaceForensic dataset and the MetFace dataset, it was confirmed that the performance was increased by converting one video into another video while maintaining the consistent movement of the target face, and generating natural data through video synthesis using 3D face information from the source video's face.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05b
• /
• pp.959-962
• /
• 2003

멀티미디어 서비스 수요의 증가는 네트워크 상에서 기존의 문자기반의 컨텐츠 제공 서비스의 수요를 이미 앞질렀으며 네트워크와 시스템 자원의 발전에 따라 사용자 요구는 그에 따라 더욱 폭 넓게 증가하고 있다. 우수한 품질의 동영상 데이터를 온라인 상에서 품질 저하 없이 서비스 받을 수 있는 것을 넘어 사용자는 컨텐츠에 파생되는 부가의 서비스를 요구하게 되었고 이는 기존의 텍스트 정보에 의한 양방향 서비스가 아닌 사용자의 요구에 따른 멀티미디어 컨텐츠 자체에 대한 서비스를 위한 정보시스템이 필요하게 되었음을 의미한다. 본 논문에서는 객체 단위의 동영상을 실시간으로 합성하여 이를 사용자에게 즉시 서비스하는 양방향 멀티미디어 서버 시스템의 설계와 구현에 대해 기술하였다. 구현된 시스템은 사용자에게 일방적인 데이터를 전송하는 기존의 시스템과 달리 적용 가능한 객체 단위 동영상을 합성 전송하고 자동 추출된 실시간 오브젝트를 다양한 배경화면과 함께 합성하여 서비스 할 수 있는 기능 구조를 가진다. 또한 멀티미디어 서버의 주요 목표를 반영하여 확장과 성능을 고려한 클러스터 On-Demand 서버를 구성하였으며 서버와 서비스 관리를 위한 모든 구성요소를 포함하여 실제 서비스가 가능한 완전한 미디어 시스템을 설계 구현하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.727-730
• /
• 2021

이미지와 비디오 합성 기술에 대한 수요가 늘어남에 따라, 인간의 손에만 의존하여 이미지나 비디오를 합성하는데에는 시간과 자원이 한정적이며, 전문적인 지식을 요한다. 이러한 문제를 해결하기 위해 최근에는 스타일 변환 네트워크를 통해 이미지를 변환하고, 믹싱하여 생성하는 알고리즘이 등장하고 있다. 이에 본 논문에서는 GAN을 이용한 스타일 변환 네트워크를 통한 자연스러운 스타일 믹싱에 대해 연구했다. 먼저 애니메이션 토이 스토리의 등장인물에 대한 데이터를 구축하고, 모델을 학습하고 두 개의 모델을 블렌딩하는 일련의 과정을 거쳐 모델을 준비한다. 그 다음에 블렌딩된 모델을 통해 타겟 이미지에 대하여 스타일 믹싱을 진행하며, 이 때 이미지 해상도와 projection 반복 값으로 스타일 변환 정도를 조절한다. 최종적으로 스타일 믹싱한 결과 이미지들을 바탕으로 하여 스타일 변형, 스타일 합성이 된 인물에 대한 동영상을 생성한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.191-192
• /
• 2022

본 논문에서는 딥러닝의 주요 기법 중 하나인 GAN 을 활용하여 압축된 영상의 품질을 개선하는 방법을 제안한다. 제안하는 GAN 의 생성자는 U-Net 과 ResNet 을 기반으로 구성되었으며, 판별자는 합성곱층과 전연결층으로 구성하였다. 네트워크의 학습은 HEVC (High Efficiency Video Coding)의 테스트 모델인 HM16.25 를 사용하여 RA (Random Access) 구성하에 양자화 계수 37 로 압축된 영상을 입력으로 하여 수행되었다. 제안하는 네트워크의 성능 확인을 위해 학습 시와 동일한 조건으로 압축된 다른 영상을 입력으로 하여 실험하였다. 실험 결과 영상의 평균 PSNR 은 34.20dB 에서 34.24dB 로 0.04dB 의 품질 향상이 이루어진 것을 확인할 수 있었다.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.9
• /
• pp.105-113
• /
• 2009

This paper is aimed at embodying the optimal system for foreign workforce supply of nation in order to introduce qualified foreign workers at the age of eleven thousand foreigners. It is difficult to employ foreign workers qualified and it makes job rosters' confidence fall down which is the supplementary resources when selecting due to the insufficient job seekers' detailed information. Therefore, the moving control system should be added in current system to deal with these problems. For this, in this paper, we propose that the moving picture embedded system applies to the current EPS utilizing multimedia, network and database technologies as regards adding the function of the moving picture synthesis to recent system. It also suggests the advanced foreign employment control system related to the advanced system which makes employers to hire foreign workers satisfying their requirements and demand.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.259-261
• /
• 2001

본 논문에서는 네트워크를 통해 공유되는 가상공간에 참가자가 분신(아바타) 또는 실물 동영상의 형태로 자유로이 참가하여 가상세계를 현실감 있게 공유할 수 있는 시스템을 제안한다. Java3D를 이용하여 컴퓨터그래픽과 실영상을 실시간에 합성 렌더링함으로써 3차원 가상공간을 구현하고 있다. 분산환경에서의 실험을 통해 기술적 가능성을 제시한다.

• Journal of Intelligence and Information Systems
• /
• v.29 no.3
• /
• pp.19-36
• /
• 2023

As advances in information and communication technology have made it easier for anyone to produce and disseminate information, a new problem has emerged: fake news, which is false information intentionally shared to mislead people. Initially spread mainly through text, fake news has gradually evolved and is now distributed in multimedia formats. Since its founding in 2005, YouTube has become the world's leading video platform and is used by most people worldwide. However, it has also become a primary source of fake news, causing social problems. Various researchers have been working on detecting fake news on YouTube. There are content-based and background information-based approaches to fake news detection. Still, content-based approaches are dominant when looking at conventional fake news research and YouTube fake news detection research. This study proposes a fake news detection method based on background information rather than content-based fake news detection. In detail, we suggest detecting fake news by utilizing related video information from YouTube. Specifically, the method detects fake news through CNN, a deep learning network, from the vectorized information obtained from related videos and the original video using Doc2vec, an embedding technique. The empirical analysis shows that the proposed method has better prediction performance than the existing content-based approach to detecting fake news on YouTube. The proposed method in this study contributes to making our society safer and more reliable by preventing the spread of fake news on YouTube, which is highly contagious.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.865-868
• /
• 2017

일반적으로 비디오로부터 캡션을 생성하는 작업은 입력 비디오로부터 특징을 추출해내는 과정과 추출한 특징을 이용하여 캡션을 생성해내는 과정을 포함한다. 본 논문에서는 효과적인 비디오 캡션 생성을 위한 심층 신경망 모델과 그 학습 방법을 소개한다. 본 논문에서는 입력 비디오를 표현하는 시각 특징 외에, 비디오를 효과적으로 표현하는 동적 의미 특징과 정적 의미 특징을 입력 특징으로 이용한다. 본 논문에서 입력 비디오의 시각 특징들은 C3D, ResNet과 같은 합성곱 신경망을 이용하여 추출하지만, 의미 특징은 본 논문에서 제안하는 의미 특징 추출 네트워크를 활용하여 추출한다. 그리고 이러한 특징들을 기반으로 비디오 캡션을 효과적으로 생성하기 위하여 선택적 주의집중 캡션 생성 네트워크를 제안한다. Youtube 동영상으로부터 수집된 MSVD 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 성능과 효과를 확인할 수 있었다.

• Journal of Korea Multimedia Society
• /
• v.15 no.4
• /
• pp.492-500
• /
• 2012

In this paper, improved contour region coding method is proposed to accomplish better depth map coding performance. First of all, in order to use correlation between color video and depth map, a structure in SVC is applied to 3DVC. This can reduce bit-rate of the depth map while supporting the video to be transferred via various collection of network. As the depth map is mainly used to synthesize videos from different views, corrupted contour region can damage the overall quality of video. We hereby adapt a new differential quantization method when separating the contour region. The experimental results show that the proposed method can improve video quality by 0.06~0.5dB which translate the bit rate saving by 0.1~1.15%, when compared to the reference software.