• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06b
• /
• pp.199-202
• /
• 2007

본 논문에서는 주어진 영상을 필터링하여 영상의 스타일을 제거하는 방법을 제시한다. 스타일이 제거된 영상은 영상 분류, 특징점 인식, 영상 분할 등의 다양한 용도에 쓰일 수 있다. 또한 원래 영상과 스타일이 제거된 영상을 비교하여 영상의 스타일을 유추할 수 있다. 본 논문에서는 이를 위해 주어진 영상에서 스타일 벡터를 계산한 후 계산된 스타일 벡터를 이용하여 영상에 양방향 필터링을 적용한다. 이 때 영상의 경계 부분에서 스타일을 효과적으로 분리하는 방법과 다중 해상 처리 방법을 적용하여 다양한 크기와 방향의 스타일을 찾아낸다. 그 결과 주어진 영상에서 다양한 크기와 방향의 스타일을 제거하고 영상의 중요한 내용만을 효과적으로 나타낸다.

• Journal of the Korea Computer Graphics Society
• /
• v.13 no.3
• /
• pp.7-10
• /
• 2007

We propose an image filtering technique that removes various image styles. To destylize a given image, we define image styles as repeated patterns existing in the image. For dll pixels of the image, we compute image styles as style vectors. We remove image styles by using bilateral filtering based on these style vectors. Destylization results show well smoothed images while preserving feature boundaries. Our method effectively removes image styles and reveals image structures clearly, and results can be applied to several applications such as texture transfer.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.8
• /
• pp.31-38
• /
• 2023

Style transfer is one of deep learning-based image processing techniques that has been actively researched recently. These research efforts have led to significant improvements in the quality of result images. Style transfer is a technology that takes a content image and a style image as inputs and generates a transformed result image by applying the characteristics of the style image to the content image. It is becoming increasingly important in exploiting the diversity of digital content. To improve the usability of style transfer technology, ensuring stable performance is crucial. Recently, in the field of natural language processing, the concept of Transformers has been actively utilized. Attention maps, which forms the basis of Transformers, is also being actively applied and researched in the development of style transfer techniques. In this paper, we analyze the representative techniques SANet and AdaAttN and propose a novel attention map-based structure which can generate improved style transfer results. The results demonstrate that the proposed technique effectively preserves the structure of the content image while applying the characteristics of the style image.

• Proceedings of the KAIS Fall Conference
• /
• 2007.11a
• /
• pp.185-187
• /
• 2007

본 논문은 점진적으로 변형되는 다수의 가상 헤어스타일을 반자동적으로 생성할 수 있는 2D 가상 헤어스타일의 컬러 영상 분할 및 반자동 필드 모핑에 관한 것이다. 제안된 방법에서는 2D 실사 영상에서 컬러 영상 분할을 통해 추출한 헤어스타일을 임의의 인물 영상의 두상에 정렬시킨 상태에서 원래의 헤어스타일에서 추출한 헤어스타일로 변해가는 반자동 필드 모핑을 수행함으로써 여러 유형의 헤어스타일을 반자동적으로 생성할 수 있다. 제안된 방법은 사전에 준비된 그래픽 객체 외에도 실사 영상에서 직접 추출한 헤어스타일을 사용할 수 있고, 추출한 헤어스타일 외에도 다양한 유형의 헤어스타일을 자동으로 생성할 수 있는 이점이 있다. 또한, 반자동 필드 모핑에 기반한 편리한 사용자 인터페이스를 제공할 수 있기 때문에 작업자의 피로도를 경감시킴과 동시에 작업 시간을 단축할 수 있고 비숙련자도 간단한 사용자 입력을 통해 자연스러운 가상 헤어스타일을 생성할 수 있는 장점이 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.19-22
• /
• 2021

기존 영상 콘텐츠에 새로운 물체를 삽입하는 등의 영상 재구성 기술은 새로운 게임, 가상현실, 증강현실 콘텐츠를 생성하거나 인공신경망 학습을 위한 데이터 증대를 위해 사용될 수 있다. 하지만, 기존 기술은 컴퓨터 그래픽스, 사람에 의한 수동적인 영상 편집에 의존하고 있어 금전적/시간적 비용이 높다. 이에 본 연구에서는 인공지능 신경망을 활용하여 낮은 비용으로 영상을 재구성하는 기술을 소개하고자 한다. 제안하는 방법은 기존 콘텐츠와 삽입하고자 하는 객체를 포함하는 영상이 주어졌을 때, 객체 세그먼테이션 네트워크를 활용하여 입력 영상에서 객체를 분리하고, 스타일 변환 네트워크를 활용하여 입력 영상을 스타일 변환한 후, 사용자 입력과 두 네트워크의 결과를 활용하여 기존 콘텐츠에 새로운 객체를 삽입하는 것이다. 실험에서는 기존 콘텐츠는 온라인 영상을 활용하였으며 삽입 객체를 포함한 영상은 ImageNet 영상 분류 데이터 세트를 활용하였다. 실험을 통해 제안한 방법을 활용하면 기존 콘텐츠와 잘 어우러지게끔 객체를 삽입할 수 있음을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.1627-1630
• /
• 2005

본 논문에서는 2D 실사 영상에서 추출한 헤어스타일을 임의의 인물 영상의 두상에 정렬시킨 상태에서 원래의 헤어스타일에서 추출한 헤어스타일로 변해가는 반자동 필드 모핑을 수행함으로써 여러 유형의 헤어스타일을 자동으로 생성할 수 있는 가상 헤어스타일 생성 방법에 관한 것이다. 제안된 방법은 사전에 준비된 그래픽 객체 외에도 실사 영상에서 직접 추출한 헤어스타일을 사용할 수 있고, 추출한 헤어스타일 외에도 다양한 유형의 헤어스타일을 자동으로 생성할 수 있는 이점이 있다. 또한, 반자동 필드 모핑에 기반한 편리한 사용자 인터페이스를 제공할 수 있기 때문에 작업자의 피로도를 경감시킴과 동시에 작업 시간을 단축할 수 있고 비숙련자도 간단한 사용자 입력을 통해 자연스러운 가상 헤어스타일을 생성할 수 있는 장점이 있다.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.11
• /
• pp.465-472
• /
• 2022

In this paper, the style synthesis network is trained to generate style-synthesized video through the style synthesis through training Stylegan and the video synthesis network for video synthesis. In order to improve the point that the gaze or expression does not transfer stably, 3D face restoration technology is applied to control important features such as the pose, gaze, and expression of the head using 3D face information. In addition, by training the discriminators for the dynamics, mouth shape, image, and gaze of the Head2head network, it is possible to create a stable style synthesis video that maintains more probabilities and consistency. Using the FaceForensic dataset and the MetFace dataset, it was confirmed that the performance was increased by converting one video into another video while maintaining the consistent movement of the target face, and generating natural data through video synthesis using 3D face information from the source video's face.

• Journal of Broadcast Engineering
• /
• v.27 no.1
• /
• pp.104-123
• /
• 2022

Style transfer based on neural network provides very high quality results by reflecting the high level structural characteristics of images, and thereby has recently attracted great attention. This paper deals with the problem of resolution limitation due to GPU memory in performing such neural style transfer. We can expect that the gradient operation for style transfer based on partial image, with the aid of the fixed size of receptive field, can produce the same result as the gradient operation using the entire image. Based on this idea, each component of the style transfer loss function is analyzed in this paper to obtain the necessary conditions for partitioning and padding, and to identify, among the information required for gradient calculation, the one that depends on the entire input. By structuring such information for using it as auxiliary constant input for partition-based gradient calculation, this paper develops a recursive algorithm for super high-resolution image style transfer. Since the proposed method performs style transfer by partitioning input image into the size that a GPU can handle, it can perform style transfer without the limit of the input image resolution accompanied by the GPU memory size. With the aid of such super high-resolution support, the proposed method can provide a unique style characteristics of detailed area which can only be appreciated in super high-resolution style transfer.

• Journal of Broadcast Engineering
• /
• v.25 no.6
• /
• pp.980-993
• /
• 2020

Deep-learning based style transfer has recently attracted great attention, because it provides high quality transfer results by appropriately reflecting the high level structural characteristics of images. This paper deals with the problem of providing more stable and more diverse style transfer results of such deep-learning based style transfer method. Based on the investigation of the experimental results from the wide range of hyper-parameter settings, this paper defines the problem of the stability and the diversity of the style transfer, and proposes a partial loss normalization method to solve the problem. The style transfer using the proposed normalization method not only gives the stability on the control of the degree of style reflection, regardless of the input image characteristics, but also presents the diversity of style transfer results, unlike the existing method, at controlling the weight of the partial style loss, and provides the stability on the difference in resolution of the input image.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2010.07a
• /
• pp.433-434
• /
• 2010

본 논문에서는 영상처리에서 많이 사용하는 bilateral filtering과 mean shift segmentation을 이용하여 일반적인 사진을 수채화 스타일로 변환하는 기법에 대하여 제안한다. 먼저 bilateral filtering을 이용하여 사진의 외곽선 부분은 보존하면서 고주파 성분을 약화시키도록 한다. 그리고 bilateral filtering된 영상에서 mean shift segmentation을 수행하여 수채화 스타일의 영상을 생성한다. 본 논문에서 제안하는 기법으로 다양한 사진에 대하여 실험한 결과 수채화 스타일로 잘 변화되는 것을 확인하였으며 특히 주광에서 촬영한 풍경 사진들에 대하여 보다 우수한 성능을 보임을 확인하였다.