• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 하계학술대회
• /
• pp.192-193
• /
• 2017

본 논문에서는 비디오 영상 압축 왜곡 제거를 위해 Generative Adversarial Network (GAN)을 적용한 컨벌루션 뉴럴 네트워크 (CNN) 모델을 제안한다. GAN 모델의 생성 모델 (Generator)은 노이즈가 아닌 High Efficiency Video Coding (HEVC)로 압축된 영상을 입력 받은 뒤, 압축 왜곡이 제거된 영상을 출력하며, 분류 모델 (Discriminator)은 원본 영상과 압축된 영상을 입력 받은 뒤, 원본 영상과 압축 왜곡이 포함된 압축된 영상을 분류한다. 분류 모델은 5 개 층을 쌓은 컨벌루션 뉴럴 네트워크 구조를 사용하였고, 생성 모델은 5 개 층을 쌓은 SRCNN 구조와 VDSR 구조를 기반으로 한 두 개의 모델을 이용한 실험을 통해 얻은 결과를 비교하였다. 비디오 영상 압축 왜곡 제거 실험을 위해 원본 비디오 영상을 HEVC 을 이용하여 2Mbps, 4Mbps 로 압축된 영상을 사용하였으며, 압축된 영상 대비 왜곡이 제거된 영상을 얻을 수 있었다.

• ETRI Journal
• /
• 제43권3호
• /
• pp.511-523
• /
• 2021

The World Health Organization provides guidelines for managing the particulate matter (PM) level because a higher PM level represents a threat to human health. To manage the PM level, a procedure for measuring the PM value is first needed. We use a PM sensor that collects the PM level by laser-based light scattering (LLS) method because it is more cost effective than a beta attenuation monitor-based sensor or tapered element oscillating microbalance-based sensor. However, an LLS-based sensor has a higher probability of malfunctioning than the higher cost sensors. In this paper, we regard the overall malfunctioning, including strange value collection or missing collection data as anomalies, and we aim to detect anomalies for the maintenance of PM measuring sensors. We propose a novel architecture for solving the above aim that we call the hypothesis pruning generative adversarial network (HP-GAN). Through comparative experiments, we achieve AUROC and AUPRC values of 0.948 and 0.967, respectively, in the detection of anomalies in LLS-based PM measuring sensors. We conclude that our HP-GAN is a cutting-edge model for anomaly detection.

• 한국정보통신학회논문지
• /
• 제25권10호
• /
• pp.1452-1455
• /
• 2021

Recently, point clouds are generated by capturing real space in 3D, and it is actively applied and serviced for performances, exhibitions, education, and training. These point cloud data require post-correction work to be used in virtual environments due to errors caused by the capture environment with sensors and cameras. In this paper, we propose an enhancement technique for 3D point cloud data by applying generative adversarial network(GAN). Thus, we performed an approach to regenerate point clouds as an input of GAN. Through our method presented in this paper, point clouds with a lot of noise is configured in the same shape as the real object and environment, enabling precise interaction with the reconstructed content.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.389-393
• /
• 2018

딥러닝의 발달로 기계번역, 대화 시스템 등의 자연언어처리 분야가 크게 발전하였다. 딥러닝 모델의 성능을 향상시키기 위해서는 많은 데이터가 필요하다. 그러나 많은 데이터를 수집하기 위해서는 많은 시간과 노력이 소요된다. 본 연구에서는 이미지 생성 모델로 좋은 성능을 보이고 있는 생성적 적대 네트워크(Generative adverasarial network)를 문장 생성에 적용해본다. 본 연구에서는 긍/부정 조건에 따른 문장을 자동 생성하기 위해 SeqGAN 모델을 수정하여 사용한다. 그리고 분류기를 포함한 SeqGAN이 긍/부정 감성인식 학습데이터를 자동 생성할 수 있는지 실험한다. 실험을 수행한 결과, 분류기를 포함한 SeqGAN 모델이 생성한 문장과 학습데이터를 혼용하여 학습할 경우 실제 학습데이터만 학습 시킨 경우보다 좋은 정확도를 보였다.

• ETRI Journal
• /
• 제41권4호
• /
• pp.415-425
• /
• 2019

Generative adversarial networks (GAN) have been successfully used in many image restoration tasks, including image denoising, super-resolution, and compression artifact reduction. By fully exploiting its characteristics, state-of-the-art image restoration techniques can be used to generate images with photorealistic details. However, there are many applications that require faithful rather than visually appealing image reconstruction, such as medical imaging, surveillance, and video coding. We found that previous GAN-training methods that used a loss function in the form of a weighted sum of fidelity and adversarial loss fails to reduce fidelity loss. This results in non-negligible degradation of the objective image quality, including peak signal-to-noise ratio. Our approach is to alternate between fidelity and adversarial loss in a way that the minimization of adversarial loss does not deteriorate the fidelity. Experimental results on compression-artifact reduction and super-resolution tasks show that the proposed method can perform faithful and photorealistic image restoration.

• 한국정보통신학회논문지
• /
• 제26권4호
• /
• pp.591-597
• /
• 2022

최근 데이터셋을 효율적으로 구축하는 방법으로 데이터 증강 기법과 관련하여 많은 연구가 이루어지고 있다. 이 중 대표적인 데이터 증강 기법은 생성적 적대 신경망(Generative Adversarial Network:GAN)을 활용하는 방법이며, 이는 생성자와 판별자를 서로 경쟁 학습시킴으로써 진짜 데이터와 유사한 데이터를 생성해내는 기법이다. 그러나, GAN을 학습할 때 환경 및 진행 정도에 따라 생성되는 유사 데이터 중에서 픽셀이 깨지는 파손 영상이 발생하는 경우가 있으며, 이러한 영상은 데이터셋으로 활용할 수 없고 학습 시간을 증가시키는 원인이 된다. 본 논문에서는 GAN 학습 과정에서 생성되는 영상 데이터의 히스토그램을 분석하여 이러한 파손 영상을 선별해내는 알고리즘을 개발하였으며, 기존 GAN에서 생성되는 영상과 비교해 본 결과 파손 영상의 비율을 33.3배(3,330%) 감소시켰다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권6호
• /
• pp.2115-2127
• /
• 2021

Although significant progress has been made in synthesizing visually realistic face images by Generative Adversarial Networks (GANs), there still lacks effective approaches to provide fine-grained control over the generation process for semantic facial attribute editing. In this work, we propose a novel cross channel self-attention based generative adversarial network (CCA-GAN), which weights the importance of multiple channels of features and archives pixel-level feature alignment and conversion, to reduce the impact on irrelevant attributes while editing the target attributes. Evaluation results show that CCA-GAN outperforms state-of-the-art models on the CelebA dataset, reducing Fréchet Inception Distance (FID) and Kernel Inception Distance (KID) by 15~28% and 25~100%, respectively. Furthermore, visualization of generated samples confirms the effect of disentanglement of the proposed model.

• 한국측량학회지
• /
• 제38권6호
• /
• pp.499-509
• /
• 2020

본 연구에서는 최근 영상판독 분야에서 활발히 연구되고, 활용성이 발전하고 있는 인공지능 기반 객체분류 학습 데이터 구축에 관한 내용을 다룬다. 영상판독분야에서 인공지능을 활용하여 정확도 높은 객체를 인식, 추출하기 위해서는 알고리즘에 적용할 많은 양의 학습데이터가 필수적으로 요구된다. 하지만, 현재 공동활용 가능한 데이터 셋이 부족할 뿐만 아니라 데이터 생성을 위해서는 많은 시간과 인력 및 고비용을 필요로 하는 것이 현실이다. 따라서 본 연구에서는 소량의 초기 항공영상 학습데이터를 GAN (Generative Adversarial Network) 기반의 생성기 신경망을 활용하여 오버샘플 영상 학습데이터를 구축하고, 품질을 평가함으로써 추가적 학습 데이터 셋으로 활용하기 위한 실험을 진행하였다. GAN을 이용하여 오버샘플 학습데이터를 생성하는 기법은 딥러닝 성능에 매우 중요한 영향을 미치는 학습데이터의 양을 획기적으로 보완할 수 있으므로 초기 데이터가 부족한 경우에 효과적으로 활용될 수 있을 것으로 기대한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권2호
• /
• pp.713-725
• /
• 2022

Mostly, artificial intelligence does not show any definite change in emotions. For this reason, it is hard to demonstrate empathy in communication with humans. If frequency modification is applied to neutral emotions, or if a different emotional frequency is added to them, it is possible to develop artificial intelligence with emotions. This study proposes the emotion conversion using the Generative Adversarial Network (GAN) based voice frequency synthesis. The proposed method extracts a frequency from speech data of twenty-four actors and actresses. In other words, it extracts voice features of their different emotions, preserves linguistic features, and converts emotions only. After that, it generates a frequency in variational auto-encoding Wasserstein generative adversarial network (VAW-GAN) in order to make prosody and preserve linguistic information. That makes it possible to learn speech features in parallel. Finally, it corrects a frequency by employing Amplitude Scaling. With the use of the spectral conversion of logarithmic scale, it is converted into a frequency in consideration of human hearing features. Accordingly, the proposed technique provides the emotion conversion of speeches in order to express emotions in line with artificially generated voices or speeches.

• Journal of Semiconductor Engineering
• /
• 제2권1호
• /
• pp.125-129
• /
• 2021

As the interest of deep learning, techniques to control the color of images in image processing field are evolving together. However, there is no clear standard for color, and it is not easy to find a way to represent only the color itself like the color-palette. In this paper, we propose a novel color palette extraction system by chroma fine-tuning with reinforcement learning. It helps to recognize the color combination to represent an input image. First, we use RGBY images to create feature maps by transferring the backbone network with well-trained model-weight which is verified at super resolution convolutional neural networks. Second, feature maps are trained to 3 fully connected layers for the color-palette generation with a generative adversarial network (GAN). Third, we use the reinforcement learning method which only changes chroma information of the GAN-output by slightly moving each Y component of YCbCr color gamut of pixel values up and down. The proposed method outperforms existing color palette extraction methods as given the accuracy of 0.9140.