• 방송공학회논문지
• /
• 제23권4호
• /
• pp.503-510
• /
• 2018

손상된 영상의 복원은 디지털 영상 처리기술이 등장하기 이전부터 시도되었던 근원적 문제이다. 컴퓨터의 연산 능력과 다양한 기술의 발전에 따라 손상된 영상을 복원하는 다양한 연구가 소개되었으나 그 결과는 사람에 의한 수동적 결과물과 비교하여 낮은 복원 결과를 보여 왔다. 최근 심층 신경망 (DNN, Deep Neural Network)의 발전으로 이미지 복원에 이를 적용한 다양한 연구가 소개 되고 있지만, 광범위한 영역이 손상된 경우 근접한 화소를 활용하는 방법으로 해결이 어렵다. 이와 같은 경우는 주변의 영상의 문맥적 정보를 통해 손상된 영역을 추론을 통한 복원이 필요하다. 본 논문에서는 심층 신경망 기술 중 하나인 적대적 생성신경망(GAN, Generative Adversarial Network)을 이용한 이미지 복원 네트워크를 제안한다. 제안하는 시스템은 이미지 생성 네트워크, 생성 결과 판별 네트워크로 구성 된다. 본 논문에서는 제안하는 방안을 통해 다양한 종류의 이미지를 복원함에 있어서 훼손된 영역의 추론을 통하여 자연스러운 영상 복원뿐 아니라 원본 영상의 질감까지 복원이 가능함을 실험을 통해 확인 하였다.

• Journal of Semiconductor Engineering
• /
• 제2권1호
• /
• pp.125-129
• /
• 2021

As the interest of deep learning, techniques to control the color of images in image processing field are evolving together. However, there is no clear standard for color, and it is not easy to find a way to represent only the color itself like the color-palette. In this paper, we propose a novel color palette extraction system by chroma fine-tuning with reinforcement learning. It helps to recognize the color combination to represent an input image. First, we use RGBY images to create feature maps by transferring the backbone network with well-trained model-weight which is verified at super resolution convolutional neural networks. Second, feature maps are trained to 3 fully connected layers for the color-palette generation with a generative adversarial network (GAN). Third, we use the reinforcement learning method which only changes chroma information of the GAN-output by slightly moving each Y component of YCbCr color gamut of pixel values up and down. The proposed method outperforms existing color palette extraction methods as given the accuracy of 0.9140.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.58-60
• /
• 2019

Double JPEG compression detection is one of the most important ways of exposing the integrity of the JPEG image in image forensics. Several methods have been proposed for discriminating against the double JPEG image. In this paper, we propose a new method for restoring the JPEG compressed image and making the detector confused by introducing a Generative Adversarial Network (GAN). First, a generator network is designed for restoring the JPEG compressed image and analyzed the quality. Then, the restored image is tested with the double compression detector for evaluating the robustness of the proposed GAN model. The detection accuracy reduces from 98% to 58%.

• 스마트미디어저널
• /
• 제10권1호
• /
• pp.79-87
• /
• 2021

In recent years research on automatic font generation with machine learning mainly focus on using transformation-based methods, in comparison, generative model-based methods of font generation have received less attention. Transformation-based methods learn a mapping of the transformations from an existing input to a target. This makes them ambiguous because in some cases a single input reference may correspond to multiple possible outputs. In this work, we focus on font generation using the generative model-based methods which learn the buildup of the characters from noise-to-image. We propose a novel way to train a conditional generative deep neural model so that we can achieve font style control on the generated font images. Our research demonstrates how to generate new font images conditioned on both character class labels and character style labels when using the generative model-based methods. We achieve this by introducing a modified generator network which is given inputs noise, character class, and style, which help us to calculate losses separately for the character class labels and character style labels. We show that adding the character style vector on top of the character class vector separately gives the model rich information about the font and enables us to explicitly specify not only the character class but also the character style that we want the model to generate.

• 한국음향학회지
• /
• 제39권6호
• /
• pp.622-628
• /
• 2020

본 논문은 순환 신경망(Recurrent Neural Network, RNN)으로 구성된 적대적 생성 신경망(Generative Adversarial Network, GAN) 모델을 사용하여 자동으로 트로트 음악을 생성하는 음악생성 기법을 제안한다. 제안된 방법은 음악의 뼈대를 담당하는 코드를 만들고, 만들어진 코드 열을 기반으로 멜로디와 베이스(bass)를 단계적으로 생성한 뒤, 해당 코드에 붙임으로써 구조화된 음악을 완성하는 방법을 사용한다. 또한 인트로나 벌스, 코러스 등과 같이 일정 구간으로 나뉘어 구조가 반복되는 트로트 가요의 특징을 적용하여 벌스의 코드 진행으로부터 새로운 코러스 코드 진행을 만들어내고, 다시 해당 코드로부터 멜로디와 베이스를 단계적으로 생성하여 초기에 만들어진 트로트의 길이를 확장한다. 주관적 평가와 객관적 평가방법을 사용하여 생성된 음악의 품질을 측정하였으며, 기존의 트로트가 갖고 있는 음악적 특성과 유사한 음악을 생성함으로 확인하였다.

• 한국정보통신학회논문지
• /
• 제26권12호
• /
• pp.1919-1925
• /
• 2022

본 논문에서는 시맨틱 분할을 위한 조건부 생성적 적대 신경망 기반의 이미지 대 이미지 변환 접근법을 제안한다. 시맨틱 분할은 동일한 개체 클래스에 속하는 이미지 부분을 함께 클러스터링하는 작업이다. 기존의 픽셀별 분류 방식과 달리 제안하는 방식은 픽셀 회귀 방식을 사용하여 입력 RGB 이미지를 해당 시맨틱 분할 마스크로 구문 분석한다. 제안하는 방법은 Pix2Pix 이미지 합성 방식을 기반으로 하였다. 잔차 연결이 훈련 프로세스를 가속화하고 더 정확한 결과를 생성하므로 생성기 및 판별기 아키텍처 모두에 대해 잔여 연결 기반 컨볼루션 신경망 아키텍처를 사용하였다. 제안하는 방법은 NYU-depthV2 데이터셋를 이용하여 학습 및 테스트 되었으며 우수한 mIOU 값(49.5%)을 달성할 수 있었다. 또한 시맨틱 객체분할 실험에서 제안한 방법과 현재 방법을 비교하여 제안한 방법이 기존의 대부분의 방법들보다 성능이 우수함을 보였다.

• 경영정보학연구
• /
• 제22권1호
• /
• pp.59-72
• /
• 2020

인공지능이 다루기 어려운 개념에서 아주 익숙한 도구로 자리매김 하고 있다. 이와 더불어 금융권에서도 인공지능 기술을 도입하여 기존 시스템의 문제점을 개선하고자 하는 추세이며, 그 대표적인 예가 이상거래탐지 시스템(Fraud Detection System, FDS)이다. 결제 수단의 다양화 및 전자금융거래의 증가에 따라 치밀해져 가는 사이버 금융사기(Fraud)를 기존의 규칙기반 FDS로는 탐지하기 어려워지고 있다. 이를 극복하기 위해 딥러닝 기술을 적용하여 이상거래 탐지율을 향상시키고, 이상행위에 즉각 대응하며, 탐지 결과의 반영을 자동화하고자 하는 시도가 이루어지고 있다. 딥러닝 FDS 구축에서 핵심 문제는 데이터 불균형과 이상거래 패턴의 변동이다. 본 논문에서는 생성적 적대 신경망(Generative Adversarial Network, GAN)을 활용한 오버샘플링 기법을 통해 데이터 불균형 문제를 개선하고, 이상거래 분류기로써 심층 신경망(Deep Neural Network, DNN)과 합성곱 신경망(Convolutional Neural Network, CNN)을 적용하여 이러한 문제를 개선하고자 하였다. 실험 결과, GAN 오버샘플링이 이상거래 데이터의 불균형 문제를 개선하는데 효과를 보였으며, WGAN이 가장 높은 개선 효과가 있음을 확인하였다. 또한 제안 FDS 모형의 AUC가 0.9857로 랜덤포레스트 FDS 모형에 비해 약 6.5% 향상되어, 딥러닝이 이상거래 탐지에 뛰어난 성능을 가짐을 입증하였다. 더불어 딥러닝 모형 중 DNN은 CNN에 비해 오버샘플링의 효과를 더 잘 반영함을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권11호
• /
• pp.4105-4121
• /
• 2021

Recently, malware classification based on Deep Neural Networks (DNN) has gained significant attention due to the rise in popularity of artificial intelligence (AI). DNN-based malware classifiers are a novel solution to combat never-before-seen malware families because this approach is able to classify malwares based on structural characteristics rather than requiring particular signatures like traditional malware classifiers. However, these DNN-based classifiers have been found to lack robustness against malwares that are carefully crafted to evade detection. These specially crafted pieces of malware are referred to as adversarial examples. We consider a clever adversary who has a thorough knowledge of DNN-based malware classifiers and will exploit it to generate a crafty malware to fool DNN-based classifiers. In this paper, we propose a DNN-based malware classifier that becomes resilient to these kinds of attacks by exploiting Generative Adversarial Network (GAN) based data augmentation. The experimental results show that the proposed scheme classifies malware, including AEs, with a false positive rate (FPR) of 3.0% and a balanced accuracy of 70.16%. These are respective 26.1% and 18.5% enhancements when compared to a traditional DNN-based classifier that does not exploit GAN.

• 로봇학회논문지
• /
• 제13권1호
• /
• pp.26-30
• /
• 2018

Planetary global localization is necessary for long-range rover missions in which communication with command center operator is throttled due to the long distance. There has been number of researches that address this problem by exploiting and matching rover surroundings with global digital elevation maps (DEM). Using conventional methods for matching, however, is challenging due to artifacts in both DEM rendered images, and/or rover 2D images caused by DEM low resolution, rover image illumination variations and small terrain features. In this work, we use train CNN discriminator to match rover 2D image with DEM rendered images using conditional Generative Adversarial Network architecture (cGAN). We then use this discriminator to search an uncertainty bound given by visual odometry (VO) error bound to estimate rover optimal location and orientation. We demonstrate our network capability to learn to translate rover image into DEM simulated image and match them using Devon Island dataset. The experimental results show that our proposed approach achieves ~74% mean average precision.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권6호
• /
• pp.257-264
• /
• 2019

최근 자연언어처리 분야에서 딥러닝 모델이 좋은 성과를 보이고 있다. 이러한 딥러닝 모델의 성능을 향상시키기 위해서는 많은 양의 데이터가 필요하다. 하지만 많은 양의 데이터를 모으기 위해서는 많은 인력과 시간이 소요되기 때문에 데이터 확장을 통해 이와 같은 문제를 해소할 수 있다. 그러나 문장 데이터의 경우 이미지 데이터에 비해 데이터 변형이 어렵기 때문에 다양한 문장을 생성할 수 있는 생성 모델을 통해 문장 데이터 자동 확장을 해보고자 한다. 본 연구에서는 최근 이미지 생성 모델에서 좋은 성능을 보이고 있는 생성적 적대 신경망 중 하나인 CS-GAN을 사용하여 학습 데이터로부터 새로운 문장들을 생성해 보고 유용성을 다양한 지표로 평가하였다. 평가 결과 CS-GAN이 기존의 언어 모델을 사용할 때보다 다양한 문장을 생성할 수 있었고 생성된 문장을 감성 분류기에 학습시켰을 때 감성 분류기의 성능이 향상됨을 보였다.