• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권11호
• /
• pp.5594-5615
• /
• 2019

Malicious social robots, which are disseminators of malicious information on social networks, seriously affect information security and network environments. The detection of malicious social robots is a hot topic and a significant concern for researchers. A method based on classification has been widely used for social robot detection. However, this method of classification is limited by an unbalanced data set in which legitimate, negative samples outnumber malicious robots (positive samples), which leads to unsatisfactory detection results. This paper proposes the use of generative adversarial networks (GANs) to extend the unbalanced data sets before training classifiers to improve the detection of social robots. Five popular oversampling algorithms were compared in the experiments, and the effects of imbalance degree and the expansion ratio of the original data on oversampling were studied. The experimental results showed that the proposed method achieved better detection performance compared with other algorithms in terms of the F1 measure. The GAN method also performed well when the imbalance degree was smaller than 15%.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.501-503
• /
• 2022

초해상이란 해상도가 낮은 영상을 해상도가 높은 영상으로 합성하는 기술이다. 딥러닝은 영상의 해상도를 높이는 초해상 기술에도 응용되며 실현은 2아4년에 발표된 SRCNN(Super Resolution Convolutional Neural Network) 모델로부터 시작됐다. 이후 오토인코더 (Autoencoders) 구조로는 SRCAE(Super Resolution Convolutional Autoencoders), 합성된 영상을 실제 영상과 통계적으로 구분되지 않도록 강제하는 GAN (Generative Adversarial Networks) 구조로는 SRGAN(Super Resolution Generative Adversarial Networks) 모델이 발표됐다. 모두 SRCNN의 성능을 웃도는 모델들이나 그중 가장 높은 성능을 끌어내는 SRGAN 조차 아직 완벽한 성능을 내진 못한다. 본 논문에서는 SRGAN의 성능을 개선하기 위해 사전 훈련된 특징 추출기(Pre-trained Feature Extractor) VGG(Visual Geometry Group)-19 모델을 변경하고, 기존 모델과 성능을 비교한다. 실험 결과, VGG-19 모델보다 윤곽이 뚜렷하고, 실제 영상과 더 가까운 영상을 합성할 수 있는 모델을 발견할 수 있을 것으로 기대된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.123-125
• /
• 2022

본 논문에서는 판별자를 활용하여 Image to Image translation(I2I) 분야에서 사용되는 적대적 생성 신경망(GAN)을 압축하는 방법을 제시한다. 우선, 잘 학습된 판별자와 생성자 사이의 adversarial loss 를 활용하여 생성자 내 필터들의 중요도 점수를 매겨준다. 그리고 생성자 내의 필터들을 중요도 점수를 기준으로 나열한 후 점수가 낮은 필터들을 제거하는 필터 프루닝을 한번 수행하여 적은 시간 비용으로 생성자를 압축한다. 마지막으로 지식 증류를 활용해 압축된 생성자를 학습시켜 기존의 생성자와 유사한 성능을 보이도록 하였다. 이 과정들을 통해 효과적이고 빠르게 GAN 모델을 압축할 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제25권11호
• /
• pp.1582-1590
• /
• 2022

Due to the situation of the widespread of the coronavirus, which causes the problem of lack of face image data occluded by masks at recent time, in order to solve the related problems, this paper proposes a method to generate face images with masks using a combination of generative adversarial networks and spatial transformation networks based on CNN model. The system we proposed in this paper is based on the GAN, combined with multi-scale convolution kernels to extract features at different details of the human face images, and used Wasserstein divergence as the measure of the distance between real samples and synthetic samples in order to optimize Generator performance. Experiments show that the proposed method can effectively put masks on face images with high efficiency and fast reaction time and the synthesized human face images are pretty natural and real.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권4호
• /
• pp.19-29
• /
• 2024

본 논문에서는 의료 영상 분류를 위한 심층 신경망 훈련에서 StyleGAN 합성 영상의 데이터 증강 효과를 분석한다. 이를 위해 흉부 X선 영상에서의 폐렴 진단과 복부 CT 영상에서의 간전이암 분류 문제에서 StyleGAN 합성 영상을 이용하여 VGG-16 심층 합성곱 신경망 훈련을 수행한다. 실험에서 분류 결과에 대한 정량적, 정성적 분석을 통해 StyleGAN 데이터 증강이 특징 공간에서 클래스 외곽을 확장하는 특성을 보이며, 이와 같은 특성으로 인해 실제 영상과의 적절한 비율을 통해 혼합했을 때 분류 성능이 개선될 수 있음을 확인하였다.

• 지능정보연구
• /
• 제25권3호
• /
• pp.43-62
• /
• 2019

한때, 이상 탐지 분야는 특정 데이터로부터 도출한 기초 통계량을 기반으로 이상 유무를 판단하는 방법이 지배적이었다. 이와 같은 방법론이 가능했던 이유는 과거엔 데이터의 차원이 단순하여 고전적 통계 방법이 효과적으로 작용할 수 있었기 때문이다. 하지만 빅데이터 시대에 접어들며 데이터의 속성이 복잡하게 변화함에 따라 더는 기존의 방식으로 산업 전반에 발생하는 데이터를 정확하게 분석, 예측하기 어렵게 되었다. 따라서 기계 학습 방법을 접목한 SVM, Decision Tree와 같은 모형을 활용하게 되었다. 하지만 지도 학습 기반의 모형은 훈련 데이터의 이상과 정상의 클래스 수가 비슷할 때만 테스트 과정에서 정확한 예측을 할 수 있다는 특수성이 있고 산업에서 생성되는 데이터는 대부분 정답 클래스가 불균형하기에 지도 학습 모형을 적용할 경우, 항상 예측되는 결과의 타당성이 부족하다는 문제점이 있다. 이러한 단점을 극복하고자 현재는 클래스 분포에 영향을 받지 않는 비지도 학습 기반의 모델을 바탕으로 이상 탐지 모형을 구성하여 실제 산업에 적용하기 위해 시행착오를 거치고 있다. 본 연구는 이러한 추세에 발맞춰 적대적 생성 신경망을 활용하여 이상 탐지하는 방법을 제안하고자 한다. 시퀀스 데이터를 학습시키기 위해 적대적 생성 신경망의 구조를 LSTM으로 구성하고 생성자의 LSTM은 2개의 층으로 각각 32차원과 64차원의 은닉유닛으로 구성, 판별자의 LSTM은 64차원의 은닉유닛으로 구성된 1개의 층을 사용하였다. 기존 시퀀스 데이터의 이상 탐지 논문에서는 이상 점수를 도출하는 과정에서 판별자가 실제데이터일 확률의 엔트로피 값을 사용하지만 본 논문에서는 자질 매칭 기법을 활용한 함수로 변경하여 이상 점수를 도출하였다. 또한, 잠재 변수를 최적화하는 과정을 LSTM으로 구성하여 모델 성능을 향상시킬 수 있었다. 변형된 형태의 적대적 생성 모델은 오토인코더의 비해 모든 실험의 경우에서 정밀도가 우세하였고 정확도 측면에서는 대략 7% 정도 높음을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.530-531
• /
• 2020

최근 인공지능을 활용하여 예술 작품에 몰입할 수 있도록 무대 효과를 디자인하는 연구가 진행되고 있다. 무대 효과 중에서 무대 배경은 공연의 분위기를 형성한다. 춤의 장르별로 무대 배경에 사용되는 이미지를 생성하기 위해 소셜 미디어 기반 무대 배경 생성 시스템이 있다. 하지만 같은 장르 춤은 동일한 무대 배경 이미지가 제공되는 문제가 있다. 같은 장르의 춤이지만 노래의 분위기를 반영하여 차별된 무대 배경 이미지를 제공하는 것이 필요하다. 본 논문은 노래 가사의 감정을 활용하여 Generative Adversarial Network(GAN)을 통해 각 노래의 분위기를 고려한 무대 배경 이미지를 생성하는 방법을 제안한다. GAN은 노래에 포함된 단락별 감정 단어를 추출하여 스타일을 생성하도록 학습된다. 학습된 GAN은 노래 가사에 포함된 감정 단어를 활용하여 곡의 분위기를 반영한 무대 배경 이미지를 생성한다. 노래 가사를 고려하여 무대 배경 이미지를 생성함으로써 곡의 분위기가 고려된 무대 배경 이미지 생성이 가능하다.

• Journal of Platform Technology
• /
• 제11권6호
• /
• pp.34-46
• /
• 2023

자동차 타이어의 휠과 트레드 사이에 탄성중합체 또는 다각형의 스포크를 채우는 방식으로 제작하는 비공기압 타이어는 자동차 관련 학계 및 항공우주 업계의 중요한 연구 주제가 되고 있다. 본 연구에서는 생성형 적대 신경망을 기반으로 비공기압 타이어 디자인을 생성하는 시스템 개발했다. 특히 비공기압 타이어의 종류와 사용 환경, 제작 방식, 공기압 타이어와의 차이점 그리고 스포크 디자인에 따른 하중 전달의 변화 등 디자인에 영향을 미칠만한 변수들에 대한 조사를 실시했다. 이 연구는 OpenCV를 통해 다양한 스포크 형태의 이미지를 만들고, projected GANs에 학습시켜 비공기압 타이어 디자인에 사용될 스포크를 생성했다. 디자인된 비공기압 타이어는 사용 가능 및 불가능으로 레이블링하고, 이를 Vision Transformer 이미지 분류 AI 모델에 학습시켜 분류하도록 하였다. 최종적으로 분류 모델의 평가를 통해 0에 가까운 loss의 수렴, 99%의 정확도를 확인했다. 차후 도형 및 스포크 이미지와 알고리즘을 이용한 디자인이 아닌, 완전 자동화 시스템의 개발과 더 나아가 3D의 물리적 해석 없이 사용 가능한 디자인을 생성하는 것을 목표로 한다.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.53-62
• /
• 2022

The deployment of advanced structural health monitoring (SHM) systems in large-scale civil structures collects large amounts of data. Note that these data may contain multiple types of anomalies (e.g., missing, minor, outlier, etc.) caused by harsh environment, sensor faults, transfer omission and other factors. These anomalies seriously affect the evaluation of structural performance. Therefore, the effective analysis and mining of SHM data is an extremely important task. Inspired by the deep learning paradigm, this study develops a novel generative adversarial network (GAN) and convolutional neural network (CNN)-based data anomaly detection approach for SHM. The framework of the proposed approach includes three modules : (a) A three-channel input is established based on fast Fourier transform (FFT) and Gramian angular field (GAF) method; (b) A GANomaly is introduced and trained to extract features from normal samples alone for class-imbalanced problems; (c) Based on the output of GANomaly, a CNN is employed to distinguish the types of anomalies. In addition, a dataset-oriented method (i.e., multistage sampling) is adopted to obtain the optimal sampling ratios between all different samples. The proposed approach is tested with acceleration data from an SHM system of a long-span bridge. The results show that the proposed approach has a higher accuracy in detecting the multi-pattern anomalies of SHM data.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
• /
• pp.99-100
• /
• 2024

다양한 변종들의 존재와 잘 알려지지 않은 취약점을 이용한 공격은 악성코드 수집을 어렵게 하는 요인들이다. 부족한 악성코드 수를 보완하고자 생성 모델을 활용한 이미지 기반의 악성코드 데이터를 증강한 연구들도 존재하였다. 하지만 생성 모델이 실제 악성코드를 생성할 수 있는지에 대한 분석은 진행되지 않았다. 본 연구는 VGG-11 모델을 활용해 실제 악성코드와 생성된 악성코드 이미지의 이진 분류하였다. 실험 결과 VGG-11 모델은 99.9%의 정확도로 두 영상을 다르게 판단한다