• Title/Summary/Keyword: 적대적 학습

Search Result 140, Processing Time 0.039 seconds

Policy Modeling for Efficient Reinforcement Learning in Adversarial Multi-Agent Environments (적대적 멀티 에이전트 환경에서 효율적인 강화 학습을 위한 정책 모델링)

  • Kwon, Ki-Duk;Kim, In-Cheol
    • Journal of KIISE:Software and Applications
    • /
    • v.35 no.3
    • /
    • pp.179-188
    • /
    • 2008
  • An important issue in multiagent reinforcement learning is how an agent should team its optimal policy through trial-and-error interactions in a dynamic environment where there exist other agents able to influence its own performance. Most previous works for multiagent reinforcement teaming tend to apply single-agent reinforcement learning techniques without any extensions or are based upon some unrealistic assumptions even though they build and use explicit models of other agents. In this paper, basic concepts that constitute the common foundation of multiagent reinforcement learning techniques are first formulated, and then, based on these concepts, previous works are compared in terms of characteristics and limitations. After that, a policy model of the opponent agent and a new multiagent reinforcement learning method using this model are introduced. Unlike previous works, the proposed multiagent reinforcement learning method utilize a policy model instead of the Q function model of the opponent agent. Moreover, this learning method can improve learning efficiency by using a simpler one than other richer but time-consuming policy models such as Finite State Machines(FSM) and Markov chains. In this paper. the Cat and Mouse game is introduced as an adversarial multiagent environment. And effectiveness of the proposed multiagent reinforcement learning method is analyzed through experiments using this game as testbed.

A New Image Processing Scheme For Face Swapping Using CycleGAN (순환 적대적 생성 신경망을 이용한 안면 교체를 위한 새로운 이미지 처리 기법)

  • Ban, Tae-Won
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.9
    • /
    • pp.1305-1311
    • /
    • 2022
  • With the recent rapid development of mobile terminals and personal computers and the advent of neural network technology, real-time face swapping using images has become possible. In particular, the cycle generative adversarial network made it possible to replace faces using uncorrelated image data. In this paper, we propose an input data processing scheme that can improve the quality of face swapping with less training data and time. The proposed scheme can improve the image quality while preserving facial structure and expression information by combining facial landmarks extracted through a pre-trained neural network with major information that affects the structure and expression of the face. Using the blind/referenceless image spatial quality evaluator (BRISQUE) score, which is one of the AI-based non-reference quality metrics, we quantitatively analyze the performance of the proposed scheme and compare it to the conventional schemes. According to the numerical results, the proposed scheme obtained BRISQUE scores improved by about 4.6% to 14.6%, compared to the conventional schemes.

ColBERT with Adversarial Language Adaptation for Multilingual Information Retrieval (다국어 정보 검색을 위한 적대적 언어 적응을 활용한 ColBERT)

  • Jonghwi Kim;Yunsu Kim;Gary Geunbae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.239-244
    • /
    • 2023
  • 신경망 기반의 다국어 및 교차 언어 정보 검색 모델은 타겟 언어로 된 학습 데이터가 필요하지만, 이는 고자원 언어에 치중되어있다. 본 논문에서는 이를 해결하기 위해 영어 학습 데이터와 한국어-영어 병렬 말뭉치만을 이용한 효과적인 다국어 정보 검색 모델 학습 방법을 제안한다. 언어 예측 태스크와 경사 반전 계층을 활용하여 인코더가 언어에 구애 받지 않는 벡터 표현을 생성하도록 학습 방법을 고안하였고, 이를 한국어가 포함된 다국어 정보 검색 벤치마크에 대해 실험하였다. 본 실험 결과 제안 방법이 다국어 사전학습 모델과 영어 데이터만을 이용한 베이스라인보다 높은 성능을 보임을 실험적으로 확인하였다. 또한 교차 언어 정보 검색 실험을 통해 현재 검색 모델이 언어 편향성을 가지고 있으며, 성능에 직접적인 영향을 미치는 것을 보였다.

  • PDF

Spatio-temporal deep learning model for urban drainage network: (2) Improving model's robustness (우수관망 시공간 딥러닝 모델: (2) 모델 강건성 향상을 위한 연구)

  • Yubin An;Soon Ho Kwon;Donghwi Jung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.228-228
    • /
    • 2023
  • 국지적 지역에 내리는 강한 강도의 강우는 많은 인명 및 재산 피해를 발생시킨다. 이러한 피해를 예방하기 위해 도시 침수 예측에 관한 연구가 오랜 기간 수행되어 왔으며, 최근에는 다양한 신경망(neural network) 모델이 활발히 이용되고 있다. 강우 지속 기간이나 강도는 일정하지 않고, 공간적 특징 또한 도시마다 다르므로 안정적인 침수 예측을 위한 신경망 모델은 강건성(robustness)을 지녀야 한다. 강건한 신경망 모델이란 적대적 공격(adversarial attack)을 방어할 수 있는 능력을 갖춘 모델을 일컫는다. 따라서 본 연구에서는, 도시 침수 예측을 위한 시공간 신경망(spatio-temporal neural network) 모델의 강건성 제고를 위한 방법론을 제안한다. 먼저 적대적 공격의 유형과 방어 방법을 분류하고, 시공간 신경망 모델의 학습 데이터 특성 및 모델 구조구성 조건 등을 활용하여 최적의 강건성 제고 방안을 도출하였다. 해당 모델은 집중호우로 인해 나타날 다양한 관망에서의 침수 피해를 각각 예측하고 피해를 예방하기 위해 활용될 수 있다.

  • PDF

기계학습 모델 공격연구 동향: 심층신경망을 중심으로

  • Lee, Seulgi;Kim, KyeongHan;Kim, Byungik;Park, SoonTai
    • Review of KIISC
    • /
    • v.29 no.6
    • /
    • pp.67-74
    • /
    • 2019
  • 기계학습 알고리즘을 이용한 다양한 분야에서의 활용사례들이 우리 사회로 점차 확산되어가며, 기계학습을 통해 산출된 모델의 오동작을 유발할 수 있는 공격이 활발히 연구되고 있다. 특히, 한국에서는 딥러닝을 포함해 인공지능을 응용한 융합분야를 국가적 차원에서 추진하고 있으며, 만약 인공지능 모델 자체에서 발생하는 취약점을 보완하지 못하고 사전에 공격을 대비하지 않는다면, 뒤늦은 대응으로 인하여 관련 산업의 활성화가 지연될 수 있는 문제점이 발생할 수도 있다. 본 논문에서는 기계학습 모델에서, 특히 심층 신경망으로 구성되어 있는 모델에서 발생할 수 있는 공격들을 정의하고 연구 동향을 분석, 안전한 기계학습 모델 구성을 위해 필요한 시사점을 제시한다. 구체적으로, 가장 널리 알려진 적대적 사례(adversarial examples) 뿐 아니라, 프라이버시 침해를 유발하는 추론 공격 등이 어떻게 정의되는지 설명한다.

A Study on the Security Technology using Real-Time Intrusion Detection in Linux (리눅스 기반에선 실시간 탐지 기법을 이용한 보안 기술 연구)

  • Kim, Mi-Young;Mun, Young-Song
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04b
    • /
    • pp.903-906
    • /
    • 2002
  • 정보 인프라의 고도화와 인터넷 사용의 폭발적인 증가로 인해 다양한 형태의 정보를 대량으로 교환할 수 있는 환경이 마련되었으며, 정보기술의 보편화를 통해 누구든지 쉽게 기술을 습득하고 이동하게 되었다. 인터넷 사용자는 크게 일반 사용자 및 적대적 사용자로 분류될 수 있으며, 특히 적대적 사용자는 정보의 불법적인 유출, 악용, 파괴할 수 있는 고도의 기술을 지닌 그룹으로서 인터넷의 존재 자체를 위협할 수 있는 수준이며, 이들의 기술은 날로 지능화되고 자동화되는 추세이다. 정보의 가치가 중요해 지면서 고급 정보에 대한 피해 사례가 늘어가고 있으나, 이를 정확하게 발견하고 신속하게 대처하기 위한 기술의 개발은 아직 초보 단계에 머무르고 있다. 대부분의 보안 시스템이 침입에 대한 탐지 및 대응 기술 개발에 역점을 두고 있으나, 알려지지 않은 침입에 대해서는 정확한 탐지 및 신속한 대응이 어렵다. 본 논문에서는 가상 서비스를 통해 침입자를 유도하고, 침입 과정 및 기법을 학습함으로써 새로운 기법에 대한 신속한 대응책을 수립할 수 있도록 해 주는 HoneyPot의 구현에 관한 방법을 제시한다.

  • PDF

Performance Improvement of Image-to-Image Translation with RAPGAN and RRDB (RAPGAN와 RRDB를 이용한 Image-to-Image Translation의 성능 개선)

  • Dongsik Yoon;Noyoon Kwak
    • Journal of Internet of Things and Convergence
    • /
    • v.9 no.1
    • /
    • pp.131-138
    • /
    • 2023
  • This paper is related to performance improvement of Image-to-Image translation using Relativistic Average Patch GAN and Residual in Residual Dense Block. The purpose of this paper is to improve performance through technical improvements in three aspects to compensate for the shortcomings of the previous pix2pix, a type of Image-to-Image translation. First, unlike the previous pix2pix constructor, it enables deeper learning by using Residual in Residual Block in the part of encoding the input image. Second, since we use a loss function based on Relativistic Average Patch GAN to predict how real the original image is compared to the generated image, both of these images affect adversarial generative learning. Finally, the generator is pre-trained to prevent the discriminator from being learned prematurely. According to the proposed method, it was possible to generate images superior to the previous pix2pix by more than 13% on average at the aspect of FID.

Anomaly Detection for User Action with Generative Adversarial Networks (적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법)

  • Choi, Nam woong;Kim, Wooju
    • Journal of Intelligence and Information Systems
    • /
    • v.25 no.3
    • /
    • pp.43-62
    • /
    • 2019
  • At one time, the anomaly detection sector dominated the method of determining whether there was an abnormality based on the statistics derived from specific data. This methodology was possible because the dimension of the data was simple in the past, so the classical statistical method could work effectively. However, as the characteristics of data have changed complexly in the era of big data, it has become more difficult to accurately analyze and predict the data that occurs throughout the industry in the conventional way. Therefore, SVM and Decision Tree based supervised learning algorithms were used. However, there is peculiarity that supervised learning based model can only accurately predict the test data, when the number of classes is equal to the number of normal classes and most of the data generated in the industry has unbalanced data class. Therefore, the predicted results are not always valid when supervised learning model is applied. In order to overcome these drawbacks, many studies now use the unsupervised learning-based model that is not influenced by class distribution, such as autoencoder or generative adversarial networks. In this paper, we propose a method to detect anomalies using generative adversarial networks. AnoGAN, introduced in the study of Thomas et al (2017), is a classification model that performs abnormal detection of medical images. It was composed of a Convolution Neural Net and was used in the field of detection. On the other hand, sequencing data abnormality detection using generative adversarial network is a lack of research papers compared to image data. Of course, in Li et al (2018), a study by Li et al (LSTM), a type of recurrent neural network, has proposed a model to classify the abnormities of numerical sequence data, but it has not been used for categorical sequence data, as well as feature matching method applied by salans et al.(2016). So it suggests that there are a number of studies to be tried on in the ideal classification of sequence data through a generative adversarial Network. In order to learn the sequence data, the structure of the generative adversarial networks is composed of LSTM, and the 2 stacked-LSTM of the generator is composed of 32-dim hidden unit layers and 64-dim hidden unit layers. The LSTM of the discriminator consists of 64-dim hidden unit layer were used. In the process of deriving abnormal scores from existing paper of Anomaly Detection for Sequence data, entropy values of probability of actual data are used in the process of deriving abnormal scores. but in this paper, as mentioned earlier, abnormal scores have been derived by using feature matching techniques. In addition, the process of optimizing latent variables was designed with LSTM to improve model performance. The modified form of generative adversarial model was more accurate in all experiments than the autoencoder in terms of precision and was approximately 7% higher in accuracy. In terms of Robustness, Generative adversarial networks also performed better than autoencoder. Because generative adversarial networks can learn data distribution from real categorical sequence data, Unaffected by a single normal data. But autoencoder is not. Result of Robustness test showed that he accuracy of the autocoder was 92%, the accuracy of the hostile neural network was 96%, and in terms of sensitivity, the autocoder was 40% and the hostile neural network was 51%. In this paper, experiments have also been conducted to show how much performance changes due to differences in the optimization structure of potential variables. As a result, the level of 1% was improved in terms of sensitivity. These results suggest that it presented a new perspective on optimizing latent variable that were relatively insignificant.

Privacy Protection using Adversarial AI Attack Techniques (적대적 AI 공격 기법을 활용한 프라이버시 보호)

  • Beom-Gi Lee;Hyun-A Noh;Yubin Choi;Seo-Young Lee;Gyuyoung Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.912-913
    • /
    • 2023
  • 이미지 처리에 관한 인공지능 모델의 발전에 따라 개인정보 유출 문제가 가속화되고 있다. 인공지능은 다방면으로 삶에 편리함을 제공하지만, 딥러닝 기술은 적대적 예제에 취약성을 보이기 때문에, 개인은 보안에 취약한 대상이 된다. 본 연구는 ResNet18 신경망 모델에 얼굴이미지를 학습시킨 후, Shadow Attack을 사용하여 입력 이미지에 대한 AI 분류 정확도를 의도적으로 저하시켜, 허가받지 않은 이미지의 인식율을 낮출 수 있도록 구현하였으며 그 성능을 실험을 통해 입증하였다.