• 제목/요약/키워드: Adversarial example

검색결과 24건 처리시간 0.026초

Intrusion Detection System을 회피하고 Physical Attack을 하기 위한 GAN 기반 적대적 CAN 프레임 생성방법 (GAN Based Adversarial CAN Frame Generation Method for Physical Attack Evading Intrusion Detection System)

  • 김도완;최대선
    • 정보보호학회논문지
    • /
    • 제31권6호
    • /
    • pp.1279-1290
    • /
    • 2021
  • 차량 기술이 성장하면서 운전자의 개입이 필요 없는 자율주행까지 발전하였고, 이에 따라 차량 내부 네트워크인 CAN 보안도 중요해졌다. CAN은 해킹 공격에 취약점을 보이는데, 이러한 공격을 탐지하기 위해 기계학습 기반 IDS가 도입된다. 하지만 기계학습은 높은 정확도에도 불구하고 적대적 예제에 취약한 모습을 보여주었다. 본 논문에서는 IDS를 회피할 수 있도록 feature에 잡음을 추가하고 또한 실제 차량의 physical attack을 위한 feature 선택 및 패킷화를 진행하여 IDS를 회피하고 실제 차량에도 공격할 수 있도록 적대적 CAN frame 생성방법을 제안한다. 모든 feature 변조 실험부터 feature 선택 후 변조 실험, 패킷화 이후 전처리하여 IDS 회피실험을 진행하여 생성한 적대적 CAN frame이 IDS를 얼마나 회피하는지 확인한다.

PSNR과 SSIM을 활용한 NMS 알고리즘 대상 Adversarial Examples 분석 (Analysis of Adversarial Examples for NMS Algorithms Using PSNR and SSIM)

  • 김광남;이한주;이한진;최석환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.885-887
    • /
    • 2024
  • 딥러닝 모델이 다양한 분야에 적용되면서, 딥러닝 모델에 대한 보안이 큰 이슈가 되고 있다. 특히, 입력 데이터에 섭동(perturbation)을 추가하여 모델의 정상적인 추론을 방해하는 적대적 공격(Adversarial Attack)에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 객체 탐지 모델의 NMS(Non-Maximum Suppression) 알고리즘에 대한 적대적 공격 기법 중 하나인 Phantom Sponges 공격을 수행하여 적대적 예제(Adversarial Example)를 생성하고, 원본 이미지와의 유사성을 측정하여 분석하고자 한다.

영상 인식을 위한 딥러닝 모델의 적대적 공격에 대한 백색 잡음 효과에 관한 연구 (Study on the White Noise effect Against Adversarial Attack for Deep Learning Model for Image Recognition)

  • 이영석;김종원
    • 한국정보전자통신기술학회논문지
    • /
    • 제15권1호
    • /
    • pp.27-35
    • /
    • 2022
  • 본 논문에서는 영상 데이터에 대한 적대적 공격으로부터 생성된 적대적 예제로 인하여 발생할 수 있는 딥러닝 시스템의 오분류를 방어하기 위한 방법으로 분류기의 입력 영상에 백색 잡음을 가산하는 방법을 제안하였다. 제안된 방법은 적대적이든 적대적이지 않던 구분하지 않고 분류기의 입력 영상에 백색 잡음을 더하여 적대적 예제가 분류기에서 올바른 출력을 발생할 수 있도록 유도하는 것이다. 제안한 방법은 FGSM 공격, BIM 공격 및 CW 공격으로 생성된 적대적 예제에 대하여 서로 다른 레이어 수를 갖는 Resnet 모델에 적용하고 결과를 고찰하였다. 백색 잡음의 가산된 데이터의 경우 모든 Resnet 모델에서 인식률이 향상되었음을 관찰할 수 있다. 제안된 방법은 단순히 백색 잡음을 경험적인 방법으로 가산하고 결과를 관찰하였으나 에 대한 엄밀한 분석이 추가되는 경우 기존의 적대적 훈련 방법과 같이 비용과 시간이 많이 소요되는 적대적 공격에 대한 방어 기술을 제공할 수 있을 것으로 사료된다.

얼굴 인식 모델에 대한 질의 효율적인 블랙박스 적대적 공격 방법 (Query-Efficient Black-Box Adversarial Attack Methods on Face Recognition Model)

  • 서성관;손배훈;윤주범
    • 정보보호학회논문지
    • /
    • 제32권6호
    • /
    • pp.1081-1090
    • /
    • 2022
  • 얼굴 인식 모델은 스마트폰의 신원 인식에 활용되는 등 많은 사용자에게 편의를 제공하고 있다. 이에 따라 DNN 모델의 보안성 검토가 중요해지고 있는데 DNN 모델의 잘 알려진 취약점으로 적대적 공격이 존재한다. 적대적 공격은 현재 DNN 모델의 인식 결과만을 이용하여 공격을 수행하는 의사결정 공격기법까지 발전하였다. 그러나 기존 의사결정 기반 공격기법[14]은 적대적 예제 생성 시 많은 질의 수가 필요한 문제점이 있다. 특히, 기울기를 근사하는데 많은 질의 수가 소모되는데 정확한 기울기를 구할 수 없는 문제가 존재한다. 따라서 본 논문에서는 기존 의사결정 공격기법의 기울기를 근사할 때 소모되는 질의 수 낭비를 막기 위해서 직교 공간 샘플링과 차원 축소 샘플링 방법을 제안한다. 실험 결과 섭동의 크기가 L2 distance 기준 약 2.4 적은 적대적 예제를 생성할 수 있었고 공격 성공률의 경우 약 14% 향상할 수 있었다. 실험 결과를 통해 본 논문에서 제안한 적대적 예제 생성방법의 같은 질의 수 대비 공격 성능이 우수함을 입증한다.

Grad-CAM을 이용한 적대적 예제 생성 기법 연구 (Research of a Method of Generating an Adversarial Sample Using Grad-CAM)

  • 강세혁
    • 한국멀티미디어학회논문지
    • /
    • 제25권6호
    • /
    • pp.878-885
    • /
    • 2022
  • Research in the field of computer vision based on deep learning is being actively conducted. However, deep learning-based models have vulnerabilities in adversarial attacks that increase the model's misclassification rate by applying adversarial perturbation. In particular, in the case of FGSM, it is recognized as one of the effective attack methods because it is simple, fast and has a considerable attack success rate. Meanwhile, as one of the efforts to visualize deep learning models, Grad-CAM enables visual explanation of convolutional neural networks. In this paper, I propose a method to generate adversarial examples with high attack success rate by applying Grad-CAM to FGSM. The method chooses fixels, which are closely related to labels, by using Grad-CAM and add perturbations to the fixels intensively. The proposed method has a higher success rate than the FGSM model in the same perturbation for both targeted and untargeted examples. In addition, unlike FGSM, it has the advantage that the distribution of noise is not uniform, and when the success rate is increased by repeatedly applying noise, the attack is successful with fewer iterations.

Counterfactual image generation by disentangling data attributes with deep generative models

  • Jieon Lim;Weonyoung Joo
    • Communications for Statistical Applications and Methods
    • /
    • 제30권6호
    • /
    • pp.589-603
    • /
    • 2023
  • Deep generative models target to infer the underlying true data distribution, and it leads to a huge success in generating fake-but-realistic data. Regarding such a perspective, the data attributes can be a crucial factor in the data generation process since non-existent counterfactual samples can be generated by altering certain factors. For example, we can generate new portrait images by flipping the gender attribute or altering the hair color attributes. This paper proposes counterfactual disentangled variational autoencoder generative adversarial networks (CDVAE-GAN), specialized for data attribute level counterfactual data generation. The structure of the proposed CDVAE-GAN consists of variational autoencoders and generative adversarial networks. Specifically, we adopt a Gaussian variational autoencoder to extract low-dimensional disentangled data features and auxiliary Bernoulli latent variables to model the data attributes separately. Also, we utilize a generative adversarial network to generate data with high fidelity. By enjoying the benefits of the variational autoencoder with the additional Bernoulli latent variables and the generative adversarial network, the proposed CDVAE-GAN can control the data attributes, and it enables producing counterfactual data. Our experimental result on the CelebA dataset qualitatively shows that the generated samples from CDVAE-GAN are realistic. Also, the quantitative results support that the proposed model can produce data that can deceive other machine learning classifiers with the altered data attributes.

이미지 분할 여부에 따른 VQ-VAE 모델의 적대적 예제 복원 성능 비교 (Comparison of Adversarial Example Restoration Performance of VQ-VAE Model with or without Image Segmentation)

  • 김태욱;현승민;홍정희
    • 융합신호처리학회논문지
    • /
    • 제23권4호
    • /
    • pp.194-199
    • /
    • 2022
  • 다양하고 복잡한 영상 데이터 기반의 산업에서 높은 정확도와 활용성을 위해 고품질의 데이터를 위한 전처리가 요구된다. 하지만 기존 이미지 또는 영상 데이터와 노이즈를 결합해 기업에 큰 위험을 초래할 수 있는 오염된 적대적 예제가 유입될 시 기업의 신뢰도 및 보안성, 완전한 결과물 확보를 위해 손상되기 이전으로의 복원이 필요하다. 이를 위한 대비책으로 기존에는 Defense-GAN을 사용하여 복원을 진행하였지만, 긴 학습 시간과 복원물의 낮은 품질 등의 단점이 존재하였다. 이를 개선하기 위해 본 논문에서는 VQ-VAE 모델을 사용함과 더불어 이미지 분할 여부에 따라 FGSM을 통해 만든 적대적 예제를 이용하는 방법을 제안한다. 먼저, 생성된 예제를 일반 분류기로 분류한다. 다음으로 분할 전의 데이터를 사전 학습된 VQ-VAE 모델에 전달하여 복원한 후 분류기로 분류한다. 마지막으로 4등분으로 분할된 데이터를 4-split-VQ-VAE 모델에 전달하여 복원한 조각을 합친 뒤 분류기에 넣는다. 최종적으로 복원된 결과와 정확도를 비교한 후 분할 여부에 따른 2가지 모델의 결합 순서에 따라 성능을 분석한다.

객체인식 AI적용 드론에 대응할 수 있는 적대적 예제 기반 소극방공 기법 연구 (A Research on Adversarial Example-based Passive Air Defense Method against Object Detectable AI Drone)

  • 육심언;박휘랑;서태석;조영호
    • 인터넷정보학회논문지
    • /
    • 제24권6호
    • /
    • pp.119-125
    • /
    • 2023
  • 우크라이나-러시아 전을 통해 드론의 군사적 가치는 재평가되고 있으며, 북한은 '22년 말 대남 드론 도발을 통해 실제 검증까지 완료한 바 있다. 또한, 북한은 인공지능(AI) 기술의 드론 적용을 추진하고 있는 것으로 드러나 드론의 위협은 나날이 커지고 있다. 이에 우리 군은 드론작전사령부를 창설하고 다양한 드론 대응 체계를 도입하는 등 대 드론 체계 구축을 도모하고 있지만, 전력증강 노력이 타격체계 위주로 편중되어 군집드론 공격에 대한 효과적 대응이 우려된다. 특히, 도심에 인접한 공군 비행단은 민간 피해가 우려되어 재래식 방공무기의 사용 역시 극도로 제한되는 실정이다. 이에 본 연구에서는 AI기술이 적용된 적 군집드론의 위협으로부터 아 항공기의 생존성 향상을 위해 AI모델의 객체탐지 능력을 저해하는 소극방공 기법을 제안한다. 대표적인 적대적 머신러닝(Adversarial machine learning) 기술 중 하나인 적대적 예제(Adversarial example)를 레이저를 활용하여 항공기에 조사함으로써, 적 드론에 탑재된 객체인식 AI의 인식률 저하를 도모한다. 합성 이미지와 정밀 축소모형을 활용한 실험을 수행한 결과, 제안기법 적용 전 약 95%의 인식률을 보이는 객체인식 AI의 인식률을 제안기법 적용 후 0~15% 내외로 저하시키는 것을 확인하여 제안기법의 실효성을 검증하였다.

A method based on Multi-Convolution layers Joint and Generative Adversarial Networks for Vehicle Detection

  • Han, Guang;Su, Jinpeng;Zhang, Chengwei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권4호
    • /
    • pp.1795-1811
    • /
    • 2019
  • In order to achieve rapid and accurate detection of vehicle objects in complex traffic conditions, we propose a novel vehicle detection method. Firstly, more contextual and small-object vehicle information can be obtained by our Joint Feature Network (JFN). Secondly, our Evolved Region Proposal Network (EPRN) generates initial anchor boxes by adding an improved version of the region proposal network in this network, and at the same time filters out a large number of false vehicle boxes by soft-Non Maximum Suppression (NMS). Then, our Mask Network (MaskN) generates an example that includes the vehicle occlusion, the generator and discriminator can learn from each other in order to further improve the vehicle object detection capability. Finally, these candidate vehicle detection boxes are optimized to obtain the final vehicle detection boxes by the Fine-Tuning Network(FTN). Through the evaluation experiment on the DETRAC benchmark dataset, we find that in terms of mAP, our method exceeds Faster-RCNN by 11.15%, YOLO by 11.88%, and EB by 1.64%. Besides, our algorithm also has achieved top2 comaring with MS-CNN, YOLO-v3, RefineNet, RetinaNet, Faster-rcnn, DSSD and YOLO-v2 of vehicle category in KITTI dataset.

Influence Maximization Scheme against Various Social Adversaries

  • Noh, Giseop;Oh, Hayoung;Lee, Jaehoon
    • Journal of information and communication convergence engineering
    • /
    • 제16권4호
    • /
    • pp.213-220
    • /
    • 2018
  • With the exponential developments of social network, their fundamental role as a medium to spread information, ideas, and influence has gained importance. It can be expressed by the relationships and interactions within a group of individuals. Therefore, some models and researches from various domains have been in response to the influence maximization problem for the effects of "word of mouth" of new products. For example, in reality, more than two related social groups such as commercial companies and service providers exist within the same market issue. Under such a scenario, they called social adversaries competitively try to occupy their market influence against each other. To address the influence maximization (IM) problem between them, we propose a novel IM problem for social adversarial players (IM-SA) which are exploiting the social network attributes to infer the unknown adversary's network configuration. We sophisticatedly define mathematical closed form to demonstrate that the proposed scheme can have a near-optimal solution for a player.