• 제목/요약/키워드: 적대적 공격

검색결과 86건 처리시간 0.034초

단일 픽셀 공격을 완화하기 위한 이미지 처리 기법 (Image Processing Technique to Mitigate One-Pixel Attack)

  • 이연지;이일구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.317-320
    • /
    • 2024
  • 최근 이미지 분류, 자율 주행 등 다양한 분야에 인공지능 기술이 접목됨에 따라 인공지능 기술을 이용한 새로운 위협이 등장하고 있다. 적대적 공격 중 단일 픽셀 공격은 이미지의 픽셀 하나를 왜곡하여 인공지능의 올바른 분류를 방해하는 공격 기법이다. 본 논문은 단일 픽셀 공격을 완화하는 이미지 처리 기법을 제안한다. 실험 결과에 따르면 제안한 방법을 적용하면 이미지의 사이즈를 27×27 로 조절하였을 때 100 개의 단일 픽셀 공격 이미지 중 94 개를 복구하였으며, 이미지의 신뢰도를 68.89% 개선하였다.

컨벌루션 신경망 모델의 적대적 공격에 따른 성능과 개체군 희소 지표의 상관성에 관한 경험적 연구 (Empirical Study on Correlation between Performance and PSI According to Adversarial Attacks for Convolutional Neural Networks)

  • 이영석
    • 한국정보전자통신기술학회논문지
    • /
    • 제17권2호
    • /
    • pp.113-120
    • /
    • 2024
  • 개체군 희소 지표는 인공 신경망을 구성하고 있는 내부 레이어의 동작을 뉴런의 관점에서 관찰할 수 있기 때문에 블랙박스로 불리는 인공 신경망 내부의 동작을 설명하기 위하여 활용될 수 있다. 최근의 연구에서는 개체군 희소 지표를 두 종류의 컨벌루션 신경망 모델 분석에 적용하여, 레이어의 층이 깊어질수록 지표 값이 비례하여 증가하는 것이 관찰되었음을 보고하였다. 또한, 영상 분류를 위한 컨벌루션 신경망 모델에서 개체군 희소성 지표와 성능이 양의 상관성을 보인다는 연구도 있다. 본 연구에서는 적대적 예제가 컨벌루션 신경망에 적용되었을 때 신경망 내부에서 어떠한 동작이 수행되는지에 대하여 관찰하였다. 이를 위하여 적대적 예제를 입력으로 하는 컨벌루션 신경망의 개체군 희소 지표를 구한 다음, 컨벌루션 신경망의 성능과의 상관성을 비교하였다. 실험의 결과로부터 사전에 5%의 정확도를 갖도록 변형된 적대적 예제들에 대하여 온건한 데이터를 적용한 경우와 유사한 패턴의 양의 상관성을 갖는 것을 확인할 수 있었다. 이 실험결과는 적대적 예제와 온건한 데이터에 대한 각각의 개체군 희소성 지표 값들이 거시적인 관점에서 차이가 없다는 것을 의미하며 적대적 예제가 뉴런의 활성화 측면에서부터 적대적으로 동작한다는 것을 의미한다.

군사적 환경에서 음성인식 모델의 취약성에 관한 연구 (Study on the Vulnerabilities of Automatic Speech Recognition Models in Military Environments)

  • 원엘림;나성중;고영진
    • 융합보안논문지
    • /
    • 제24권2호
    • /
    • pp.201-207
    • /
    • 2024
  • 목소리는 인간의 의사소통에서 중요한 요소로, 음성인식 모델의 발전은 인공지능의 중요한 성과 중 하나이며 최근 인간의 생활에 다방면으로 사용되고 있다. 음성인식 모델의 활용은 군사분야에서도 피해갈 수 없는 과제이다. 하지만 인공지능 모델의 군사적 활용 이전에 모델의 취약성에 대한 연구가 필요하다. 본 연구에서는 다국적 음성인식 모델인 Whisper의 군사적 활용 가능성을 알아보기 위해, 전장소음, 잡음, 적대적 공격에 대한 취약성을 평가하였다. 전장소음을 포함하는 실험에서는 Whisper의 성능 저하가 크게 나타났으며, 평균 72.4%의 문자 오류율(CER)을 기록하여 군사적 활용에 어려움이 있는 것으로 나타났다. 또한, 잡음을 포함하는 실험에서는 낮은 강도의 잡음에 대해 Whisper가 강건하였으나, 높은 강도의 잡음에서는 성능이 저하되었고, 적대적 공격 실험에서는 특정 입실론 값에서 취약성이 드러났다. 따라서 Whisper 모델을 군사적 환경에서 사용하기 위해서는 파인튜닝, 적대적 훈련 등을 통해 개선이 필요하다는 것을 시사한다.

ViT 기반 모델의 강건성 연구동향 (A Research Trends on Robustness in ViT-based Models)

  • 신영재;홍윤영;김호원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.510-512
    • /
    • 2022
  • 컴퓨터 비전 분야에서 오랫동안 사용되었던 CNN(Convolution Neural Network)은 오분류를 일으키기 위해 악의적으로 추가된 섭동에 매우 취약하다. ViT(Vision Transformer)는 입력 이미지의 전체적인 특징을 탐색하는 어텐션 구조를 적용함으로 CNN의 국소적 특징 탐색보다 특성 픽셀에 섭동을 추가하는 적대적 공격에 강건한 특성을 보이지만 최근 어텐션 구조에 대한 강건성 분석과 다양한 공격 기법의 발달로 보안 취약성 문제가 제기되고 있다. 본 논문은 ViT가 CNN 대비 강건성을 가지는 구조적인 특징을 분석하는 연구와 어텐션 구조에 대한 최신 공격기법을 소개함으로 향후 등장할 ViT 파생 모델의 강건성을 유지하기 위해 중점적으로 다루어야 할 부분이 무엇인지 소개한다.

딥러닝 기반 적외선 객체 검출을 위한 적대적 공격 기술 연구 (Adversarial Attacks for Deep Learning-Based Infrared Object Detection)

  • 김호성;현재국;유현정;김춘호;전현호
    • 한국군사과학기술학회지
    • /
    • 제24권6호
    • /
    • pp.591-601
    • /
    • 2021
  • Recently, infrared object detection(IOD) has been extensively studied due to the rapid growth of deep neural networks(DNN). Adversarial attacks using imperceptible perturbation can dramatically deteriorate the performance of DNN. However, most adversarial attack works are focused on visible image recognition(VIR), and there are few methods for IOD. We propose deep learning-based adversarial attacks for IOD by expanding several state-of-the-art adversarial attacks for VIR. We effectively validate our claim through comprehensive experiments on two challenging IOD datasets, including FLIR and MSOD.

객체탐지 모델에 대한 위장형 적대적 패치 공격 (Camouflaged Adversarial Patch Attack on Object Detector)

  • 김정훈;양훈민;오세윤
    • 한국군사과학기술학회지
    • /
    • 제26권1호
    • /
    • pp.44-53
    • /
    • 2023
  • Adversarial attacks have received great attentions for their capacity to distract state-of-the-art neural networks by modifying objects in physical domain. Patch-based attack especially have got much attention for its optimization effectiveness and feasible adaptation to any objects to attack neural network-based object detectors. However, despite their strong attack performance, generated patches are strongly perceptible for humans, violating the fundamental assumption of adversarial examples. In this paper, we propose a camouflaged adversarial patch optimization method using military camouflage assessment metrics for naturalistic patch attacks. We also investigate camouflaged attack loss functions, applications of various camouflaged patches on army tank images, and validate the proposed approach with extensive experiments attacking Yolov5 detection model. Our methods produce more natural and realistic looking camouflaged patches while achieving competitive performance.

적대적 AI 공격 기법을 활용한 프라이버시 보호 (Privacy Protection using Adversarial AI Attack Techniques)

  • 이범기;노현아;최유빈;이서영;이규영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.912-913
    • /
    • 2023
  • 이미지 처리에 관한 인공지능 모델의 발전에 따라 개인정보 유출 문제가 가속화되고 있다. 인공지능은 다방면으로 삶에 편리함을 제공하지만, 딥러닝 기술은 적대적 예제에 취약성을 보이기 때문에, 개인은 보안에 취약한 대상이 된다. 본 연구는 ResNet18 신경망 모델에 얼굴이미지를 학습시킨 후, Shadow Attack을 사용하여 입력 이미지에 대한 AI 분류 정확도를 의도적으로 저하시켜, 허가받지 않은 이미지의 인식율을 낮출 수 있도록 구현하였으며 그 성능을 실험을 통해 입증하였다.

Detecting Adversarial Examples Using Edge-based Classification

  • Jaesung Shim;Kyuri Jo
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.67-76
    • /
    • 2023
  • 딥러닝 모델이 컴퓨터 비전 분야에서 혁신적인 성과를 이루어내고 있으나, 적대적 예제에 취약하다는 문제가 지속적으로 제기되고 있다. 적대적 예제는 이미지에 미세한 노이즈를 주입하여 오분류를 유도하는 공격 방법으로서, 현실 세계에서의 딥러닝 모델 적용에 심각한 위협이 될 수 있다. 본 논문에서는 객체의 엣지를 강조하여 학습된 분류 모델과 기본 분류 모델 간 예측 값의 차이를 이용하여 적대적 예제를 탐지하는 모델을 제안한다. 객체의 엣지를 추출하여 학습에 반영하는 과정만으로 분류 모델의 강건성을 높일 수 있으며, 모델 간 예측값의 차이를 통하여 적대적 예제를 탐지하기 때문에 경제적이면서 효율적인 탐지가 가능하다. 실험 결과, 적대적 예제(eps={0.02, 0.05, 0.1, 0.2, 0.3})에 대한 일반 모델의 분류 정확도는 {49.9%, 29.84%, 18.46%, 4.95%, 3.36%}를 보인 반면, Canny 엣지 모델은 {82.58%, 65.96%, 46.71%, 24.94%, 13.41%}의 정확도를 보였고 다른 엣지 모델들도 이와 비슷한 수준의 정확도를 보여, 엣지 모델이 적대적 예제에 더 강건함을 확인할 수 있었다. 또한 모델 간 예측값의 차이를 이용한 적대적 예제 탐지 결과, 각 epsilon별 적대적 예제에 대하여 {85.47%, 84.64%, 91.44%, 95.47%, 87.61%}의 탐지율을 확인할 수 있었다. 본 연구가 관련 연구 분야 및 의료, 자율주행, 보안, 국방 등의 응용 산업 분야에서 딥러닝 모델의 신뢰성 제고에 기여할 것으로 기대한다.

무선 센서 네트워크 환경에서의 안전한 키 분배 기법 (Secure Key Pre-distribution Scheme for Wireless Sensor Network)

  • 장지용;김형진;권태경;송주석
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 2006년도 하계학술대회
    • /
    • pp.447-450
    • /
    • 2006
  • 센서 네트워크는 앞으로 다방면에서 활용되어질 것으로 기대되고 있다. 그러나 센서 노드들은 악의적인 공격자에 의해 통신내용이 수집되고 공격을 받거나 조작될 수 있는 적대적이고 안전하지 못한 환경에 위치할 수 있다. 더욱이 센서 네트워크는 메모리, 전력, 계산능력에 있어서 상당히 제약적인 노드들로 구성되기 때문에 기존의 키 관리 기법을 적용하기 어려우며, 따라서 별도의 키 관리 기법이 요구되어진다. 본 논문에서는 센서 네트워크에서의 키 관리에 관련한 연구들을 소개하고 좀 더 안전한 키 분배 기법을 제안하고자 한다.

  • PDF

고신뢰 네트워킹 기술 (Trusted Networking Technology)

  • 예병호;박종대
    • 전자통신동향분석
    • /
    • 제30권1호
    • /
    • pp.77-86
    • /
    • 2015
  • 최근 사이버 테러의 급증으로 인해 보안장치만으로는 방지의 한계를 나타내면서 사이버 공간에서의 네트워크 역할이 중요해지고 있다. 이에 따라 최근 세계 각국은 사이버 공격, 정보 유출 등에 의한 국가적 차원의 사이버 안보 위협을 미연에 방지하기 위해 적대국과 경쟁국이 생산한 네트워크 장비의 구매를 꺼리는 경향을 나타내고 있다. 이러한 사이버 공격, 정보 유출 등에 의한 국가적 차원의 사이버 안보 위협에 적극적으로 대처하고자 고신뢰 네트워킹 기술개발을 추진 중이다. 본고에서는 고신뢰 네트워킹 핵심기술에 해당되는 단말 관리 및 보안기술, WiFi 및 AP 기술, 네트워크 기술 및 네트워크 제어관리 기술에 대한 국내외 기술동향을 알아본다.

  • PDF