• 제목/요약/키워드: Adversarial attack

검색결과 66건 처리시간 0.027초

적대적 공격에 따른 딥페이크 탐지 모델 강화 (Improving the Robustness of Deepfake Detection Models Against Adversarial Attacks)

  • 이상영;허종욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.724-726
    • /
    • 2022
  • 딥페이크(deepfake)로 인한 디지털 범죄는 날로 교묘해지면서 사회적으로 큰 파장을 불러일으키고 있다. 이때, 딥러닝 기반 모델의 오류를 발생시키는 적대적 공격(adversarial attack)의 등장으로 딥페이크를 탐지하는 모델의 취약성이 증가하고 있고, 이는 매우 치명적인 결과를 초래한다. 본 연구에서는 2 가지 방법을 통해 적대적 공격에도 영향을 받지 않는 강인한(robust) 모델을 구축하는 것을 목표로 한다. 모델 강화 기법인 적대적 학습(adversarial training)과 영상처리 기반 방어 기법인 크기 변환(resizing), JPEG 압축을 통해 적대적 공격에 대한 강인성을 입증한다.

데이터 증강 기반의 효율적인 포이즈닝 공격 방어 기법 (Efficient Poisoning Attack Defense Techniques Based on Data Augmentation)

  • 전소은;옥지원;김민정;홍사라;박새롬;이일구
    • 융합보안논문지
    • /
    • 제22권3호
    • /
    • pp.25-32
    • /
    • 2022
  • 최근 이미지 인식 및 탐지 분야에 딥러닝 기반의 기술이 도입되면서 영상 처리 산업이 활성화되고 있다. 딥러닝 기술의 발전과 함께 적대적 공격에 대한 학습 모델 취약점이 계속해서 보고되고 있지만, 학습 시점에 악의적인 데이터를 주입하는 포이즈닝 공격의 대응 방안에 대한 연구가 미흡한 실정이다. 종래 포이즈닝 공격의 대응 방안은 매번 학습 데이터를 검사하여 별도의 탐지 및 제거 작업을 수행해야 한다는 한계가 있었다. 따라서, 본 논문에서는 포이즌 데이터에 대해 별도의 탐지 및 제거과정 없이 학습 데이터와 추론 데이터에 약간의 변형을 가함으로써 공격 성공률을 저하시키는 기법을 제안한다. 선행연구에서 제안된 클린 라벨 포이즌 공격인 원샷킬 포이즌 공격을 공격 모델로 활용하였고, 공격자의 공격 전략에 따라 일반 공격자와 지능형 공격자로 나누어 공격 성능을 확인하였다. 실험 결과에 따르면 제안하는 방어 메커니즘을 적용하면 종래 방법 대비 최대 65%의 공격 성공률을 저하시킬 수 있었다.

Detecting Adversarial Examples Using Edge-based Classification

  • Jaesung Shim;Kyuri Jo
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.67-76
    • /
    • 2023
  • 딥러닝 모델이 컴퓨터 비전 분야에서 혁신적인 성과를 이루어내고 있으나, 적대적 예제에 취약하다는 문제가 지속적으로 제기되고 있다. 적대적 예제는 이미지에 미세한 노이즈를 주입하여 오분류를 유도하는 공격 방법으로서, 현실 세계에서의 딥러닝 모델 적용에 심각한 위협이 될 수 있다. 본 논문에서는 객체의 엣지를 강조하여 학습된 분류 모델과 기본 분류 모델 간 예측 값의 차이를 이용하여 적대적 예제를 탐지하는 모델을 제안한다. 객체의 엣지를 추출하여 학습에 반영하는 과정만으로 분류 모델의 강건성을 높일 수 있으며, 모델 간 예측값의 차이를 통하여 적대적 예제를 탐지하기 때문에 경제적이면서 효율적인 탐지가 가능하다. 실험 결과, 적대적 예제(eps={0.02, 0.05, 0.1, 0.2, 0.3})에 대한 일반 모델의 분류 정확도는 {49.9%, 29.84%, 18.46%, 4.95%, 3.36%}를 보인 반면, Canny 엣지 모델은 {82.58%, 65.96%, 46.71%, 24.94%, 13.41%}의 정확도를 보였고 다른 엣지 모델들도 이와 비슷한 수준의 정확도를 보여, 엣지 모델이 적대적 예제에 더 강건함을 확인할 수 있었다. 또한 모델 간 예측값의 차이를 이용한 적대적 예제 탐지 결과, 각 epsilon별 적대적 예제에 대하여 {85.47%, 84.64%, 91.44%, 95.47%, 87.61%}의 탐지율을 확인할 수 있었다. 본 연구가 관련 연구 분야 및 의료, 자율주행, 보안, 국방 등의 응용 산업 분야에서 딥러닝 모델의 신뢰성 제고에 기여할 것으로 기대한다.

이미지 분류를 위한 오토인코더 기반 One-Pixel 적대적 공격 방어기법 (Autoencoder-Based Defense Technique against One-Pixel Adversarial Attacks in Image Classification)

  • 심정현;송현민
    • 정보보호학회논문지
    • /
    • 제33권6호
    • /
    • pp.1087-1098
    • /
    • 2023
  • 인공지능 기술의 급격한 발전으로 다양한 분야에서 적극적으로 활용되고 있으나, 이와 함께 인공지능 기반 시스템에 대한 공격 위협이 증가하고 있다. 특히, 딥러닝에서 사용되는 인공신경망은 입력 데이터를 고의로 변형시켜 모델의 오류를 유발하는 적대적 공격에 취약하다. 본 연구에서는 이미지에서 단 하나의 픽셀 정보만을 변형시킴으로써 시각적으로 인지하기 어려운 One-Pixel 공격으로부터 이미지 분류 모델을 보호하기 위한 방법을 제안한다. 제안된 방어 기법은 오토인코더 모델을 이용하여 분류 모델에 입력 이미지가 전달되기 전에 잠재적 공격 이미지에서 위협 요소를 제거한다. CIFAR-10 데이터셋을 이용한 실험에서 본 논문에서 제안하는 오토인코더 기반의 One-Pixel 공격 방어 기법을 적용한 사전 학습 이미지 분류 모델들은 기존 모델의 수정 없이도 One-Pixel 공격에 대한 강건성이 평균적으로 81.2% 향상되는 결과를 보였다.

적대적 공격의 방어를 위한 AI 백신 연구 (A Study on AI Vaccine for the Defense against Adversarial Attack)

  • 송채원;오승아;정다예;임유리;노은지;이규영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.1132-1135
    • /
    • 2021
  • 본 논문에서는 머신러닝 시스템에 심각한 오류를 발생시킬 수 있는 적대적 샘플을 제작하고, 이를 이용한 적대적 공격을 효과적으로 예방하고 방어할 수 있는 Adversarial Training 기반의 AI 백신을 개발하였으며, 본 논문이 제안하는 AI 백신이 적대적 샘플을 올바르게 인식하고 AI 공격 성공율을 현저하게 낮추는 등 강인성을 확보한 것을 실험을 통해 입증하였다. 아울러 스마트폰을 통해 수행결과를 확인할 수 있는 어플리케이션을 구현하여, 교육 및 시연 등을 통해 적대적 AI 공격에 대한 심각성을 인식하고 해당 방어과정을 명확히 이해할 수 있도록 하였다.

적대적 공격과 뉴럴 렌더링 연구 동향 조사 (Survey Adversarial Attacks and Neural Rendering)

  • 이예진;심보석;허종욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.243-245
    • /
    • 2022
  • 다양한 분야에서 심층 신경망 기반 모델이 사용되면서 뛰어난 성능을 보이고 있다. 그러나 기계학습 모델의 오작동을 유도하는 적대적 공격(adversarial attack)에 의해 심층 신경망 모델의 취약성이 드러났다. 보안 분야에서는 이러한 취약성을 보완하기 위해 의도적으로 모델을 공격함으로써 모델의 강건함을 검증한다. 현재 2D 이미지에 대한 적대적 공격은 활발한 연구가 이루어지고 있지만, 3D 데이터에 대한 적대적 공격 연구는 그렇지 않은 실정이다. 본 논문에서는 뉴럴 렌더링(neural rendering)과 적대적 공격, 그리고 3D 표현에 적대적 공격을 적용한 연구를 조사해 이를 통해 추후 뉴럴 렌더링에서 일어나는 적대적 공격 연구에 도움이 될 것을 기대한다.

AI 모델의 적대적 공격 대응 방안에 대한 연구 (A Study on Countermeasures Against Adversarial Attacks on AI Models)

  • 박재경;장준서
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.619-620
    • /
    • 2023
  • 본 논문에서는 AI 모델이 노출될 수 있는 적대적 공격을 연구한 논문이다. AI 쳇봇이 적대적 공격에 노출됨에 따라 최근 보안 침해 사례가 다수 발생하고 있다. 이에 대해 본 논문에서는 적대적 공격이 무엇인지 조사하고 적대적 공격에 대응하거나 사전에 방어하는 방안을 연구하고자 한다. 적대적 공격의 종류 4가지와 대응 방안을 조사하고, AI 모델의 보안 중요성을 강조하고 있다. 또한, 이런 적대적 공격을 방어할 수 있도록 대응 방안을 추가로 조사해야 한다고 결론을 내리고 있다.

  • PDF

딥러닝 기반의 코드 취약점 탐지 모델의 적대적 공격 (Adversarial Attack against Deep Learning Based Vulnerability Detection)

  • 정은;김형식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.352-353
    • /
    • 2024
  • 소프트웨어 보안의 근본적인 문제인 보안 취약점을 해결하기 위해 노력한 결과, 딥러닝 기반의 코드 취약점 탐지 모델은 취약점 탐지에서 높은 탐지 정확도를 보여주고 있다. 하지만, 딥러닝 모델은 작은 변형에 민감하므로 적대적 공격에 취약하다. 딥러닝 기반 코드 취약점 탐지 모델에 대한 적대적 공격 방법을 제안한다.

  • PDF

적대적 AI 공격 기법을 활용한 프라이버시 보호 (Privacy Protection using Adversarial AI Attack Techniques)

  • 이범기;노현아;최유빈;이서영;이규영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.912-913
    • /
    • 2023
  • 이미지 처리에 관한 인공지능 모델의 발전에 따라 개인정보 유출 문제가 가속화되고 있다. 인공지능은 다방면으로 삶에 편리함을 제공하지만, 딥러닝 기술은 적대적 예제에 취약성을 보이기 때문에, 개인은 보안에 취약한 대상이 된다. 본 연구는 ResNet18 신경망 모델에 얼굴이미지를 학습시킨 후, Shadow Attack을 사용하여 입력 이미지에 대한 AI 분류 정확도를 의도적으로 저하시켜, 허가받지 않은 이미지의 인식율을 낮출 수 있도록 구현하였으며 그 성능을 실험을 통해 입증하였다.

Efforts against Cybersecurity Attack of Space Systems

  • Jin-Keun Hong
    • Journal of Positioning, Navigation, and Timing
    • /
    • 제12권4호
    • /
    • pp.437-445
    • /
    • 2023
  • A space system refers to a network of sensors, ground systems, and space-craft operating in space. The security of space systems relies on information systems and networks that support the design, launch, and operation of space missions. Characteristics of space operations, including command and control (C2) between space-craft (including satellites) and ground communication, also depend on wireless frequency and communication channels. Attackers can potentially engage in malicious activities such as destruction, disruption, and degradation of systems, networks, communication channels, and space operations. These malicious cyber activities include sensor spoofing, system damage, denial of service attacks, jamming of unauthorized commands, and injection of malicious code. Such activities ultimately lead to a decrease in the lifespan and functionality of space systems, and may result in damage to space-craft and, lead to loss of control. The Cybersecurity Adversarial Tactics, Techniques, and Common Knowledge (ATT&CK) matrix, proposed by Massachusetts Institute of Technology Research and Engineering (MITRE), consists of the following stages: Reconnaissance, Resource Development, Initial Access, Execution, Persistence, Privilege Escalation, Defense Evasion, Credential Access, Discovery, Lateral Movement, Collection, Command & Control, Exfiltration, and Impact. This paper identifies cybersecurity activities in space systems and satellite navigation systems through the National Institute of Standards and Technology (NIST)'s standard documents, former U.S. President Trump's executive orders, and presents risk management activities. This paper also explores cybersecurity's tactics attack techniques within the context of space systems (space-craft) by referencing the Sparta ATT&CK Matrix. In this paper, security threats in space systems analyzed, focusing on the cybersecurity attack tactics, techniques, and countermeasures of space-craft presented by Space Attack Research and Tactic Analysis (SPARTA). Through this study, cybersecurity attack tactics, techniques, and countermeasures existing in space-craft are identified, and an understanding of the direction of application in the design and implementation of safe small satellites is provided.