• 제목/요약/키워드: 적대적 공격

검색결과 86건 처리시간 0.026초

임의의 잡음 신호 추가를 활용한 적대적으로 생성된 이미지 데이터셋 탐지 방안에 대한 연구 (Random Noise Addition for Detecting Adversarially Generated Image Dataset)

  • 황정환;윤지원
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권6호
    • /
    • pp.629-635
    • /
    • 2019
  • 여러 분야에서 사용되는 이미지 분류를 위한 딥러닝(Deep Learning) 모델은 오류 역전파 방법을 통해 미분을 구현하고 미분 값을 통해 예측 상의 오류를 학습한다. 엄청난 계산량을 향상된 계산 능력으로 해결하여, 복잡하게 설계된 모델에서도 파라미터의 전역 (혹은 국소) 최적점을 찾을 수 있다는 것이 장점이다. 하지만 정교하게 계산된 데이터를 만들어내면 이 딥러닝 모델을 '속여' 모델의 예측 정확도와 같은 성능을 저하시킬 수 있다. 이렇게 생성된 적대적 사례는 딥러닝을 저해할 수 있을 뿐 아니라, 사람의 눈으로는 쉽게 발견할 수 없도록 정교하게 계산되어 있다. 본 연구에서는 임의의 잡음 신호를 추가하는 방법을 통해 적대적으로 생성된 이미지 데이터셋을 탐지하는 방안을 제안한다. 임의의 잡음 신호를 추가하였을 때 일반적인 데이터셋은 예측 정확도가 거의 변하지 않는 반면, 적대적 데이터셋의 예측 정확도는 크게 변한다는 특성을 이용한다. 실험은 공격 기법(FGSM, Saliency Map)과 잡음 신호의 세기 수준(픽셀 최댓값 255 기준 0-19) 두 가지 변수를 독립 변수로 설정하고 임의의 잡음 신호를 추가하였을 때의 예측 정확도 차이를 종속 변수로 설정하여 시뮬레이션을 진행하였다. 각 변수별로 일반적 데이터셋과 적대적 데이터셋을 구분하는 탐지 역치를 도출하였으며, 이 탐지 역치를 통해 적대적 데이터셋을 탐지할 수 있었다.

데이터 증강 기반의 효율적인 포이즈닝 공격 방어 기법 (Efficient Poisoning Attack Defense Techniques Based on Data Augmentation)

  • 전소은;옥지원;김민정;홍사라;박새롬;이일구
    • 융합보안논문지
    • /
    • 제22권3호
    • /
    • pp.25-32
    • /
    • 2022
  • 최근 이미지 인식 및 탐지 분야에 딥러닝 기반의 기술이 도입되면서 영상 처리 산업이 활성화되고 있다. 딥러닝 기술의 발전과 함께 적대적 공격에 대한 학습 모델 취약점이 계속해서 보고되고 있지만, 학습 시점에 악의적인 데이터를 주입하는 포이즈닝 공격의 대응 방안에 대한 연구가 미흡한 실정이다. 종래 포이즈닝 공격의 대응 방안은 매번 학습 데이터를 검사하여 별도의 탐지 및 제거 작업을 수행해야 한다는 한계가 있었다. 따라서, 본 논문에서는 포이즌 데이터에 대해 별도의 탐지 및 제거과정 없이 학습 데이터와 추론 데이터에 약간의 변형을 가함으로써 공격 성공률을 저하시키는 기법을 제안한다. 선행연구에서 제안된 클린 라벨 포이즌 공격인 원샷킬 포이즌 공격을 공격 모델로 활용하였고, 공격자의 공격 전략에 따라 일반 공격자와 지능형 공격자로 나누어 공격 성능을 확인하였다. 실험 결과에 따르면 제안하는 방어 메커니즘을 적용하면 종래 방법 대비 최대 65%의 공격 성공률을 저하시킬 수 있었다.

5G 모바일 에지 컴퓨팅에서 빅데이터 분석 기능에 대한 데이터 오염 공격 탐지 성능 향상을 위한 연구 (A Study on Improving Data Poisoning Attack Detection against Network Data Analytics Function in 5G Mobile Edge Computing)

  • 옥지원;노현;임연섭;김성민
    • 정보보호학회논문지
    • /
    • 제33권3호
    • /
    • pp.549-559
    • /
    • 2023
  • 5G 네트워크의 핵심 기술로 모바일 에지 컴퓨팅(Mobile Edge Computing, MEC)이 주목받음에 따라, 모바일 사용자의 데이터를 기반으로 한 5G 네트워크 기반 에지 AI 기술이 최근 다양한 분야에서 이용되고 있다. 하지만, 전통적인 인공지능 보안에서와 마찬가지로, 에지 AI 핵심 기능을 담당하는 코어망 내 표준 5G 네트워크 기능들에 대한 적대적 교란이 발생할 가능성이 존재한다. 더불어, 3GPP에서 정의한 5G 표준 내 Standalone 모드의MEC 환경에서 발생할 수 있는 데이터 오염 공격은 기존 LTE망 대비 현재 연구가 미비한 실정이다. 본연구에서는 5G에서 에지 AI의 핵심 기능을 담당하는 네트워크 기능인 NWDAF를 활용하는 MEC 환경에 대한 위협 모델을 탐구하고, 일부 개념 증명으로써 Leaf NWDAF에 대한 데이터 오염 공격 탐지 성능을 향상시키기 위한 특징 선택 방법을 제안한다. 제안한 방법론을 통해, NWDAF에서의 Slowloris 공격 기반 데이터 오염 공격에 대해 최대 94.9%의 탐지율을 달성하였다.

객체인식 AI적용 드론에 대응할 수 있는 적대적 예제 기반 소극방공 기법 연구 (A Research on Adversarial Example-based Passive Air Defense Method against Object Detectable AI Drone)

  • 육심언;박휘랑;서태석;조영호
    • 인터넷정보학회논문지
    • /
    • 제24권6호
    • /
    • pp.119-125
    • /
    • 2023
  • 우크라이나-러시아 전을 통해 드론의 군사적 가치는 재평가되고 있으며, 북한은 '22년 말 대남 드론 도발을 통해 실제 검증까지 완료한 바 있다. 또한, 북한은 인공지능(AI) 기술의 드론 적용을 추진하고 있는 것으로 드러나 드론의 위협은 나날이 커지고 있다. 이에 우리 군은 드론작전사령부를 창설하고 다양한 드론 대응 체계를 도입하는 등 대 드론 체계 구축을 도모하고 있지만, 전력증강 노력이 타격체계 위주로 편중되어 군집드론 공격에 대한 효과적 대응이 우려된다. 특히, 도심에 인접한 공군 비행단은 민간 피해가 우려되어 재래식 방공무기의 사용 역시 극도로 제한되는 실정이다. 이에 본 연구에서는 AI기술이 적용된 적 군집드론의 위협으로부터 아 항공기의 생존성 향상을 위해 AI모델의 객체탐지 능력을 저해하는 소극방공 기법을 제안한다. 대표적인 적대적 머신러닝(Adversarial machine learning) 기술 중 하나인 적대적 예제(Adversarial example)를 레이저를 활용하여 항공기에 조사함으로써, 적 드론에 탑재된 객체인식 AI의 인식률 저하를 도모한다. 합성 이미지와 정밀 축소모형을 활용한 실험을 수행한 결과, 제안기법 적용 전 약 95%의 인식률을 보이는 객체인식 AI의 인식률을 제안기법 적용 후 0~15% 내외로 저하시키는 것을 확인하여 제안기법의 실효성을 검증하였다.

카메라-라이다 융합 모델의 오류 유발을 위한 스케일링 공격 방법 (Scaling Attack Method for Misalignment Error of Camera-LiDAR Calibration Model)

  • 임이지;최대선
    • 정보보호학회논문지
    • /
    • 제33권6호
    • /
    • pp.1099-1110
    • /
    • 2023
  • 자율주행 및 robot navigation의 인식 시스템은 성능 향상을 위해 다중 센서를 융합(Multi-Sensor Fusion)을 한 후, 객체 인식 및 추적, 차선 감지 등의 비전 작업을 한다. 현재 카메라와 라이다 센서의 융합을 기반으로 한 딥러닝 모델에 대한 연구가 활발히 이루어지고 있다. 그러나 딥러닝 모델은 입력 데이터의 변조를 통한 적대적 공격에 취약하다. 기존의 다중 센서 기반 자율주행 인식 시스템에 대한 공격은 객체 인식 모델의 신뢰 점수를 낮춰 장애물 오검출을 유도하는 데에 초점이 맞춰져 있다. 그러나 타겟 모델에만 공격이 가능하다는 한계가 있다. 센서 융합단계에 대한 공격의 경우 융합 이후의 비전 작업에 대한 오류를 연쇄적으로 유발할 수 있으며, 이러한 위험성에 대한 고려가 필요하다. 또한 시각적으로 판단하기 어려운 라이다의 포인트 클라우드 데이터에 대한 공격을 진행하여 공격 여부를 판단하기 어렵도록 한다. 본 연구에서는 이미지 스케일링 기반 카메라-라이다 융합 모델(camera-LiDAR calibration model)인 LCCNet 의 정확도를 저하시키는 공격 방법을 제안한다. 제안 방법은 입력 라이다의 포인트에 스케일링 공격을 하고자 한다. 스케일링 알고리즘과 크기별 공격 성능 실험을 진행한 결과 평균 77% 이상의 융합 오류를 유발하였다.

인공신경망에서의 블록체인 기반 개인정보보호 기술 동향 (Trends in Blockchain-based Privacy Preserving Technology for Artificial Neural Networks)

  • 강예준;김현지;임세진;김원웅;서화정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.564-567
    • /
    • 2022
  • 최근 딥러닝이 다양한 분야에서 활용됨에 따라 중앙 집중식 서버, 적대적 공격 그리고 데이터 부족 및 독점화와 같은 다양한 문제점이 발생하고 있다. 또한 연합학습을 수행할 경우, 클라이언트가 잘못된 기울기를 서버에 제공하거나 서버가 악의적인 행동을 할 경우 심각한 문제로 이어질 수 있다. 이와 같은 보안 취약점을 해결하기 위해 딥러닝에 블록체인을 결합하여 중앙 집중식 서버를 분산화하고 각 참여자 노드에게 인센티브를 줌으로써 신뢰할 수 있는 데이터를 수집하는 기법이 연구되고 있다. 본 논문에서는 위와 같이 딥러닝의 문제점을 해결하기 위해 블록체인이 어떻게 적용되었는지 살펴본다.

딥러닝 프라이버시에 관한 연구 (A Study on Deep Learning Privacy)

  • 노시현;이병영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.207-209
    • /
    • 2024
  • 딥러닝은 선형 연산과 비선형 연산을 조합하여 목표로 하는 시스템을 잘 표현할 수 있는 함수를 찾기 위해 사용하며, 이미지 분류 및 생성, 거대 언어 모델 및 객체 인식의 영역에서 활발하게 사용되고 있다. 그러나 딥러닝 연산을 위해서는 모델과, 연산을 수행하고자 하는 데이터가 하나의 공간에 저장되어야 한다. 모델과 데이터를 데이터 소유자가 관리할 경우, 데이터 소유자가 모델 데이터의 프라이버시를 침해할 수 있으며, 이는 모델을 적대적 예제 생성 공격에 취약하도록 만드는 원인이 된다. 한편 모델과 데이터를 모델 소유자가 관리할 경우, 모델 소유자는 데이터의 프라이버시를 침해하여 데이터 소유자의 정보를 악의적으로 이용할 수 있다. 본 논문에서는 딥러닝 모델과 데이터의 프라이버시를 모두 보호하기 위해 주어진 딥러닝 모델의 암호화와 복호화를 수행하는 EncNet 을 구현하였으며, MNIST 와 Cifat-10 데이터셋에 대하여 실효성을 테스트하였다.

AI 모델의 Robustness 향상을 위한 효율적인 Adversarial Attack 생성 방안 연구 (A Study on Effective Adversarial Attack Creation for Robustness Improvement of AI Models)

  • 정시온;한태현;임승범;이태진
    • 인터넷정보학회논문지
    • /
    • 제24권4호
    • /
    • pp.25-36
    • /
    • 2023
  • 오늘날 AI(Artificial Intelligence) 기술은 보안 분야를 비롯하여 다양한 분야에 도입됨에 따라 기술의 발전이 가속화되고 있다. 하지만 AI 기술의 발전과 더불어 악성 행위 탐지를 교묘하게 우회하는 공격 기법들도 함께 발전되고 있다. 이러한 공격 기법 중 AI 모델의 분류 과정에서 입력값의 미세한 조정을 통해 오 분류와 신뢰도 하락을 유도하는 Adversarial attack이 등장하였다. 앞으로 등장할 공격들은 공격자가 새로이 공격을 생성하는 것이 아닌, Adversarial attack처럼 기존에 생성된 공격에 약간의 변형을 주어 AI 모델의 탐지체계를 회피하는 방식이다. 이러한 악성코드의 변종에도 대응이 가능한 견고한 모델을 만들어야 한다. 본 논문에서는 AI 모델의 Robustness 향상을 위한 효율적인 Adversarial attack 생성 기법으로 2가지 기법을 제안한다. 제안하는 기법은 XAI 기법을 활용한 XAI based attack 기법과 모델의 결정 경계 탐색을 통한 Reference based attack이다. 이후 성능 검증을 위해 악성코드 데이터 셋을 통해 분류 모델을 구축하여 기존의 Adversarial attack 중 하나인 PGD attack과의 성능 비교를 하였다. 생성 속도 측면에서 기존 20분이 소요되는 PGD attack에 비하여 XAI based attack과 Reference based attack이 각각 0.35초, 0.47초 소요되어 매우 빠른 속도를 보이며, 특히 Reference based attack의 경우 생성률이 97.7%로 기존 PGD attack의 생성률인 75.5%에 비해 높은 성공률을 보이는 것을 확인하였다. 따라서 제안한 기법을 통해 더욱 효율적인 Adversarial attack이 가능하며, 이후 견고한 AI 모델을 구축하기 위한 연구에 기여 할 수 있을 것으로 기대한다.

아동의 또래 집단 내 상호 적대관계와 심리사회적 부적응 (Mutual Antipathy in Peer Groups and Psychosocial Maladjustment in Childhood)

  • 신유림
    • 가정과삶의질연구
    • /
    • 제30권5호
    • /
    • pp.49-58
    • /
    • 2012
  • This study investigated the prevalence of mutual antipathy in peer groups and the distribution of mutual antipathy with same- and opposite-gender peers. Moreover, psychosocial maladjustment was compared between children with mutual antipathies and children with no mutual antipathies. The subjects, 520 children in the fifth and sixth grades completed peer nominations that assessed mutual antipathy, social behavior, peer victimization. and friendship. In addition, teachers assessed children's internalizing and externalizing problems. The results indicated that 23.5% of the children had one or more mutual antipathy. Compared to children with no antipathy, those with antipathy had different psychosocial adjustment. When including children who received at least one rejection nomination, having a mutual antipathy was associated with maladjustment for girls, but not for boys.

도시 환경에서의 이미지 분할 모델 대상 적대적 물리 공격 기법 (Adversarial Wall: Physical Adversarial Attack on Cityscape Pretrained Segmentation Model)

  • 수랸토 나우팔;라라사티 하라스타 타티마;김용수;김호원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.402-404
    • /
    • 2022
  • Recent research has shown that deep learning models are vulnerable to adversarial attacks not only in the digital but also in the physical domain. This becomes very critical for applications that have a very high safety concern, such as self-driving cars. In this study, we propose a physical adversarial attack technique for one of the common tasks in self-driving cars, namely segmentation of the urban scene. Our method can create a texture on a wall so that it can be misclassified as a road. The demonstration of the technique on a state-of-the-art cityscape pretrained model shows a fairly high success rate, which should raise awareness of more potential attacks in self-driving cars.