• 제목/요약/키워드: model inversion attack

검색결과 8건 처리시간 0.021초

Textual Inversion을 활용한 Adversarial Prompt 생성 기반 Text-to-Image 모델에 대한 멤버십 추론 공격 (Membership Inference Attack against Text-to-Image Model Based on Generating Adversarial Prompt Using Textual Inversion)

  • 오윤주;박소희;최대선
    • 정보보호학회논문지
    • /
    • 제33권6호
    • /
    • pp.1111-1123
    • /
    • 2023
  • 최근 생성 모델이 발전함에 따라 생성 모델을 위협하는 연구도 활발히 진행되고 있다. 본 논문은 Text-to-Image 모델에 대한 멤버십 추론 공격을 위한 새로운 제안 방법을 소개한다. 기존의 Text-to-Image 모델에 대한 멤버십 추론 공격은 쿼리 이미지의 caption으로 단일 이미지를 생성하여 멤버십을 추론하였다. 반면, 본 논문은 Textual Inversion을 통해 쿼리 이미지에 personalization된 임베딩을 사용하고, Adversarial Prompt 생성 방법으로 여러 장의 이미지를 효과적으로 생성하는 멤버십 추론 공격을 제안한다. 또한, Text-to-Image 모델 중 주목받고 있는 Stable Diffusion 모델에 대한 멤버십 추론 공격을 최초로 진행하였으며, 최대 1.00의 Accuracy를 달성한다.

AI 환경에서 모델 전도 공격에 안전한 차분 프라이버시 기술 (Differential Privacy Technology Resistant to the Model Inversion Attack in AI Environments)

  • 박철희;홍도원
    • 정보보호학회논문지
    • /
    • 제29권3호
    • /
    • pp.589-598
    • /
    • 2019
  • 온라인상에 축적되는 디지털 데이터의 양은 폭발적으로 증가하고 있으며 이러한 데이터들은 매우 큰 잠재적 가치를 갖고 있다. 국가 및 기업들은 방대한 양의 데이터로부터 다양한 부가가치를 창출하고 있으며 데이터 분석 기술에 많은 투자를 하고 있다. 그러나 데이터 분석에서 발생하는 프라이버시 문제는 데이터의 활용을 저해하는 큰 요인으로 작용하고 있다. 최근 신경망 모델 기반의 분석 기술에 대한 프라이버시 침해 공격들이 제안됨에 따라 프라이버시를 보존하는 인공 신경망 기술에 대한 연구가 요구되고 있다. 이에 따라 엄격한 프라이버시를 보장하는 차분 프라이버시 분야에서 다양한 프라이버시 보존형 인공 신경망 기술에 대한 연구가 수행되고 있지만, 신경망 모델의 정확도와 프라이버시 보존 강도 사이의 균형이 적절하지 않은 문제점이 있다. 본 논문에서는 프라이버시와 모델의 성능을 모두 보존하고 모델 전도 공격에 저항성을 갖는 차분 프라이버시 기술을 제안한다. 또한, 프라이버시 보존 강도에 따른 모델전도 공격의 저항성을 분석한다.

Trajectory Guidance and Control for a Small UAV

  • Sato, Yoichi;Yamasaki, Takeshi;Takano, Hiroyuki;Baba, Yoriaki
    • International Journal of Aeronautical and Space Sciences
    • /
    • 제7권2호
    • /
    • pp.137-144
    • /
    • 2006
  • The objective of this paper is to present trajectory guidance and control system with a dynamic inversion for a small unmanned aerial vehicle (UAV). The UAV model is expressed by fixed-mass rigid-body six-degree-of-freedom equations of motion, which include the detailed aerodynamic coefficients, the engine model and the actuator models that have lags and limits. A trajectory is generated from the given waypoints using cubic spline functions of a flight distance. The commanded values of an angle of attack, a sideslip angle, a bank angle and a thrust, are calculated from guidance forces to trace the flight trajectory. To adapt various waypoint locations, a proportional navigation is combined with the guidance system. By the decision logic, appropriate guidance law is selected. The flight control system to achieve the commands is designed using a dynamic inversion approach. For a dynamic inversion controller we use the two-timescale assumption that separates the fast dynamics, involving the angular rates of the aircraft, from the slow dynamics, which include angle of attack, sideslip angle, and bank angle. Some numerical simulations are conducted to see the performance of the proposed guidance and control system.

Model Inversion Attack: Analysis under Gray-box Scenario on Deep Learning based Face Recognition System

  • Khosravy, Mahdi;Nakamura, Kazuaki;Hirose, Yuki;Nitta, Naoko;Babaguchi, Noboru
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권3호
    • /
    • pp.1100-1118
    • /
    • 2021
  • In a wide range of ML applications, the training data contains privacy-sensitive information that should be kept secure. Training the ML systems by privacy-sensitive data makes the ML model inherent to the data. As the structure of the model has been fine-tuned by training data, the model can be abused for accessing the data by the estimation in a reverse process called model inversion attack (MIA). Although, MIA has been applied to shallow neural network models of recognizers in literature and its threat in privacy violation has been approved, in the case of a deep learning (DL) model, its efficiency was under question. It was due to the complexity of a DL model structure, big number of DL model parameters, the huge size of training data, big number of registered users to a DL model and thereof big number of class labels. This research work first analyses the possibility of MIA on a deep learning model of a recognition system, namely a face recognizer. Second, despite the conventional MIA under the white box scenario of having partial access to the users' non-sensitive information in addition to the model structure, the MIA is implemented on a deep face recognition system by just having the model structure and parameters but not any user information. In this aspect, it is under a semi-white box scenario or in other words a gray-box scenario. The experimental results in targeting five registered users of a CNN-based face recognition system approve the possibility of regeneration of users' face images even for a deep model by MIA under a gray box scenario. Although, for some images the evaluation recognition score is low and the generated images are not easily recognizable, but for some other images the score is high and facial features of the targeted identities are observable. The objective and subjective evaluations demonstrate that privacy cyber-attack by MIA on a deep recognition system not only is feasible but also is a serious threat with increasing alert state in the future as there is considerable potential for integration more advanced ML techniques to MIA.

Aircraft CAS Design with Input Saturation Using Dynamic Model Inversion

  • Sangsoo Lim;Kim, Byoung-Soo
    • International Journal of Control, Automation, and Systems
    • /
    • 제1권3호
    • /
    • pp.315-320
    • /
    • 2003
  • This paper presents a control augmentation system (CAS) based on the dynamic model inversion (DMI) architecture for a highly maneuverable aircraft. In the application of DMI not treating actuator dynamics, significant instabilities arise due to limitations on the aircraft inputs, such as actuator time delay based on dynamics and actuator displacement limit. Actuator input saturation usually occurs during high angles of attack maneuvering in low dynamic pressure conditions. The pseudo-control hedging (PCH) algorithm is applied to prevent or delay the instability of the CAS due to a slow actuator or occurrence of actuator saturation. The performance of the proposed CAS with PCH architecture is demonstrated through a nonlinear flight simulation.

프라이버시 침해에 대응하는 분할 학습 모델 연구 (A Study of Split Learning Model to Protect Privacy)

  • 유지현;원동호;이영숙
    • 융합보안논문지
    • /
    • 제21권3호
    • /
    • pp.49-56
    • /
    • 2021
  • 현대의 인공지능은 사회를 구성하는 필수적인 기술로 여겨지고 있다. 특히, 인공지능에서 프라이버시 침해 문제는 현대 사회에서 심각한 문제로 자리 잡고 있다. 개인정보보호를 위해 2019년 MIT에서 제안된 분할 학습은 연합 학습의 기술 중 하나로 개인정보보호 효과를 지닌다. 본 연구에서는 데이터를 안전하게 관리하기 위해 알려진 차분 프라이버시를 이용하여 안전하고 정확한 분할 학습 모델을 연구한다. 또한, SVHN과 GTSRB 데이터 세트를 15가지의 차등적인 차분 프라이버시를 적용한 분할 학습 모델에 학습시키고 학습이 안정적으로 되는지를 확인한다. 최종적으로, 학습 데이터 추출 공격을 진행하여, 공격을 예방하는 차분 프라이버시 예산을 MSE를 통해 정량적으로 도출한다.

TrapMI: 분할 학습에서 모델 전도 공격을 회피할 수 있는 훈련 데이터 보호 방법 (TrapMI: Protecting Training Data to Evade Model Inversion Attack on Split Learning)

  • 나현식;최대선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.234-236
    • /
    • 2023
  • Edge AI 환경에서의 DNNs 학습 방법 중 하나인 분할 학습은 모델 전도 공격으로 인해 입력 데이터의 프라이버시가 노출될 수 있다. 본 논문에서는 분할 학습 환경에서의 모델 전도 공격에 대한 기존 방어 기술들의 한계점을 회피할 수 있는 TrapMI 기술을 제안하고, 이를 통해 입력 이미지를 원 본 데이터 세트의 도메인에서 특정 타겟 이미지 도메인으로 이동시킴으로써 이미지 복원의 가능성을 최소화시킨다. 추가적으로, 테스트 과정에서 타겟 이미지의 정보를 알 수 없는 제약을 회피하기 위해 AutoGenerator를 구축한 후 실험을 통해 원본 데이터 보호 성능을 검증한다.

천음속 비행영역에서 하중제한 초과 방지를 위한 증분형 동적 모델역변환 제어 연구 (Study of the Incremental Dynamic Inversion Control to Prevent the Over-G in the Transonic Flight Region)

  • 진태범;김종섭;고기옥;김병수
    • 항공우주시스템공학회지
    • /
    • 제15권5호
    • /
    • pp.33-42
    • /
    • 2021
  • 현대 전투기는 정안정성 완화 개념을 적용하여 기동성과 성능을 향상시키는데, 천음속 비행영역에서는 충격파 형성과 더불어 감속기동 중 발생하는 공력중심 전방이동 현상에 의해 갑작스런 기수 들림이 발생하는 경향을 갖는다. 또한 천음속 중간 받음각 비행영역은 항공기 모델링이 어려워 모델 기반의 제어 방식은 이 문제를 해결하는데 한계를 갖는다. 이번 논문에서는 초음속 경전투기 모델을 이용하여 천음속 영역에서 감속선회 기동 중 모델 기반 증분형 동적 모델역변환 방식의 천음속 피칭모멘트 보상 제어(TPMC)와 모델과 센서를 기반으로 하는 Hybrid 증분형 동적모델 역변환(IDI) 제어의 성능을 분석하였다. 분석 결과, Hybrid 증분형 동적모델 역변환 제어는 천음속 피칭모멘트 보상 제어에 비해 빠른 초기 반응과 동등한 최대 수직가속도 제한 성능을 가지면서 조종사가 예측 가능한 비행성을 제공하여 천음속 중간 받음각 비행영역에서 하중제한 초과 방지 제어기의 성능을 크게 개선하였다.