• Journal of Internet Computing and Services
• /
• v.25 no.2
• /
• pp.1-9
• /
• 2024

Although federated learning is designed to be safer than centralized methods in terms of security and privacy, it still has many vulnerabilities. An attacker performing an adversarial attack intentionally manipulates the deep learning model by injecting carefully crafted input data, that is, adversarial examples, into the client's training data to induce misclassification. A common defense strategy against this is so-called adversarial training, which involves preemptively learning the characteristics of adversarial examples into the model. Existing research assumes a scenario where all clients are under adversarial attack, but considering the number of clients in federated learning is very large, this is far from reality. In this paper, we experimentally examine aspects of adversarial training in a scenario where some of the clients are under attack. Through experiments, we found that there is a trade-off relationship in which the classification accuracy for normal samples decreases as the classification accuracy for adversarial examples increases. In order to effectively utilize this trade-off relationship, we present a method to perform adversarial training by adaptively selecting a loss function depending on whether the client is attacked.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.621-623
• /
• 2023

본 논문에서는 기계 학습 모델의 취약점과 대응책에 초점을 맞추어 적대적인 기계 학습 공격 및 방어 분야를 탐구한다. 신중하게 만들어진 입력 데이터를 도입하여 기계 학습 모델을 속이거나 조작하는 것을 목표로 하는 적대적 공격에 대한 심층 분석을 제공한다. 이 논문은 회피 및 독성 공격을 포함한 다양한 유형의 적대적 공격을 조사하고 기계 학습 시스템의 안정성과 보안에 대한 잠재적 영향을 조사한다. 또한 적대적 공격에 대한 기계 학습 모델의 견고성을 향상시키기 위해 다양한 방어 메커니즘과 전략을 제안하고 평가한다. 본 논문은 광범위한 실험과 분석을 통해 적대적 기계 학습에 대한 이해에 기여하고 효과적인 방어 기술에 대한 통찰력을 제공하는 것을 목표로 한다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.434-439
• /
• 2019

딥러닝 기반 분류 모델에 있어 데이터의 클래스 불균형 문제는 소수 클래스의 분류 성능을 크게 저하시킨다. 본 논문에서는 앞서 언급한 클래스 불균형 문제를 보완하기 위한 방안으로 적대적 학습 기법을 제안한다. 적대적 학습 기법의 성능 향상 여부를 확인하기 위해 총 4종의 딥러닝 기반 분류 모델을 정의하였으며, 해당 모델 간 분류 성능을 비교하였다. 실험 결과, 대화 데이터셋을 이용한 모델 학습 시 적대적 학습 기법을 적용할 경우 다수 클래스의 분류 성능은 유지하면서 동시에 소수 클래스의 분류 성능을 크게 향상시킬 수 있음을 확인하였다.

• Review of KIISC
• /
• v.30 no.6
• /
• pp.107-115
• /
• 2020

다양한 응용분야에서 심층신경망 기반의 학습 모델이 앞 다투어 이용됨에 따라 인공지능의 설명 가능한 동작 원리 해석과, 추론이 갖는 불확실성에 관한 분석 또한 심도 있게 연구되고 있다. 이에 심층신경망 기반 기계학습 모델의 취약성이 수면 위로 드러났으며, 이러한 취약성을 이용하여 악의적으로 모델을 공격함으로써 오동작을 유도하고자 하는 시도가 다방면으로 이루어짐에 의해 학습 모델의 강건함 보장은 보안 분야에서의 쟁점으로 부각되고 있다. 모델 추론의 입력으로 이용되는 이미지에 교란값을 추가함으로써 심층신경망의 오분류를 발생시키는 임의의 변형된 이미지를 적대적 사례라 정의하며, 본 논문에서는 최근 인공지능 및 컴퓨터비전 분야에서 이루어지고 있는 이미지 기반 적대적 사례의 생성 기법에 대하여 논한다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.33 no.4
• /
• pp.621-631
• /
• 2023

Adversarial training improves the robustness of deep neural networks for adversarial examples. However, the previous adversarial training method focuses only on the adversarial loss function, ignoring that even a small perturbation of the input layer causes a significant change in the hidden layer features. Consequently, the accuracy of a defended model is reduced for various untrained situations such as clean samples or other attack techniques. Therefore, an architectural perspective is necessary to improve feature representation power to solve this problem. In this paper, we apply an attention module that generates an attention map of an input image to a general model and performs PGD adversarial training upon the augmented model. In our experiments on the CIFAR-10 dataset, the attention augmented model showed higher accuracy than the general model regardless of the network structure. In particular, the robust accuracy of our approach was consistently higher for various attacks such as PGD, FGSM, and BIM and more powerful adversaries. By visualizing the attention map, we further confirmed that the attention module extracts features of the correct class even for adversarial examples.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.2-2
• /
• 2023

기후변화가 가속화로 인해 수재해의 빈도와 강도 예측이 어려워짐에 따라 실시간 홍수 모니터링에 대한 수요가 증가하고 있다. 합성개구레이다는 광원과 날씨에 무관하게 촬영이 가능하여 수재해 발생시에도 영상을 확보할 수 있다. 합성개구레이다를 활용한 수체 탐지 알고리즘 개발이 활발히 연구되어 왔고, 딥러닝의 발달로 CNN을 활용하여 높은 정확도로 수체 탐지가 기능해졌다. 하지만, CNN 기반 수체 탐지 모델은 훈련시 높은 정량적 정확성 지표를 달성하여도 추론 후 정성적 평가시 경계와 소하천에 대한 탐지 정확성이 떨어진다. 홍수 모니터링에서 특히 중요한 정보인 경계와 좁은 하천에 대해서 정확성이 떨어짐에 따라 실생활 적용이 어렵다. 이에 경계를 강화한 적대적 학습 기반의 수체 탐지 모델을 개발하여 더 세밀하고 정확하게 탐지하고자 한다. 적대적 학습은 생성적 적대 신경망(GAN)의 두 개의 모델인 생성자와 판별자가 서로 관여하며 더 높은 정확도를 달성할 수 있도록 학습이다. 이러한 적대적 학습 개념을 수체 탐지 모델에 처음으로 도입하여, 생성자는 실제 라벨 데이터와 유사하게 수체 경계와 소하천까지 탐지하고자 학습한다. 반면 판별자는 경계 거리 변환 맵과 합성개구레이다 영상을 기반으로 라벨데이터와 수체 탐지 결과를 구분한다. 경계가 강화될 수 있도록, 면적과 경계를 모두 고려할 수 있는 손실함수 조합을 구성하였다. 제안 모델이 경계와 소하천을 정확히 탐지하는지 판단하기 위해, 정량적 지표로 F1-score를 사용하였으며, 육안 판독을 통해 정성적 평가도 진행하였다. 기존 U-Net 모델이 탐지하지 못하던 영역에 대해 제안한 경계 강화 적대적 수체 탐지 모델이 수체의 세밀한 부분까지 탐지할 수 있음을 증명하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.64-64
• /
• 2022

이상기후로 인해 돌발적이고 국지적인 호우 발생의 빈도가 증가하게 되면서 짧은 선행시간(~3 시간) 범위에서 수치예보보다 높은 정확도를 갖는 초단시간 강우예측자료가 돌발홍수 및 도시홍수의 조기경보를 위해 유용하게 사용되고 있다. 일반적으로 초단시간 강우예측 정보는 레이더를 활용하여 외삽 및 이동벡터 기반의 예측기법으로 산정한다. 최근에는 장기간 레이더 관측자료의 확보와 충분한 컴퓨터 연산자원으로 인해 레이더 자료를 활용한 인공지능 심층학습 기반(RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), Conv-LSTM 등)의 강우예측이 국외에서 확대되고 있고, 국내에서도 ConvLSTM 등을 활용한 연구들이 진행되었다. CNN 심층신경망 기반의 초단기 예측 모델의 경우 대체적으로 외삽기반의 예측성능보다 우수한 경향이 있었으나, 예측시간이 길어질수록 공간 평활화되는 경향이 크게 나타나므로 고강도의 뚜렷한 강수 특징을 예측하기 힘들어 예측정확도를 향상시키는데 중요한 소규모 기상현상을 왜곡하게 된다. 본 연구에서는 이러한 한계를 보완하기 위해 적대적 생성 신경망(Generative Adversarial Network, GAN)을 적용한 초단시간 예측기법을 활용하고자 한다. GAN은 생성모형과 판별모형이라는 두 신경망이 서로간의 적대적인 경쟁을 통해 학습하는 신경망으로, 데이터의 확률분포를 학습하고 학습된 분포에서 샘플을 쉽게 생성할 수 있는 기법이다. 본 연구에서는 2017년부터 2021년까지의 환경부 대형 강우레이더 합성장을 수집하고, 강우발생 사례를 대상으로 학습을 수행하여 신경망을 최적화하고자 한다. 학습된 신경망으로 강우예측을 수행하여, 국내 기상청과 환경부에서 생산한 레이더 초단시간 예측강우와 정량적인 정확도를 비교평가 하고자 한다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.29 no.6
• /
• pp.1383-1392
• /
• 2019

Adversarial attack, which geneartes adversarial data to make target model misclassify the input data, is able to confuse real life applications of classification models and cause severe damage to the classification system. An Black-box adversarial attack learns a substitute model, which have similar decision boundary to the target model, and then generates adversarial data with the substitute model. Jacobian-based data augmentation is used to synthesize the training data to learn substitutes, but has a drawback that the data synthesized by the augmentation get distorted more and more as the training loop proceeds. We suggest data augmentation with 'decay factor' to alleviate this problem. The result shows that attack success rate of our method is higher(around 8.5%) than the existing method.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.446-449
• /
• 2020

최근 성공적인 문법 오류 교정 연구들에는 복잡한 인공신경망 모델이 사용되고 있다. 그러나 이러한 모델을 훈련할 수 있는 공개 데이터는 필요에 비해 부족하여 과적합 문제를 일으킨다. 이 논문에서는 적대적 훈련 방법을 적용해 문법 오류 교정 분야의 과적합 문제를 해결하는 방법을 탐색한다. 모델의 비용을 증가시키는 경사를 이용한 fast gradient sign method(FGSM)와, 인공신경망을 이용해 모델의 비용을 증가시키기 위한 변동을 학습하는 learned perturbation method(LPM)가 실험되었다. 실험 결과, LPM은 모델 훈련에 효과가 없었으나, FGSM은 적대적 훈련을 사용하지 않은 모델보다 높은 F_0.5 성능을 보이는 것이 확인되었다.

• The Journal of the Acoustical Society of Korea
• /
• v.41 no.6
• /
• pp.647-654
• /
• 2022

Although the fields in which is utilized children's speech recognition is on the rise, the lack of quality data is an obstacle to improving children's speech recognition performance. This paper proposes a new method for improving children's speech recognition performance by additionally using adult speech data. The proposed method is a transformer based domain adversarial training using dynamically weighted loss to effectively address the data imbalance gap between age that grows as the amount of adult training data increases. Specifically, the degree of class imbalance in the mini-batch during training was quantified, and the loss function was defined and used so that the smaller the data, the greater the weight. Experiments validate the utility of proposed domain adversarial training following asymmetry between adults and children training data. Experiments show that the proposed method has higher children's speech recognition performance than traditional domain adversarial training method under all conditions in which asymmetry between age occurs in the training data.