• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.453-454
• /
• 2020

본 연구는 적대적 예제에 강건한 한국어 패러프레이즈 문장 인식 기술을 다룬다. 구글에서 적대적 예제를 포함하는 PAWS-X 다국어 말뭉치를 공개하였다. 이로써, 한국어에서도 적대적 예제를 다룰 수 있는 실마리가 제공되었다. PAWS-X는 개체 교환형을 대표로 하는 적대적 예제를 포함하고 있다. 이 말뭉치만으로도 개체 교환형 이외의 적대적 예제 타입을 위한 인식 모델을 구축할 수 있을지, 다앙한 타입의 실(real) 패러프레이즈 문장 인식에서도 적용할 수 있는지, 학습에 추가적인 타입의 패러프레이즈 데이터가 필요한지 등에 대해 다양한 실험을 통해 알아보고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.243-245
• /
• 2022

다양한 분야에서 심층 신경망 기반 모델이 사용되면서 뛰어난 성능을 보이고 있다. 그러나 기계학습 모델의 오작동을 유도하는 적대적 공격(adversarial attack)에 의해 심층 신경망 모델의 취약성이 드러났다. 보안 분야에서는 이러한 취약성을 보완하기 위해 의도적으로 모델을 공격함으로써 모델의 강건함을 검증한다. 현재 2D 이미지에 대한 적대적 공격은 활발한 연구가 이루어지고 있지만, 3D 데이터에 대한 적대적 공격 연구는 그렇지 않은 실정이다. 본 논문에서는 뉴럴 렌더링(neural rendering)과 적대적 공격, 그리고 3D 표현에 적대적 공격을 적용한 연구를 조사해 이를 통해 추후 뉴럴 렌더링에서 일어나는 적대적 공격 연구에 도움이 될 것을 기대한다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.155-159
• /
• 2018

최근 화두가 되고있는 지능형 개인 비서 시스템에서 자연어 이해(NLU) 시스템은 중요한 구성요소이다. 자연어 이해 시스템은 사용자의 발화로부터 대화의 도메인(domain), 의도(intent), 의미적 슬롯(semantic slot)을 분류하는 역할을 한다. 하지만 자연어 이해 시스템을 학습하기 위해서는 많은 양의 라벨링 된 데이터를 필요로 하며 새로운 도메인으로 시스템을 확장할 때, 새롭게 데이터 라벨링을 진행해야 하는 한계점이 존재한다. 이를 해결하기 위해 본 연구는 적대 학습 방법을 이용하여 풍부한 양으로 구성된 기존(source) 도메인의 데이터부터 적은 양으로 라벨링 된 데이터로 구성된 대상(target) 도메인을 위한 슬롯 채우기(slot filling) 모델 학습 방법을 제안한다. 실험 결과 적대 학습을 적용할 경우, 적대 학습을 적용하지 않은 경우 보다 높은 f-1 score를 나타냄을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.25-30
• /
• 2018

기존의 검색 기반 챗봇 시스템과 다르게 생성 기반 챗봇 시스템은 사전에 정의된 응답에 의존하지 않고 채팅 말뭉치를 학습한 신경망 모델을 사용하여 응답을 생성한다. 생성 기반 챗봇 시스템이 사람과 같이 자연스러운 응답을 생성하려면 이전 문맥을 반영해야 할 필요가 있다. 기존 연구에서는 문맥을 반영하기 위해 이전 문맥과 입력 발화를 통합하여 하나의 벡터로 표현했다. 이러한 경우 이전 문맥과 입력 발화가 분리되어 있지 않아 이전 문맥이 필요하지 않는 경우 잡음으로 작용할 수 있다. 본 논문은 이러한 문제를 해결하기 위해 입력 발화와 이전 문맥을 각각의 벡터로 표현하는 방법을 제안한다. 또한 생성적 적대적 신경망을 통해 챗봇 시스템을 보강하는 방법을 제안한다. 채팅 말뭉치(55,000 개의 학습 데이터, 5,000개의 검증 데이터, 5,260 개의 평가 데이터)를 사용한 실험에서 제안한 문맥 반영 방법과 생성적 적대적 신경망을 통한 챗봇 시스템 보강 방법은 BLEU와 임베딩 기반 평가의 성능 향상에 도움을 주었다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.346-349
• /
• 2021

표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.10-13
• /
• 2021

본 논문에서는 과다 노출된 영상을 영상 간 변환(Image-to-Image Translation)을 위해 설계된 적대적 생성 신경망(Generative Adversarial Network)을 활용하여 복원하는 연구를 수행한다. 과다 노출 복원을 위한 기존의 연구에서 과다 노출 영역 판별, 밝기 회복, 색상 보정 과정을 거치는데, 영상 내 과다 노출 영역을 판별하는 과정에서 임의로 결정하는 파라미터에 의해 복원된 영상 결과가 달라지는 한계점을 극복하기 위해 종단간(End-to-End) 신경망을 학습시켜 과다 노출 영역을 별도의 파라미터 선택과 분할된 과정 없이 한 번에 복원하는 방법을 제안한다. 영상 간 변환 신경망 학습에 필요한 과다 노출 여부로 도메인이 분할된 데이터셋은 게임 소프트웨어를 활용하여 만들어 사용하였다. 본 연구에서는 신경망이 생성한 영상이 실제로 과다 노출 영역을 탐지하여 복원하는 것을 확인하였다. 그리고 과다 노출 영역을 탐지하여 복원하는 과정을 학습 단계별로 확인함으로써 신경망이 실제로 과다 노출 복원 과정을 학습함을 보였다.

• Journal of the Korea Society of Computer and Information
• /
• v.29 no.2
• /
• pp.31-41
• /
• 2024

Deep learning models show excellent performance in tasks such as image classification and object detection in the field of computer vision, and are used in various ways in actual industrial sites. Recently, research on improving robustness has been actively conducted, along with pointing out that this deep learning model is vulnerable to hostile examples. A hostile example is an image in which small noise is added to induce misclassification, and can pose a significant threat when applying a deep learning model to a real environment. In this paper, we tried to confirm the robustness of the edge-learning classification model and the performance of the adversarial example detection model using it for adversarial examples of various algorithms. As a result of robustness experiments, the basic classification model showed about 17% accuracy for the FGSM algorithm, while the edge-learning models maintained accuracy in the 60-70% range, and the basic classification model showed accuracy in the 0-1% range for the PGD/DeepFool/CW algorithm, while the edge-learning models maintained accuracy in 80-90%. As a result of the adversarial example detection experiment, a high detection rate of 91-95% was confirmed for all algorithms of FGSM/PGD/DeepFool/CW. By presenting the possibility of defending against various hostile algorithms through this study, it is expected to improve the safety and reliability of deep learning models in various industries using computer vision.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.724-726
• /
• 2022

딥페이크(deepfake)로 인한 디지털 범죄는 날로 교묘해지면서 사회적으로 큰 파장을 불러일으키고 있다. 이때, 딥러닝 기반 모델의 오류를 발생시키는 적대적 공격(adversarial attack)의 등장으로 딥페이크를 탐지하는 모델의 취약성이 증가하고 있고, 이는 매우 치명적인 결과를 초래한다. 본 연구에서는 2 가지 방법을 통해 적대적 공격에도 영향을 받지 않는 강인한(robust) 모델을 구축하는 것을 목표로 한다. 모델 강화 기법인 적대적 학습(adversarial training)과 영상처리 기반 방어 기법인 크기 변환(resizing), JPEG 압축을 통해 적대적 공격에 대한 강인성을 입증한다.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.20 no.4
• /
• pp.95-105
• /
• 2021

Road surface damage detection is essential for a comfortable driving environment and the prevention of safety accidents. Road management institutes are using automated technology-based inspection equipment and systems. As one of these automation technologies, a sensor to detect road surface damage plays an important role. For this purpose, several studies on sensors using deep learning have been conducted in recent years. Road images and label images are needed to develop such deep learning algorithms. On the other hand, considerable time and labor will be needed to secure label images. In this paper, the adversarial learning method, one of the semi-supervised learning techniques, was proposed to solve this problem. For its implementation, a lightweight deep neural network model was trained using 5,327 road images and 1,327 label images. After experimenting with 400 road images, a model with a mean intersection over a union of 80.54% and an F1 score of 77.85% was developed. Through this, a technology that can improve recognition performance by adding only road images was developed to learning without label images and is expected to be used as a technology for road surface management in the future.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.31 no.6
• /
• pp.1279-1290
• /
• 2021

As vehicle technology has grown, autonomous driving that does not require driver intervention has developed. Accordingly, CAN security, an network of in-vehicles, has also become important. CAN shows vulnerabilities in hacking attacks, and machine learning-based IDS is introduced to detect these attacks. However, despite its high accuracy, machine learning showed vulnerability against adversarial examples. In this paper, we propose a adversarial CAN frame generation method to avoid IDS by adding noise to feature and proceeding with feature selection and re-packet for physical attack of the vehicle. We check how well the adversarial CAN frame avoids IDS through experiments for each case that adversarial CAN frame generated by all feature modulation, modulation after feature selection, preprocessing after re-packet.