• Title/Summary/Keyword: 설명가능 인공지능

Search Result 113, Processing Time 0.04 seconds

Interpretable Deep Learning Based On Prototype Generation (프로토타입 생성 기반 딥 러닝 모델 설명 방법)

  • Park, Jae-hun;Kim, Kwang-su
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.23-26
    • /
    • 2022
  • 딥 러닝 모델은 블랙 박스 (Black Box) 모델로 예측에 대한 근거를 제시하지 못해 신뢰성이 떨어지는 단점이 존재한다. 이를 해결하기 위해 딥 러닝 모델에 설명력을 부여하는 설명 가능한 인공지능 (XAI) 분야 연구가 활발하게 이루어지고 있다. 본 논문에서는 모델 예측을 프로토타입을 통해 설명하는 딥 러닝 모델을 제시한다. 즉, "주어진 이미지는 티셔츠인데, 그 이유는 티셔츠를 대표하는 모양의 프로토타입과 닮았기 때문이다."의 형태로 딥 러닝 모델을 설명한다. 해당 모델은 Encoder, Prototype Layer, Classifier로 구성되어 있다. Encoder는 Feature를 추출하는 데 활용하고 Classifier를 통해 분류 작업을 수행한다. 모델이 제시하는 분류 결과를 설명하기 위해 Prototype Layer에서 가장 유사한 프로토타입을 찾아 설명을 제시한다. 실험 결과 프로토타입 생성 기반 설명 모델은 기존 이미지 분류 모델과 유사한 예측 정확도를 보였고, 예측에 대한 설명력까지 확보하였다.

  • PDF

Trustworthy AI Framework for Malware Response (악성코드 대응을 위한 신뢰할 수 있는 AI 프레임워크)

  • Shin, Kyounga;Lee, Yunho;Bae, ByeongJu;Lee, Soohang;Hong, Heeju;Choi, Youngjin;Lee, Sangjin
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.32 no.5
    • /
    • pp.1019-1034
    • /
    • 2022
  • Malware attacks become more prevalent in the hyper-connected society of the 4th industrial revolution. To respond to such malware, automation of malware detection using artificial intelligence technology is attracting attention as a new alternative. However, using artificial intelligence without collateral for its reliability poses greater risks and side effects. The EU and the United States are seeking ways to secure the reliability of artificial intelligence, and the government announced a reliable strategy for realizing artificial intelligence in 2021. The government's AI reliability has five attributes: Safety, Explainability, Transparency, Robustness and Fairness. We develop four elements of safety, explainable, transparent, and fairness, excluding robustness in the malware detection model. In particular, we demonstrated stable generalization performance, which is model accuracy, through the verification of external agencies, and developed focusing on explainability including transparency. The artificial intelligence model, of which learning is determined by changing data, requires life cycle management. As a result, demand for the MLops framework is increasing, which integrates data, model development, and service operations. EXE-executable malware and documented malware response services become data collector as well as service operation at the same time, and connect with data pipelines which obtain information for labeling and purification through external APIs. We have facilitated other security service associations or infrastructure scaling using cloud SaaS and standard APIs.

인공지능과 핀테크 보안

  • Choi, Daeseon
    • Review of KIISC
    • /
    • v.26 no.2
    • /
    • pp.35-38
    • /
    • 2016
  • 본 논문에서는 핀테크 보안에 활용 가능한 딥러닝 기술을 살펴본다. 먼저 인공지능과 관련된 보안 이슈를 인공지능이 사람을 위협하는 상황에 대한 보안(Security FROM AI), 인공지능 시스템이나 서비스를 악의적인 공격으로부터 보호하는 이슈(Security OF AI), 인공지능 기술을 활용해 보안 문제를 해결하는 것(Security BY AI) 3가지로 구분하여 살펴본다. Security BY AI의 일환으로 딥러닝에 기반한 비정상탐지(anomaly detection)과 회귀분석(regression)기법을 설명하고, 이상거래탐지, 바이오인증, 피싱, 파밍 탐지, 본인확인, 명의도용탐지, 거래 상대방 신뢰도 분석 등 핀테크 보안 문제에 활용할 수 있는 방안을 살펴본다.

The Enhancement of intrusion detection reliability using Explainable Artificial Intelligence(XAI) (설명 가능한 인공지능(XAI)을 활용한 침입탐지 신뢰성 강화 방안)

  • Jung Il Ok;Choi Woo Bin;Kim Su Chul
    • Convergence Security Journal
    • /
    • v.22 no.3
    • /
    • pp.101-110
    • /
    • 2022
  • As the cases of using artificial intelligence in various fields increase, attempts to solve various issues through artificial intelligence in the intrusion detection field are also increasing. However, the black box basis, which cannot explain or trace the reasons for the predicted results through machine learning, presents difficulties for security professionals who must use it. To solve this problem, research on explainable AI(XAI), which helps interpret and understand decisions in machine learning, is increasing in various fields. Therefore, in this paper, we propose an explanatory AI to enhance the reliability of machine learning-based intrusion detection prediction results. First, the intrusion detection model is implemented through XGBoost, and the description of the model is implemented using SHAP. And it provides reliability for security experts to make decisions by comparing and analyzing the existing feature importance and the results using SHAP. For this experiment, PKDD2007 dataset was used, and the association between existing feature importance and SHAP Value was analyzed, and it was verified that SHAP-based explainable AI was valid to give security experts the reliability of the prediction results of intrusion detection models.

Analysis for Anomalies in VOCs Reduction Facilities using Deep Learning and XAI (딥 러닝과 설명가능 인공지능을 이용한 VOCs 저감설비 이상 분석)

  • Min-Ji Seo;Myung-Ho Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.609-611
    • /
    • 2023
  • 4차 산업혁명의 발달로 스마트공장 기술이 발달하면서, 딥 러닝을 활용한 공정 과정에서 나타나는 이상을 탐지하는 기술이 활발히 연구되고 있다. 하지만 공정 과정에서 발생하는 휘발성유기화합물(VOCs) 저감 설비에서 발생하는 이상을 탐지하기 위한 연구는 적극적으로 진행되고 있지 않다. 따라서 본 논문에서는 딥 러닝 기술을 이용하여 VOCs 저감설비에서 발생하는 이상을 탐지하고, 설명가능 인공지능(XAI)을 활용하여 이상에 큰 영향을 미치는 주요 설비를 특정하여 이상 발생 시 관리자가 용이하게 설비들을 관리할 수 있도록 하였다.

Study on Heat Energy Consumption Forecast and Efficiency Mediated Explainable Artificial Intelligence (XAI) (설명 가능한 인공지능 매개 에너지 수요 예측 및 효율성 연구)

  • Shin, Jihye;Kim, Yunjae;Lee, Sujin;Moon, Hyeonjoon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.1218-1221
    • /
    • 2022
  • 최근 전세계의 탄소중립 요구에 따른 에너지 효율 증대를 통한 에너지 절감을 위한 효율성 관련 연구가 확대되고 있다. 방송과 미디어 분야에는 에너지 효율이 더욱 시급하다. 이에 본 연구에서는 효율적인 에너지 시스템 구축을 위해 난방 에너지 시계열 데이터를 기반으로 한 수요 예측 모델을 선정하고, 설명하는 인공지능 모델을 도입하여 수요 예측에 영향을 미치는 원인을 파악하는 프레임워크를 제안한다.

  • PDF

Research on Mining Technology for Explainable Decision Making (설명가능한 의사결정을 위한 마이닝 기술)

  • Kyungyong Chung
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.24 no.4
    • /
    • pp.186-191
    • /
    • 2023
  • Data processing techniques play a critical role in decision-making, including handling missing and outlier data, prediction, and recommendation models. This requires a clear explanation of the validity, reliability, and accuracy of all processes and results. In addition, it is necessary to solve data problems through explainable models using decision trees, inference, etc., and proceed with model lightweight by considering various types of learning. The multi-layer mining classification method that applies the sixth principle is a method that discovers multidimensional relationships between variables and attributes that occur frequently in transactions after data preprocessing. This explains how to discover significant relationships using mining on transactions and model the data through regression analysis. It develops scalable models and logistic regression models and proposes mining techniques to generate class labels through data cleansing, relevance analysis, data transformation, and data augmentation to make explanatory decisions.

Development of Data Driven Flood Arrival Time and Water Level Estimation Simulator (데이터 기반 홍수 도달시간 및 수위예측 시뮬레이터 개발)

  • Lee, Ho Hyun;Lee, Dong Hun;Hong, Sung Taek;Kim, Sung Hoon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.104-104
    • /
    • 2022
  • 임진강 수계는 북측 지역이 다수를 차지하는 유역 특성으로 예고 없는 상류 급방류, 강우 등으로 인해 댐 운영에 근본적 어려움이 있으며, 이에 따라 홍수조절지 및 댐 하류 계측 가능 지역의 취득 자료를 고려한 하천 수위 변화에 대한 사전 예측을 필요로 하고 있다. 홍수기 하천 도달시간 및 수위예측 기법으로는 물리 기반 및 데이터 기반 모델들이 다양하게 연구되어 왔으며, 일부 연구성과들은 현업에 활용하고 있다. 물리기반 모델은 하천 지형 변화에 대한 자료 취득 및 분석에 많은 시간을 요하는 단점은 있으나, 설명 가능한 모델을 구현할 수 있을 것으로 사료 된다. 반면, 데이터 기반 인공지능 모델은 짧은 시간 및 비용으로 모델을 개발할 수 있으나, 복잡한 알고리즘구현 시 설명이 불가하여 일관성을 의심 받을 수 있다. 본 논문에서는 홍수 도달시간과 하류 수위 상승에 대하여 설명 가능한 인공지능 알고리즘 및 시뮬레이션 프로그램을 개발하고자 하였다. 홍수 도달시간 예측은 기존 조견표 방식에서 고려하지 않았던 홍수파의 영향을 추가 변수화 하고, 데이터의 전후처리를 통하여 도달시간을 예측하였다. 실시간 하류 수위 예측은 댐 방류량, 주변 강우, 조위 등을 고려하여 도달시간 후 수위를 예측할 수 있도록 구현하였으며, 자료 동화 기술을 일부 적용하였다. 미래 방류조건에 대한 시뮬레이션을 위해서는 미래 방류량, 예상 강우 입력 시 하천 지점별 수위 상승을 예측할 수 있도록 알고리즘 및 프로그램을 개발하였다. 이를 구현하기 위하여 다양한 인공지능 알고리즘을 이용한 학습, 유전자 알고리즘을 이용한 가중치 학습 제한 조건내 최적화, 수위파와 조위파의 중첩의 정리 등을 이용하여 예측 정확도 및 신뢰성을 제고 하였다. 인공지능 분석결과의 현업활용성 제고를 위하여 시뮬레이터 프로그램을 개발하여 현업에 적용하였다.

  • PDF

A Study of Image Data Based Fast Counterfactual Instances Generation Method (이미지 데이터 기반의 빠른 반사실적 예제 생성 기법 연구)

  • Kim, Tae-Hyeong;Kim, Jong-Kook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.830-833
    • /
    • 2021
  • 인공지능 기술이 사회 전반에 적용되면서 인공지능에 대한 인간의 이해도 역시 중요해지고 있다. 이러한 필요성을 기반으로 설명 가능한 인공지능(XAI) 분야 연구가 현재 활발히 진행되고 있다. 이 중 입력의 변화를 통하여 반사실적 대안을 제시하는 반사실적 예제 기반의 설명은 피쳐수가 많아지는 이미지 데이터에서 연산량이 크게 증가하는 단점이 있다. 본 연구에서는 이러한 단점을 해결하고자 이미지의 추상화된 피쳐 영역에서 프로토타입 피쳐를 이용한 반사실적 예제를 생성하는 기법을 제안한다. 나아가 이러한 이미지 형식의 반사실적 예제를 활용할 분야를 제시하고자 한다.

Evidence Extraction Method for Machine Reading Comprehension Model using Recursive Neural Network Decoder (디코더를 활용한 기계독해 모델의 근거 추출 방법)

  • Kyubeen Han;Youngjin Jang;Harksoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.609-614
    • /
    • 2023
  • 최근 인공지능 시스템이 발전함에 따라 사람보다 높은 성능을 보이고 있다. 또한 전문 지식에 특화된 분야(질병 진단, 법률, 교육 등)에도 적용되고 있지만 이러한 전문 지식 분야는 정확한 판단이 중요하다. 이로 인해 인공지능 모델의 결정에 대한 근거나 해석의 중요성이 대두되었다. 이를 위해 설명 가능한 인공지능 연구인 XAI가 발전하게 되었다. 이에 착안해 본 논문에서는 기계독해 프레임워크에 순환 신경망 디코더를 활용하여 정답 뿐만 아니라 예측에 대한 근거를 추출하고자 한다. 실험 결과, 모델의 예측 답변이 근거 문장 내 등장하는지에 대한 실험과 분석을 수행하였다. 이를 통해 모델이 추론 과정에서 예측 근거 문장을 기반으로 정답을 추론한다는 것을 확인할 수 있었다.

  • PDF