• Journal of Information Processing Systems
• /
• 제19권6호
• /
• pp.803-816
• /
• 2023

Explainable artificial intelligence is a method that explains how a complex model (e.g., a deep neural network) yields its output from a given input. Recently, graph-type data have been widely used in various fields, and diverse graph neural networks (GNNs) have been developed for graph-type data. However, methods to explain the behavior of GNNs have not been studied much, and only a limited understanding of GNNs is currently available. Therefore, in this paper, we propose an explanation method for node classification using graph convolutional networks (GCNs), which is a representative type of GNN. The proposed method finds out which features of each node have the greatest influence on the classification of that node using GCN. The proposed method identifies influential features by backtracking the layers of the GCN from the output layer to the input layer using the gradients. The experimental results on both synthetic and real datasets demonstrate that the proposed explanation method accurately identifies the features of each node that have the greatest influence on its classification.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.670-673
• /
• 2022

설명가능한 인공지능은 딥러닝과 같은 복잡한 모델에서 어떠한 원리로 해당 결과를 도출해냈는지에 대한 설명을 함으로써 구축된 모델을 이해할 수 있도록 설명하는 기술이다. 최근 여러 분야에서 그래프 형태의 데이터들이 생성되고 있으며, 이들에 대한 분류를 위해 다양한 그래프 신경망들이 사용되고 있다. 본 논문에서는 대표적인 그래프 신경망인 그래프 합성곱 신경망(graph convolutional network, GCN)에 대한 설명 기법을 제안한다. 제안 기법은 주어진 그래프의 각 노드를 GCN을 사용하여 분류했을 때, 각 노드의 어떤 특징들이 분류에 가장 큰 영향을 미쳤는지를 수치로 알려준다. 제안 기법은 최종 분류 결과에 영향을 미친 요소들을 gradient를 통해 단계적으로 추적함으로써 각 노드의 어떤 특징들이 분류에 중요한 역할을 했는지 파악한다. 가상 데이터를 통한 실험을 통해 제안 방법은 분류에 가장 큰 영향을 주는 노드들의 특징들을 실제로 정확히 찾아냄을 확인하였다.

• 천문학회보
• /
• 제46권1호
• /
• pp.42.1-42.1
• /
• 2021

In this study, we present a visual explanation of a deep learning solar flare forecast model and its relationship to physical parameters of solar active regions (ARs). For this, we use full-disk magnetograms at 00:00 UT from the Solar and Heliospheric Observatory/Michelson Doppler Imager and the Solar Dynamics Observatory/Helioseismic and Magnetic Imager, physical parameters from the Space-weather HMI Active Region Patch (SHARP), and Geostationary Operational Environmental Satellite X-ray flare data. Our deep learning flare forecast model based on the Convolutional Neural Network (CNN) predicts "Yes" or "No" for the daily occurrence of C-, M-, and X-class flares. We interpret the model using two CNN attribution methods (guided backpropagation and Gradient-weighted Class Activation Mapping [Grad-CAM]) that provide quantitative information on explaining the model. We find that our deep learning flare forecasting model is intimately related to AR physical properties that have also been distinguished in previous studies as holding significant predictive ability. Major results of this study are as follows. First, we successfully apply our deep learning models to the forecast of daily solar flare occurrence with TSS = 0.65, without any preprocessing to extract features from data. Second, using the attribution methods, we find that the polarity inversion line is an important feature for the deep learning flare forecasting model. Third, the ARs with high Grad-CAM values produce more flares than those with low Grad-CAM values. Fourth, nine SHARP parameters such as total unsigned vertical current, total unsigned current helicity, total unsigned flux, and total photospheric magnetic free energy density are well correlated with Grad-CAM values.

• 한국전자거래학회지
• /
• 제26권3호
• /
• pp.97-117
• /
• 2021

정기예금 가입 여부 예측은 은행의 대표적인 금융 마케팅 중 하나로, 은행은 다양한 고객 정보를 활용하여 예측 모델을 구성할 수 있다. 정기예금 가입 여부의 분류 정확도를 향상하기 위해, 많은 연구에서 기계학습 기법들을 이용하여 분류 모델들을 개발하였다. 하지만, 이러한 모델들이 만족스러운 성능을 보일지라도 모델의 의사결정 과정에 대한 근거가 적절하게 설명되지 않는다면 산업에서 활용하기가 쉽지 않다. 이러한 문제점을 해결하기 위해, 본 논문은 설명 가능한 정기예금 가입 여부 예측 기법을 제안한다. 먼저, 테이블 형식에서 우수한 성능을 도출하는 의사결정 나무 기반 앙상블 학습 기법인 랜덤 포레스트, GBM, XGBoost, LightGBM을 이용하여 분류 모델들을 개발하고, 10겹 교차검증을 통해 모델들의 분류 성능을 심층 분석한다. 다음으로, 가장 우수한 성능을 도출하는 모델에 설명 가능한 인공지능 기법인 SHAP을 적용하여 고객 정보의 영향도와 의사결정 과정 등을 해석할 수 있는 근거를 제공한다. 제안한 기법의 실용성과 타당성을 입증하기 위해, Kaggle에서 제공한 은행 마케팅 데이터 셋을 대상으로 모의실험을 진행하였으며, 데이터 셋 구성에 따라 GBM과 LightGBM 모델에 SHAP을 각기 적용하여 설명 가능한 정기예금 가입 여부를 위한 분석 및 시각화를 수행하였다.

• 한국수학사학회지
• /
• 제21권2호
• /
• pp.81-90
• /
• 2008

대학교육에서 다변수함수의 미분은 수리적 분석을 요하는 학문의 발전과 더불어 점차 그 중요성이 강조되고 있다. 그러나 현재 대학교양교육에서 학생들에게 도입되고 있는 다변수함수의 미분 정의는 처음 접하는 학생들에게 쉽지 않게 느껴지는 면이 있다. 이에 본 저자가 최근 몇 년간 교양수학을 가르치면서 학생들의 이해를 돕기 위해 고안한 방법이 있어 이를 소개하고자 한다. 본 저자의 경험을 토대로 한 이 방법은 다변수함수의 미분 정의에 대한 직관적이면서 기하학적인 설명법으로서 엄밀한 증명에 의한 접근 방법은 아니지만 다변수 미분의 의미를 빠르게 전달할 수 있다는 장점이 있다.

• Journal of Mechanical Science and Technology
• /
• 제19권9호
• /
• pp.1801-1810
• /
• 2005

The effect of longitudinal thin rectangular riblets aligned with the flow direction on turbulent channel flow has been investigated using direct numerical simulation. The thin riblets have been modeled using the immersed boundary method (IBM) where the velocities at only one set of vertical nodes at the riblets positions are enforced to be zeros. Different spacings, ranging between 11 and 43 wall units, have been simulated aiming at getting the optimum spacing corresponding to the maximum drag reduction while keeping the height/spacing ratio at 0.5. Reynolds number based on the friction velocity ${\mu}_\tau$ and the channel half depth $\delta$ is set to 150. The flow is driven by adjusted pressure gradient so that the mass flow rate is kept constant in all the simulations. This study shows similar trend of the drag ratio to that of the experiments at the different spacings. Also, this research provides an optimum spacing of around 17 wall units leading to maximum drag reduction as experimental data. Explanation of drag increasing/decreasing mechanism is highlighted.

• 생태와환경
• /
• 제41권spc호
• /
• pp.1-10
• /
• 2008

We patterned water quality of agricultural reservoirs according to the differences of six physico-chemical environmental factors (TN, TP, DO, BOD, COD, and SS) using four different ordination methods: Principal Components Analysis (PCA), Detrended Correspondence Analysis (DCA), Nonmetric Multidimensional Scaling (NMS), and Isometric Feature Mapping (Isomap). The data set was obtained from the water quality monitoring networks operated by the Ministry of Agriculture and Forestry and the Ministry of Environments. Chlorophyll-${\alpha}$ displayed the highest correlation with COD, followed by TP, BOD, SS, and TN (p<0.01), while negatively correlated with altitude and bank height of the reservoirs (p<0.01). Although four different ordination methods similarly patterned the reservoirs according to the gradient of nutrient concentration, PCA and NMS appeared to be the most efficient methods to pattern water quality of reservoirs based on the explanation power. Considering variable scores in the ordination map, the concentration of nutrients was positively correlated with Chl-${\alpha}$, while negatively correlated with altitude and bank height. These ordination methods may help to pattern agricultural reservoirs according to their water quality characteristics.

• 스마트미디어저널
• /
• 제8권3호
• /
• pp.31-40
• /
• 2019

To understand how a Convolutional Neural Network (CNN) model captures the features of a pattern to determine which class it belongs to, in this paper, we use Gradient-weighted Class Activation Mapping (Grad-CAM) to visualize and analyze how well a CNN model behave on the CNU weeds dataset. We apply this technique to Resnet model and figure out which features this model captures to determine a specific class, what makes the model get a correct/wrong classification, and how those wrong label images can cause a negative effect to a CNN model during the training process. In the experiment, Grad-CAM highlights the important regions of weeds, depending on the patterns learned by Resnet, such as the lobe and limb on 미국가막사리, or the entire leaf surface on 단풍잎돼지풀. Besides, Grad-CAM points out a CNN model can localize the object even though it is trained only for the classification problem.

• 지능정보연구
• /
• 제28권2호
• /
• pp.147-170
• /
• 2022

특허의 사적 가치(private value)를 나타내는 특허수명 추정은 오래전부터 연구되었으나 추정과정에서 선형모델에 의존하는 경우가 대부분이었고, 기계학습 방법을 사용하더라도 변수 간 관계에 대한 해석이나 설명이 부족하였다. 본 연구에서는 특허의 생존 기간이 특허의 가치를 대리한다는 기존 연구결과를 바탕으로 특허 등록 이후의 생존 기간(연장횟수) 예측을 통해 특허의 가치를 추정한다. 이를 위해 1996~2017년까지 미국 특허청(USPTO)에 출원하여 등록된 특허 4,033,414개를 수집하였다. 특허수명을 예측하기 위해 기존 연구에서 특허수명에 영향을 미친다고 밝혀진 특허의 특성, 특허의 소유자 특성, 특허의 발명가 특성을 반영할 수 있는 다양한 변수가 사용되었다. 서로 다른 4개의 모델(Ridge Regression, Random Forest, Feed-forward Neural Network, Gradient Boosting Models)을 생성하고, 모델 학습 과정에서는 5-fold Cross Validation으로 초매개변수 조정이 이루어졌다. 이후 생성된 모델의 성능을 평가하고 특허수명을 추정할 수 있는 예측변수의 상대적 중요도를 제시하였다. 또한, 성능이 우수했던 Gradient Boosting Model을 기반으로 Accumulated Local Effects Plot을 제시하여 예측변수와 특허수명 간 관계를 시각적으로 나타내었다. 마지막으로 모델에 의해서 평가된 개별 특허의 평가 근거를 제시하기 위하여 Kernal SHAP(SHapley Additive exPlanations)을 적용하고 특허평가 시스템에의 적용 가능성을 제시한다. 본 연구는 기존에 특허수명을 추정하는 연구에 누적적으로 기여한다는 점 그리고 선형성을 바탕으로 진행된 기존 특허수명 추정 연구들의 한계를 보완하고 복잡한 비선형 관계를 설명가능한 방식으로 제시하였다는 점에서 학문적 의의가 있다. 또한, 개별 특허의 평가 근거를 도출하는 방법을 소개하고 특허평가 시스템에의 적용 가능성을 제시하였다는 점에서 실무적 의의가 있다.

• 생태와환경
• /
• 제54권4호
• /
• pp.384-389
• /
• 2021

본 연구는 2020년 10월 23일에 경기도 가평군 설악면에 위치한 청평호에서 수행되었으며, 어군탐지기를 이용해 획득한 자료를 기반으로 어류의 수평 및 수직 분포 패턴을 분석하였다. 어군탐지 조사가 수행된 구간의 총 수면적은 782,853 m²였으며, 수심(water depth, WD)이 10~12 m인 구간이 전체 수면적의 31.7%로 가장 넓게 분포하는 것으로 나타났다. 다양한 WD 구간별로 어류의 개체 밀도 산출 결과, 4~6 m 구간에서 0.98 개체/100 m²로 가장 높게 나타나, 수면적 대비 가장 많은 어류가 분포하는 것으로 확인되었다. Heat map 분석 결과 청평호 구간에서는 가평대교의 우안측에서 어류의 밀도가 가장 높게 나타났으며, 이러한 수평 분포 특성에서 특별한 경향성은 확인할 수 없었다. 어류의 수직분포 분석 결과, 어류가 관측된 수심(Fish depth, FD)이 6 m 이하인 경우가 전체 관측 대비 86.6%로 나타났다. 수심 대비 어류의 관측 수심(Relative height, RH) 분석 결과, 수심이 깊어질수록 어류가 상대적으로 표층에 분포하는 경향성을 확인할 수 있었다. 이와 관련해서는 수체의 수심별 수온 차이 등 다양한 원인이 있을 것으로 예상되며 추가적인 연구가 필요하다.