• 한국정보교육학회:학술대회논문집
• /
• 한국정보교육학회 2021년도 학술논문집
• /
• pp.149-157
• /
• 2021

2022년 개정 교육과정에 인공지능 교육 도입을 앞두고 인공지능을 학습 소재로 한 다양한 수업들이 개발되어야 하는 시점이다. 본 연구에서는 설계기반연구를 활용하여 설명가능한 인공지능을 기반한 인공지능 교육 프로그램을 개발하였다. 인공지능의 기초, 활용, 윤리 세 분야를 골고루 포괄하며 실생활 사례와도 쉽게 연결시킬 수 있는 설명가능한 인공지능을 핵심 주제로 설정하였다. 일반적인 설계기반연구(Design-based research, DBR)에서는 3차 이상의 반복적인 과정이 이루어지지만 본 연구 결과는 1차 설계, 적용 및 평가에 대한 결과를 바탕으로 연구가 진행되었다. 추후 학교 현장에 적용하여 3차 수정 및 보완을 바탕으로 더욱 완성된 설명가능한 인공지능을 주제로 한 프로그램을 개발하고자 한다. 본 연구가 학교 현장에 도입되는 인공지능 교육의 발전에 도움이 되기를 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.99-100
• /
• 2022

본 논문에서는 유방암 초음파 이미지를 학습한 multi-modal 구조를 이용하여 유방암을 판별하는 인공지능을 제안한다. 학습된 인공지능은 유방암을 판별과 동시에, 설명 가능한 인공지능 기법과 ROI를 함께 사용하여 종양의 위치를 나타내준다. 시각적으로 판단 근거를 제시하기 때문에 인공지능의 판단 신뢰도는 더 높아진다.

• 정보교육학회논문지
• /
• 제25권5호
• /
• pp.803-812
• /
• 2021

본 연구는 문헌 연구 통해 설명 가능한 인공지능의 개념과 문제해결과정을 탐구하였다. 본 연구를 통하여 설명 가능한 인공지능의 교육적 의미와 적용 방안을 제시하였다. 설명 가능한 인공지능 교육이란 인간과 관련된 인공지능 문제를 다루는 사람 중심의 인공지능 교육으로 학생들은 문제 해결 능력을 함양할 수 있다. 그리고, 알고리즘 교육을 통해 인공지능의 원리를 이해하고 실생활 문제 상황과 관련된 인공지능 모델을 설명하며 인공지능의 활용분야까지 확장할 수 있다. 이러한 설명 가능한 인공지능 교육이 초등학교에서 적용되기 위해서는 실제 삶과 관련된 예를 사용해야 하며 알고리즘 자체가 해석력을 지닌 것을 활용하는 것이 좋다. 또한, 이해가 설명으로 나아가기 위해 다양한 교수학습방법 및 도구를 활용해야 한다. 2022년 개정 교육과정에서 인공지능 도입을 앞두고 본 연구가 실제 수업을 위한 기반으로써 의미 있게 활용되기를 바란다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.854-856
• /
• 2022

본 논문에서는 설명가능한 머신러닝 모델과 관련된 다양한 도구를 활용해보고, 최근 각광받는 주제인 신뢰성에 대해서도 고찰해보았다. 근래의 인공지능 모델은 설명력을 덧붙여 정보 장벽을 낮추는 방향으로 진화하고 있다. 이에 따라 AI 모형이 제공하는 정보량이 늘고 사용자 진화적 인 방식으로 바뀌면서 사용자층이 확대되고 있는 추세이다. 또한 데이터 분석 분야의 영향력이 높아지고 연구 주체들이 다양해지면서, 해당 모델이나 데이터에 관한 신뢰성을 확보해야한다는 요구가 많아지고 있다. 이에 많은 연구자들이 인공지능 모델의 신뢰성의 확보를 위해 노력하고 있다. 본 연구에서는 이러한 노력의 발자취를 따라가보면서 인공지능의 설명가능성에 관하여 소개하려고 한다. 그 과정에서 민감한 데이터를 다루어보면서 신뢰성 활보의 필요성에 대해서도 논의해보려고 한다.

• 융합정보논문지
• /
• 제11권8호
• /
• pp.36-41
• /
• 2021

인공지능을 이용하여 예측이나 분석하는 기술은 지속적으로 발전하고 있지만, 의사결정 과정을 명확히 해석하지 못하는 블랙박스 문제가 존재한다. 따라서 인공지능 모델의 의사결정 과정에서 사용자의 입장에서 해석이 불가능하여 결과를 신뢰할 수 없는 문제가 발생한다. 본 연구에서는 인공지능의 문제점과 이를 해결하기 위한 블록체인을 활용한 설명 가능한 인공지능에 대해 연구를 진행하였다. 블록체인을 이용해서 설명 가능한 인공지능 모델의 의사결정 과정에서의 데이터를 타임스탬프 등을 이용하여 부분별로 블록체인에 저장한다. 블록체인을 이용하여 저장된 데이터의 위변조 방지를 제공하고 블록체인의 특성상 사용자는 블록에 저장된 의사결정 과정등의 데이터를 자유롭게 접근할 수 있다. 설명 가능한 인공지능 모델의 구축이 힘든 것은 기존 모델의 복잡성이 큰 부분을 차지한다. 따라서 포인트 클라우드를 활용해서 3차원 데이터 처리와 가공과정의 효율성을 높여서 의사결정 과정을 단축해 설명 가능한 인공지능 모델의 구축을 원활하게 한다. 블록체인에 데이터 저장과정에서 데이터 위변조가 발생할 수 있는 오라클 문제를 해결하기 위해 저장과정에 중간자를 거치는 블록체인 기반의 설명 가능한 인공지능 모델을 제안하여 인공지능의 블랙박스 문제를 해결하였다.

• 정보처리학회지
• /
• 제28권3호
• /
• pp.45-55
• /
• 2021

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.520-522
• /
• 2022

의료 인공지능은 특정 진단에서 높은 정확도를 보이지만 모델의 신뢰성 문제로 인해 활발하게 쓰이지 못하고 있다. 이에 따라 인공지능 모델의 진단에 대한 원인 설명의 필요성이 대두되었고 설명가능한 의료 인공지능에 관한 연구가 활발히 진행되고 있다. 하지만 MRI 등 의료 영상 인공지능 분야에서 주로 진행되고 있으며, 이미지 형태가 아닌 전자의무기록 데이터 (Electronic Health Record, EHR) 를 기반으로 한 모델의 설명가능성 연구는 EHR 데이터 자체의 복잡성 때문에 활발하게 진행 되지 않고 있다. 본 논문에서는 전자의무기록 데이터인 MIMIC-III (Medical Information Mart for Intensive Care) 를 전처리 및 그래프로 표현하고, GCT (Graph Convolutional Transformer) 모델을 학습시켰다. 학습 후, 어텐션 흐름 그래프를 시각화해서 모델의 예측에 대한 직관적인 설명을 제공한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.137-140
• /
• 2023

자연어처리는 인공지능 발전과 함께 주목받는 분야로 컴퓨터가 인간의 언어를 이해하게 하는 기술이다. 그러나 많은 인공지능 모델은 블랙박스처럼 동작하여 그 원리를 해석하거나 이해하기 힘들다는 문제점이 있다. 이 문제를 해결하기 위해 설명 가능한 인공지능의 중요성이 강조되고 있으며, 활발히 연구되고 있다. 연구 초기에는 모델의 예측에 큰 영향을 끼치는 단어나 절을 근거로 추출했지만 문제 해결을 위한 단서 수준에 그쳤으며, 이후 문장 단위의 근거로 확장된 연구가 수행되었다. 하지만 문서 내에 서로 떨어져 있는 근거 문장 사이에 누락된 문맥 정보로 인하여 이해에 어려움을 줄 수 있다. 따라서 본 논문에서는 사람에게 보다 이해하기 쉬운 근거를 제공하기 위한 생성형 기반의 근거 추론 연구를 수행하고자 한다. 높은 수준의 자연어 이해 능력이 필요한 문서 요약 데이터셋을 활용하여 근거를 생성하고자 하며, 실험을 통해 일부 기계독해 데이터 샘플에서 예측에 대한 적절한 근거를 제공하는 것을 확인했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.513-515
• /
• 2022

본 연구는 범죄를 발생시키는데 관련된 여러가지 요인들을 기반으로 범죄 예측 모델을 생성하고 설명 가능 인공지능 기술을 적용하여 인천 광역시를 대상으로 범죄 발생에 영향을 미치는 요인들을 분석하였다. 범죄 예측 모델 생성을 위해 XG Boost 알고리즘을 적용하였으며, 설명 가능 인공지능 기술로는 Shapley Additive exPlanations (SHAP)을 사용하였다. 기존 관련 사례들을 참고하여 범죄 예측에 사용된 변수를 선정하였고 변수에 대한 데이터는 공공 데이터를 수집하였다. 실험 결과 성매매단속 현황과 청소년 실종 가출 신고 현황이 범죄 발생에 큰 영향을 미치는 주요 요인으로 나타났다. 제안하는 모델은 범죄 발생 지역, 요인들을 미리 예측하여 제시함으로써 범죄 예방에 사용되는 인력자원, 물적자원 등을 용이하게 쓸 수 있도록 활용할 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.23-26
• /
• 2022

딥 러닝 모델은 블랙 박스 (Black Box) 모델로 예측에 대한 근거를 제시하지 못해 신뢰성이 떨어지는 단점이 존재한다. 이를 해결하기 위해 딥 러닝 모델에 설명력을 부여하는 설명 가능한 인공지능 (XAI) 분야 연구가 활발하게 이루어지고 있다. 본 논문에서는 모델 예측을 프로토타입을 통해 설명하는 딥 러닝 모델을 제시한다. 즉, "주어진 이미지는 티셔츠인데, 그 이유는 티셔츠를 대표하는 모양의 프로토타입과 닮았기 때문이다."의 형태로 딥 러닝 모델을 설명한다. 해당 모델은 Encoder, Prototype Layer, Classifier로 구성되어 있다. Encoder는 Feature를 추출하는 데 활용하고 Classifier를 통해 분류 작업을 수행한다. 모델이 제시하는 분류 결과를 설명하기 위해 Prototype Layer에서 가장 유사한 프로토타입을 찾아 설명을 제시한다. 실험 결과 프로토타입 생성 기반 설명 모델은 기존 이미지 분류 모델과 유사한 예측 정확도를 보였고, 예측에 대한 설명력까지 확보하였다.