• 한국분말재료학회지
• /
• 제30권3호
• /
• pp.210-216
• /
• 2023

In this study, machine learning models are proposed to predict the Vickers hardness of AlSi10Mg alloys fabricated by laser powder bed fusion (LPBF). A total of 113 utilizable datasets were collected from the literature. The hyperparameters of the machine-learning models were adjusted to select an accurate predictive model. The random forest regression (RFR) model showed the best performance compared to support vector regression, artificial neural networks, and k-nearest neighbors. The variable importance and prediction mechanisms of the RFR were discussed by Shapley additive explanation (SHAP). Aging time had the greatest influence on the Vickers hardness, followed by solution time, solution temperature, layer thickness, scan speed, power, aging temperature, average particle size, and hatching distance. Detailed prediction mechanisms for RFR are analyzed using SHAP dependence plots.

• 산업경영시스템학회지
• /
• 제46권1호
• /
• pp.76-83
• /
• 2023

Recently, the development of computer vision with deep learning has made object detection using images applicable to diverse fields, such as medical care, manufacturing, and transportation. The manufacturing industry is saving time and money by applying computer vision technology to detect defects or issues that may occur during the manufacturing and inspection process. Annotations of collected images and their location information are required for computer vision technology. However, manually labeling large amounts of images is time-consuming, expensive, and can vary among workers, which may affect annotation quality and cause inaccurate performance. This paper proposes a process that can automatically collect annotations and location information for images using eXplainable AI, without manual annotation. If applied to the manufacturing industry, this process is thought to save the time and cost required for image annotation collection and collect relatively high-quality annotation information.

• 한국재난정보학회 논문집
• /
• 제19권4호
• /
• pp.924-935
• /
• 2023

Purpose: The central aim of this study is to leverage machine learning techniques for the classification of Intrusion Detection System (IDS) data, with a specific focus on identifying the variables responsible for enhancing overall performance. Method: First, we classified 'R2L(Remote to Local)' and 'U2R (User to Root)' attacks in the NSL-KDD dataset, which are difficult to detect due to class imbalance, using seven machine learning models, including Logistic Regression (LR) and K-Nearest Neighbor (KNN). Next, we use the SHapley Additive exPlanation (SHAP) for two classification models that showed high performance, Random Forest (RF) and Light Gradient-Boosting Machine (LGBM), to check the importance of variables that affect classification for each model. Result: In the case of RF, the 'service' variable and in the case of LGBM, the 'dst_host_srv_count' variable were confirmed to be the most important variables. These pivotal variables serve as key factors capable of enhancing performance in the context of classification for each respective model. Conclusion: In conclusion, this paper successfully identifies the optimal models, RF and LGBM, for classifying 'R2L' and 'U2R' attacks, while elucidating the crucial variables associated with each selected model.

• 한국빅데이터학회지
• /
• 제5권2호
• /
• pp.215-229
• /
• 2020

산업 분야를 막론하고 머신러닝의 관심이 매우 높아지고 있으나, 머신러닝이 지닌 설명 불가능성은 여전히 문제로 남아있어 적극적인 업무 적용에 어려움이 있다. 본고에서는 증권사 금융 고객을 대상으로 이탈예측 모델 개발 사례를 소개하고 SHAP Value 기법을 사용하여 설명 가능한 머신러닝 모델 개발 시도와 해석 가능성 도출에 대한 연구 결과를 소개한다. 총 6가지 고객이탈 모델을 비교 분석하였으며, SHAP Value와 고객의 자산 변화에 따른 유형 분류 및 데이터 분석을 통해 고객 이탈 원인을 추론한다. 본 연구 결과를 토대로, 향후 마케팅 담당자의 실제 고객 마케팅 수행에 있어 원인 추론이 가능한 이탈 예측 결괏값을 사용하고 고객별 마케팅 여부를 점검하는 등의 종합적 판단 지표로 활용할 수 있을 것으로 판단된다.

• 한국ITS학회 논문지
• /
• 제21권5호
• /
• pp.233-252
• /
• 2022

자율주행자동차 상용화를 위해 자율주행자동차 안전성 제고를 위한 다양한 연구가 수행되고 있으며, 그 중 시나리오 연구가 안전성 평가에 직접적으로 연관되어 필수적으로 고려되고 있다. 그러나 기존 시나리오 제시의 경우 데이터 부재 및 전문가 개입으로 인해 객관성 및 설명력이 보완될 필요가 있다는 의견이 제시되고 있다. 이에 본 연구에서는 실제 사고 데이터 및 설명력 있는 인공지능 방법론인 ViT 모델을 활용하여 확장된 자율주행자동차 안전성 평가 시나리오를 제시한다. 활용 데이터에 최적화시킨 ViT 모델 학습 결과, 94% 정확도가 확인되었으며 Attention Map을 추가적으로 활용하여 설명력 있는 시나리오를 제시하였다. 본 연구를 통해 기존 시나리오 접근법의 한계를 보완하고 인공지능을 활용하여 새로운 안전성 평가 시나리오 수립 프레임워크를 제시할 수 있을 것으로 기대된다.

• 지능정보연구
• /
• 제28권1호
• /
• pp.263-286
• /
• 2022

본 연구는 웹 크롤링을 이용하여 1990년부터 2022년까지 총 32개년에 해당하는 NBA 통계 정보를 획득하고, 탐색적 데이터 분석을 통해 관심 변수를 관찰하고 관련된 파생변수를 생성한다. 입력 데이터에 대한 정제 과정을 거쳐 무의미한 변수들을 제거하고, 남은 변수에 대한 상관관계 분석, t 검정 및 분산분석을 수행하였다. 관심 변수에 대해 플레이오프 진출/미진출 그룹 간 평균의 차이를 검정하였고, 이를 보완하기 위해 순위를 기준으로 하는 3개 집단(상위/중위/하위) 간 평균 차이를 재확인하였다. 입력 데이터 중 올해 시즌 데이터만을 테스트 세트로 활용하였고, 모델 훈련을 위해서는 훈련 세트와 검증 세트를 분할하여 5-fold 교차검증을 수행하였다. 교차검증 결과와 시험 세트를 이용한 최종 분석 결과를 비교하여 성능 지표에서 차이가 없음을 확인함으로써 과적합 문제를 해결하였다. 원시 데이터의 품질 수준이 높고, 통계적 가정을 만족하기 때문에 적은 수준의 데이터 세트임에도 불구하고 대부분 모델에서 좋은 결과를 나타냈다. 본 연구는 단순히 머신러닝을 이용하여 NBA의 경기 결과를 예측하거나 플레이오프 진출 여부만을 분류하는 것에서 그치지 않고, 입력 특성의 중요도를 파악하여 높은 중요도를 갖는 주요 변수에 본 연구의 관심 대상 변수가 포함되는지를 확인하였다. Shap value의 시각화를 통해 특성 중요도의 결과만으로 해석할 수 없었던 한계를 극복하고, 변수의 진입/제거 과정에서 중요도 산출에 일관성이 부족하다는 점을 보완할 수 있었다. 본 연구에서 관심 대상으로 분류했던 3점 및 실책과 관련된 다수의 변수가 미국 프로농구에서의 플레이오프 진출에 영향을 미치는 주요 변수에 포함되는 것으로 나타났다. 본 연구는 기존의 스포츠 데이터 분석 분야에서 다루었던 경기 결과, 플레이오프 및 우승 예측 등의 주제를 포함하고 분석을 위해 여러 머신러닝 모델을 비교 분석했다는 점에서 유사성이 있지만, 사전에 관심 속성을 설정하고, 이를 통계적으로 검증함으로써 머신러닝 분석 결과와 비교하였다는 측면에서 차이가 있다. 또한 XAI 모델 중 하나인 SHAP를 이용하여 설명 가능한 시각화 결과를 제시함으로써 기존 연구와 차별화하였다.

• 지능정보연구
• /
• 제28권2호
• /
• pp.307-332
• /
• 2022

부도예측모형은 여러 금융기관의 신용평가모형의 지식기반(knowledge base)로 이용되고 있으며 최근 머신러닝 기법의 발전으로 이를 도입하여 고도화하려는 다양한 시도가 진행 중이다. 그러나 실제 이러한 모형이 도입되기 위해서는 모형을 이용하는 사용자와 설명제공 대상인 고객의 이해와 수용이 전제되어야 한다. 그러나 사용자에게 제공되는 설명이 현실적 타당성(feasibility)이 결여되어 있다면 모형의 신뢰성과 수용도에 부정적인 영향을 미친다. 이에 따라 본 연구는 도메인 지식을 설명 생성 알고리즘에 통합하여 현실적으로 타당한 설명을 사용자에게 제공하고자 한다. 본 연구에서는 머신러닝 기반의 부도예측 모형에 설명력을 더하는 방법으로 반사실적 예시(counterfactual example) 기반의 로컬영역에서의 설명을 제공하는 모델을 제안한다. 제안 모델은 모형에 이용된 재무변수의 특성을 설명력 생성 알고리즘에 통합하여 설명의 현실적 가능성을 확보하고 이를 통해 사용자의 이해와 수용을 도모하고자 한다. 또한 본 연구에서는 반사실적 예시기반 설명을 위해 유전알고리즘(GA)를 이용하며 다목적함수를 목적함수로 설정하여 반사실적 예시의 주요 기준이 되는 항목을 반영하고 있다. 본 연구는 대표적인 머신러닝 기법인 인공신경망을 이용해 부도예측모형을 학습시킨 뒤, 사후적 방법(post-hoc)으로 설명을 위한 알고리즘을 도입하여 기존의 모형 설명 알고리즘인 LIME과 현실적 가능성이 결여된 반사실적 예시 기반 알고리즘과 비교하였다. 더 나아가 제안방법의 금융/회계 분야의 종사자를 대상으로 서베이를 진행하여 제안 방법의 설명의 질을 정성적으로 평가하였다.

• 한국콘텐츠학회논문지
• /
• 제21권12호
• /
• pp.896-905
• /
• 2021

인공지능 기반 보안관제 시스템은 운영환경에서 발생할 수 있는 학습 데이터 오류, 신규 공격 이벤트 발생으로 인한 오탐 증가 등 문제를 해결하기 위해 피드백 기능이 연구되고 있다. 그러나 한정된 관제 인력의 피드백 수행 방식은 모델 개선에 오랜 시간이 걸리고 숙련되지 않은 관제 인력의 피드백은 오히려 모델 성능 저하의 원인이 될 수 있다. 본 논문에서는 관제 인력 한계 극복, 신규 오탐 개선, 빠른 모델 성능 향상을 위한 능동형 보안관제 모델 개선 프로세스를 제안하였다. 운영 중 예측된 유사 이벤트를 군집화 하고, 피드백이 우선적으로 필요한 군집을 계산하여 운영자에게 대표 이벤트 설명이 가능한 인공지능(eXplainable AI) 기반 시각화도 함께 제시하였다. 수신된 대표 피드백은 동일 군집과 다른 데이터를 계산하여 제외하고 피드백 전파 학습 데이터를 생성한다. 준비된 학습 데이터는 초기 모델과 함께 점진적 학습을 통해 모델을 생성함으로써 성능을 향상시키는 프로세스이다. 제안 프로세스의 실효성 검증을 위해 웹 어플리케이션 방화벽 데이터셋 PKDD2007과 CSIC2012를 선택하여 3개의 시나리오를 통해 실험을 진행하였다. 실험 결과 제안된 프로세스는 피드백을 주지 않았거나 소수 운영자 피드백을 적용한 모델 성능에 비해 모든 지표에서 약 30% 이상의 성능 향상을 확인하였다.

• 정보보호학회논문지
• /
• 제32권5호
• /
• pp.1019-1034
• /
• 2022

4차 산업혁명의 초연결사회에서 악성코드 공격은 더욱 기승을 부리고 있다. 이러한 악성코드 대응을 위해 인공지능기술을 이용한 악성코드 탐지 자동화는 새로운 대안으로 주목받고 있다. 그러나, 인공지능의 신뢰성에 대한 담보없이 인공지능을 활용하는 것은 더 큰 위험과 부작용을 초래한다. EU와 미국 등은 인공지능의 신뢰성 확보방안을 강구하고 있으며, 2021년 정부에서는 신뢰할 수 있는 인공지능 실현 전략을 발표했다. 정부의 인공지능 신뢰성에는 안전과 설명가능, 투명, 견고, 공정의 5가지 속성이 있다. 우리는 악성코드 탐지 모델에 견고를 제외한 안전과, 설명가능, 투명, 공정의 4가지 요소를 구현하였다. 특히 외부 기관의 검증을 통해 모델 정확도인 일반화 성능의 안정성을 입증하였고 투명을 포함한 설명가능에 중점을 두어 개발하였다. 변화무쌍한 데이터에 의해 학습이 결정되는 인공지능 모델은 생명주기 관리가 필요하다. 이에 인공지능 모델을 구성하는 데이터와 개발, 서비스 운영을 통합하는 MLOps 프레임워크에 대한 수요가 늘고 있다. EXE 실행형 악성코드와 문서형 악성코드 대응 서비스는 서비스 운영과 동시에 데이터 수집원이 되고, 외부 API를 통해 라벨링과 정제를 위한 정보를 가져오는 데이터 파이프라인과 연계하도록 구성하였다. 클라우드 SaaS 방식과 표준 API를 사용하여 다른 보안 서비스 연계나 인프라 확장을 용이하게 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권3호
• /
• pp.85-92
• /
• 2023

최근 ChatGPT나 자율주행 자동차 등의 인공지능 분야의 급속한 발전으로 인해 인공지능에 대한 관심이 높아졌다. 그러나 아직 인공지능은 학습 과정에서 알 수 없는 요소가 많이 존재하여 모델을 개선하거나 최적화하기 위해서 필요 이상의 시간과 노력을 들여야 하는 경우가 많다. 따라서, 인공지능 모델의 학습 과정에서 가중치 변화를 명확하게 이해하고 해당 변화를 효과적으로 분석할 수 있는 도구 또는 방법론이 절실하게 요구되고 있다. 본 연구에서는 이러한 점을 해결하기 위해 누적 가중치 변화량을 시각화해주는 시스템을 제안한다. 시스템은 학습의 일정한 기간마다 가중치를 구하고 가중치의 변화를 누적시켜서 누적 가중치로 저장하여 3차원 공간상에 나타내게 된다. 이로 인해 보는 이로 하여금 한눈에 레이어의 구조와 현재의 가중치 변화량이 이해되기 쉽게 구성하였다. 이러한 연구를 통해 인공지능 모델의 학습 과정이 어떻게 진행되는지에 대한 이해와 모델의 성능 향상에 도움이 되는 방향으로 하이퍼 파라미터를 변경할 수 있는 지표를 얻게 되는 등 인공지능 학습 과정의 다양한 측면을 탐구할 수 있을 것이다. 이러한 시도를 통해 아직 미지의 영역으로 여겨지는 인공지능 학습 과정의 일부를 보다 효과적으로 탐색하고 인공지능 모델의 발전과 적용에 기여할 수 있을 것으로 기대된다.