• 제목/요약/키워드: Sparsity

검색결과 333건 처리시간 0.029초

악성코드 분석에서의 AI 결과해석에 대한 평가방안 연구 (A Study on Evaluation Methods for Interpreting AI Results in Malware Analysis)

  • 김진강;황찬웅;이태진
    • 정보보호학회논문지
    • /
    • 제31권6호
    • /
    • pp.1193-1204
    • /
    • 2021
  • 정보보안에서 AI 기술은 알려지지 않은 악성코드를 탐지하기 위해 사용한다. AI 기술은 높은 정확도를 보장하지만, 오탐을 필연적으로 수반하므로 AI가 예측한 결과를 해석하기 위해 XAI 도입을 고려하고 있다. 그러나, XAI는 단순한 해석결과만 제공할 뿐 그 해석을 평가하거나 검증하는 XAI 평가 연구는 부족하다. XAI 평가는 어떤 기술이 더 정확한지 안전성 확보를 위해 필수적이다. 본 논문에서는 악성코드 분야에서 AI 예측에 크게 기여한 feature로 AI 결과를 해석하고, 이러한 AI 결과해석에 대한 평가방안을 제시한다. 약 94%의 정확도를 보이는 tree 기반의 AI 모델에 두 가지 XAI 기술을 사용하여 결과해석을 진행하고, 기술 정확도 및 희소성을 분석하여 AI 결과해석을 평가한다. 실험 결과 AI 결과해석이 적절하게 산출되었음을 확인하였다. 향후, XAI 평가로 인해 XAI 도입 및 활용은 점차 증가하고, AI 신뢰성 및 투명성이 크게 향상될 것으로 예상한다.

User Bias Drift Social Recommendation Algorithm based on Metric Learning

  • Zhao, Jianli;Li, Tingting;Yang, Shangcheng;Li, Hao;Chai, Baobao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3798-3814
    • /
    • 2022
  • Social recommendation algorithm can alleviate data sparsity and cold start problems in recommendation system by integrated social information. Among them, matrix-based decomposition algorithms are the most widely used and studied. Such algorithms use dot product operations to calculate the similarity between users and items, which ignores user's potential preferences, reduces algorithms' recommendation accuracy. This deficiency can be avoided by a metric learning-based social recommendation algorithm, which learns the distance between user embedding vectors and item embedding vectors instead of vector dot-product operations. However, previous works provide no theoretical explanation for its plausibility. Moreover, most works focus on the indirect impact of social friends on user's preferences, ignoring the direct impact on user's rating preferences, which is the influence of user rating preferences. To solve these problems, this study proposes a user bias drift social recommendation algorithm based on metric learning (BDML). The main work of this paper is as follows: (1) the process of introducing metric learning in the social recommendation scenario is introduced in the form of equations, and explained the reason why metric learning can replace the click operation; (2) a new user bias is constructed to simultaneously model the impact of social relationships on user's ratings preferences and user's preferences; Experimental results on two datasets show that the BDML algorithm proposed in this study has better recommendation accuracy compared with other comparison algorithms, and will be able to guarantee the recommendation effect in a more sparse dataset.

개체군 희소성 인덱스에 의한 컨벌루션 신경망 모델의 적대적 예제에 대한 뉴런 활동에 관한 연구 (Study on Neuron Activities for Adversarial Examples in Convolutional Neural Network Model by Population Sparseness Index)

  • 이영석
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권1호
    • /
    • pp.1-7
    • /
    • 2023
  • 시각 피질로부터 영감을 심층 신경망의 일종인 컨벌루션 신경망은 영상 관련 분야에서 이미 인간의 시각처리 능력을 넘어서 다양한 분야에 응용되고 있지만 적대적 공격의 출현으로 모델의 성능이 저하되는 심각한 위험에 노출되어 있다. 또한 적대적 공격에 대응하기 위한 방어 기술은 해당 공격에 효과를 보이지만 다른 종류의 공격에는 취약하다. 적대적 공격에 대응하기 위해서는 적대적 공격이 컨벌루션 신경망 내부에서 어떤 과정을 통하여 성능이 저하되는 지에 대한 분석이 필요하다. 본 연구에서는 신경생리학 분야에서 뉴런의 활동을 측정하기 위한 척도인 개체군 희소성 인덱스를 이용하여 AlexNet과 VGG11 모델의 적대적 공격에 대한 분석을 수행하였다. 수행된 연구를 통하여 적대적 예제에 대한 개체군 희소성 인덱스가 AlexNet에서는 전 연결 층에서 개체군 희소성이 증가하는 현상을 발견할 수 있었으며 이와 같은 동작은 일반적인 신경망의 동작에 반하는 결과로서 적대적 예제가 신경망의 동작에 영향을 미치고 있다는 강력한 증거이며 또한 동일한 실험을 실시한 VGG11에서는 전체 레이어에서 개체군 희소성 인덱스가 전반적으로 감소하여 개체 인식의 성능이 감소되는 활동을 관찰 할 수 있었다. 이와 같은 결과는 신경생리학적 관점에서 뉴런의 활동을 관찰하는 방식을 인공지능 분야에서도 활용하고 분석할 수 있는 방법을 제시하였다.

이종 데이터 간 관계 모델링을 통한 개인화 추천 시스템의 지식 그래프 확장 기법 (Extended Knowledge Graph using Relation Modeling between Heterogeneous Data for Personalized Recommender Systems)

  • 이승주;안석호;이의종;서영덕
    • 스마트미디어저널
    • /
    • 제12권4호
    • /
    • pp.27-40
    • /
    • 2023
  • 많은 추천 시스템 연구에서는 다양한 이종 데이터를 상호 호환적으로 통합하여 추천 시스템의 고질적인 데이터 부족 문제를 해결하고자 한다. 하지만, 지식 그래프를 활용하여 이종 데이터의 통합을 달성한 추천 시스템 연구는 거의 없으며, 대부분 연구에서는 기구축된 지식 그래프 상의 개체 간 연결이 명시적 관계로만 구성되어있다는 한계가 존재한다. 본 논문에서는 이종 데이터의 통합을 위해 다중 지식 베이스로부터 추출한 데이터 간 관계 모델링을 수행하고, 이를 통해 지식 그래프를 확장하는 방법을 제안한다. 또한, 딥러닝 기반의 잠재적 관계 모델링을 통해 지식 그래프 상 개체 간 관계 정보의 신뢰성을 높이고자 한다. 본 논문에서 제안하는 확장된 지식 그래프를 사용하면 개체의 특성 벡터 품질이 개선되고, 최종적으로 예측된 사용자 선호도의 정확성을 높일 수 있다. 또한, 실험을 통해 확장된 지식 그래프 기반 추천 정확도가 기존 지식 그래프 기반 추천 정확도에 비해 향상되었음을 확인하였다.

이미지 생성 모델을 이용한 패턴 결함 데이터 증강에 대한 연구 (A Study of Pattern Defect Data Augmentation with Image Generation Model)

  • 김병준;서용덕
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제29권3호
    • /
    • pp.79-84
    • /
    • 2023
  • 이미지 생성 모델은 다양한 분야에 적용되어 데이터 부족 문제와 시간 및 비용 문제를 극복하고 있다. 그러나 규칙적 패턴 이미지에서의 이미지 생성과 해당 데이터의 결함 검출에는 한계를 가진다. 본 논문에서는 이미지 생성 모델의 패턴 이미지 생성의 가능성을 확인하고 OLED 패널의 결함 검출을 위한 데이터 증강에 적용하였다. OLED 결함 검출 모델을 학습하기 위해 필요한 데이터는 OLED 패널의 높은 비용 문제로 실제 데이터 세트를 확보하기 어렵다. 그렇기 때문에 해당 데이터 세트를 확보한다 하더라도 여러가지 결함 유형을 정의하고 분류하는 작업이 필요하다. 이를 위한 가상의 기반 데이터 세트를 획득할 OLED 패널 결함 데이터 획득 시스템을 소개하고, 이미지 생성 모델로 해당 데이터를 증강한다. 또, 확산모델에서의 패턴 이미지 생성의 어려움을 확인하여 가능성을 제안하고, 이미지 생성 모델 이용한 데이터 증강 및 결함 검출 데이터 증강의 제한 사항을 개선하였다.

POI 에서 딥러닝을 이용한 개인정보 보호 추천 시스템 (Personal Information Protection Recommendation System using Deep Learning in POI)

  • 펭소니;박두순;김대영;양예선;이혜정;싯소포호트
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.377-379
    • /
    • 2022
  • POI refers to the point of Interest in Location-Based Social Networks (LBSNs). With the rapid development of mobile devices, GPS, and the Web (web2.0 and 3.0), LBSNs have attracted many users to share their information, physical location (real-time location), and interesting places. The tremendous demand of the user in LBSNs leads the recommendation systems (RSs) to become more widespread attention. Recommendation systems assist users in discovering interesting local attractions or facilities and help social network service (SNS) providers based on user locations. Therefore, it plays a vital role in LBSNs, namely POI recommendation system. In the machine learning model, most of the training data are stored in the centralized data storage, so information that belongs to the user will store in the centralized storage, and users may face privacy issues. Moreover, sharing the information may have safety concerns because of uploading or sharing their real-time location with others through social network media. According to the privacy concern issue, the paper proposes a recommendation model to prevent user privacy and eliminate traditional RS problems such as cold-start and data sparsity.

클러스터링 기법을 이용한 하이브리드 영화 추천 시스템 (Hybrid Movie Recommendation System Using Clustering Technique)

  • 싯소포호트;펭소니;양예선;일홈존;김대영;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.357-359
    • /
    • 2023
  • This paper proposes a hybrid recommendation system (RS) model that overcomes the limitations of traditional approaches such as data sparsity, cold start, and scalability by combining collaborative filtering and context-aware techniques. The objective of this model is to enhance the accuracy of recommendations and provide personalized suggestions by leveraging the strengths of collaborative filtering and incorporating user context features to capture their preferences and behavior more effectively. The approach utilizes a novel method that combines contextual attributes with the original user-item rating matrix of CF-based algorithms. Furthermore, we integrate k-mean++ clustering to group users with similar preferences and finally recommend items that have highly rated by other users in the same cluster. The process of partitioning is the use of the rating matrix into clusters based on contextual information offers several advantages. First, it bypasses of the computations over the entire data, reducing runtime and improving scalability. Second, the partitioned clusters hold similar ratings, which can produce greater impacts on each other, leading to more accurate recommendations and providing flexibility in the clustering process. keywords: Context-aware Recommendation, Collaborative Filtering, Kmean++ Clustering.

Jaccard Index Reflecting Time-Context for User-based Collaborative Filtering

  • Soojung Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.163-170
    • /
    • 2023
  • 추천 시스템의 구현 방식들 중 하나인 사용자 기반의 협력 필터링 기법은 유사한 평가 이력을 가진 이웃 사용자들의 산출을 기반으로 하여, 이들의 선호 항목들을 추천한다. 그러나 공통된 평가 이력이 적을 경우에 추천의 질이 현저히 저하되는 데이터 희소성 문제를 근본적으로 갖고 있다. 이러한 문제의 해결을 위하여 많은 기존 연구에서 자카드 계수를 유사도 척도와 접목하는 다양한 방법들을 제안해 왔다. 본 연구에서는 자카드 계수에 시간 인지 개념을 도입하여 공통 항목의 평가 시간에 따라 다른 비중으로 가중합하는 방안을 제시한다. 다양한 성능 척도와 시간 주기를 활용하여 실험을 수행한 결과, 제안 방법이 대부분의 척도에서 원래의 자카드 계수에 비해 가장 우수한 성능을 보였으며, 최적의 시간 주기는 성능 척도의 종류에 따라 다름을 확인하였다.

전자상거래에서 고객 행동 정보와 구매 기록을 활용한 딥러닝 기반 개인화 추천 시스템 (Deep Learning-Based Personalized Recommendation Using Customer Behavior and Purchase History in E-Commerce)

  • 홍다영;김가영;김현희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권6호
    • /
    • pp.237-244
    • /
    • 2022
  • 본 논문은 고객의 온라인 행동 정보와 구매 기록을 활용하여 기존의 추천 시스템이 갖는 데이터 희소성의 문제와 콜드 스타트 문제를 해결하고자 VAE 기반 추천 시스템을 제시하였다. 고객의 구매 기록을 임베딩하고 차원 축소하여 단일 변수로 생성하였으며, 온라인 행동 정보를 활용하여 학습을 통해 고객의 잠재 요인을 추출하는데 Variational Autoencoders를 적용하였다. VAE 기반 추천 시스템은 총 12개의 고객의 특성 변수에 VAE를 적용하여 저차원의 벡터를 생성한 뒤 이를 통해 유사 사용자를 찾은 다음, 유사 사용자들이 구매했던 상품들을 고객에게 추천한다. 이렇게 추천한 상품들의 점수를 매겨 nDCG로 성능을 평가하였다. 실험 결과 구매 기록 변수 그리고 온라인 행동 로그 변수를 활용한 VAE 기반의 추천시스템이 SVD 기반의 추천 시스템보다 성능이 좋다는 것을 알 수 있었다. 따라서 고객의 온라인 행동 로그 및 구매 기록을 사용하여 상품을 추천하면 정보 수집에 발생하는 비용과 시간을 줄일 수 있을 뿐만이 아니라 기존 추천 시스템보다 더욱 효율적으로 상품을 추천할 수 있다는 것을 보여주었다.

사용자 선호도와 군집 알고리즘을 이용한 퍼지-계층적 분석 기법 기반 영화 추천 시스템 (A Movie Recommendation System based on Fuzzy-AHP with User Preference and Partition Algorithm)

  • 오재택;이상용
    • 디지털융복합연구
    • /
    • 제15권11호
    • /
    • pp.425-432
    • /
    • 2017
  • 현재 추천 시스템은 실제 사용자가 선호하는 항목을 추천하는지, 아니면 단순히 관심 정도의 항목을 추천하는지 알 수 없다는 문제와 사용자들이 매우 적어 적합한 항목을 추천할 수 없는 데이터 희소성 문제, 새로운 사용자들이 유입됨에 따라 사용자들이 만족하는 항목을 추천하기 위해 시스템의 성능이 저하되는 Cold-Start 문제 등이 발생한다. 본 연구에서는 이러한 문제점을 해결하기 위해 불확실한 상황이나 문제들을 반영할 수 있는 퍼지-계층적 분석(Fuzzy-Analytic Hierarchy Process)과 주어진 항목들을 비슷한 항목들끼리 모으는 데이터 군집화 알고리즘을 활용하여 사용자들에게 만족할 수 있는 영화를 추천하기 위한 시스템을 구현하였다. 61명을 대상으로 영화 선호도에 대한 설문 조사를 실시한 데이터를 본 시스템에 적용한 결과 Fuzzy-AHP 기법을 통해서 데이터 희소성 문제를 해소할 수 있었으며, 또한 데이터 군집화 알고리즘을 통해 새로운 사용자들이 유입되어도 사용자에게 적합한 항목이 추천되었음을 확인할 수 있었다. 향후 노이즈 데이터나 아웃라이어(Outlier) 데이터를 걸러낼 수 있는 밀도 기반 클러스터링에 대한 연구가 필요할 것으로 생각된다.