• 제목/요약/키워드: Dataset for AI

검색결과 203건 처리시간 0.028초

유사 아이템 정보를 이용한 콜드 아이템 추천성능 개선 (Addressing the Item Cold-Start in Recommendation Using Similar Warm Items)

  • 한정규;천세진
    • 한국멀티미디어학회논문지
    • /
    • 제24권12호
    • /
    • pp.1673-1681
    • /
    • 2021
  • Item cold start is a well studied problem in the research field of recommender systems. Still, many existing collaborative filters cannot recommend items accurately when only a few user-item interaction data are available for newly introduced items (Cold items). We propose a interaction feature prediction method to mitigate item cold start problem. The proposed method predicts the interaction features that collaborative filters can calculate for the cold items. For prediction, in addition to content features of the cold-items used by state-of-the-art methods, our method exploits the interaction features of k-nearest content neighbors of the cold-items. An attention network is adopted to extract appropriate information from the interaction features of the neighbors by examining the contents feature similarity between the cold-item and its neighbors. Our evaluation on a real dataset CiteULike shows that the proposed method outperforms state-of-the-art methods 0.027 in Recall@20 metric and 0.023 in NDCG@20 metric.

설명가능 AI 기반의 변수선정을 이용한 기업부실예측모형 (Corporate Bankruptcy Prediction Model using Explainable AI-based Feature Selection)

  • 문건두;김경재
    • 지능정보연구
    • /
    • 제29권2호
    • /
    • pp.241-265
    • /
    • 2023
  • 기업의 부실 예측 모델은 기업의 재무 상태를 객관적으로 모니터링하는 데 필수적인 도구 역할을 한다. 적시에 경고하고 대응 조치를 용이하게 하며 파산 위험을 완화하고 성과를 개선하기 위한 효과적인 관리 전략을 수립할 수 있도록 지원한다. 투자자와 금융 기관은 금융 손실을 최소화하기 위해 부실 예측 모델을 이용한다. 기업 부실 예측을 위한 인공지능(AI) 기술 활용에 대한 관심이 높아지면서 이 분야에 대한 광범위한 연구가 진행되고 있다. 해석 가능성과 신뢰성이 강조되며 기업 부실 예측에서 설명 가능한 AI 모델에 대한 수요가 증가하고 있다. 널리 채택된 SHAP(SHapley Additive exPlanations) 기법은 유망한 성능을 보여주었으나 변수 수에 따른 계산 비용, 처리 시간, 확장성 문제 등의 한계가 있다. 이 연구는 전체 데이터 세트를 사용하는 대신 부트스트랩 된 데이터 하위 집합에서 SHAP 값을 평균화하여 변수 수를 줄이는 새로운 변수 선택 접근법을 소개한다. 이 기술은 뛰어난 예측 성능을 유지하면서 계산 효율을 향상시키는 것을 목표로 한다. 해석 가능성이 높은 선택된 변수를 사용하여 랜덤 포레스트, XGBoost 및 C5.0 모델을 훈련하여 분류 결과를 얻고자 한다. 분류 결과는 고성능 모델 설계를 목표로 soft voting을 통해 생성된 앙상블 모델의 분류 정확성과 비교한다. 이 연구는 1,698개 한국 경공업 기업의 데이터를 활용하고 부트스트래핑을 사용하여 고유한 데이터 그룹을 생성한다. 로지스틱 회귀 분석은 각 데이터 그룹의 SHAP 값을 계산하는 데 사용되며, SHAP 값 평균은 최종 SHAP 값을 도출하기 위해 계산된다. 제안된 모델은 해석 가능성을 향상시키고 우수한 예측 성능을 달성하는 것을 목표로 한다.

SSIM 목적 함수와 CycleGAN을 이용한 적외선 이미지 데이터셋 생성 기법 연구 (Synthetic Infra-Red Image Dataset Generation by CycleGAN based on SSIM Loss Function)

  • 이하늘;이현재
    • 한국군사과학기술학회지
    • /
    • 제25권5호
    • /
    • pp.476-486
    • /
    • 2022
  • Synthetic dynamic infrared image generation from the given virtual environment is being the primary goal to simulate the output of the infra-red(IR) camera installed on a vehicle to evaluate the control algorithm for various search & reconnaissance missions. Due to the difficulty to obtain actual IR data in complex environments, Artificial intelligence(AI) has been used recently in the field of image data generation. In this paper, CycleGAN technique is applied to obtain a more realistic synthetic IR image. We added the Structural Similarity Index Measure(SSIM) loss function to the L1 loss function to generate a more realistic synthetic IR image when the CycleGAN image is generated. From the simulation, it is applicable to the guided-missile flight simulation tests by using the synthetic infrared image generated by the proposed technique.

딥인코더-디코더 기반의 인공지능 포토 스토리텔러 (AI photo storyteller based on deep encoder-decoder architecture)

  • 민경복;;이수진;문현준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.931-934
    • /
    • 2019
  • Research using artificial intelligence to generate captions for an image has been studied extensively. However, these systems are unable to create creative stories that include more than one sentence based on image content. A story is a better way that humans use to foster social cooperation and develop social norms. This paper proposes a framework that can generate a relatively short story to describe based on the context of an image. The main contributions of this paper are (1) An unsupervised framework which uses recurrent neural network structure and encoder-decoder model to construct a short story for an image. (2) A huge English novel dataset, including horror and romantic themes that are manually collected and validated. By investigating the short stories, the proposed model proves that it can generate more creative contents compared to existing intelligent systems which can produce only one concise sentence. Therefore, the framework demonstrated in this work will trigger the research of a more robust AI story writer and encourages the application of the proposed model in helping story writer find a new idea.

아리랑 5호 위성 영상에서 수계의 의미론적 분할을 위한 딥러닝 모델의 비교 연구 (Comparative Study of Deep Learning Model for Semantic Segmentation of Water System in SAR Images of KOMPSAT-5)

  • 김민지;김승규;이도훈;감진규
    • 한국멀티미디어학회논문지
    • /
    • 제25권2호
    • /
    • pp.206-214
    • /
    • 2022
  • The way to measure the extent of damage from floods and droughts is to identify changes in the extent of water systems. In order to effectively grasp this at a glance, satellite images are used. KOMPSAT-5 uses Synthetic Aperture Radar (SAR) to capture images regardless of weather conditions such as clouds and rain. In this paper, various deep learning models are applied to perform semantic segmentation of the water system in this SAR image and the performance is compared. The models used are U-net, V-Net, U2-Net, UNet 3+, PSPNet, Deeplab-V3, Deeplab-V3+ and PAN. In addition, performance comparison was performed when the data was augmented by applying elastic deformation to the existing SAR image dataset. As a result, without data augmentation, U-Net was the best with IoU of 97.25% and pixel accuracy of 98.53%. In case of data augmentation, Deeplab-V3 showed IoU of 95.15% and V-Net showed the best pixel accuracy of 96.86%.

한국어 지식 그래프-투-텍스트 생성을 위한 데이터셋 자동 구축 (A Synthetic Dataset for Korean Knowledge Graph-to-Text Generation)

  • 정다현;이승윤;이승준;서재형;어수경;박찬준;허윤아;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.219-224
    • /
    • 2022
  • 최근 딥러닝이 상식 정보를 추론하지 못하거나, 해석 불가능하다는 한계점을 보완하기 위해 지식 그래프를 기반으로 자연어 텍스트를 생성하는 연구가 중요하게 수행되고 있다. 그러나 이를 위해서 대량의 지식 그래프와 이에 대응되는 문장쌍이 요구되는데, 이를 구축하는 데는 시간과 비용이 많이 소요되는 한계점이 존재한다. 또한 하나의 그래프에 다수의 문장을 생성할 수 있기에 구축자 별로 품질 차이가 발생하게 되고, 데이터 균등성에 문제가 발생하게 된다. 이에 본 논문은 공개된 지식 그래프인 디비피디아를 활용하여 전문가의 도움 없이 자동으로 데이터를 쉽고 빠르게 구축하는 방법론을 제안한다. 이를 기반으로 KoBART와 mBART, mT5와 같은 한국어를 포함한 대용량 언어모델을 활용하여 문장 생성 실험을 진행하였다. 실험 결과 mBART를 활용하여 미세 조정 학습을 진행한 모델이 좋은 성능을 보였고, 자연스러운 문장을 생성하는데 효과적임을 확인하였다.

  • PDF

KommonGen: 한국어 생성 모델의 상식 추론 평가 데이터셋 (KommonGen: A Dataset for Korean Generative Commonsense Reasoning Evaluation)

  • 서재형;박찬준;문현석;어수경;강명훈;이승훈;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.55-60
    • /
    • 2021
  • 최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

  • PDF

생성형 거대 언어 모델에서 일관성 확인 및 사실 검증을 활 용한 Hallucination 검출 기법 (Hallucination Detection for Generative Large Language Models Exploiting Consistency and Fact Checking Technique)

  • 진명;김건우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.461-464
    • /
    • 2023
  • 최근 GPT-3 와 LLaMa 같은 생성형 거대 언어모델을 활용한 서비스가 공개되었고, 실제로 많은 사람들이 사용하고 있다. 해당 모델들은 사용자들의 다양한 질문에 대해 유창한 답변을 한다는 이유로 주목받고 있다. 하지만 LLMs 의 답변에는 종종 Inconsistent content 와 non-factual statement 가 존재하며, 이는 사용자들로 하여금 잘못된 정보의 전파 등의 문제를 야기할 수 있다. 이에 논문에서는 동일한 질문에 대한 LLM 의 답변 샘플과 외부 지식을 활용한 Hallucination Detection 방법을 제안한다. 제안한 방법은 동일한 질문에 대한 LLM 의 답변들을 이용해 일관성 점수(Consistency score)를 계산한다. 거기에 외부 지식을 이용한 사실검증을 통해 사실성 점수(Factuality score)를 계산한다. 계산된 일관성 점수와 사실성 점수를 활용하여 문장 수준의 Hallucination Detection 을 가능하게 했다. 실험에는 GPT-3 를 이용하여 WikiBio dataset 에 있는 인물에 대한 passage 를 생성한 데이터셋을 사용하였으며, 우리는 해당 방법을 통해 문장 수준에서의 Hallucination Detection 성능이 baseline 보다 AUC-PR scores 에서 향상됨을 보였다.

다양한 데이터 전처리 기법과 데이터 오버샘플링을 적용한 GRU 모델 기반 이상 탐지 성능 비교 (Comparison of Anomaly Detection Performance Based on GRU Model Applying Various Data Preprocessing Techniques and Data Oversampling)

  • 유승태;김강석
    • 정보보호학회논문지
    • /
    • 제32권2호
    • /
    • pp.201-211
    • /
    • 2022
  • 최근 사이버보안 패러다임의 변화에 따라, 인공지능 구현 기술인 기계학습과 딥러닝 기법을 적용한 이상탐지 방법의 연구가 증가하고 있다. 본 연구에서는 공개 데이터셋인 NGIDS-DS(Next Generation IDS Dataset)를 이용하여 GRU(Gated Recurrent Unit) 신경망 기반 침입 탐지 모델의 이상(anomaly) 탐지 성능을 향상시킬 수 있는 데이터 전처리 기술에 관한 비교 연구를 수행하였다. 또한 정상 데이터와 공격 데이터 비율에 따른 클래스 불균형 문제를 해결하기 위해 DCGAN(Deep Convolutional Generative Adversarial Networks)을 적용한 오버샘플링 기법 등을 사용하여 오버샘플링 비율에 따른 탐지 성능을 비교 및 분석하였다. 실험 결과, 시스템 콜(system call) 특성과 프로세스 실행패스 특성에 Doc2Vec 알고리즘을 사용하여 전처리한 방법이 좋은 성능을 보였고, 오버샘플링별 성능의 경우 DCGAN을 사용하였을 때, 향상된 탐지 성능을 보였다.

CNN-LSTM 딥러닝 기반 캠퍼스 전력 예측 모델 최적화 단계 제시 (Proposal of a Step-by-Step Optimized Campus Power Forecast Model using CNN-LSTM Deep Learning)

  • 김예인;이세은;권용성
    • 한국산학기술학회논문지
    • /
    • 제21권10호
    • /
    • pp.8-15
    • /
    • 2020
  • 딥러닝을 사용한 예측 방법은 동일한 예측 모델과 파라미터를 사용한다 하더라도 데이터셋의 특성에 따라 결과가 일정하지 않다. 예를 들면, 데이터셋 A에 최적화된 예측 모델 X를 다른 특성을 가진 데이터셋 B에 적용하면 데이터셋 A와 같이 좋은 예측 결과를 기대하기 어렵다. 따라서 높은 정확도를 갖는 예측 모델을 구현하기 위해서는 데이터셋의 성격을 고려하여 예측 모델을 최적화하는 것이 필요하다. 본 논문에서는 하루 대학 캠퍼스 전력사용량을 1시간 단위로 예측하기 위해 데이터셋의 특성이 고려된 예측 모델이 도출되는 일련의 방법을 단계적으로 제시한다. 데이터 전처리 과정을 시작으로, 이상치 제거와 데이터셋 분류 과정 그리고 합성곱 신경망과 장기-단기 기억 신경망이 결합된 알고리즘(CNN-LSTM: Convolutional Neural Networks-Long Short-Term Memory Networks) 기반 하이퍼파라미터 튜닝 과정을 소개한다. 본 논문에서 제안하는 예측 모델은, 각 시간별 24개 포인트에서 2%의 평균 절대비율 오차(MAPE: Mean Absolute Percentage Error)를 보인다. 단순히 예측 알고리즘만을 적용한 모델과는 달리, 단계적 방법을 통해 최적화된 예측 모델을 사용하여 단일 전력 입력 변수만을 사용해서 높은 예측 정확도를 도출한다. 이 예측 모델은 모바일 에너지관리시스템(Energy Management System: EMS) 어플리케이션에 적용되어 관리자나 소비자에게 최적의 전력사용 방안을 제시할 수 있으며 전력 사용 효율 개선에 크게 기여할 것으로 기대된다.