• Title/Summary/Keyword: AI 데이터셋

Search Result 224, Processing Time 0.028 seconds

Pre-trained Language Model for Table Question and Answering (표 질의응답을 위한 언어 모델 학습 및 데이터 구축)

  • Sim, Myoseop;Jun, Changwook;Choi, Jooyoung;Kim, Hyun;Jang, Hansol;Min, Kyungkoo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.335-339
    • /
    • 2021
  • 기계독해(MRC)는 인공지능 알고리즘이 문서를 이해하고 질문에 대한 정답을 찾는 기술이다. MRC는 사전 학습 모델을 사용하여 높은 성능을 내고 있고, 일반 텍스트문서 뿐만 아니라 문서 내의 테이블(표)에서도 정답을 찾고자 하는 연구에 활발히 적용되고 있다. 본 연구에서는 기존의 사전학습 모델을 테이블 데이터에 활용하여 질의응답을 할 수 있는 방법을 제안한다. 더불어 테이블 데이터를 효율적으로 학습하기 위한 데이터 구성 방법을 소개한다. 사전학습 모델은 BERT[1]를 사용하여 테이블 정보를 인코딩하고 Masked Entity Recovery(MER) 방식을 사용한다. 테이블 질의응답 모델 학습을 위해 한국어 위키 문서에서 표와 연관 텍스트를 추출하여 사전학습을 진행하였고, 미세 조정은 샘플링한 테이블에 대한 질문-답변 데이터 약 7만건을 구성하여 진행하였다. 결과로 KorQuAD2.0 데이터셋의 테이블 관련 질문 데이터에서 EM 69.07, F1 78.34로 기존 연구보다 우수한 성능을 보였다.

  • PDF

DCGAN-based Emoji Generation exploiting Adjustment of Latent vector Representation (Latent vector 분포 조정을 활용한 DCGAN 기반 이모지 생성 기법)

  • Yun-Gyeong Song;Yu-Jin Ha;A-Yeong Seong;Gun-Woo Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.603-605
    • /
    • 2023
  • 최근 SNS 의 발달로 인해 자신의 감정을 빠르고 효과적으로 전달할 수 있는 이모지의 중요성이 커지고 있다. 하지만 이모지를 수동으로 생성하기 위해서 시간과 비용이 많이 들고 자신의 감정에 맞는 이모지를 찾아야 하며 해당 이모지가 없을 수 있다. 기존 DCGAN 을 활용한 이모지 자동 생성연구에서는 부족한 데이터셋으로 인해 G(Generator)와 D(Discriminator)가 동등하게 학습하지 못해서 두 모델 간 성능 차이가 발생한다. D 가 G 보다 최적해에 빠르게 수렴하여 G 가 학습이 되지 않아 낮은 품질의 이모지를 생성하는 불안정 문제가 발생한다. 이 문제를 해결하기 위해 본 논문에서는 Latent vector 분포를 데이터셋에 맞게 조정하여 적은 데이터로 G 에서 안정적으로 학습할 수 있게 하는 G 구조와 다양한 이모지 생성을 위한 Latent vector 평균 조정 기법을 제안한다. 비교 실험 결과 불안정 문제를 개선하였고 FID 와 IS 수치를 통해 성능 개선 효과를 검증했다.

Recommendations for the Construction of a Quslity-Controlled Stress Measurement Dataset (품질이 관리된 스트레스 측정용 테이터셋 구축을 위한 제언)

  • Tai Hoon KIM;In Seop NA
    • Smart Media Journal
    • /
    • v.13 no.2
    • /
    • pp.44-51
    • /
    • 2024
  • The construction of a stress measurement detaset plays a curcial role in various modern applications. In particular, for the efficient training of artificial intelligence models for stress measurement, it is essential to compare various biases and construct a quality-controlled dataset. In this paper, we propose the construction of a stress measurement dataset with quality management through the comparison of various biases. To achieve this, we introduce strss definitions and measurement tools, the process of building an artificial intelligence stress dataset, strategies to overcome biases for quality improvement, and considerations for stress data collection. Specifically, to manage dataset quality, we discuss various biases such as selection bias, measurement bias, causal bias, confirmation bias, and artificial intelligence bias that may arise during stress data collection. Through this paper, we aim to systematically understand considerations for stress data collection and various biases that may occur during the construction of a stress dataset, contributing to the construction of a dataset with guaranteed quality by overcoming these biases.

A Study on the Performance Improvement of Machine Translation Using Public Korean-English Parallel Corpus (공공 한영 병렬 말뭉치를 이용한 기계번역 성능 향상 연구)

  • Park, Chanjun;Lim, Heuiseok
    • Journal of Digital Convergence
    • /
    • v.18 no.6
    • /
    • pp.271-277
    • /
    • 2020
  • Machine translation refers to software that translates a source language into a target language, and has been actively researching Neural Machine Translation through rule-based and statistical-based machine translation. One of the important factors in the Neural Machine Translation is to extract high quality parallel corpus, which has not been easy to find high quality parallel corpus of Korean language pairs. Recently, the AI HUB of the National Information Society Agency(NIA) unveiled a high-quality 1.6 million sentences Korean-English parallel corpus. This paper attempts to verify the quality of each data through performance comparison with the data published by AI Hub and OpenSubtitles, the most popular Korean-English parallel corpus. As test data, objectivity was secured by using test set published by IWSLT, official test set for Korean-English machine translation. Experimental results show better performance than the existing papers tested with the same test set, and this shows the importance of high quality data.

A study on data preprocessing method for conversational query-based fashion recommendation system (대화질의 기반 패션 추천시스템을 위한 데이터 전처리 방법에 관한 연구)

  • Choi, Chul-woong;Yeom, Sung-woong;Kim, Kyung-baek
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.815-818
    • /
    • 2021
  • 현재 대부분의 패션 추천시스템은 프로필 또는 설문조사를 통해 수집 된 사용자의 정적 정보를 활용하고 있다. 사용자의 정적 정보는 매우 한정적이며 이를 활용하여 다양한 환경에 적합한 패션 코디셋을 추천하기란 매우 어렵다. AI코디네이터와 사용자간의 지속적인 대화가 담긴 대화질의 데이터셋을 사용하면 사용자의 상황과 환경을 고려하여 개인에게 최적화 된 패션 코디셋을 추천할 수 있다. 본 논문에서는 한국전자통신연구원(ETRI)에서 제공하는 AI 패션 코디네이터와 사용자의 대화 정보가 담긴 FASCODE 데이터셋을 사용하여 사용자의 발화에 따라 의상을 추천하는 인공지능 모델을 위한 대화질의 데이터 전처리 방법을 제안한다.

AI를 이용한 차량용 침입 탐지 시스템에 대한 평가 프레임워크

  • Kim, Hyunghoon;Jeong, Yeonseon;Choi, Wonsuk;jo, Hyo Jin
    • Review of KIISC
    • /
    • v.32 no.4
    • /
    • pp.7-17
    • /
    • 2022
  • 운전자 보조 시스템을 통한 차량의 전자적인 제어를 위하여, 최근 차량에 탑재된 전자 제어 장치 (ECU; Electronic Control Unit)의 개수가 급증하고 있다. ECU는 효율적인 통신을 위해서 차량용 내부 네트워크인 CAN(Controller Area Network)을 이용한다. 하지만 CAN은 기밀성, 무결성, 접근 제어, 인증과 같은 보안 메커니즘이 고려되지 않은 상태로 설계되었기 때문에, 공격자가 네트워크에 쉽게 접근하여 메시지를 도청하거나 주입할 수 있다. 악의적인 메시지 주입은 차량 운전자 및 동승자의 안전에 심각한 피해를 안길 수 있기에, 최근에는 주입된 메시지를 식별하기 위한 침입 탐지 시스템(IDS; Intrusion Detection System)에 대한 연구가 발전해왔다. 특히 최근에는 AI(Artificial Intelligence) 기술을 이용한 IDS가 다수 제안되었다. 그러나 제안되는 기법들은 특정 공격 데이터셋에 한하여 평가되며, 각 기법에 대한 탐지 성능이 공정하게 평가되었는지를 확인하기 위한 평가 프레임워크가 부족한 상황이다. 따라서 본 논문에서는 machine learning/deep learning에 기반하여 제안된 차랑용 IDS 5가지를 선정하고, 기존에 공개된 데이터셋을 이용하여 제안된 기법들에 대한 비교 및 평가를 진행한다. 공격 데이터셋에는 CAN의 대표적인 4가지 공격 유형이 포함되어 있으며, 추가적으로 본 논문에서는 메시지 주기 유형을 활용한 공격 유형을 제안하고 해당 공격에 대한 탐지 성능을 평가한다.

Model Training and Data Augmentation Schemes For the High-level Machine Reading Comprehension (고차원 기계 독해를 위한 모델 훈련 및 데이터 증강 방안)

  • Lee, Jeongwoo;Moon, Hyeonseok;Park, Chanjun;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.47-52
    • /
    • 2021
  • 최근 지문을 바탕으로 답을 추론하는 연구들이 많이 이루어지고 있으며, 대표적으로 기계 독해 연구가 존재하고 관련 데이터 셋 또한 여러 가지가 공개되어 있다. 그러나 한국의 대학수학능력시험 국어 영역과 같은 복잡한 구조의 문제에 대한 고차원적인 문제 해결 능력을 요구하는 데이터 셋은 거의 존재하지 않는다. 이로 인해 고차원적인 독해 문제를 해결하기 위한 연구가 활발히 이루어지고 있지 않으며, 인공지능 모델의 독해 능력에 대한 성능 향상이 제한적이다. 기존의 입력 구조가 단조로운 독해 문제에 대한 모델로는 복잡한 구조의 독해 문제에 적용하기가 쉽지 않으며, 이를 해결하기 위해서는 새로운 모델 훈련 방법이 필요하다. 이에 복잡한 구조의 고차원적인 독해 문제에도 대응이 가능하도록 하는 모델 훈련 방법을 제안하고자 한다. 더불어 3가지의 데이터 증강 기법을 제안함으로써 고차원 독해 문제 데이터 셋의 부족 문제 또한 해소하고자 한다.

  • PDF

KommonGen: A Dataset for Korean Generative Commonsense Reasoning Evaluation (KommonGen: 한국어 생성 모델의 상식 추론 평가 데이터셋)

  • Seo, Jaehyung;Park, Chanjun;Moon, Hyeonseok;Eo, Sugyeong;Kang, Myunghoon;Lee, Seounghoon;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.55-60
    • /
    • 2021
  • 최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

  • PDF

Semantic Building Segmentation Using the Combination of Improved DeepResUNet and Convolutional Block Attention Module (개선된 DeepResUNet과 컨볼루션 블록 어텐션 모듈의 결합을 이용한 의미론적 건물 분할)

  • Ye, Chul-Soo;Ahn, Young-Man;Baek, Tae-Woong;Kim, Kyung-Tae
    • Korean Journal of Remote Sensing
    • /
    • v.38 no.6_1
    • /
    • pp.1091-1100
    • /
    • 2022
  • As deep learning technology advances and various high-resolution remote sensing images are available, interest in using deep learning technology and remote sensing big data to detect buildings and change in urban areas is increasing significantly. In this paper, for semantic building segmentation of high-resolution remote sensing images, we propose a new building segmentation model, Convolutional Block Attention Module (CBAM)-DRUNet that uses the DeepResUNet model, which has excellent performance in building segmentation, as the basic structure, improves the residual learning unit and combines a CBAM with the basic structure. In the performance evaluation using WHU dataset and INRIA dataset, the proposed building segmentation model showed excellent performance in terms of F1 score, accuracy and recall compared to ResUNet and DeepResUNet including UNet.

A Study on Designing Metadata Standard for Building AI Training Dataset of Landmark Images (랜드마크 이미지 AI 학습용 데이터 구축을 위한 메타데이터 표준 설계 방안 연구)

  • Kim, Jinmook
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.54 no.2
    • /
    • pp.419-434
    • /
    • 2020
  • The purpose of the study is to design and propose metadata standard for building AI training dataset of landmark images. In order to achieve the purpose, we first examined and analyzed the state of art of the types of image retrieval systems and their indexing methods, comprehensively. We then investigated open training dataset and machine learning tools for image object recognition. Sequentially, we selected metadata elements optimized for the AI training dataset of landmark images and defined the input data for each element. We then concluded the study with implications and suggestions for the development of application services using the results of the study.