• Title/Summary/Keyword: 텍스트 데이터

Search Result 1,789, Processing Time 0.028 seconds

A Synthetic Dataset for Korean Knowledge Graph-to-Text Generation (한국어 지식 그래프-투-텍스트 생성을 위한 데이터셋 자동 구축)

  • Dahyun Jung;Seungyoon Lee;SeungJun Lee;Jaehyung Seo;Sugyeong Eo;Chanjun Park;Yuna Hur;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.219-224
    • /
    • 2022
  • 최근 딥러닝이 상식 정보를 추론하지 못하거나, 해석 불가능하다는 한계점을 보완하기 위해 지식 그래프를 기반으로 자연어 텍스트를 생성하는 연구가 중요하게 수행되고 있다. 그러나 이를 위해서 대량의 지식 그래프와 이에 대응되는 문장쌍이 요구되는데, 이를 구축하는 데는 시간과 비용이 많이 소요되는 한계점이 존재한다. 또한 하나의 그래프에 다수의 문장을 생성할 수 있기에 구축자 별로 품질 차이가 발생하게 되고, 데이터 균등성에 문제가 발생하게 된다. 이에 본 논문은 공개된 지식 그래프인 디비피디아를 활용하여 전문가의 도움 없이 자동으로 데이터를 쉽고 빠르게 구축하는 방법론을 제안한다. 이를 기반으로 KoBART와 mBART, mT5와 같은 한국어를 포함한 대용량 언어모델을 활용하여 문장 생성 실험을 진행하였다. 실험 결과 mBART를 활용하여 미세 조정 학습을 진행한 모델이 좋은 성능을 보였고, 자연스러운 문장을 생성하는데 효과적임을 확인하였다.

  • PDF

Deep Learning Model for Metaverse Environment to Detect Metaphor (메타버스 환경에서 음성 혐오 발언 탐지를 위한 딥러닝 모델 설계)

  • Song, Jin-Su;Karabaeva, Dilnoza;Son, Seung-Woo;Shin, Young-Tea
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.621-623
    • /
    • 2022
  • 최근 코로나19로 인해 비대면으로 소통할 수 있는 플랫폼에 대한 관심이 증가하고 있으며, 가상 세계의 개념을 도입한 메타버스 플랫폼이 MZ세대의 새로운 SNS로 떠오르고 있다. 아바타를 통해 상호 교류가 가능한 메타버스는 텍스트 기반의 소통뿐만 아니라 음성과 동작 시선 등을 활용하여 변화된 의사소통 방식을 사용한다. 음성을 활용한 소통이 증가함에 따라 다른 이용자에게 불쾌감을 주는 혐오 발언에 대한 신고가 증가하고 있다. 그러나 기존 혐오 발언 탐지 시스템은 텍스트를 기반으로 하여 사전에 정의된 혐오 키워드만 특수문자로 대체하는 방식을 사용하기 때문에 음성 혐오 발언에 대해서는 탐지하지 못한다. 이에 본 논문에서는 인공지능을 활용한 음성 혐오 표현 탐지 시스템을 제안한다. 제안하는 시스템은 음성 데이터의 파형을 통해 은유적 혐오 표현과 혐오 발언에 대한 감정적 특징을 추출하고 음성 데이터를 텍스트 데이터로 변환하여 혐오 문장을 탐지한 결과와 결합한다. 향후, 제안하는 시스템의 현실적인 검증을 위해 시스템 구축을 통한 성능평가가 필요하다.

Extracting User-Specific Advertising Keywords Based on Textual Data Mining from KakaoTalk (카카오톡에서의 텍스트 데이터 마이닝 기반의 사용자별 적합 광고 키워드 도출 )

  • Yerim Jeon;Dayeong So;Jimin Lee;Eunjin (Jinny) Jo;Jihoon Moon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.368-369
    • /
    • 2023
  • 대화 데이터 기반 광고 추천은 광고 마케팅에서 고객 맞춤형 광고 제공, 마케팅 효과 극대화 등을 위한 중요한 기술로 주목받고 있다. 본 논문에서는 모바일 인스턴스 메신저인 카카오톡 대화창에서 발생한 텍스트 데이터를 기반으로 대화 내용을 분석하여 대화 주제별 적절한 광고 키워드를 제안한다. 이를 위해 주제별 대화 내용을 미용, 식음료, 상거래로 세분하고 KoNLPy 의 Okt 를 이용하여 텍스트 전처리를 수행하고 키워드별로 빈도수를 뽑아 워드 클라우드를 제시한다. 또한, 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)을 기반으로 대화 주제를 세분화한 뒤 라벨링을 통해 주제별 대화 키워드를 분석한다. 실험 결과, 대화 주제를 온라인 쇼핑, 헤어, 뷰티 관리, 음식으로 나눌 수 있었으며, 토픽별 상위 키워드를 Word2Vec 을 통해 특정 단어와 유사한 키워드를 도출하여 적절한 광고 키워드를 제시할 수 있었다.

Korean Text Image Super-Resolution for Improving Text Recognition Accuracy (텍스트 인식률 개선을 위한 한글 텍스트 이미지 초해상화)

  • Junhyeong Kwon;Nam Ik Cho
    • Journal of Broadcast Engineering
    • /
    • v.28 no.2
    • /
    • pp.178-184
    • /
    • 2023
  • Finding texts in general scene images and recognizing their contents is a very important task that can be used as a basis for robot vision, visual assistance, and so on. However, for the low-resolution text images, the degradations, such as noise or blur included in text images, are more noticeable, which leads to severe performance degradation of text recognition accuracy. In this paper, we propose a new Korean text image super-resolution based on a Transformer-based model, which generally shows higher performance than convolutional neural networks. In the experiments, we show that text recognition accuracy for Korean text images can be improved when our proposed text image super-resolution method is used. We also propose a new Korean text image dataset for training our model, which contains massive HR-LR Korean text image pairs.

A Study on the Enhancing Recommendation Performance Using the Linguistic Factor of Online Review based on Deep Learning Technique (딥러닝 기반 온라인 리뷰의 언어학적 특성을 활용한 추천 시스템 성능 향상에 관한 연구)

  • Dongsoo Jang;Qinglong Li;Jaekyeong Kim
    • Journal of Intelligence and Information Systems
    • /
    • v.29 no.1
    • /
    • pp.41-63
    • /
    • 2023
  • As the online e-commerce market growing, the need for a recommender system that can provide suitable products or services to customer is emerging. Recently, many studies using the sentiment score of online review have been proposed to improve the limitations of study on recommender systems that utilize only quantitative information. However, this methodology has limitation in extracting specific preference information related to customer within online reviews, making it difficult to improve recommendation performance. To address the limitation of previous studies, this study proposes a novel recommendation methodology that applies deep learning technique and uses various linguistic factors within online reviews to elaborately learn customer preferences. First, the interaction was learned nonlinearly using deep learning technique for the purpose to extract complex interactions between customer and product. And to effectively utilize online review, cognitive contents, affective contents, and linguistic style matching that have an important influence on customer's purchasing decisions among linguistic factors were used. To verify the proposed methodology, an experiment was conducted using online review data in Amazon.com, and the experimental results confirmed the superiority of the proposed model. This study contributed to the theoretical and methodological aspects of recommender system study by proposing a methodology that effectively utilizes characteristics of customer's preferences in online reviews.

Study on prediction for a film success using text mining (텍스트 마이닝을 활용한 영화흥행 예측 연구)

  • Lee, Sanghun;Cho, Jangsik;Kang, Changwan;Choi, Seungbae
    • Journal of the Korean Data and Information Science Society
    • /
    • v.26 no.6
    • /
    • pp.1259-1269
    • /
    • 2015
  • Recently, big data is positioning as a keyword in the academic circles. And usefulness of big data is carried into government, a local public body and enterprise as well as academic circles. Also they are endeavoring to obtain useful information in big data. This research mainly deals with analyses of box office success or failure of films using text mining. For data, it used a portal site 'D' and film review data, grade point average and the number of screens gained from the Korean Film Commission. The purpose of this paper is to propose a model to predict whether a film is success or not using these data. As a result of analysis, the correct classification rate by the prediction model method proposed in this paper is obtained 95.74%.

Text Big Data Analysis and Summary for Free Semester Operational Plan Document (자유학기제 운영계획서에 대한 텍스트 빅데이터 분석 및 요약)

  • Lee, Suan;Park, Beomjun;Kim, Minkyu;Shin, Hye Sook;Kim, Jinho
    • The Journal of Korean Association of Computer Education
    • /
    • v.22 no.3
    • /
    • pp.135-146
    • /
    • 2019
  • Big data analysis is actively used for collecting and analyzing direct information on related topics in each field of society. Applying big data analysis technology in education field is increasingly interested in Korea, because applying this technology helps to identify the effectiveness of education methods and policies and applying them for policy formulation. In this paper, we propose our approach of utilizing big data analysis technology in education field. We focus on free semester program, one of the current core education policies, and we analyze the main points of interests and differences in the free semester through analysis and visualization of texts that are written on the operation reports prepared by each school. We compare regional differences in key characteristics and interests based on the free semester operation reports from middle schools particularly at Seoul and Gangwon-do regions. In conclusion, applying and utilizing big data analysis technology according to the needs and requirements of education field is a great significance.

The Design and Implementation of VDL M2 Data Link Software (VDL M2 데이터 링크 소프트웨어 설계 및 구현)

  • Kim, Hyoun-Kyoung;Yang, Kwang-Jik;Kim, Tae-Sik;Bae, Joong-Won
    • Aerospace Engineering and Technology
    • /
    • v.7 no.2
    • /
    • pp.11-20
    • /
    • 2008
  • The current air-to-ground communication between aircraft pilots and ground controllers is done by voice communication and text-based data communication. International Civil Aviation Organization (ICAO) suggested the digital data communication techniques to improve accuracy and effectiveness of the current air-to-ground communication. As one of them, VDL M2, a VHF band digital data communication link, is expected to substitute the voice communication and text-based ACARS data communication. In this paper, the software design and implementation of the VDL M2 system developed by Korea Aerospace Research Institute.

  • PDF

Sentence generation on sequential multi-modal data using random hypergraph model (랜덤 하이퍼그래프 모델을 이용한 순차적 멀티모달 데이터에서의 문장 생성)

  • Yoon, Woong-Chang;Zhang, Byoung-Tak
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.376-379
    • /
    • 2010
  • 인간의 학습과 기억현상에 있어서 멀티모달 데이터를 사용하는 것은 단순 모달리티 데이터를 사용하는 것에 비해서 향상된 효과를 보인다는 여러 연구 결과가 있어왔다. 이 논문에서는 인간의 순차적인 정보처리와 생성현상을 기계에서의 시뮬레이션을 통해서 기계학습에 있어서도 동일한 현상이 나타나는지에 대해서 알아보고자 하였다. 이를 위해서 가중치를 가진 랜덤 하이퍼그래프 모델을 통해서 순차적인 멀티모달 데이터의 상호작용을 하이퍼에지들의 조합으로 나타내는 것을 제안 하였다. 이러한 제안의 타당성을 알아보기 위해서 비디오 데이터를 이용한 문장생성을 시도하여 보았다. 이전 장면의 사진과 문장을 주고 다음 문장의 생성을 시도하였으며, 단순 암기학습이나 주어진 룰을 통하지 않고 의미 있는 실험 결과를 얻을 수 있었다. 단순 텍스트와 텍스트-이미지 쌍의 단서를 통한 실험을 통해서 멀티 모달리티가 단순 모달리티에 비해서 미치는 영향을 보였으며, 한 단계 이전의 멀티모달 단서와 두 단계 및 한 단계 이전의 멀티모달 단서를 통한 실험을 통해서 순차적 데이터의 단계별 단서의 차이에 따른 영향을 알아볼 수 있었다. 이를 통하여 멀티 모달리티가 시공간적으로 미치는 기계학습에 미치는 영향과 순차적 데이터의 시간적 누적에 따른 효과가 어떻게 나타날 수 있는지에 대한 실마리를 제공할 수 있었다고 생각된다.

  • PDF

Strategies on Text Screen Design Of The Electronic Textbook For Focused Attention Using Automatic Text Scroll (자동 스크롤 가능을 이용한 주의력 집중을 위한 웹기반 전자교과서 텍스트 화면 설계전략)

  • Kwon, Hyunggyu
    • The Journal of Korean Association of Computer Education
    • /
    • v.5 no.4
    • /
    • pp.134-145
    • /
    • 2002
  • The purpose of this study is to present the functional and technical solutions for text learning of web-based textbook in which each letter has its own focal point. The solutions help learners not to lose the main focus when eye moves to the next letter or line. The text screen of the electronic textbook automatically scrolls the text to up and down or left and right directions which are preassigned by learner. It doesn't need the operation of mouse or keyboard. And learner can change scroll speed and types anytime during scrolling. Automatic text scroll function is a solution for controlling data and screen to reflect the personal favor and ability. It contains the content structure of the text(characteristics, categorizations etc.), the appearance of the text(density, size, font etc.), scroll options(scroll, speed etc.), program control type(ram resident program etc.), and the application of the screen design principles(legibility etc.). To resolve these functional problems, technical 8 phases are provided, which are environment setting, scroll option setting, copy, data analysis, scroll coding, centered focus coding, left and right focus coding, implementation. The learner can focus on text without dispersion because the text focal points stay in the fixed area of screen. 1bey read the text following their preferences for fonts, sizes, line spacing and so on.

  • PDF