• 제목/요약/키워드: Text summarization

검색결과 126건 처리시간 0.023초

악곡구조 분석과 활용 (Music Structure Analysis and Application)

  • 서정범;배재학
    • 정보처리학회논문지B
    • /
    • 제14B권1호
    • /
    • pp.33-42
    • /
    • 2007
  • 본 논문에서는 음악수사법에 기초하여 악곡요약을 구현할 새로운 악곡구조 분석 방법론을 소개한다. 이 방법론에서는 악곡 구성요소 간의 유사도 분석을 통해 악곡의 결합구조를 파악한 뒤, 결합구조에서 해당 곡이 취하고 있는 음악양식을 추정한다. 그 후 악식의 음악적 수사구조가 가지는 전통적인 특징과 표현기법을 근거로 악곡구조 안에서 주요선율을 추출한다. 문서요약의 경우와 같이 주어진 악보에서 추출된 주요선율은 그 곡의 요약이라고 간주할 수 있다. 개발한 악곡구조 분석 방법론은 대중음악 사례를 통하여 그 효용성을 가늠해 보았다.

대용량 오피니언 문서에 대한 특성 기반 요약 기법 (Feature-Based Summarization Method for a Large Opinion Documents Collection)

  • 장재영
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권1호
    • /
    • pp.33-42
    • /
    • 2016
  • 최근 SNS나 포털을 중심으로 다양한 분야 대해 대중들의 의견이 표현될 수 있는 환경이 확대되고 있고, 이로 인해 오피니언 문서들은 빠르게 대량화 되고 있다. 이러한 환경에서 대용량의 오피니언 문서들의 내용을 파악하기 위해서는 자동 요약 기술의 적용이 필수적이다. 하지만 오피니언 문서 내에는 대상 객체가 갖는 특성들과 주관적 표현들이 내재되어 있어 일반적인 요약 기법으로는 효율적인 요약이 불가능하다. 본 논문에서는 대용량의 오피니언 문서를 대상으로 주요 문장들을 추출하여 요약하는 기법을 제안한다. 제안된 기법에서는 사전에 정의된 오피니언 문서의 특성들에 대해서, 특성들에 대한 오피니언이 표현된 대표적인 문장들이 추출되도록 설계되었다. 또한 실험을 통하여 제안된 방법의 유용성을 증명하였다.

Issues and Empirical Results for Improving Text Classification

  • Ko, Young-Joong;Seo, Jung-Yun
    • Journal of Computing Science and Engineering
    • /
    • 제5권2호
    • /
    • pp.150-160
    • /
    • 2011
  • Automatic text classification has a long history and many studies have been conducted in this field. In particular, many machine learning algorithms and information retrieval techniques have been applied to text classification tasks. Even though much technical progress has been made in text classification, there is still room for improvement in text classification. In this paper, we will discuss remaining issues in improving text classification. In this paper, three improvement issues are presented including automatic training data generation, noisy data treatment and term weighting and indexing, and four actual studies and their empirical results for those issues are introduced. First, the semi-supervised learning technique is applied to text classification to efficiently create training data. For effective noisy data treatment, a noisy data reduction method and a robust text classifier from noisy data are developed as a solution. Finally, the term weighting and indexing technique is revised by reflecting the importance of sentences into term weight calculation using summarization techniques.

Table based Matching Algorithm for Soft Categorization of News Articles in Reuter 21578

  • Jo, Tae-Ho
    • 한국멀티미디어학회논문지
    • /
    • 제11권6호
    • /
    • pp.875-882
    • /
    • 2008
  • This research proposes an alternative approach to machine learning based ones for text categorization. For using machine learning based approaches for any task of text mining, documents should be encoded into numerical vectors; it causes two problems: huge dimensionality and sparse distribution. Although there are various tasks of text mining such as text categorization, text clustering, and text summarization, the scope of this research is restricted to text categorization. The idea of this research is to avoid the two problems by encoding a document or documents into a table, instead of numerical vectors. Therefore, the goal of this research is to improve the performance of text categorization by proposing approaches, which are free from the two problems.

  • PDF

설명 가능한 개인화 영화 추천 서비스를 위한 딥러닝 기반 텍스트 요약 모델 (Deep Learning-based Text Summarization Model for Explainable Personalized Movie Recommendation Service)

  • 진요요;강경모;김재경
    • 한국IT서비스학회지
    • /
    • 제21권2호
    • /
    • pp.109-126
    • /
    • 2022
  • The number and variety of products and services offered by companies have increased dramatically, providing customers with more choices to meet their needs. As a solution to this information overload problem, the provision of tailored services to individuals has become increasingly important, and the personalized recommender systems have been widely studied and used in both academia and industry. Existing recommender systems face important problems in practical applications. The most important problem is that it cannot clearly explain why it recommends these products. In recent years, some researchers have found that the explanation of recommender systems may be very useful. As a result, users are generally increasing conversion rates, satisfaction, and trust in the recommender system if it is explained why those particular items are recommended. Therefore, this study presents a methodology of providing an explanatory function of a recommender system using a review text left by a user. The basic idea is not to use all of the user's reviews, but to provide them in a summarized form using only reviews left by similar users or neighbors involved in recommending the item as an explanation when providing the recommended item to the user. To achieve this research goal, this study aims to provide a product recommendation list using user-based collaborative filtering techniques, combine reviews left by neighboring users with each product to build a model that combines text summary methods among deep learning-based natural language processing methods. Using the IMDb movie database, text reviews of all target user neighbors' movies are collected and summarized to present descriptions of recommended movies. There are several text summary methods, but this study aims to evaluate whether the review summary is well performed by training the Sequence-to-sequence+attention model, which is a representative generation summary method, and the BertSum model, which is an extraction summary model.

Building a text collection for Urdu information retrieval

  • Rasheed, Imran;Banka, Haider;Khan, Hamaid M.
    • ETRI Journal
    • /
    • 제43권5호
    • /
    • pp.856-868
    • /
    • 2021
  • Urdu is a widely spoken language in the Indian subcontinent with over 300 million speakers worldwide. However, linguistic advancements in Urdu are rare compared to those in other European and Asian languages. Therefore, by following Text Retrieval Conference standards, we attempted to construct an extensive text collection of 85 304 documents from diverse categories covering over 52 topics with relevance judgment sets at 100 pool depth. We also present several applications to demonstrate the effectiveness of our collection. Although this collection is primarily intended for text retrieval, it can also be used for named entity recognition, text summarization, and other linguistic applications with suitable modifications. Ours is the most extensive existing collection for the Urdu language, and it will be freely available for future research and academic education.

술어기반 문형정보를 이용한 자동요약시스템에 관한 연구 (A Study on an Automatic Summarization System Using Verb-Based Sentence Patterns)

  • 최인숙;정영미
    • 정보관리학회지
    • /
    • 제18권4호
    • /
    • pp.37-55
    • /
    • 2001
  • 본 연구에서는 특정 주제분야의 텍스트를 대표할 수 있는 단어술어를 추출하고 기본문형을 형성 한 후 각 단서술어의 기본문형을 실례화하여 연결함으로써 요약문을 작성하는 자동요약시스템의 모형을 설계하고 구현하였다. 시스템은 학습과정과 요약과정을 구분되며, 학습과정에서는 술어와 격조사를 출현빈도를 이용하여 주제분야 텍스트집단을 대표하는 단어술어와 필수격 조사를 추출한 뒤 단어술어가 이루는 문장의 기본문형을 형성한다. 요약과정에서 실례화 규직을 요약 대상 문장의 구문 분석 결과에 적용하여 기본문형의 격조사와 결합될 논항을 찾아 단문을 생성하고 연결하여 요약문을 완성한다. ‘화재’및‘강도’와 관련된 신문기사를 대상으로 실험을 수행하였으며, 작성된 요약문은 단어술어가 포함된 주요 문장에서 추출한 필수 정보항목과 술어를 중심으로 생성된 문장들로서 문장간의 연결이 자연스러울 뿐 아니라 텍스트의 전체적인 의미를 표현할 수 있었다. 또한, 통계적 기법을 이용한 학습을 통해 주제영역의 확장이 가능하였다.

  • PDF

2단계 문장 추출 방법을 이용한 회의록 요약 (Meeting Minutes Summarization using Two-step Sentence Extraction)

  • 이재걸;박성배;이상조
    • 한국지능시스템학회논문지
    • /
    • 제20권6호
    • /
    • pp.741-747
    • /
    • 2010
  • 본 논문은 회의록의 특징을 반영한 회의록을 요약 방법을 제안한다. 회의록은 일반 문서와 달리 회의의 진행자가 전체 흐름을 주도하고, 회의 진행에 사용하는 단어들이 존재하며, 발언자들 간의 대화에 종속관계가 있다는 특징이 있다. 제안한 방법은 먼저 회의의 흐름을 찾기 위해 사전에 구축된 회의 진행에 특화된 단어사전과 TextRank 알고리즘을 사용하여 진행자의 주제 문장들을 추출한다. 다음으로 추출된 문장들을 회의록에 있는 참석자들의 문장과 유사도를 계산하여 회의의 주제 문장과 관련있는 중요 문장을 추출한다. 마지막으로 사용자가 흐름을 편히 알 수 있도록 추출된 문장들 사이에 종속 관계를 분석하여 최종적으로 회의록을 요약한다. 국회 전자회의록을 대상으로 실험한 결과, 제안한 방법이 회의록을 요약하는 비율 전 구간에서 기존의 요약 방법들보다 더 나은 성능을 보인다.

MPEG-7을 기반으로 한 뉴스 동영상 스키마 및 샷 종류별 키프레임을 이용한 요약 생성 방법 (A Scheme for News Videos based on MPEG-7 and Its Summarization Mechanism by using the Key-Frames of Selected Shot Types)

  • 정진국;심진선;낭종호;김경수;하명환;정병희
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권5호
    • /
    • pp.530-539
    • /
    • 2002
  • 최근 정형화된 구조를 갖는 뉴스 동영상 비디오에 대한 아카이브 시스템을 구축하기 위한 많은 연구가 진행되어 왔다. 그러나 기존의 시스템에서는 기사에 대한 메타 데이타를 저장하는 방법이 서로 다르기 때문에 이런 데이타 사이의 호환성이 없다는 문제점을 가지고 있다. 본 논문에서는 이런 문제점을 해결하기 위하여 멀티미디어 내용 정보를 표현하기 위한 표준인 MPEC-7 MDS에 바탕을 둔 뉴스 동영상 스키마를 제안하였으며, 또한 기사를 이루는 각 샷들의 특징을 반영한 기사 요약 방법을 설계하고 구현하였다. 본 논문에서 제안한 뉴스 동영상을 위한 스키마는 뉴스 구조의 특성을 반영하여 MPEG-7 MDS의 VideoSegment, TextAnnotation 등과 같은 스키마를 이용하여 설계하였고, 요약 방법에서는 요약 비디오 데이타의 크기를 줄이기 위하여 샷들의 키프레임들만을 해당 오디오와 함께 상영하는 슬라이스 쇼 방법을 사용하였다.

Q&A 문서의 검색 결과 요약을 활용한 질의응답 시스템 (Question and Answering System through Search Result Summarization of Q&A Documents)

  • 유동현;이현아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권4호
    • /
    • pp.149-154
    • /
    • 2014
  • 지식iN과 같은 사용자 참여 질의응답 커뮤니티에서 원하는 질문에 대한 답을 찾기 위해서는 검색 결과로 제공되는 다양한 문서를 일일이 확인하여 판단하는 과정이 필요하다. 만일 사용자가 원하는 답변을 자동으로 정제하여 제시할 수 있다면, 질의응답의 사용성이 크게 향상될 수 있다. 본 논문에서는 질의응답 데이터 분석을 통해 사용자의 질문의 유형을 단어, 목록, 도표, 글의 4가지 유형으로 분류하고, 문서 내 통계적 특성을 활용하여 각 분류별 답변을 자동으로 제시하기 위한 방식을 제안한다. 단어, 목록, 글 유형은 질의어에 대해 검색된 질문을 군집화하고, 군집 내 빈도와 질의어에 대한 근접도, 답변 신뢰도 등으로 계산된 답변 내 어휘의 적합도를 활용하여 요약한 답변을 사용자에게 제시한다. 도표형은 답변들에서 사용자의 의견 정보를 추출하여 의견 통계를 도표로 제시한다.