• 제목/요약/키워드: Summarization Model

검색결과 89건 처리시간 0.022초

An Innovative Approach of Bangla Text Summarization by Introducing Pronoun Replacement and Improved Sentence Ranking

  • Haque, Md. Majharul;Pervin, Suraiya;Begum, Zerina
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.752-777
    • /
    • 2017
  • This paper proposes an automatic method to summarize Bangla news document. In the proposed approach, pronoun replacement is accomplished for the first time to minimize the dangling pronoun from summary. After replacing pronoun, sentences are ranked using term frequency, sentence frequency, numerical figures and title words. If two sentences have at least 60% cosine similarity, the frequency of the larger sentence is increased, and the smaller sentence is removed to eliminate redundancy. Moreover, the first sentence is included in summary always if it contains any title word. In Bangla text, numerical figures can be presented both in words and digits with a variety of forms. All these forms are identified to assess the importance of sentences. We have used the rule-based system in this approach with hidden Markov model and Markov chain model. To explore the rules, we have analyzed 3,000 Bangla news documents and studied some Bangla grammar books. A series of experiments are performed on 200 Bangla news documents and 600 summaries (3 summaries are for each document). The evaluation results demonstrate the effectiveness of the proposed technique over the four latest methods.

학술대회 및 저널별 기술 핵심구 추출 모델 (A Keyphrase Extraction Model for Each Conference or Journal)

  • 정현지;장광선;김태현;신동구
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.81-83
    • /
    • 2022
  • 연구 동향을 파악하는 것은 연구 수행 시 필수적인 요소이다. 대부분의 연구자들은 관심분야의 학술대회 및 저널을 대표하는 기술 핵심구나 관심 분야를 검색함으로써 연구 동향을 파악한다. 하지만, 최근 인공지능과 같은 특정 분야의 경우 한 개의 학술대회에 한 해당 수백~수천 개의 논문이 출간되기 때문에 전체 분야의 경향성을 파악하는 데 어려움이 존재한다. 본 논문에서는 학술대회 또는 저널 제목을 활용하여 기술 핵심구를 자동으로 추출함으로써 연도별 학술대회 및 저널의 연구 동향 파악을 지원하고자 한다. 핵심구 추출은 문장 또는 문서를 대표하는 주요 구문을 추출하는 작업으로서 검색, 요약, 내용 파악 등을 위해 근간이 되는 기술이다. 기존 사전학습 언어모델 기반의 핵심구 추출 모델은 문서 단위의 긴 텍스트를 기준으로 모델링 하였기 때문에 제목 단위의 짧은 텍스트에서는 성능이 낮아진다는 단점이 존재한다. 본 논문에서는 짧은 텍스트에 강인하면서 단어 자체의 중요도를 고려한 학술대회 및 저널의 기술 핵심구 추출 모델을 제안하고자 한다.

  • PDF

특허 동향 분석을 통한 언어 모델 기반 생성형 인공지능 발전 방향 연구 (Research on the Development Direction of Language Model-based Generative Artificial Intelligence through Patent Trend Analysis)

  • 김대희;이종현;김범석;양진홍
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권5호
    • /
    • pp.279-291
    • /
    • 2023
  • 최근 몇 년 동안 언어 모델 기반의 생성형 인공지능 기술은 눈에 띄게 발전하고 있다. 특히, 요약, 코드 작성과 같은 다양한 분야에서 활용 가능성이 증가하고 있어 큰 관심을 받고 있다. 이러한 관심의 반영으로, 생성형 인공지능 관련 특허 출원이 급격히 증가하는 추세를 보인다. 이러한 동향을 파악하고 이에 따른 전략을 수립하기 위해 미래 예측이 핵심적이다. 예측을 통해 해당 기술 분야의 미래 동향을 정확히 파악하여 더 효과적인 전략을 수립할 수 있다. 본 논문에서는 언어 모델 기반 생성형 인공지능 발전 방향을 확인하기 위해 현재까지 출원된 특허들을 분석하였다. 특히, 각 국가에서의 연구 및 발명 활동을 깊게 살펴보았으며, 연도별 및 세부 기술별 출원 동향을 중점적으로 분석하였다. 이러한 분석을 통해 핵심 특허들이 포함하고 있는 세부 기술을 이해하고, 향후 생성형 인공지능의 기술 개발 트렌드를 예측해 보고자 하였다.

퍼지이론을 이용한 자동문서 요약 기술 (Automatic Document Summary Technique Using Fuzzy Theory)

  • 이상훈;문승진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권12호
    • /
    • pp.531-536
    • /
    • 2014
  • 인터넷에서 사용 가능한 수많은 정보로 인해서 대용량의 문서를 다루는 기술은 점차 그 필요성이 증가되어 왔지만, 효과적으로 문서 내 정보를 처리하기 위한 기술의 문제는 여전히 풀어야 할 과제로 남아 있다. 자동문서 요약 기술은 문서 내 중요한 부분을 유지하고, 중복된 내용을 제거함으로써 이러한 대용량의 문서를 처리하는 데 중요한 방법으로 인식되어 왔다. 본 논문에서는 이러한 요약문을 만들 때 중요도를 결정하는 문제를 해결하기 위해서 퍼지 이론을 이용한 문서 요약 기술을 제안한다. 제안된 요약 기술은 중요도를 결정하는 여러 특징들의 애매모호한 문제를 해결하고, 그 실험결과는 기존의 다른 방법과 비교해서 전반적으로 높은 결과를 보인다.

수업용 CD-ROM 제작 및 이를 적용시킨 효과적인 학습지도안 개발 -중학교 1학년 가정 한복 입기를 중심으로- (The Production of CD-ROM for the Class and the Development of Effective Master Plan Applied by It -In the Point of Wearing Korean Traditioinal Costume for First Grade of Junior Middle School Students in Home Economics Teaching-)

  • 이은선;김병미
    • 한국가정과교육학회지
    • /
    • 제11권2호
    • /
    • pp.13-26
    • /
    • 1999
  • The goals of this research are for producing and optimizing the CD-ROM, effective and practical Teaching-Learning method. It consists of Wearing Korean Traditional Costume for the First Grade of Middle School Students in Home Economics Teaching. This research’s summarization is following. First, the multi-media material. CD-ROM making use of Powerpoint. Wearing Korean Traditional Costume, is produced to help the students learn the difficult contents in terms of video and audio. Second, it is introduced the model of Open Education for increasing the efficiency of class. Third, it is developed to proceed the class with the CD-ROM and small group study of place activity. Fourth, it helps students concentrate on the class with proper sound effect whenever the slide films are changed. And it helps to link the web sites related to Korean Traditional Costume. Finally, another kinds of suggestions are following. The effective verification of this software that is tested and applied at the field for a given period will be necessary. And, it is necessary to upgrade for the CD-ROM and the supplementary teaching materials in Korean Traditional Costume education.

  • PDF

Whole learning algorithm of the neural network for modeling nonlinear and dynamic behavior of RC members

  • Satoh, Kayo;Yoshikawa, Nobuhiro;Nakano, Yoshiaki;Yang, Won-Jik
    • Structural Engineering and Mechanics
    • /
    • 제12권5호
    • /
    • pp.527-540
    • /
    • 2001
  • A new sort of learning algorithm named whole learning algorithm is proposed to simulate the nonlinear and dynamic behavior of RC members for the estimation of structural integrity. A mathematical technique to solve the multi-objective optimization problem is applied for the learning of the feedforward neural network, which is formulated so as to minimize the Euclidean norm of the error vector defined as the difference between the outputs and the target values for all the learning data sets. The change of the outputs is approximated in the first-order with respect to the amount of weight modification of the network. The governing equation for weight modification to make the error vector null is constituted with the consideration of the approximated outputs for all the learning data sets. The solution is neatly determined by means of the Moore-Penrose generalized inverse after summarization of the governing equation into the linear simultaneous equations with a rectangular matrix of coefficients. The learning efficiency of the proposed algorithm from the viewpoint of computational cost is verified in three types of problems to learn the truth table for exclusive or, the stress-strain relationship described by the Ramberg-Osgood model and the nonlinear and dynamic behavior of RC members observed under an earthquake.

장면전환검출을 이용한 교양비디오 개요 검색 시스템 (The Abstraction Retrieval System of Cultural Videos using Scene Change Detection)

  • 강오형;이지현;이양원
    • 정보처리학회논문지B
    • /
    • 제12B권7호
    • /
    • pp.761-766
    • /
    • 2005
  • 본 논문에서는 교양 비디오 데이터베이스 시스템을 구축하기 위한 비디오 모델을 제안한다. 먼저, 교양 비디오의 효율적인 색인화와 검색을 위하여 교양 비디오를 의미 있는 단위로 분할하는 효율적인 장면 전환 검출 기법을 사용하였다 비디오가 대용량이며 장시간의 재생이 필요하다는 특징 때문에 전체 비디오를 시청해야하는 문제점이 있다. 이 문제점을 해결하기 위해 교양 비디오의 개요를 추출하여 시청자들에게 시간을 절약할 수 있고, 비디오 선택의 폭을 넓히도록 하였다. 비디오 개요는 개요 생성 규칙을 설정하여 중요 이벤트가 발생한 장면들을 요약한 형태이다.

구술문서 자료분석을 위한 정보검색기술의 응용 (Information Technology Application for Oral Document Analysis)

  • 박순철;함한희
    • 한국산업정보학회논문지
    • /
    • 제13권2호
    • /
    • pp.47-55
    • /
    • 2008
  • 본 연구는 정보검색기술을 응용해서 구술문서 자료를 효율적으로 분석하는 시스템 개발을 목적으로 한다. 여기서 사용된 기술은 용어검색, 문서요약기술, 클러스터링기술 문서분류기술 주제추적기술 등이 있다. 본 연구를 위해서 전북지역에서 채록한 구술자료를 이용하였다. 구술문서 구조의 특성을 반영하면서 분석의 단위를 정하고 내용의 자동분류 및 분류체계에 따른 분류도 시도하였다. 특히 주제를 추적하면서 순서에 따라서 검색해 가는 기술은 세계적으로도 아직 연구단계에 있던 것을 실제로 구현하였다. 이러한 5가지의 검색기술이 한 시스템에서 통합적으로 처리될 수 있다는 것도 이 연구가 이룬 성과이다. 이 연구의 기대효과는 구술문서 분석의 신뢰성 타당성 효용성을 높여서 구술문화연구에도 큰 기여를 할 것으로 기대된다.

  • PDF

Modernization determinants by ensuring economic security of enterprises in the competitive conditions

  • Tkachenko, Tetiana;Tulchynska, Svitlana;Kostiunik, Olena;Vovk, Olha;Kovalenko, Nataliia
    • International Journal of Computer Science & Network Security
    • /
    • 제21권8호
    • /
    • pp.119-126
    • /
    • 2021
  • The study develops methodological aspects for modeling the determining impact of modernization on the enterprise's economic security in development competitive conditions using the model of speed, stability and spaciousness of modernization. Modeling the determining impact of modernization on the enterprise's economic security in a competitive conditions involves: firstly, the formation of estimated modeling indicators in accordance with the speed, stability and spaciousness of the enterprise's modernization; secondly, establishing the weight of indicators in the assessment system using the tools of cognitive judgment; thirdly, the establishment of reference values of sound evaluation indicators; fourthly, the calculations of the integrated impact assessment of the modernization's determining impact modeling on the enterprise's ensuring economic security in a competitive conditions; fifthly, conducting calculations and analytical summarization of the results. To determine a comprehensive integrated indicator of the modernization changes impact on the competitiveness and economic security of enterprises, we use the correlation method of the calculated value with the reference value, as well as use weights for groups of calculations. Approbation of modeling of determining influence of modernization on maintenance of economic safety of the enterprise in competitive conditions of development by authors was carried out concerning such enterprises, as: JSC "Ukrzaliznytsia", SE "Ukraerorukh", SE IA "Boryspil", SE "Ukrposhta", KP "Kyivpastrans".

복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 기반 문서 생성 요약 (Copy-Transformer model using Copy-Mechanism and Inference Penalty for Document Abstractive Summarization)

  • 전동현;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.301-306
    • /
    • 2019
  • 문서 생성 요약은 최근 딥러닝을 이용한 end-to-end 시스템을 통해 유망한 결과들을 보여주고 있어 연구가 활발히 진행되고 있는 자연어 처리 분야 중 하나이다. 하지만 문서 생성 요약 모델을 구성하기 위해서는 대량의 본문과 요약문 쌍의 데이터 셋이 필요한데, 이를 구축하기가 쉽지 않다. 따라서 본 논문에서는 정교한 뉴스 기사 요약 데이터 셋을 기계적으로 구축하는 방법을 제안한다. 또한 딥러닝 기반의 생성 요약은 입력 문서와 다른 정보를 생성하거나, 또는 같은 단어를 반복하여 생성하는 문제점들이 존재한다. 이를 해결하기 위해 요약문을 생성할 때 입력 문서의 내용을 인용하는 복사-메커니즘과, 추론 단계에서 단어 반복을 직접적으로 제어하는 페널티를 사용하면 상대적으로 안정적인 문장이 생성될 수 있다. 그리고 Transformer 모델은 순환 신경망 모델보다 요약문 생성 과정에서 시퀀스 길이가 긴 본문의 정보를 적절히 인코딩하여 줄 수 있는 모델이다. 따라서 본 논문에서는 복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 모델을 한국어 문서 생성 요약 데이터에 적용하였다. 네이버 지식iN 질문 요약 데이터 셋과 뉴스 기사 요약 데이터 셋 상에서 실험한 결과, 제안한 모델을 이용한 생성 요약이 비교 모델들 대비 가장 좋은 성능을 보이고 양질의 요약을 생성하는 것을 확인하였다.

  • PDF