• 제목/요약/키워드: TextRank

검색결과 83건 처리시간 0.034초

Anchor Text 정보와 링크 정보를 이용한 정보 검색 모델 (Information Retrieval Model Using Anchor Text Information and Link Information)

  • 한기덕;정성원;허희근;이교운;권혁철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.916-918
    • /
    • 2004
  • 90년대 이전에 정보 검색에 대한 연구는 문서의 내용을 기반으로 한 연구가 주류였으며, 90년대에는 링크를 이용한 연구가 활발하였다. 90년대 말에 Page Rank와 HITS가 링크를 이용한 연구의 대표적 사례이며, 최근에는 문서의 내용과 링크 정보를 같이 이용하는 연구가 많이 발표되고 있다. 본 논문도 문서의 정보와 링크 정보를 이용한 새로운 검색 모델을 제시하고자 한다. 본 논문에서 사용하는 링크 정보는 수집된 문서에서 추출한 Page Rank의 가중치와 한 페이지를 가리키는 링크들의 목록이며, 상용하고자 하는 문서의 정보는 본문 내용과 Anchor Text이다. 링크 정보와 문서 정보를 이용하여 Anchor 벡터와 문서 벡터를 만들고, 각각 질의어 벡터와 Cosine Measure를 하여 값을 구한 후, 더한 값을 해당 문서의 가중치로 하여 검색에 이용한다.

  • PDF

단어 동시출현관계로 구축한 계층적 그래프 모델을 활용한 자동 키워드 추출 방법 (Automatic Keyword Extraction using Hierarchical Graph Model Based on Word Co-occurrences)

  • 송광호;김유성
    • 정보과학회 논문지
    • /
    • 제44권5호
    • /
    • pp.522-536
    • /
    • 2017
  • 키워드 추출은 주어진 문서로부터 문서의 주제나 내용에 관련된 단어들을 추출해내는 방법으로 대량의 문서를 다루는 텍스트마이닝 연구들이 전처리에서 공통적으로 거치는 대표 자질 추출에서 중요하게 활용될 수 있다. 본 논문에서는 하나의 문서의 주제에 적합한 키워드를 추출하기 위해 문서에 출현한 단어들 사이의 동시출현관계, 동시출현 단어 쌍 사이의 출현 종속 관계, 단어들 사이의 공통 부분단어 관계 등의 다양한 관계들을 특징으로 활용하여 구축한 계층적 그래프 모델을 제안하고, 그래프를 구성하는 정점(Vertex)들의 중요도를 평가할 때 입력 간선(Edge)에 의한 영향뿐만 아니라 출력 간선에 의한 영향도 고려한 새로운 중요도 산출 방법을 제안하며, 이를 토대로 점진적으로 키워드를 추출해내는 방안을 제안한다. 그리고 제안한 방법의 정확성과 주제적 포괄성 검증을 위해 다양한 분야의 주제를 가진 문서 데이터에 다양한 평가방법을 적용해 기존의 방법보다 전체적으로 더 나은 성능을 보임을 확인하였다.

단어 간 의미적 연관성을 고려한 어휘 체인 기반의 개선된 자동 문서요약 방법 (An Improved Automatic Text Summarization Based on Lexical Chaining Using Semantical Word Relatedness)

  • 차준석;김정인;김판구
    • 스마트미디어저널
    • /
    • 제6권1호
    • /
    • pp.22-29
    • /
    • 2017
  • 최근 스마트 디바이스의 급속한 발달과 보급으로 인하여 인터넷 웹상에서 등장하는 문서의 데이터는 하루가 다르게 증가 하고 있다. 이러한 정보의 증가로 인터넷 웹상에서는 대량의 문서가 증가하여 사용자가 해당 문서의 데이터를 이해하는데, 어려움을 겪고 있다. 그렇기 때문에 자동 문서 요약 분야에서 문서를 효율적으로 요악하기 위해 다양한 연구가 진행 되고 있다. 효율적으로 문서를 요약하기 위해 본 논문에서는 텍스트랭크 알고리즘을 이용한다. 텍스트랭크 알고리즘은 문장 또는 키워드를 그래프로 표현하며, 단어와 문장 간의 의미적 연관성을 파악하기 위해 그래프의 정점과 간선을 이용하여 문장의 중요도를 파악한다. 문장의 상위 키워드를 추출 하고 상위 키워드를 기반으로 중요 문장 추출 과정을 거친다. 중요 문장 추출 과정을 거치기 위해 단어 그룹화 과정을 거친다. 단어그룹화는 특정 가중치 척도를 이용하여 가중치 점수가 높은 문장을 선별하여 선별된 문장들을 기반으로 중요 문장을 중요 문장을 추출하여, 문서를 요약을 하게 된다. 이를 통해 기존에 연구 되었던 문서요약 방법보다 향상된 성능을 보였으며, 더욱 효율적으로 문서를 요약할 수 있음을 증명하였다.

강건한 문맥독립 화자식별을 위한 프레임 선택방법, 복합방법, 수정된 가중모델순위 방법 (Frame Selection, Hybrid, Modified Weighting Model Rank Method for Robust Text-independent Speaker Identification)

  • 김민정;오세진;정호열;정현열
    • 한국음향학회지
    • /
    • 제21권8호
    • /
    • pp.735-743
    • /
    • 2002
  • 본 논문에서는 세 가지 문맥독립 화자식별방법을 제안한다. 먼저, 화자 식별시 성도의 특성을 충분히 표현하지 못한 프레임이 포함되지 않도록 하는 프레임선택 (Frame Selection; FS)방법을 제안한다. 이 방법은 각 프레임에서 가장 큰 유사도와 두 번째로 큰 유사도의 차이를 평가하여 중요 프레임을 선택한 후, 선택된 프레임만을 이용하여 유사도를 계산하는 방법이다. 두 번째로 제안하는 복합 (Hyrid)방법은 FS와 가중모델순위 (Weighting Model Rank: WMR)방법을 결합시킨 것으로, FS방법을 이용하여 중요 프레임을 선택한 후, 지수함수 가중치를 이용하여 식별화자를 결정하는 것이다. 마지막으로 제안하는 수정된 가중모델순위 (Modified WMR; MWMR)방법은 식별화자를 결정할 때 유사도의 상대적 위치만을 고려하였던 기존의 U방법과는 달리 유사도와 유사도의 상대적 위치를 함께 고려하는 방법이다. 화자식별 실험결과 제안한 방법들이 기존의 ML 방법보다 향상된 식별률을 보였으며, 복합 방법 및 MWMR방법의 경우에는 WMR방법보다 각각 약 2%와 3%의 향상된 식별률을 나타내어 제안한 방법들의 유효성을 확인할 수 있었다.

Investigation of Terminology Coverage in Radiology Reporting Templates and Free-text Reports

  • Hong, Yi;Zhang, Jin
    • International Journal of Knowledge Content Development & Technology
    • /
    • 제5권1호
    • /
    • pp.5-14
    • /
    • 2015
  • The Radiological Society of North America (RSNA) is improving reporting practices by developing an online library of clear and consistent report templates. To compare term occurrences in free-text radiology reports and RSNA reporting templates, the Wilcoxon signed-rank test method was applied to investigate how much of the content of conventional narrative reports is covered by the terms included in the RSNA reporting templates. The results show that the RSNA reporting templates cover most terms that appear in actual radiology reports. The Wilcoxon test may be helpful in evaluatingexisting templates and guiding the enhancement of reporting templates.

TextRank 기반의 한국어 기사 추출 및 텍스트 처리 (Korean Article Extraction and Text Processing based on TextrRank Library)

  • 이세훈;공진용;황지현;예지민
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.199-200
    • /
    • 2021
  • 인터넷과 컴퓨팅 기술의 발전, 모바일 기기와 센서들의 진화, 소셜 네트워크의 출현 등으로 정보량은 급속도로 늘어나고 있다. 따라서 방대한 정보 속에서 의미있는 지식을 추출하기 위한 시스템의 기반 연구가 활발히 시도되고 있다. 본 논문에서는 텍스트 랭크를 사용한 중심 문장 추출을 통한 서비스와 사용자 이미지에 대한 한국어 OCR, 맞춤법 검사와 문장 생성을 가능케 하는 통합 한국어 처리 서비스 사이트를 구현함으로써, 신문 기사를 읽는 다수의 경제성을 확보했고, 한국어 처리의 편의성을 제공한다.

  • PDF

태그 서열 위치와 경사 부스팅을 활용한 한국어 웹 본문 추출 (Korean Web Content Extraction using Tag Rank Position and Gradient Boosting)

  • 모종훈;유재명
    • 정보과학회 논문지
    • /
    • 제44권6호
    • /
    • pp.581-586
    • /
    • 2017
  • 웹 문서를 자동으로 수집하면 대량의 정보를 손쉽게 모을 수 있다. 이러한 정보 수집 과정을 위해 웹 문서에서 메뉴, 광고 등 불필요한 정보를 제거하고 본문을 자동으로 추출할 필요가 있다. 특히 한국어 웹문서는 영어권과 달리 메타데이터가 포함된 경우가 드물고 디자인이 복잡하여 한국어 웹에 맞는 자동 본문 추출 방법이 필요하다. 기존의 본문 추출 방법은 주로 본문 블록의 문자적, 구조적 특성을 활용한다. 시각적 특성을 처리하기 위해서는 렌더링, 이미지 처리 등에 많은 계산이 필요하기 때문이다. 이 논문에서는 HTML에서 태그 위치를 준-시각적 특성으로 활용한 새로운 본문 추출 방법을 제시한다. 태그 위치는 텍스트의 길이에 따라 가변적이기 때문에 태그 서열 위치라는 특성을 개발하였고, 이를 경사 부스팅과 함께 이용하면 정확한 본문 추출이 가능함을 보인다. 본 논문의 연구 결과는 텍스트 분석에 필요한 양질의 문서 자료를 다양한 형태의 웹페이지에서 자동으로 수집하는 데에 쓰일 수 있다.

Text Summarization on Large-scale Vietnamese Datasets

  • Ti-Hon, Nguyen;Thanh-Nghi, Do
    • Journal of information and communication convergence engineering
    • /
    • 제20권4호
    • /
    • pp.309-316
    • /
    • 2022
  • This investigation is aimed at automatic text summarization on large-scale Vietnamese datasets. Vietnamese articles were collected from newspaper websites and plain text was extracted to build the dataset, that included 1,101,101 documents. Next, a new single-document extractive text summarization model was proposed to evaluate this dataset. In this summary model, the k-means algorithm is used to cluster the sentences of the input document using different text representations, such as BoW (bag-of-words), TF-IDF (term frequency - inverse document frequency), Word2Vec (Word-to-vector), Glove, and FastText. The summary algorithm then uses the trained k-means model to rank the candidate sentences and create a summary with the highest-ranked sentences. The empirical results of the F1-score achieved 51.91% ROUGE-1, 18.77% ROUGE-2 and 29.72% ROUGE-L, compared to 52.33% ROUGE-1, 16.17% ROUGE-2, and 33.09% ROUGE-L performed using a competitive abstractive model. The advantage of the proposed model is that it can perform well with O(n,k,p) = O(n(k+2/p)) + O(nlog2n) + O(np) + O(nk2) + O(k) time complexity.

RNN과 강화 학습을 이용한 자동 문서 제목 생성 (Automatic Document Title Generation with RNN and Reinforcement Learning)

  • 조성민;김우생
    • Journal of Information Technology Applications and Management
    • /
    • 제27권1호
    • /
    • pp.49-58
    • /
    • 2020
  • Lately, a large amount of textual data have been poured out of the Internet and the technology to refine them is needed. Most of these data are long text and often have no title. Therefore, in this paper, we propose a technique to combine the sequence-to-sequence model of RNN and the REINFORCE algorithm to generate the title of the long text automatically. In addition, the TextRank algorithm was applied to extract a summarized text to minimize information loss in order to protect the shortcomings of the sequence-to-sequence model in which an information is lost when long texts are used. Through the experiment, the techniques proposed in this study are shown to be superior to the existing ones.