• Title/Summary/Keyword: Automatic rank

Search Result 41, Processing Time 0.034 seconds

Resolving the Ambigities in World Sense by using Automatic Keyword Network in Information Retrieval (정보검색에서의 어의 중의성 해소를 위한 자동 키워드망의 이용)

  • Kim, Jung-Sae;Jang, Duk-Sung
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.12
    • /
    • pp.3855-3865
    • /
    • 2000
  • The automatic indexing is a compulsory part for the text retrieval system. However it is impossible to rank the appropriate texts at top. Furthermore, it is more difficult to prevent to rank the inappropriate texts having homonyms at top by only the automatic indexing. In this paper, we proposed the two-level retrieval system to enhance the retrieval efficiency, in which Automatic Keyword Network (AKN) is used at the second-level process. The firsHevel search is carried out with an inverted index file generated by the automatic indexing. On the other hand the second-level search exploits AKN based on the degree of asslxiation between terms. We have developed several formulas for rearranging the rank of texts at second-level search, and evaluated the performance of the effects of them on resolving the word sense ambiguities.

  • PDF

Automatic Meeting Summary System using Enhanced TextRank Algorithm (향상된 TextRank 알고리즘을 이용한 자동 회의록 생성 시스템)

  • Bae, Young-Jun;Jang, Ho-Taek;Hong, Tae-Won;Lee, Hae-Yeoun
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.11 no.5
    • /
    • pp.467-474
    • /
    • 2018
  • To organize and document the contents of meetings and discussions is very important in various tasks. However, in the past, people had to manually organize the contents themselves. In this paper, we describe the development of a system that generates the meeting minutes automatically using the TextRank algorithm. The proposed system records all the utterances of the speaker in real time and calculates the similarity based on the appearance frequency of the sentences. Then, to create the meeting minutes, it extracts important words or phrases through a non-supervised learning algorithm for finding the relation between the sentences in the document data. Especially, we improved the performance by introducing the keyword weighting technique for the TextRank algorithm which reconfigured the PageRank algorithm to fit words and sentences.

Automatic and objective gradation of 114 183 terrorist attacks using a machine learning approach

  • Chi, Wanle;Du, Yihong
    • ETRI Journal
    • /
    • v.43 no.4
    • /
    • pp.694-701
    • /
    • 2021
  • Catastrophic events cause casualties, damage property, and lead to huge social impacts. To build common standards and facilitate international communications regarding disasters, the relevant authorities in social management rank them in subjectively imposed terms such as direct economic losses and loss of life. Terrorist attacks involving uncertain human factors, which are roughly graded based on the rule of property damage, are even more difficult to interpret and assess. In this paper, we collected 114 183 open-source records of terrorist attacks and used a machine learning method to grade them synthetically in an automatic and objective way. No subjective claims or personal preferences were involved in the grading, and each derived common factor contains the comprehensive and rich information of many variables. Our work presents a new automatic ranking approach and is suitable for a broad range of gradation problems. Furthermore, we can use this model to grade all such attacks globally and visualize them to provide new insights.

Development of An Automatic Incident Detection Model Using Wilcoxon Rank Sum Test (Wilcoxon Rank Sum Test 기법을 이용한 자동돌발상황검지 모형 개발)

  • 이상민;이승환
    • Journal of Korean Society of Transportation
    • /
    • v.20 no.6
    • /
    • pp.81-98
    • /
    • 2002
  • 본 연구는 Wilcoxon Rank Sum Test 기법을 이용한 자동 돌발상황 검지 모형을 개발하는 것이다. 본 연구의 수행을 위하여 고속도로에 설치된 루프 차량 검지기(Loop Vehicle Detection System)에서 수집된 점유율 데이터를 사용하였다. 기존의 검지모형은 산정하기가 까다로운 임계치에 의하여 돌발상황을 검지하는 방식이었다. 반면 본 연구 모델은 위치와 시간대 교통 패턴에 관계없이 모형을 일정하게 적용하며, 지속적으로 돌발상황 지점과 상·하류의 교통패턴을 비교 검정 기법인 Wilcoxon Rank Sum Test 기법을 사용하여 돌발상황 검지를 수행하도록 하였다. 연구모형의 검증을 위한 테스트 결과 시간과 위치에 관계없이 정확하고 빠른 검지시간(돌발 상황 발생 후 2∼3분)을 가짐을 알 수 있었다. 또한 기존의 모형인 APID, DES, DELOS모형과 비교검증을 위하여 검지율 및 오보율 테스트를 수행한 결과 향상된 검지 능력(검지율 : 89.01%, 오보율 : 0.97%)을 나타남을 알 수 있었다. 그러나 압축파와 같은 유사 돌발상황이 발생되면 제대로 검지를 하지 못하는 단점을 가지고 있으며 향후 이에 대한 연구가 추가된다면 더욱 신뢰성 있는 검지모형으로 발전할 것이다.

Keyword Automatic Extraction Scheme with Enhanced TextRank using Word Co-Occurrence in Korean Document (한글 문서의 단어 동시 출현 정보에 개선된 TextRank를 적용한 키워드 자동 추출 기법)

  • Song, KwangHo;Min, Ji-Hong;Kim, Yoo-Sung
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.62-66
    • /
    • 2016
  • 문서의 의미 기반 처리를 위해서 문서의 내용을 대표하는 키워드를 추출하는 것은 정확성과 효율성 측면에서 매우 중요한 과정이다. 그러나 단일문서로부터 키워드를 추출해 내는 기존의 연구들은 정확도가 낮거나 한정된 분야에 대해서만 검증을 수행하여 결과를 신뢰하기 어려운 문제가 있었다. 따라서 본 연구에서는 정확하면서도 다양한 분야의 텍스트에 적용 가능한 키워드 추출 방법을 제시하고자 단어의 동시출현 정보와 그래프 모델을 바탕으로 TextRank 알고리즘을 변형한 새로운 형태의 알고리즘을 동시에 적용하는 키워드 추출 기법을 제안하였다. 제안한 기법을 활용하여 성능평가를 진행한 결과 기존의 연구들보다 향상된 정확도를 얻을 수 있음을 확인하였다.

  • PDF

Keyword Automatic Extraction Scheme with Enhanced TextRank using Word Co-Occurrence in Korean Document (한글 문서의 단어 동시 출현 정보에 개선된 TextRank를 적용한 키워드 자동 추출 기법)

  • Song, KwangHo;Min, Ji-Hong;Kim, Yoo-Sung
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.62-66
    • /
    • 2016
  • 문서의 의미 기반 처리를 위해서 문서의 내용을 대표하는 키워드를 추출하는 것은 정확성과 효율성 측면에서 매우 중요한 과정이다. 그러나 단일문서로부터 키워드를 추출해 내는 기존의 연구들은 정확도가 낮거나 한정된 분야에 대해서만 검증을 수행하여 결과를 신뢰하기 어려운 문제가 있었다. 따라서 본 연구에서는 정확하면서도 다양한 분야의 텍스트에 적용 가능한 키워드 추출 방법을 제시하고자 단어의 동시출현정보와 그래프 모델을 바탕으로 TextRank 알고리즘을 변형한 새로운 형태의 알고리즘을 동시에 적용하는 키워드 추출 기법을 제안하였다. 제안한 기법을 활용하여 성능평가를 진행한 결과 기존의 연구들보다 향상된 정확도를 얻을 수 있음을 확인하였다.

  • PDF

Automatic Extraction of Pseudo Invariant Features using Ordinal Rank Algorithm for Radiometric Normalization (Ordinal Rank 알고리즘을 이용한 자동 PIF 추출 - 변화탐지를 위한 상대방사정규화를 목적으로)

  • Han, You-Kyung;Kim, Dae-Sung;Kim, Yong-Il
    • Proceedings of the KSRS Conference
    • /
    • 2008.03a
    • /
    • pp.213-218
    • /
    • 2008
  • 동일 지점을 촬영한 위성영상은 위성의 센서나 영상의 취득 시기, 지형의 상태 등에 따라 그 지점에 나타나는 화소값이 일정하지 않다. 이러한 영상은 영상간 모자이크나 변화 탐지 결과에 영향을 미칠 가능성이 높으므로 방사보정(또는 방사정규화)을 통해 화소값의 차이를 최소화시킬 필요가 있다. 본 연구는 선형회귀식을 적용한 상대 방사정규화에 초점을 맞추고 있으며, 선형회귀식 구성에 필요한 PIF(Pseudo Invariant Feature)를 자동으로 추출하기 위해 Ordinal Rank 알고리즘을 적용하였다. 이 방법을 통해 각 밴드별 후보 PIF를 추출하고, 공통으로 해당되는 최종 PIF를 추출할 수 있었다. RMSE(Root Mean Square Error), Dynamic range, Coefficient of variation 등을 통해 방사보정 후의 결과를 평가해보았다. 영상회귀를 이용한 방사보정알고리즘과의 비교를 통해 제안된 알고리즘이 갖는 장점을 확인하였다.

  • PDF

Automatic Keyword Extraction using Hierarchical Graph Model Based on Word Co-occurrences (단어 동시출현관계로 구축한 계층적 그래프 모델을 활용한 자동 키워드 추출 방법)

  • Song, KwangHo;Kim, Yoo-Sung
    • Journal of KIISE
    • /
    • v.44 no.5
    • /
    • pp.522-536
    • /
    • 2017
  • Keyword extraction can be utilized in text mining of massive documents for efficient extraction of subject or related words from the document. In this study, we proposed a hierarchical graph model based on the co-occurrence relationship, the intrinsic dependency relationship between words, and common sub-word in a single document. In addition, the enhanced TextRank algorithm that can reflect the influences of outgoing edges as well as those of incoming edges is proposed. Subsequently a novel keyword extraction scheme using the proposed hierarchical graph model and the enhanced TextRank algorithm is proposed to extract representative keywords from a single document. In the experiments, various evaluation methods were applied to the various subject documents in order to verify the accuracy and adaptability of the proposed scheme. As the results, the proposed scheme showed better performance than the previous schemes.

Automatic Construction of Reduced Dimensional Cluster-based Keyword Association Networks using LSI (LSI를 이용한 차원 축소 클러스터 기반 키워드 연관망 자동 구축 기법)

  • Yoo, Han-mook;Kim, Han-joon;Chang, Jae-young
    • Journal of KIISE
    • /
    • v.44 no.11
    • /
    • pp.1236-1243
    • /
    • 2017
  • In this paper, we propose a novel way of producing keyword networks, named LSI-based ClusterTextRank, which extracts significant key words from a set of clusters with a mutual information metric, and constructs an association network using latent semantic indexing (LSI). The proposed method reduces the dimension of documents through LSI, decomposes documents into multiple clusters through k-means clustering, and expresses the words within each cluster as a maximal spanning tree graph. The significant key words are identified by evaluating their mutual information within clusters. Then, the method calculates the similarities between the extracted key words using the term-concept matrix, and the results are represented as a keyword association network. To evaluate the performance of the proposed method, we used travel-related blog data and showed that the proposed method outperforms the existing TextRank algorithm by about 14% in terms of accuracy.

Korean Text Automatic Summarization using Semantically Expanded Sentence Similarity (의미적으로 확장된 문장 간 유사도를 이용한 한국어 텍스트 자동 요약)

  • Kim, Heechan;Lee, Soowon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.841-844
    • /
    • 2014
  • 텍스트 자동 요약은 수많은 텍스트 데이터를 처리함에 있어 중요한 연구 분야이다. 이중 추출요약은 현재 가장 많이 연구가 되고 있는 자동 요약 분야이다. 본 논문은 추출 요약의 선두 연구인 TextRank는 문장 간 유사도를 계산할 때 문장 내 단어 간의 의미적 유사성을 충분히 고려하지 못하였다. 본 연구에서는 의미적 유사성을 고려한 새로운 단어 간 유사도 측정 방법을 제안한다. 추출된 문장 간 유사도는 그래프로 표현되며, TextRank의 랭킹 알고리즘과 동일한 랭킹 알고리즘을 사용하여 실험적으로 평가하였다. 그 결과 문장 간 유사성을 고려할 때 단어의 의미적 요소를 충분히 고려하여 정보의 유실을 최소화하여야 한다는 것을 실험 결과로써 확인할 수 있었다.