• 제목/요약/키워드: Automatic rank

검색결과 41건 처리시간 0.03초

정보검색에서의 어의 중의성 해소를 위한 자동 키워드망의 이용 (Resolving the Ambigities in World Sense by using Automatic Keyword Network in Information Retrieval)

  • 김정세;장덕성
    • 한국정보처리학회논문지
    • /
    • 제7권12호
    • /
    • pp.3855-3865
    • /
    • 2000
  • 문서 검색 시스템에서 자동 색인은 필수적이다. 그러나 자동 색인만으로 최적합 문서들을 상위에 위치시키기 불가능하다. 뿐만 아니라 동음이의어를 갖는 부적합한 문서들이 상위에 위치되는 것을 막을 길이 없다. 본 논문에서는 이런 문제를 해소하고 검색 효과를 높이기 위해 2차 검색에 자동 키워드망을 이용하는 두 단계 검색시스템을 연구하였다. 1차 검색은 자동색인으로 만들어진 역색인 파일을 이용하며, 2차 검색은 단어 연관성을 기초로 만든 자동 키워드망을 이용한다. 2차 검색을 위한 문서 순위 재조정 식들을 여러 개 만들어 비교하였으며, 이 식들이 동음이의어 어의 중의성 해소에 얼마나 효과가 있는지 성능을 평가하였다.

  • PDF

향상된 TextRank 알고리즘을 이용한 자동 회의록 생성 시스템 (Automatic Meeting Summary System using Enhanced TextRank Algorithm)

  • 배영준;장호택;홍태원;이해연
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.467-474
    • /
    • 2018
  • 다양한 업무 수행에 있어서 회의나 토론 등의 내용을 정리하여 문서화하는 것의 중요성은 매우 높다. 그러나 기존에는 사람이 직접 내용에 대한 정리를 수작업으로 수행하였다. 본 논문에서는 TextRank 알고리즘을 이용하여 자동으로 회의록을 생성하는 시스템의 개발에 대하여 설명한다. 제안한 시스템은 발언자의 모든 발언 내용을 실시간으로 기록하고, 문장들을 출현 빈도수에 기초하여 유사도를 계산한 후, 문서 데이터 안에서 문장들 간의 관계를 찾아내는 비지도 학습 알고리즘을 통해 중요 단어 혹은 문장을 추출함으로서 자동으로 회의록을 생성하도록 하였다. 특히, PageRank 알고리즘을 단어와 문장에 적합하도록 재구성한 TextRank 알고리즘에 대하여 핵심어의 가중치 조정 기법을 도입함으로서 성능 향상을 모색하였다.

Automatic and objective gradation of 114 183 terrorist attacks using a machine learning approach

  • Chi, Wanle;Du, Yihong
    • ETRI Journal
    • /
    • 제43권4호
    • /
    • pp.694-701
    • /
    • 2021
  • Catastrophic events cause casualties, damage property, and lead to huge social impacts. To build common standards and facilitate international communications regarding disasters, the relevant authorities in social management rank them in subjectively imposed terms such as direct economic losses and loss of life. Terrorist attacks involving uncertain human factors, which are roughly graded based on the rule of property damage, are even more difficult to interpret and assess. In this paper, we collected 114 183 open-source records of terrorist attacks and used a machine learning method to grade them synthetically in an automatic and objective way. No subjective claims or personal preferences were involved in the grading, and each derived common factor contains the comprehensive and rich information of many variables. Our work presents a new automatic ranking approach and is suitable for a broad range of gradation problems. Furthermore, we can use this model to grade all such attacks globally and visualize them to provide new insights.

Wilcoxon Rank Sum Test 기법을 이용한 자동돌발상황검지 모형 개발 (Development of An Automatic Incident Detection Model Using Wilcoxon Rank Sum Test)

  • 이상민;이승환
    • 대한교통학회지
    • /
    • 제20권6호
    • /
    • pp.81-98
    • /
    • 2002
  • 본 연구는 Wilcoxon Rank Sum Test 기법을 이용한 자동 돌발상황 검지 모형을 개발하는 것이다. 본 연구의 수행을 위하여 고속도로에 설치된 루프 차량 검지기(Loop Vehicle Detection System)에서 수집된 점유율 데이터를 사용하였다. 기존의 검지모형은 산정하기가 까다로운 임계치에 의하여 돌발상황을 검지하는 방식이었다. 반면 본 연구 모델은 위치와 시간대 교통 패턴에 관계없이 모형을 일정하게 적용하며, 지속적으로 돌발상황 지점과 상·하류의 교통패턴을 비교 검정 기법인 Wilcoxon Rank Sum Test 기법을 사용하여 돌발상황 검지를 수행하도록 하였다. 연구모형의 검증을 위한 테스트 결과 시간과 위치에 관계없이 정확하고 빠른 검지시간(돌발 상황 발생 후 2∼3분)을 가짐을 알 수 있었다. 또한 기존의 모형인 APID, DES, DELOS모형과 비교검증을 위하여 검지율 및 오보율 테스트를 수행한 결과 향상된 검지 능력(검지율 : 89.01%, 오보율 : 0.97%)을 나타남을 알 수 있었다. 그러나 압축파와 같은 유사 돌발상황이 발생되면 제대로 검지를 하지 못하는 단점을 가지고 있으며 향후 이에 대한 연구가 추가된다면 더욱 신뢰성 있는 검지모형으로 발전할 것이다.

한글 문서의 단어 동시 출현 정보에 개선된 TextRank를 적용한 키워드 자동 추출 기법 (Keyword Automatic Extraction Scheme with Enhanced TextRank using Word Co-Occurrence in Korean Document)

  • 송광호;민지홍;김유성
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.62-66
    • /
    • 2016
  • 문서의 의미 기반 처리를 위해서 문서의 내용을 대표하는 키워드를 추출하는 것은 정확성과 효율성 측면에서 매우 중요한 과정이다. 그러나 단일문서로부터 키워드를 추출해 내는 기존의 연구들은 정확도가 낮거나 한정된 분야에 대해서만 검증을 수행하여 결과를 신뢰하기 어려운 문제가 있었다. 따라서 본 연구에서는 정확하면서도 다양한 분야의 텍스트에 적용 가능한 키워드 추출 방법을 제시하고자 단어의 동시출현 정보와 그래프 모델을 바탕으로 TextRank 알고리즘을 변형한 새로운 형태의 알고리즘을 동시에 적용하는 키워드 추출 기법을 제안하였다. 제안한 기법을 활용하여 성능평가를 진행한 결과 기존의 연구들보다 향상된 정확도를 얻을 수 있음을 확인하였다.

  • PDF

한글 문서의 단어 동시 출현 정보에 개선된 TextRank를 적용한 키워드 자동 추출 기법 (Keyword Automatic Extraction Scheme with Enhanced TextRank using Word Co-Occurrence in Korean Document)

  • 송광호;민지홍;김유성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.62-66
    • /
    • 2016
  • 문서의 의미 기반 처리를 위해서 문서의 내용을 대표하는 키워드를 추출하는 것은 정확성과 효율성 측면에서 매우 중요한 과정이다. 그러나 단일문서로부터 키워드를 추출해 내는 기존의 연구들은 정확도가 낮거나 한정된 분야에 대해서만 검증을 수행하여 결과를 신뢰하기 어려운 문제가 있었다. 따라서 본 연구에서는 정확하면서도 다양한 분야의 텍스트에 적용 가능한 키워드 추출 방법을 제시하고자 단어의 동시출현정보와 그래프 모델을 바탕으로 TextRank 알고리즘을 변형한 새로운 형태의 알고리즘을 동시에 적용하는 키워드 추출 기법을 제안하였다. 제안한 기법을 활용하여 성능평가를 진행한 결과 기존의 연구들보다 향상된 정확도를 얻을 수 있음을 확인하였다.

  • PDF

Ordinal Rank 알고리즘을 이용한 자동 PIF 추출 - 변화탐지를 위한 상대방사정규화를 목적으로 (Automatic Extraction of Pseudo Invariant Features using Ordinal Rank Algorithm for Radiometric Normalization)

  • 한유경;김대성;김용일
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2008년도 춘계학술대회 논문집
    • /
    • pp.213-218
    • /
    • 2008
  • 동일 지점을 촬영한 위성영상은 위성의 센서나 영상의 취득 시기, 지형의 상태 등에 따라 그 지점에 나타나는 화소값이 일정하지 않다. 이러한 영상은 영상간 모자이크나 변화 탐지 결과에 영향을 미칠 가능성이 높으므로 방사보정(또는 방사정규화)을 통해 화소값의 차이를 최소화시킬 필요가 있다. 본 연구는 선형회귀식을 적용한 상대 방사정규화에 초점을 맞추고 있으며, 선형회귀식 구성에 필요한 PIF(Pseudo Invariant Feature)를 자동으로 추출하기 위해 Ordinal Rank 알고리즘을 적용하였다. 이 방법을 통해 각 밴드별 후보 PIF를 추출하고, 공통으로 해당되는 최종 PIF를 추출할 수 있었다. RMSE(Root Mean Square Error), Dynamic range, Coefficient of variation 등을 통해 방사보정 후의 결과를 평가해보았다. 영상회귀를 이용한 방사보정알고리즘과의 비교를 통해 제안된 알고리즘이 갖는 장점을 확인하였다.

  • PDF

단어 동시출현관계로 구축한 계층적 그래프 모델을 활용한 자동 키워드 추출 방법 (Automatic Keyword Extraction using Hierarchical Graph Model Based on Word Co-occurrences)

  • 송광호;김유성
    • 정보과학회 논문지
    • /
    • 제44권5호
    • /
    • pp.522-536
    • /
    • 2017
  • 키워드 추출은 주어진 문서로부터 문서의 주제나 내용에 관련된 단어들을 추출해내는 방법으로 대량의 문서를 다루는 텍스트마이닝 연구들이 전처리에서 공통적으로 거치는 대표 자질 추출에서 중요하게 활용될 수 있다. 본 논문에서는 하나의 문서의 주제에 적합한 키워드를 추출하기 위해 문서에 출현한 단어들 사이의 동시출현관계, 동시출현 단어 쌍 사이의 출현 종속 관계, 단어들 사이의 공통 부분단어 관계 등의 다양한 관계들을 특징으로 활용하여 구축한 계층적 그래프 모델을 제안하고, 그래프를 구성하는 정점(Vertex)들의 중요도를 평가할 때 입력 간선(Edge)에 의한 영향뿐만 아니라 출력 간선에 의한 영향도 고려한 새로운 중요도 산출 방법을 제안하며, 이를 토대로 점진적으로 키워드를 추출해내는 방안을 제안한다. 그리고 제안한 방법의 정확성과 주제적 포괄성 검증을 위해 다양한 분야의 주제를 가진 문서 데이터에 다양한 평가방법을 적용해 기존의 방법보다 전체적으로 더 나은 성능을 보임을 확인하였다.

LSI를 이용한 차원 축소 클러스터 기반 키워드 연관망 자동 구축 기법 (Automatic Construction of Reduced Dimensional Cluster-based Keyword Association Networks using LSI)

  • 유한묵;김한준;장재영
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1236-1243
    • /
    • 2017
  • 본 논문은 기존의 TextRank 알고리즘에 상호정보량 척도를 결합하여 군집 기반에서 키워드 추출하는 LSI-based ClusterTextRank 기법과 추출된 키워드를 Latent Semantic Indexing(LSI)을 이용한 연관망 구축 기법을 제안한다. 제안 기법은 문서집합을 단어-문서 행렬로 표현하고, 이를 LSI를 이용하여 저차원의 개념 공간으로 차원을 축소한다. 그 다음 k-means 군집화 알고리즘을 이용하여 여러 군집으로 나누고, 각 군집에 포함된 단어들을 최대신장트리 그래프로 표현한 후 이에 근거한 군집 정보량을 고려하여 키워드를 추출한다. 그리고나서 추출된 키워드들 간에 유사도를 LSI 기법을 통해 구한 단어-개념 행렬을 이용하여 계산한 후, 이를 키워드 연관망으로 활용한다. 제안 기법의 성능을 평가하기 위해 여행 관련 블로그 데이터를 이용하였으며, 제안 기법이 기존 TextRank 알고리즘보다 키워드 추출의 정확도가 약 14% 가량 개선됨을 보인다.

의미적으로 확장된 문장 간 유사도를 이용한 한국어 텍스트 자동 요약 (Korean Text Automatic Summarization using Semantically Expanded Sentence Similarity)

  • 김희찬;이수원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.841-844
    • /
    • 2014
  • 텍스트 자동 요약은 수많은 텍스트 데이터를 처리함에 있어 중요한 연구 분야이다. 이중 추출요약은 현재 가장 많이 연구가 되고 있는 자동 요약 분야이다. 본 논문은 추출 요약의 선두 연구인 TextRank는 문장 간 유사도를 계산할 때 문장 내 단어 간의 의미적 유사성을 충분히 고려하지 못하였다. 본 연구에서는 의미적 유사성을 고려한 새로운 단어 간 유사도 측정 방법을 제안한다. 추출된 문장 간 유사도는 그래프로 표현되며, TextRank의 랭킹 알고리즘과 동일한 랭킹 알고리즘을 사용하여 실험적으로 평가하였다. 그 결과 문장 간 유사성을 고려할 때 단어의 의미적 요소를 충분히 고려하여 정보의 유실을 최소화하여야 한다는 것을 실험 결과로써 확인할 수 있었다.