• 제목/요약/키워드: 단어빈도

검색결과 541건 처리시간 0.03초

제한된 언어집합과 온톨로지를 활용한 반자동적인 규칙생성 방법 연구 (Methodology for semi-autonomous rule extraction based on Restricted Language Set and ontology)

  • 손미애;최윤규
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2007년도 한국지능정보시스템학회
    • /
    • pp.297-306
    • /
    • 2007
  • 지능정보시스템 구축에 있어서 자동화가 어려운 단계중의 하나인 규칙 습득을 위해 활용되는 방법중의 하나가 제한된 언어집합 기법을 이용하는 것이다. 그러나 제한된 언어집합 기법을 이용해 규칙을 생성하기 위해서는 규칙을 구성하는 변수와 그 값들에 대한 정보가 사전에 정의되어 있어야 하는데, 유동성이 큰 웹 환경에서 예상 가능한 모든 변수와 그 값을 사전에 정의하는 것이 매우 어렵다. 이에 본 연구에서는 이러한 한계를 극복하기 위해 제한된 언어집합 기법과 온톨로지를 이용한 규칙 생성 방법론을 제시하였다. 이를 위해 지식의 습득 대상이 되는 특정 문장은 문법구조 분석기를 이용해 파싱을 수행하며, 파싱된 단어들을 이용해 규칙의 구성 요소인 변수와 그 값을 식별한다. 그러나 규칙을 내포한 자연어 문장의 불완전성으로 인해 변수가 명확하지 않거나 완전히 빠져 있는 경우가 흔히 발생하며, 이로 인해 온전한 형식의 규칙 생성이 어렵게 된다. 이 문제는 도메인 온톨로지의 생성을 통해 해결하였다. 이 온톨로지는 특정 도메인을 구성하고 있는 개념들간의 관계를 포함하고 있다는 점에서는 기존의 온톨로지와 유사하지만, 규칙을 완성하는 과정에서 사용된 개념들의 사용빈도를 기반으로 온톨로지의 구조를 변경하고, 결과적으로 더 정확한 규칙의 생성을 지원한다는 점에서 기존의 온톨로지와 차별화된다. 이상의 과정을 통해 식별된 규칙의 구성요소들은 제한된 언어집합 기법을 이용해 구체화된다. 본 연구에서 제안하는 방법론을 설명하기 위해 임의의 인터넷 쇼핑몰에서 수행되는 배송관련 웹 페이지를 선정하였다. 본 방법론은 XRML에서의 지식 습득 과정의 효율성 제고에 기여할 수 있을 것으로 기대된다.

  • PDF

U-WIN을 이용한 의미 유사도 측정과 활용 (A Measure of Semantic Similarity and its Application in User-Word Intelligent Network)

  • 임지희;배영준;최호섭;옥철영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.189-193
    • /
    • 2007
  • 개념 간의 유사도 측정 방법은 의미망에서의 두 개념의 최단 경로의 수 노드의 깊이 관계의 종류 등의 정보를 이용하는 링크(Link) 기반 방법, 대용량의 말뭉치에서의 개념의 발생빈도를 확률로 계산한 정보량(Information Content) 기반 방법, 관련 단어들의 공기정보를 활용한 의미(Gloss) 기반 방법이 있으며, 이미 국외에서는 WordNet과 같은 의미적 언어자원을 활용하여 많은 연구가 진행되고 있다. 그러나 국내에서는 아직 한국어 의미망을 바탕으로 한 개념간의 유사성 측정 방법이나 이를 활용하는 방법에 대한 연구가 미흡하다. 본 논문에서는 이를 바탕으로 링크 타입 노드의 깊이 최단경로 정보량 등의 요소를 이용한 의미 유사도 측정방법을 제안하고 이를 활용하여 명사-용언간의 연계 정보를 확보함으로써, 효율적으로 명사-용언간의 네트워크를 구축하도록 한다.

  • PDF

소셜 네트워크에서 사용자의 영향력을 고려한 신뢰성 높은 핫 토픽 검출 기법 (High Reliable Hot Topic Detection Scheme Considering User Influences in Social Networks)

  • 노연우;전현욱;육미선;한지은;임종태;김연우;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2015년도 춘계 종합학술대회 논문집
    • /
    • pp.71-72
    • /
    • 2015
  • 소셜 네트워크의 발달로 대량의 데이터로부터 원하는 정보를 빠르게 분석하고 유의미한 정보를 찾아내는 것이 중요해지면서 핫토픽 검출에 대한 관심이 증가하고 있다. 본 논문에서는 단어의 출현 빈도수뿐만 아니라 사용자 영향력을 종합적으로 고려하여 이를 기반으로 트윗에 가중치를 부여함으로써 검출 결과의 신뢰성을 향상 시킬 수 있는 핫 토픽 검출 기법을 제안한다.

  • PDF

독자 추천도서 정보를 이용한 작가 이미지 분석 연구 (Analysis of Author Image Based on Book Recommendation from Readers)

  • 최상희
    • 정보관리학회지
    • /
    • 제34권4호
    • /
    • pp.153-171
    • /
    • 2017
  • 여가를 위해 독서를 하는 독자는 특정 작가를 선호하는 경우가 많은데 독서분야를 확장할 때에도 자신이 선호하는 작가와 연관된 작가나 장르로 독서분야를 확장하는 성향이 있다. 이 연구에서는 중심작가로 에드거 앨런 포를 선정한 후 독자들이 에드거 앨런 포와 연관하여 다른 독자에게 추천하는 작가와 작품정보를 기반으로 작가 이미지를 분석하였다. 에드거 앨런 포와 동시출현한 작가와 작품의 빈도수를 분석하고 추천작가간, 작품간 관계를 네트워크 기법으로 분석하였다. 분석결과 에드거 앨런 포의 장르적 이미지와 연관된 작가군, 작가들 간의 관계, 연관 도서가 파악되었다, 이 연구에서 제시한 특정 작가의 이미지, 연관 작가 및 작품 정보를 도출하는 방안은 특정 작가를 중심으로 도서관 독서 프로그램이나 문화 프로그램, 북 큐레이션을 하게 될 경우 활용할 수 있는 도구가 될 것이다.

듀얼 SMS 스팸 필터링: 그래프 기반 자질 가중치 기법 (Dual SMS SPAM Filtering: A Graph-based Feature Weighting Method)

  • 황재원;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.95-99
    • /
    • 2014
  • 본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

  • PDF

유사 어절 트리와 비 색인어 기반의 문서 표절 유사도 분류 방법 ((The Classification Method of the Document Plagiarism Similarity based on Similar Syntagma Tree and Non-Index Term))

  • 천승환;김미영;이귀상
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권8호
    • /
    • pp.1039-1048
    • /
    • 2002
  • 전자문서와 온라인으로 수신된 문서들은 표절 여부를 판별하기가 매우 어렵고 번거로운 일이다. 특히 학생들에게 부여된 과제물의 경우 동일한 주제에 대해서 작성되는 경우가 많으므로 독자적으로 작성된 문서와 표절되어진 문서를 판별하기가 쉽지 않다. 이것은 분류하고자 하는 문서들에서 주요 단어들 즉, 색인어들의 출현 빈도를 추출한 뒤 이를 이용하여 가장 적합한 카테고리를 찾는 기존의 방법들과는 전혀 다른 문제이다. 본 논문에서는 어절들의 -유사 어절 트리 구조와 색인어를 제외한 어절- 벡터를 기반으로 하여 비슷하게 작성된 문서들의 표절 판별을 목적으로 하는 작업에 적용될 수 있는 방법을 제안한다.

  • PDF

음향 DB 구축을 위한 한국어 의성어 군집화 (Korean Onomatopoeia Clustering for Sound Database)

  • 김명관;신영석;김영래
    • 한국멀티미디어학회논문지
    • /
    • 제11권9호
    • /
    • pp.1195-1203
    • /
    • 2008
  • 한글 문서에서 의성어는 자연적 혹은 인공적 소리를 인간의 언어로 표현하는 것으로서, 대상과 가장 가깝게 느껴지는 의성어 단어로 표현할 수 있으며 또한 음향 도서관구축 등 멀티미디어 데이터를 분류하는 기준으로 활용할 수 있다. 이 연구에서 우리는 말뭉치에서 의성어들의 출현빈도를 구하고, 실험에서 사용할 의성어 100개를 선별하였다. 의성어의 관계를 분류하기 위하여 유사도 및 거리 매트릭스의 특징을 추출하고, 이후에 주성분 분석 방법(PCA)을 사용하여 의성어 특성의 차원을 낮추었으며 의성어들의 관계를 벡터 공간에 표현하였다. 비계층적 클러스터링 방법 들을 비교하여 k-means 알고리즘을 사용하였다. 결과로 의성어를 분류하였고 분류 결과를 통해 의성어들의 특성을 반영할 수 있었다.

  • PDF

NDSL 검색 질의어와 기술용어간의 관계에 대한 분석적 연구 (A Relation Analysis between NDSL User Queries and Technical Terms)

  • 강남규;조민희;권오석
    • 정보관리연구
    • /
    • 제39권3호
    • /
    • pp.163-177
    • /
    • 2008
  • 본 논문에서는 NDSL을 검색하기 위해 이용자가 입력하는 검색 질의어를 대상으로 질의어에 사용되는 키워드와 학술지에서 추출한 기술용어와의 관계를 분석하고자 한다. 관계 분석을 위해 사용된 키워드는 17개월 동안의 NDSL 검색 질의어에서 추출한 약 83만3,000개, 기술용어는 NDSL, INSPEC, FSTA 3개 영문 학술지 데이터베이스 약 4,100만건에서 추출한 약 97만5,000개이다. 그리고 분석에 사용된 키워드와 기술용어는 2어절 이상의 영어 단어이며, 이들 간의 관계 분석은 키워드와 기술용어간의 일치성, 연관성, 기술용어에 대한 빈도 분석 등이다.

텍스트 마이닝 알고리즘을 이용한 기상청 연구개발분야 과제의 추세 분석 (Analysis of patterns in meteorological research and development using a text-mining algorithm)

  • 박홍주;김하빈;박태영;이영섭
    • 응용통계연구
    • /
    • 제29권5호
    • /
    • pp.935-947
    • /
    • 2016
  • 이 연구에서는 비정형 자료 분석 기법 중 하나인 텍스트 마이닝 기법으로 기상청 연구개발분야 과제의 동향에 대하여 분석하였다. 이를 위하여 용어사전을 구축하고, 전처리를 하여 용어-문서 행렬을 만들었다. 이것을 이용해 연도별 용어 빈도수를 측정하고, 자주 나타나는 단어들에 대해서는 상대도수의 변화에 대해서 관찰하였다. 그리고 회귀 분석을 사용하여 증가추세와 감소추세를 가지는 용어들을 파악하였다. 이러한 분석으로 기상청 최근 연구개발 분야의 트렌드를 파악하였다. 이와 같은 연구는 향후 기상청 연구개발에 관한 기초 자료로 사용될 수 있으며, 연구개발의 방향성과 청사진을 제시하는데 이용될 수 있을 것이다.

온톨로지 기반의 계층적 개념 인덱싱을 이용한 사용자 관심사 학습 (Learning User Interest using Hierarchical Concept indexing based on Ontology)

  • 박지현;김흥남;조근식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.646-648
    • /
    • 2005
  • 인터넷의 급속한 성장과 더불어 사용자들은 인터넷을 통해 많은 정보를 얻을 수 있게 되었으며 최신 뉴스를 실시간으로 접근할 수 있게 되었다. 이에 따라 방대한 정보 속에 사용자 관심사에 맞는 정보를 효과적으로 검색하기 위한 여러 방법들이 연구되어 왔다. 하지만 기존의 많은 선행 연구들은 단어 빈도 기반의 키워드 벡터 모델을 이용하여 사용자의 관심사를 학습하고 있다. 이러한 키워드 벡터 모델은 사용자의 선호도를 명확하게 기술하지 못하고 키워드를 이용한 특징 벡터 (feature-vector)는 개념들 사이의 관계를 찾기 어려운 한계를 가지고 있다. 이를 개선하기 위해 본 논문에선 계층적 개념 인덱싱(Hierarchical Concept Indexing)을 이용한 온톨로지 형태의 개인화된 사용자 프로파일을 만드는 방법을 제안한다. 생성된 사용자 프로파일에 개념 간의 유사도와 개념에 대한 사용자의 관심도를 고려하여 보다 개인의 선호도에 맞는 기사를 제공한다. 실험에서는 제안된 방법의 성능 평가를 위해서 기존의 키워드 벡터 모델의 학습 방법인 WebMate 시스템과 비교 분석하였다. 그 결과 제안하는 방법이 키워드 벡터를 이용한 학습 방법보다 향상된 성능을 보였다.

  • PDF