• 제목/요약/키워드: 유사어 처리

검색결과 191건 처리시간 0.028초

색인어 가중치 부여 방법에 따른 K-Means 문서 클러스터링의 LSI 분석 (Latent Semantic Indexing Analysis of K-Means Document Clustering for Changing Index Terms Weighting)

  • 오형진;고지현;안동언;박순철
    • 정보처리학회논문지B
    • /
    • 제10B권7호
    • /
    • pp.735-742
    • /
    • 2003
  • 정보검색 시스템에서 문서 클러스터링 기술은 사용자 질의에 대해 검색된 문서들을 문서간의 유사도를 기반으로 특정 주제에 따라 재배치하여 놓는 기술로써 사용자에게 검색의 편의성을 제공하고, 그 결과들을 시각적으로 보여줄 수 있다. 본 논문에서는 K-Means 알고리즘을 사용하여 문서를 클러스터링하며 문서를 대표하는 색인어에 가중치를 부여하는 기법에 대하여 논한다. 클러스터링 결과를 시각적으로 보여주기 위하여 문서와 클러스터 중심들을 2차원 공간으로 사상하기 위한 Latent Semantic Indexing 접근 방법을 적용하였다. 실험 결과 문서의 색인어에 대한 가중치 부여 방법을 동일하게 하거나 또는 유사한 수식을 적용한 사례보다는 로컬가중치, 글로벌가중치, 정규화 요소를 모두 부여한 사례에서 문서들이 2차원 벡터 공간에서 군집하여 분포하는 클러스터링 효과가 우수하였다. 특히 로컬 가중치와 글로벌 가중치에 logarithm을 적용하였을 때 문서 분포의 군집도는 현저하게 나타남을 알 수 있었다.

문장구조 유사도와 단어 유사도를 이용한 클러스터링 기반의 통계기계번역 (Integrated Clustering Method based on Syntactic Structure and Word Similarity for Statistical Machine Translation)

  • 김한경;나휘동;이금희;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.44-49
    • /
    • 2009
  • 통계기계번역에서 도메인에 특화된 번역을 시도하여 성능향상을 얻는 방법이 있다. 이를 위하여 문장의 유형이나 장르에 따라 클러스터링을 수행한다. 그러나 기존의 연구 중 문장의 유형 정보와 장르에 따른 정보를 동시에 사용한 경우는 없었다. 본 논문에서는 문장 사이의 문법적 구조 유사성으로 문장을 유형별로 분류하는 새로운 기법을 제시하였고, 단어 유사도 정보로 문서의 장르를 구분하여 기존의 두 기법을 통합하였다. 이렇게 분류된 말뭉치에서 추출한 모델과 전체 말뭉치에서 추출된 모델에서 보간법(interpolation)을 사용하여 통계기계번역의 성능을 향상하였다. 문장구조의 유사성과 단어 유사도 계산을 위하여 각각 커널과 코사인 유사도를 적용하였으며, 두 유사도를 적용하여 말뭉치를 분류하는 과정은 K-Means 알고리즘과 유사한 기계학습 기법을 사용하였다. 이를 일본어-영어의 특허문서에서 실험한 결과 최선의 경우 약 2.5%의 상대적인 성능 향상을 얻었다.

  • PDF

문맥을 고려한 유사 외래어 검출 알고리즘의 성능 향상 (An Enhanced Context Sensitive Algorithm for Equivalent Foreign Word Transliteration Detection)

  • 고숙현;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.114-121
    • /
    • 2007
  • 한국어에 대한 음성적 유사도 비교 알고리즘은 다양한 음차표기로 사용되는 외래어에 대하여 유사도 비교에 따른 등가부류를 형성해줌으로써 정보검색의 성능을 향상시킬 수 있다. 영어 환경에서의 음성적 유사도 비교 알고리즘인 SOUNDEX 알고리즘을 기반으로 하여 개발된 KODEX는 최소한의 제약사항으로 최대한의 재현율을 보였으나, 정확도 면에서 현저한 성능 감소를 보였다. 이를 보완하여 제안된 EKODEX 알고리즘은 Metaphone 알고리즘의 개념을 도입, 부분적인 모음 정보의 사용과 'ㅇ' 음가의 정보 보존 등의 제약사항을 통해 KODEX의 정확도를 끌어올렸다. 본 연구에서 제안하는 CKODEX 알고리즘은 KODEX와 EKODEX 알고리즘을 기반으로 한 것으로, 예외사항이 많은 한국어 발음 특성에 기반하여 세부적인 규칙을 정하고, 기존 알고리즘의 조건을 수정하는 방법으로 정확률과 재현율을 보다 향상시킴으로써 사용자의 질의어에 대한 클러스터링에 보다 효과적임을 밝혔다.

  • PDF

명사 워드넷과 단일어 사전을 이용한 한국어 동사 워드넷 구축 (Construction of Korean Verb Wordnet Using Preexisting Noun Wordnet and Monolingual Dictionary)

  • 이주호;배희숙;김은혜;김혜경;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.92-97
    • /
    • 2002
  • 의미기반 정보 검색, 자연어 질의 응답, 지식 자동 습득, 담화 처리 등 높은 수준의 자연언어처리 시스템에서 의미처리를 위한 대용량의 지식 베이스가 필요하다. 이러한 지식 베이스 중에서 가장 기본적인 것이 워드넷이다. 이러한 워드넷을 이용함으로써 여러 의미 사이의 의미 유사도를 구할 수 있고, 속성을 물려받을 수 있기 때문에 비슷한 속성을 가진 의미들을 한꺼번에 다루는 데 유용하다. 본 논문에서는 기본 어휘를 바탕으로 기존의 명사 워드넷과 단일어 사전을 이용하여 한국어 동사 워드넷을 구축하는 방법을 제시한다. 본 논문에서 1차 작업을 통하여 구축한 동사 워드넷에는 동사 1,757개에 대한 4,717개의 의미(중복을 포함하면 모두 5,235개의 의미)를 포함하고 있으며 특별히 의미가 많이 편중된 14개의 개념에 속한 571개의 의미를 53개의 세부 개념으로 재분류하여 최종적으로 모두 767개의 계층적 개념으로 구성된 동사 워드넷이 만들어 졌다.

  • PDF

주제어의 유사도 분석에 기반한 협업문서 생성제어 시스템 (A Control System for Creation of Collaboration Documents based on Keyword Similarity Anaysis)

  • 조성웅;원용관;이도헌;이귀상
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1761-1764
    • /
    • 2002
  • 인터넷은 공동작업과 지식정보 공유를 보다 쉽고 효율적으로 하기 위해 시간과 공간을 초월하는 동적인 협업시스템이 필요하게 되었다. 새로운 형태의 지식공유 시스템인 위키(WIKI)는 연구원간의 자유스러운 정보교환을 보장하는 협업공간을 제공함으로써 지식정보의 생산성과 효율성을 극대화시킨다. 하지만 정보량이 방대해짐에 따라 공동의 주제를 가진 문서들이 중복되어 생성됨으로써 주제의 분산이 이루어져 정보공유의 힘을 약화시키는 문제점을 야기시킨다. 본 논문에서는 이러한 문제점을 해결하기위해 파서(parser), 문서 분류시스템, 유사성 측정시스템으로 구성된 협업문서 생성제어 시스템을 제안한다.

  • PDF

키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현 (Design and Implementation of Paper Classification Systems based on Keyword Extraction and Clustering)

  • 이윤수;테이퍼악떠라;이종혁;길준민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.48-51
    • /
    • 2018
  • 컴퓨터 및 기술의 발전으로 힘입어 수많은 논문이 오프라인뿐 아니라 온라인으로 발행되고 있고, 새로운 분야들도 계속 생기면서 사용자들은 방대한 논문들 중 자신이 필요로 하는 논문을 검색하거나 분류하기에 많은 어려움을 겪고 있다. 이러한 한계를 극복하기 위해 본 논문에서는 유사 내용의 논문을 분류하고 이를 군집화하는 방법을 제안한다. 제안하는 방법은 TF-IDF를 이용하여 각 논문의 초록으로 부터 대표 주제어를 추출하고, K-means 클러스터링 알고리즘을 이용하여 추출한 TF-IDF 값을 근거로 논문들을 유사 내용의 논문으로 군집화한다.

한국어 기반 음성 인식에서 사투리 표현에 관한 연구 (A Study on Dialect Expression in Korean-Based Speech Recognition)

  • 이신협
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.333-335
    • /
    • 2022
  • 음성인식 처리기술의 발전은 STT, TTS 기술과 함께 각종 동영상, 스트리밍 서비스에서 적용되어 사용되고 있다. 그러나 실제 대화내용의 음성인식은 사투리 사용과 불용어, 감탄사, 유사어의 중복 등으로 명료한 문어체적 표현에 장벽이 높은 편이다. 본 연구에서는 음성인식에 모호한 사투리에 대해 범주별 사투리 중요 단어 사전 처리 방식과 사투리 운율을 음성 인식 네트워크 모델 속성으로 적용한 음성인식기술을 제안한다.

  • PDF

이미지 기반 여행지 추천 시스템 (Image-based Tourism Recommender System)

  • 나영민;김솔;송기연;이금상;이재환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.396-397
    • /
    • 2023
  • 추천 시스템은 빅데이터 관련 기술과 알고리즘의 발달로 다양한 분야에서 사용되고 있다. 관광 산업도 예외는 아니다. 본 연구에서는 사용자들이 촬영한 사진을 기반으로 유사한 여행지를 추천하는 추천 시스템을 제안한다. 사용자가 입력한 이미지에서 언어적 특성과 비언어적 특성을 추출하고 이를 기반으로 유사한 이미지를 탐색하고, 이를 기반으로 사용자가 좋아할 다음 여행지를 추천한다. 사용자가 질의어를 입력하지 않고 이미지를 제공하여 추천이 이루어진다는 점과 사용자의실제 여행 여부를 이용해 모델의 성능을 평가했다는 점에서 연구의 의의가 있다.

대등관계 설정의 확장 지침에 관한 연구 (A Study on the Extend Guideline for the Equivalence Relationship in Thesaurus)

  • 남영준
    • 정보관리학회지
    • /
    • 제21권2호
    • /
    • pp.1-21
    • /
    • 2004
  • 시소러스가 적정한 검색효율을 유지하기 위해서는 등재된 디스크립터에 대한 지속적인 유지관리가 필수적이다. 시소러스의 규모를 적정하게 유지하기 위해서는 신규용어와 기존용어를 우선적으로 대등관계로 처리해야 한다. 따라서 전통적인 동의어 이외에도 여러 관계에 대한 새로운 대등관계선정기준이 요구된다. 본 연구는 기존의 대등관계 설정기준을 좀 더 세분하여 보다 효율적인 시소러스 역할을 수행할 수 있는 방안을 제시하였다. 대등관계로 설정할 수 있는 기준을 전통적인 동의어 관계를 비롯하여, 유사동의어, 전거어, 대립어 등도 대등관계로 설정될 수 있음을 제안하였다. 본 연구에서 제안한 대등관계는 여섯가지 국면(facet)으로 기준을 정하였으며, 이 기준은 검색효율을 위해 용어 관계의 재정립을 위한 지침으로 활용될 수 있다.

분야 시소러스를 이용한 코아 온톨로지 확장 (Enriching Core Ontology with Domain Thesaurus)

  • 황금하;신지애;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.31-37
    • /
    • 2007
  • 본 논문에서는 분야 시소러스의 개념과 관계를 이용하여 코아 온톨로지를 확장하는 방법을 제안한다. 분야 시소러스의 개념을 코아 온톨로지의 상위 개념으로 분류하고, 시소러스에서의 광의어(Broader Term: BT)-협의어(Narrower Term: NT) 및 광의어-관련어(Related Term: RT)들 사이의 관계는 코아 온톨로지에서 정의한 의미관계로 분류한다. 유사도와 빈도수 기반의 방법으로 개념 분류를 수행하였고, 관계 분류에서는 두 가지 방법을 적용하였는데, (i) 훈련데이터가 부족한 경우를 위하여 규칙기반 방법으로 BT-NT/RT관계를 isa와 기타 관계(non-isa관계)로 분류하고, 패턴기반 방법으로 non-isa관계를 온톨로지를 위한 의미관계로 분류한다. (ii) 훈련데이터를 충분히 가지고 있을 경우, 최대 엔트로피 모델(MEM)을 적용한 분류 방법을 사용하되, kNN방법으로 훈련데이터를 정제하였다. 본 논문에서 제안한 방법으로 시스템을 구축하였고, 실험 결과, 시스템 성능이 사람에 의한 판단 결과와 비교 가능한 수준이었다.

  • PDF