• 제목/요약/키워드: 유사어 처리

검색결과 191건 처리시간 0.025초

격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링 (A Similarity-based Dialogue Modeling with Case Frame and Word Embedding)

  • 이호경;배경만;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.220-225
    • /
    • 2016
  • 본 논문에서는 격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링을 제안한다. 기존의 유사도 기반 대화 모델링 방법은 형태소, 형태소 표지, 개체명, 토픽 자질, 핵심단어 등을 대화 말뭉치에서 추출하여 BOW(Bag Of Words) 자질로 사용하였기 때문에 입력된 사용자 발화에 포함된 단어들의 주어, 목적어와 같은 문장성분들의 위치적 역할을 반영할 수 가 없다. 또한, 의미적으로 유사하지만 다른 형태소를 가지는 문장 성분들의 경우 유사도 계산에 반영되지 않는 형태소 불일치 문제가 존재한다. 이러한 문제점을 해결하기 위해서, 위치적 정보를 반영하기 위한 문장성분 기반의 격틀과 형태소 불일치 문제를 해결하기 위한 워드임베딩을 활용하여 개선된 유사도 기반 대화 모델링을 제안한다. 개선된 유사도 기반 대화 모델링은 MRR 성능 약 92%의 성능을 나타낸다.

  • PDF

Ergodic Markov Model을 이용한 정보 검색 모델 (An Information Retrieval Model based on an Ergodic Markov Model)

  • 강인호;이여진;한영석;김길창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.57-62
    • /
    • 2001
  • 인터넷의 급속한 양적 증가로 인해 색인어 기반의 검색 방식만으로는 원하는 정보를 찾아 내기가 쉽지 않다. 색인어 기반의 검색 방식에서는 색인어로 나타나지 않는 특징을 이용할 수 없으며, 질적으로 균등한 검색 결과를 제시하지 못하기 때문이다. 따라서 사이트의 여러 가지 특성에 따라 계층적으로 분류해놓은 웹 디렉토리를 이용하거나, 관련 전문가들의 추천 리스트를 이용하여 검객하기도 한다. 본 연구에서는 기존의 색인어 기반의 검색 모델에 웹 디렉토리와 추천 문서 같은 문서간의 링크 정보를 결합할 수 있는 정보 검색 모델을 제시한다. 특정 질의어의 검색 결과로 얻어낸 문서와 그 문서와 연결된 문서 집합을 이용하여 네트워크를 구성한다. 이 네트워크에 검색기가 제시하는 순위와 유사도, 그리고 문서간의 링크 정도를 이용해서 확률값을 정해준다. 그리고 Ergodic Markov Model의 특성을 이용하여 색인어 정보와 링크 정보를 결합한다. 본 연구에서는 특정 문서가 질의어에 부합되는 정도를 사용자가 그 문서로 이동할 확률값으로 계산하는 방식을 보인다.

  • PDF

한국어 대용과 생략 해결을 위한 센터링 이론의 적용 (Centering for Korean Anaphora and Ellipsis Resolution)

  • 차건회;송도규;박재득
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.347-352
    • /
    • 1997
  • 대용(anaphora)과 생략(.ellipsis)지을 포함한 지시 해결(reference resolution)은 자연어 처리에 있어서 꼭 해결하고 넘어가야 할 문제이며 지시어가 가리키는 피지시어를 올바르게 찾아내는가의 여부가 자연어처리 시스템의 성패를 가름하는 중요한 요소가 된다해도 과언이 아니다. 본 논문에서는 한국어 대용과 생략을 해결하기 위한 기제로서 센터링 이론이 적합한가를 검토하고 나아가 언어에 따라서 다르게 제안된 Cf 목록의 순서를 한국어의 언어특성에 맞게 결정하는 기법을 제안한다. 센터링 이론에서 각 개별언어 간의 차이가 가장 두드러지게 나타나는 부분은 Cf 목록을 구성하는 요소들의 순서이다. 여기에서는 한국어와 언어적인 특성이 유사한 일본어를 대상으로 제안된 순서를 한국어에도 그대로 적용될 수 있는지 검토하고 문제점을 지적함과 동시에 개선 방안을 아울러 살펴보고자 한다.

  • PDF

수화 자동 생성을 위한 한국어 문장 분석과 처리 (Analysis and Computational Processing of Sentences in Korean for Automatic Sign Language Generation)

  • 최지원;박종철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.219-226
    • /
    • 2003
  • 한국 수화는 한국어에 대한 기본적인 유사성을 가지고 있지만, 교착어이자 청각-음성 체계 언어인 한국어와는 달리 고립어이자 시각-운동 체계 언어로서의 특성을 동시에 나타내고 있다. 그러므로 텍스트 형태의 한국어 문장으로부터 수화를 자동 생성하기 위해서는 한국어를 위해 미리 정의된 문법에 수화 표현을 무리하게 연계시키려고 하기 보다, 수화 고유의 의미 전달 체계를 분석하고 활용하여야 할 필요가 있다. 본 논문에서는 수화 표현상의 언어학적 특징을 재현 생략 변형 이동의 네 가지로 구분하여 분석하고 결합범주문법을 이용한 이 같은 형상의 처리 방법 및 구현 방안에 대하여 논의한다.

  • PDF

한국어(韓國語)의 이중대격구문(二重對格構文)과 일본어(日本語)의 이중대격구문(二重對格構文)의 문제(問題) (Constructions of Double Accusative in Korean & Japanese)

  • 강용희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.169-174
    • /
    • 1998
  • 한국어(韓國語)의 격조사(格助詞)와 일본어(日本語)의 격조사(格助詞)의 유사성(類似性)과 상이성(相異性)에 관한 연구(硏究)는 많지만 격조사(格助詞)와 단문(單文)의 통사적(統辭的) 제약(制約)에 관한 연구(硏究)는 미비하다. 본 연구(硏究)에서는 이중대격구문(二重對格構文)의 관점(觀点)에서 양국언어(兩國言語)의 통사적(統辭的) 상이점(相異点)과 분포(分布)의 차이(差異)를 명백(明白)히 밝히며, 일본(日本)의 한국(韓日) 기계번역(機械飜譯) 시스템에서의 처리(處理)와 오역(誤譯)의 처리(處理)를 고찰(考察) 하는 것을 목적(目的)으로 한다.

  • PDF

관광 정보 검색을 위한 자연언어 질의 해석 시스템 구현 (A design and implementation of query processor for travel information retrieval system)

  • 김명철;서광준;전경헌;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.449-458
    • /
    • 1992
  • 본 논문은 관광정보검색용 한국어 자연언어 질의 해석 시스템의 모델 정립 및 구현에 대한 것이다. 본 자연언어 질의 해석 시스템은 질의로 부터 정보 검색 시스템의 검색어들을 추출한다. 이를 위하여 1만 단어 수준의 중형사전을 구축하였으며, 불용어 사전, 전거어 사전, 유사어 사전, 복합명사 사전을 구축하였다. 사전의 어휘를 추출하기 위해서 한국어 대화체 문장에 대한 자료수집과 분석을 하였으며, 관광 정보 검색 시스템의 텍스트를 분석하였다. 200여 자연언어 질의 문장으로 실험한 결과는 비교적 좋았다.

  • PDF

인접 단어들의 접속정보를 이용한 일한 활용어 번역 (Japanese-to-Korean Inflected Word Translation Using Connection Relations of Two Neighboring Words)

  • Kim, Jung-In;Lee, Kang-Hyuk
    • 인지과학
    • /
    • 제15권2호
    • /
    • pp.33-42
    • /
    • 2004
  • 일본어와 한국어는 문법적으로 많은 유사점을 가지고 있다. 이러한 유사점을 잘 이용한다면 일한 기계번역 시스템에서 구문해석이나 의미해석의 상당한 부분을 생략할 수 있다. 몇 년 전부터 우리는 유사성을 이용하여 번역율을 높이는 방법으로 번역테이블을 이용한 일한기계번역 시스템을 연구해왔다. 그러나 이 시스템은 활용어미의 번역, 다의성 단어의 처리 등 및 가지 문제점을 가지고 있었다. 본 논문에서는 번역데이블을 이용하는 시스템을 개선하여 이웃하는 단어들과의 관계 정보를 이용한 일한 기계번역 시스템을 제안한다. 현재 시스템의 문제점들을 해결하기 위하여 우선 조사, 조동사의 접속정보를 최대한 이용한다. 또한, 번역 테이블을 엔트리테이블과 접속정보 테이블로 나누어 설계하여 번역의 효율을 높인다. 즉, 하나의 역어만 가지는 단어인 경우, 우리는 일한 직접 대응 방법을 이용하여 바로 번역하고 2개 이상의 역어로 번역되어야 할 경우만 접속 정보 값을 평가하여 가장 가능성이 높은 번역어를 선택하도록 한다.

  • PDF

유사 어절 트리를 이용한 표절 문서의 Clustering 방법 (Clustering Method Of Plagiarism Document To Use Similarity Syntagma Tree)

  • 천승환;김미영;이귀상
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.2269-2272
    • /
    • 2002
  • 인터넷과 컴퓨터를 이용한 학생들의 과제물을 평가하는데 있어 표절의 용이성으로 인해 정확히 판별하는 것은 매우 어렵고 번거로운 일이다. 특히 동일한 주제에 대해서 작성되는 경우가 많으므로 독자적으로 작성된 문서와 표절되어진 문서를 판별하기가 쉽지 않다. 이것은 클러스터링 하고자 하는 문서들에서 주요 단어들 즉, 색인어들의 출현 빈도를 추출한 뒤 이를 이용하여 가장 적합한 Clustering을 찾는 기존의 정보 검색 방법들과는 전혀 다른 문제이다. 본 논문에서는 과제물의 평가에 지침을 제공할 수 있도록 유사 어절 트리를 이용한 표절 유사도에 따른 Cluster들을 생성하는 방법에 대해 제안한다.

  • PDF

국가 R&D 정보 유사문서 검색에 대한 연구 (A Study on Similar Document Retrieval for National R&D Information)

  • 한희준;주원균;석중호;최기석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.283-286
    • /
    • 2012
  • 국가과학기술지식정보서비스(NTIS)는 국가 R&D와 관련된 과제, 성과, 인력, 시설 장비, 기술산업 정보에 대해 이용자에게 통합검색서비스를 제공한다. 이용자는 질의어를 입력하여 원하는 정보를 선별하게 되고, 한 건의 상세 메타정보 및 원문을 검색서비스의 최종 목적지로 삼는다. 이 때 이용 중인 정보와 유사한 다른 유형의 R&D 정보를 함께 제공한다면 이용자의 검색 및 탐색노력을 줄임으로써 정보획득의 요구를 쉽게 충족시킬 수 있다. 본 논문에서는 국가 R&D 정보의 메타데이터와 검색엔진의 부스팅 기법을 이용하여 이종 정보간 유사문서 검색 방법에 대해 논한다. 이는 이용자가 원하는 정보를 서비스 최종 화면(메타 상세보기)에서 제공함으로써 검색 서비스의 효율성을 증대시킨다.

건설분야 텍스트 인식시스템의 매칭알고리즘 개발 (Development of Matching Algorism for System Recognizing Text in the Construction Field)

  • 송종관;정숙
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1525-1527
    • /
    • 2011
  • 현재 모든 분야에 IT산업이 융합되어 있지만 건설분야에서는 IT산업과의 융합이 많이 시도되고 있음에도 불구하고 타 산업에 비해 미비한 실정이다. 특히, 설계단계 공사비정보는 설계자의 의사결정을 지원하는 중요한 자료원임에도 불구하고 작성자에 따라 내역서에 쓰이는 작업항목 및 규격의 표현방식이 다르고 외래어 표음 및 오타, 그리고 부가정보 표기로 인해 단가축적의 시스템 및 DB화 가 이루어지지 않고 있다. 따라서 본 연구는 시공단계에서 발생된 실적단가를 설계단계에서 효과적으로 활용하기 위해 동일한 작업항목의 상이한 표현을 동일하게 인식할 수 있는 텍스트 인식시스템의 알고리즘을 제시한다. 텍스트 인식알고리즘에는 "유사어 및 단어테이블", "기준작업항목 테이블", "인식된 작업항목 테이블" 등으로 구성된 DB, 최소의미단위 단어를 비교 분절하기 위한 문자열 매칭 알고리즘, 그리고 동일하지 않은 텍스트를 인식하고 사용자의 의사결정을 지원하기 위한 유사도 계산으로 구성하였다.