• 제목/요약/키워드: 문맥 표현

검색결과 177건 처리시간 0.018초

딥 러닝을 이용한 한국어 형태소의 원형 복원 오류 수정 (Error Correction in Korean Morpheme Recovery using Deep Learning)

  • 황현선;이창기
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1452-1458
    • /
    • 2015
  • 한국어 형태소 분석은 교착어 특성상 난이도가 높은 작업이다. 그 중에서 형태소의 원형 복원 작업은 규칙이나 기분석 사전 정보 등을 활용하는 방법이 주로 연구되었다. 그러나 이러한 방법들은 어휘 수준의 문맥 정보를 보지 못하기 때문에 원형 복원에 한계가 있다. 본 논문에서는 최근 자연어처리에 연구되고 있는 기계학습 방법인 딥 러닝(deep learning)을 사용하여 형태소의 원형 복원 문제의 해결을 시도하였다. 문맥 정보를 보기 위해 단어 표현(word embedding)을 사용하여 기존의 방법들 보다 높은 성능을 보였다. 실험 결과, '들/VV'과 '듣/VV'의 복원 문제에 대해서 97.97%로 기존의 자연어처리에 쓰이는 기계학습 방법 중 하나인 SVM(Support Vector Machine)의 96.22% 보다 1.75% 높은 성능을 보였다.

운율경계정보를 이용한 HMM기반 한국어 TTS 자연성 향상 연구 (Improvement of Naturalness for a HMM-based Korean TTS using the prosodic boundary information)

  • 임기정;이정철
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권9호
    • /
    • pp.75-84
    • /
    • 2012
  • HMM 기반 음성합성시스템은 성능향상을 위해 일반적으로 대용량 음성 DB로부터 생성된 문맥의존 tri-phone을 이용한다. 그리고 대용량 DB의 경량화를 위해서 문맥의존정보를 이용하여 결정트리 방식으로 발화특성이 유사한 문맥의존음소들을 군집화한다. 군집화에 사용하는 문맥의존정보는 음소열 뿐만 아니라 운율정보도 포함하는데 이는 합성음의 자연성이 끊어 읽기, 억양패턴, 음의 장단과 같은 운율에 의해 크게 좌우되기 때문이다. 그러나 복잡한 운율정보를 사용할 경우 훈련과정에 포함되지 않은 문맥의존음소는 하나의 대표값으로 평활화되며 이로 인해 합성음의 자연성이 크게 저하된다. 본 논문에서는 합성음의 자연성을 향상시키기 위해 복잡한 운율정보 대신 억양 변화를 상승, 평탄, 하강으로 구분함으로써 운율정보표현을 간소화시킨 운율경계정보를 포함하는 문맥의존정보에 대한 문맥질의, 그리고 해당 질의의 패턴을 정의하는 방법을 제안하였다. 본 논문에서 제안하는 세 가지 운율경계정보를 포함한 문맥의존정보를 이용하여 합성음을 생성하고 MOS평가를 수행한 결과 운율경계정보를 이용한 HMM기반 한국어 TTS 합성음의 자연성이 향상됨을 확인하였다.

U-WIN을 이용한 WSD 기반의 문서 유사도 측정 (Measurement of WSD based Document Similarity using U-WIN)

  • 심강섭;배영준;옥철영;최호섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.90-95
    • /
    • 2008
  • 이미 국외에서는 WordNet과 같은 의미적 언어자원을 활용한 문서 유사도 측정에 관한 많은 연구가 진행되고 있다. 그러나 국내에서는 아직 WordNet과 같은 언어자원이 부족하여, 이를 바탕으로 한 문서 유사도 측정 방법이나 그 결과를 활용하는 방법에 관한 연구가 미흡하다. 기존에 국내에서 사용된 문서 유사도 측정법들은 대부분 문서 내에 출현하는 어휘들의 의미에 기반하기 보다는, 그 어휘들의 단순 매칭이나 빈도수를 이용한 가중치 측정법, 또는 가중치를 이용한 중요 어휘 추출방법들 이었다. 이 때문에, 기존의 유사도 측정법들은 문서의 문맥정보를 포함하지 못하고, 어휘의 빈도를 구하기 위하여 대용량의 문서집합에 의존적이며, 또한 특정 개념(의미)을 다른 어휘로 표현하거나, 유사/관련 어휘가 사용된 유사 문서에 대한 처리가 미흡하였다. 본 논문에서는 이에 착안하여 한국어 어휘 의미망인 U-WIN과 문맥에 사용된 어휘들의 overlap 정보를 사용하여, 단순히 어휘에 기반하지 않고, 기본적인 문맥정보를 활용하며, 어휘의 의미에 기반을 둔 문서유사도 측정법을 제안한다.

  • PDF

최대 엔트로피 모델을 이용한 한국어 명사구 추출 (Korean Noun Phrase Identification using Maximum Entropy Method)

  • 강인호;전수영;김길창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.127-132
    • /
    • 2000
  • 본 논문에서는 격조사의 구문적인 특성을 이용하여, 수식어까지 포함한 명사구 추출 방법을 연구한다. 명사구 판정을 위해 연속적인 형태소열을 문맥정보로 사용하던 기존의 방법과 달리, 명사구의 처음과 끝 그리고 명사구 주변의 형태소를 이용하여 명사구의 수식 부분과 중심 명사를 문맥정보로 사용한다. 다양한 형태의 문맥정보들은 최대 엔트로피 원리(Maximum Entropy Principle)에 의해 하나의 확률 분포로 결합된다. 본 논문에서 제안하는 명사구 추출 방법은 먼저 구문 트리 태깅된 코퍼스에서 품사열로 표현되는 명사구 문법 규칙을 얻어낸다. 이렇게 얻어낸 명사구 규칙을 이용하여 격조사와 인접한 명사구 후보들을 추출한다. 추출된 각 명사구 후보는 학습 코퍼스에서 얻어낸 확률 분포에 기반하여 명사구로 해서될 확률값을 부여받는다. 이 중 제일 확률값이 높은 것을 선택하는 형태로 각 격조사와 관계있는 명사구를 추출한다. 본 연구에서 제시하는 모델로 실험을 한 결과 평균 4.5개의 구를 포함하는 명사구를 추출할 수 있었다.

  • PDF

태그의 문맥 정보를 이용한 웹 자원 추천 시스템 (Tag Based Web Resource Recommendation System)

  • 송제인;정옥란
    • 인터넷정보학회논문지
    • /
    • 제17권6호
    • /
    • pp.133-141
    • /
    • 2016
  • 최근의 여러 웹서비스에서는 태깅 기능을 제공함으로써 사용자가 작성하는 게시물의 주제를 표현하도록 유도하고 있다. 태그를 이용하면 글이나 사진에 대한 글쓴이의 감정과 같은 문맥적인 정보의 효과적인 추출이 가능하기 때문에, 기계적인 방식보다 글의 내용에 대해서 더 나은 의미 파악이 가능하다. 따라서 이를 추천시스템에 적용한다면 사용자의 만족도를 높일 수 있는 추천이 가능할 것이다. 본 논문에서는 게시글에 속한 태그들 간의 관계를 계산하고, 효율적인 유사도 측정 알고리즘을 통해 게시글과 사용자등의 웹 자원을 추천하는 방법을 제안한다. 마지막으로, 실험을 통해 제안한 방법의 유효성을 검증하고, 사용자의 만족도를 측정하였다.

외국인 학습자를 위한 문맥 기반 실시간 국어 문장 교정 (Context Based Real-time Korean Writing Correcting for Foriengers)

  • 박영근;최재성;김재민;이성동;이현아
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.273-275
    • /
    • 2016
  • 외국인 유학생과 국내 체류 외국인을 포함하여 한국어를 학습하고자 하는 외국인이 지속적으로 증가함에 따라, 외국인 한국어 학습자의 교육에 대한 관심도 높아지고 있다. 기존 맞춤법 검사기는 한국어를 충분히 이해할 수 있는 한국인의 사용에 중점을 두고 있어, 외국인 한국어 학습자가 사용하기에는 다소 부적절하다. 본 논문에서는 한국어의 문맥 특성과 외국인의 작문 특성을 반영한 한국어 교정 방식을 제안한다. 제안하는 시스템에서는 말뭉치에서 추출한 어절 바이그램에 대한 음절 역색인을 구성하여 추천 표현을 빠르게 제시할 수 있으며, 키보드 후킹에 기반한 사용자인터페이스를 제공하여 사용자 편의를 높인다.

  • PDF

일정관리 영역에서 신경망을 이용한 사용자 의도파악 (Identifying users' intentions using neural networks in a schedule management domain)

  • 이현정;서정연
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2006년도 춘계학술대회
    • /
    • pp.87-90
    • /
    • 2006
  • 목적 지향 대화에서, 사용자의 의도는 화행(speech acts)과 개념열(concept sequences)로 나타낼 수 있다. 화행은 대화의 영역과는 상관없이 표현되는 정보이고, 개념열은 영역과 깊은 관련을 지닌 정보이다. 대화시스템에서 화행과 개념열로 구성되는 사용자의 의도를 정확히 파악하는 것은 시스템이 사용자의 발화에 정확히 응대하는 데에 매우 중요하다. 본 논문에서는 일정관리 영역에서의 대화를 대상으로 화행과 개념열을 분류하고 신경망을 사용하여 이들을 분석한다. 화행과 개념열로 구성되는 의도 분석에 사용하는 자질은 크게 문맥 자질과 문장 자질로 분류되며, 문장자질은 카이제곱 통계량을 사용하여 사용자의 의도 분석에 효과적인 자질만을 선택하여 사용하고 문맥자질로는 이전 발화에 대한 정보를 활용한다. 신경망을 사용하여 사용자 의도 분석을 수행한 결과 성능이 우수함을 알 수 있었다.

  • PDF

상황이론을 이용한 정보흐름에 대한 패턴인식을 위한 ontology 모델링 (Ontology Modeling for Pattern Recognition of Information Flow Using Situation Theory)

  • 임영문
    • 산업경영시스템학회지
    • /
    • 제28권4호
    • /
    • pp.63-68
    • /
    • 2005
  • 주어진 시스템에서 정보와 정보흐름에 대한 패턴인식을 하기 위해서는, 정보를 내포하고 있는 문맥이 내용에 따라서 다른 단어나 다른 정보를 추론하여 원래의미를 전달함에 있어 오도할 수 있기 때문에, 문맥의 분해에서 정보 조각의 묶음 형태로 전환하는 작업에서부터 연구는 시작되어야만 한다. 많은 연구자들이 정보의 저장, 재표현, 부호화, 검색 등에 관해 효과적인 방법론을 찾고자 노력해 오고 있다. 유사한 노력의 일환으로 본 논문에서는 군이론과 상황이론을 응용해서 정보 및 정보흐름의 패턴인식에 관한 새로운 모델링 기법을 제안하고자 한다. 정보처리에 관련된 선행연구와 비교해서, 본 연구에서 제안하는 방법은 수학이론인 군이론과 상황이론에서 사용되고 있는 개념과 정의를 사용하였다는 점에서 매우 새로운 접근방법이라 할 수 있다. 본 논문에서는 정보흐름의 패턴인식을 위한 모델링 기법으로 Abelian Pattern Semi-Group을 제시하는데 이러한 접근방법은 최근 중요한 연구 분야가 되고 있는 유비쿼터스 컴퓨팅 환경에서도 활용될 수 있을 것이다.

말뭉치의 통계정보를 이용한 한국어 글쓰기 도우미 시스템 (Korean Writing Assistant System using Corpus Statistics)

  • 이재승;유주현;이현호;이현아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.206-208
    • /
    • 2015
  • 온라인을 통해 접하게 되는 잘못된 우리말 표현과 외국어 중심 교육 등으로 인하여 학생들의 한국어 능력, 특히 글쓰기 능력에 우려가 높아지고 있다. 본 논문에서는 잘 작성된 말뭉치에서 얻어진 데이터에 기반한 한국어 글쓰기 도우미 시스템을 제안한다. 시스템은 작성 중인 문맥에 맞은 단어를 추천하는 용언/체언 추천과 입력 문장의 주요 단어가 포함된 말뭉치의 문장을 제시하는 유사 문장 추천, 문서의 단어가 문서의 문맥 단어와 조화로운지를 확인하는 어휘 응집성 검사, 단어 중복도를 확인하기 위한 단어 빈도 검사 기능을 제공한다. 시스템에서는 사용자가 말뭉치를 추가하면 색인을 구축할 수 있어 원하는 분야에 맞는 추천과 검사 기능을 제공할 수 있다.

  • PDF

답러닝을 활용한 문장 예측 시스템 (A Prediction System of Sentence using Deep Learning)

  • 정진모;지수진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.402-404
    • /
    • 2018
  • 본 논문은 기존에 주어진 문장 다음에 올 수 있는 문장에 대해 딥러닝을 활용하여 예측하는 시스템이며, 데이터 전처리, 문장 목적 파악, 문맥 파악의 세가지 파트로 구성되어 있다. 전처리 과정에서는 문장에 쓰인 단어에 대한 품사 정보를 Input Feature 로 추가한다. 이어서 문장 목적 파악을 위해서는 상황별로 문장을 표현하는 방법이나 단어들의 순서가 다르기 때문에 단어의 순서보다는 문장의 특징점을 학습한다. 마지막으로 문맥 파악을 위해서 이전 단계에서 학습된 문장별 목적 데이터를 기반으로 데이터의 시간적 흐름에 대한 학습을 진행함으로써 이후에 나올 수 있는 문장을 예측한다.