• 제목/요약/키워드: 말뭉치 구축

검색결과 295건 처리시간 0.029초

자동 추출된 지식에 기반한 한국어 학습 지원 시스템 (Korean Learning Assistant System with Automatically Extracted Knowledge)

  • 박기태;이태훈;황소현;김병만;이현아;신윤식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제1권2호
    • /
    • pp.91-102
    • /
    • 2012
  • 정보통신기술을 활용한 학습시스템은 꾸준히 강조되어 왔지만 한국어 학습시스템의 자동화 수준은 높지 않다. 실용성 있는 학습시스템의 구축에는 대량의 기반지식이 필요하지만 이러한 지식을 구축하기 쉽지 않기 때문이다. 본 논문에서는 한국어학습시스템의 요소로 어학문제풀이, 표준발음 도우미, 글쓰기 도우미를 제안하고, 획득이 용이한 말뭉치와 웹문서, 사전을 활용하여 구축된 학습지원시스템을 소개한다. 어학문제풀이를 위한 자동문제생성에서는 말뭉치와 사전을 이용하여 문제와 보기문항을 생성하고, 웹문서 검색빈도를 활용하여 보기적합성을 검증한다. 표준발음 변환을 위해서 발음표기법을 분석하였으며, 글쓰기 지원을 위해 말뭉치에서 추출한 기분석데이터를 이용한 실시간 어휘추천과 문장추천을 구현하였다. 실험에서는 제안하는 방법으로 생성된 임의의 400문제에 대한 판정 결과 89.9%의 문제 적합률과 64.9%의 보기 적합률을 보였다.

부분 분석 결과를 공유하는 한국어 형태소 분석 (Korean Morphological Analysis Sharing Partial Analyses)

  • 이상호
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
    • /
    • pp.75-79
    • /
    • 1994
  • 한국어 어절의 모든 가능한 형태소 분석 결과는 형태소 격자 구조로 대응된다. 즉, 형태소 분석과정은 형태소 격자 구조를 만드는 과정과 동일하다고 말할 수 있다. 기존의 방법들은 여러개의 가능한 분석 결과에 중복되는 형태소들을 그대로 저장하여 자료 관리의 비효율성이 있었다. 본 논문에서 설명하는 형태소 분석기는 형태소 분석의 중간 결과를 공유하여, 자료의 중복 저장을 피했고, 모든 가능한 형태소 분석 결과를 형태소 격자 구조의 가능한 모든 경로로 대응하였다. 한편, 형태소 배열 규칙은 품사 태깅된 말뭉치로부터 자동으로 추출되었다. 또한, 사전도 품사 태깅된 말뭉치로부터 자동으로 구축되었으며, 굴절된 형태소는 등록되지 않는다. 그러나 불규칙 및 축약 현상에 관한 정보는 수동으로 추가되었다. 불규칙 및 축약 현상의 발생 가능 위치는 한글 자소 패턴에 의해서 찾아지고, 이들 현상의 처리는 절차적인 방법에 의해 해결되었다.

  • PDF

세종 계획 말뭉치를 이용한 품사 태거의 성능 개선 (Improving Part-of-speech Tagger by using Sejong Corpus)

  • 김형준;임동희;강승식;은지현;장두성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.177-180
    • /
    • 2007
  • 품사 태거를 구축할 때 어휘사전 증축이나 변환을 통해 성능 개선을 시도하지만 적당한 품사 태깅 코퍼스의 부재와 태그셋 불일치로 인한 변환 과정에 어려움을 겪고 있다. 본 논문에서는 세종 말뭉치 품사 태깅 코퍼스를 이용하여 품사 태깅용 어휘사전을 증축하고 품사 태거에 적용하여 성능을 개선하는 과정을 기술하였다. 품사 태거의 성능을 개선하기 위하여 세종 코퍼스를 태거의 태그셋에 적합하게 변환하고, 변환된 코퍼스에서 추출된 통계 정보를 품사 태거에서 활용하였다. 세종 코퍼스를 이용하여 품사 태거를 위한 어휘사전을 보강함으로써 품사 태거의 성능을 향상시킬 수 있었다.

  • PDF

형태소 깎는 노인: 국어사 자료를 위한 형태분석 보조기 (The POS Elderly: Semi-automatic annotation tool for Historical Korean)

  • 김미경;박수지;이상아
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.39-43
    • /
    • 2016
  • '형태소 깎는 노인'은 국어사 자료를 처리하는 고성능 자동 형태분석기의 개발이 난항을 겪고 있는 상황에서 수동으로 형태분석 작업을 하는 연구자들을 지원하기 위하여 개발된 형태분석 보조기이다. 인간과 기계의 분업을 통해 인간의 피로를 최대한 줄이고, 단순 반복 형태에 대해서는 정답을 확실하게 제안할 수 있다는 것이 특징이다. 국어사 자료에는 한국어 정보처리를 위해 필요한 어휘 사전이 없으므로, 문법형태소 사전을 만들어 이를 단서로 조사/어미부와 어간부를 구분하도록 하였다. 이를 통해 구축된 소규모 형태분석 말뭉치들이 장기적으로는 자동 형태분석기의 성능 개선에 일조할 수 있을 것으로 기대한다.

  • PDF

문장 길이와 단어 정렬에 기반한 한-영 문장 정렬 (Korean-English Sentence Alignment Based on Sentence Length and Word Alignment)

  • 임재수;서희철;이상주;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.302-309
    • /
    • 2001
  • 말뭉치를 통한 통계적인 자연 언어 처리에 관한 연구가 다국어 처리 분야에서도 활발히 진행되고 있는 가운데, 본 논문에서는 병렬 말뭉치 구축 및 활용의 기본이 되는 문장 정렬을 위한 효과적인 방법을 제안한다. 먼저, 기존의 문장 길이를 이용한 방법을 한-영 문장 정렬에 적용해 보고, 길이 정보만을 이용했을 때의 한계점을 지적한다. 그리고, 사전과 품사 대응 확률을 이용한 단어 정렬을 통하여, 길이 기반의 정렬 방식이 갖는 문제점을 보완할 수 있는 방법을 제시한다. 실험을 통하여 제안한 방법이 길이에 기반한 방법에 비하여 높은 성능을 나타냄을 알 수 있었다. 또한 한-영 문장 정렬에의 어휘 정보 활용에 있어서 문제가 될 수 있는 요소가 어떤 것들이 있는지 알아본다.

  • PDF

형태소 깎는 노인: 국어사 자료를 위한 형태분석 보조기 (The POS Elderly: Semi-automatic annotation tool for Historical Korean)

  • 김미경;박수지;이상아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.39-43
    • /
    • 2016
  • '형태소 깎는 노인'은 국어사 자료를 처리하는 고성능 자동 형태분석기의 개발이 난항을 겪고 있는 상황에서 수동으로 형태분석 작업을 하는 연구자들을 지원하기 위하여 개발된 형태분석 보조기이다. 인간과 기계의 분업을 통해 인간의 피로를 최대한 줄이고, 단순 반복 형태에 대해서는 정답을 확실하게 제안할 수 있다는 것이 특징이다. 국어사 자료에는 한국어 정보처리를 위해 필요한 어휘 사전이 없으므로, 문법형태소 사전을 만들어 이를 단서로 조사/어미부와 어간부를 구분하도록 하였다. 이를 통해 구축된 소규모 형태분석 말뭉치들이 장기적으로는 자동 형태분석기의 성능 개선에 일조할 수 있을 것으로 기대한다.

  • PDF

연설문 말뭉치에서 나타나는 '것' 구문의 문법적 특징 (Grammatical Properties of Kes Constructions in a Speech Corpus)

  • 김종복;이승한;김경민
    • 인지과학
    • /
    • 제19권3호
    • /
    • pp.257-281
    • /
    • 2008
  • 한국어 '것' 표현은 구어체 및 문어체에서 사용빈도 수가 아주 높은 표현 중의 하나이며, 그 사용 기능은 문맥에 많이 의존한다. 이러한 높은 문맥의존성은 '것' 표현의 문법적 기능을 정확하게 기하는 데 어려움을 가져왔다. 본 논문은 '것' 표현이 통제된 환경에서 어떻게 사용되는지를 파악하기 위해, 정부 고위관료들의 연설문으로 말뭉치를 구축하였다. 이 말뭉치에서 539 경우의 '것' 표현의 사용 기능 파악하여 보았다. 연설문에서 사용된 '것'을 형태, 구문적으로 7유형의 주요 구문으로 구분하고, 이들이 갖는 의미, 화용적 기능을 살펴본다.

  • PDF

한국어 서술어와 논항들 사이의 의미역 (Korean Semantic Role of subcategorization)

  • 김윤정;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.143-148
    • /
    • 2014
  • 본 논문은 한국어 문장의 서술어와 공기관계에 있는 논항들의 의미관계를 결정하는 데에 목적이 있다. 본 논문에서는 의미역을 결정하기 위해 기존에 구축된 세종구구조말뭉치를 모단위로 하여 표준국어대사전의 문형을 적용하였다. 또한 의미역을 결정하기 위해 기존 언어학 이론에서의 의미역을 정리하여 광범위한 의미역 판별기준을 세우고 이를 실제 말뭉치에 적용함으로써 자연언어적 처리가 가능하도록 정리하였다.

  • PDF

한국 전통문화 말뭉치구축 및 Bi-LSTM-CNN-CRF를 활용한 전통문화 개체명 인식 모델 개발 (Constructing for Korean Traditional culture Corpus and Development of Named Entity Recognition Model using Bi-LSTM-CNN-CRFs)

  • 김경민;김규경;조재춘;임희석
    • 한국융합학회논문지
    • /
    • 제9권12호
    • /
    • pp.47-52
    • /
    • 2018
  • 개체명 인식(Named Entity Recognition)시스템은 문서로부터 고유한 의미를 가질 수 있는 인명(PS), 지명(LC), 기관명(OG) 등의 개체명을 추출하고 추출된 개체명의 범주를 결정하는 시스템이다. 최근 딥러닝 방식을 이용한 개체명 인식 연구에서 입력 데이터의 앞, 뒤 방향을 고려한 LSTM 기반의 Bi-LSTM 모델로부터 출력 데이터 간의 전이 확률을 이용한 CRF를 결합한 방식의 Bi-LSTM-CRF가 우수한 성능을 보이고, 문자 및 단어 단위의 효율적인 임베딩 벡터생성에 관한 연구와 CNN, LSTM을 활용한 모델에서도 좋은 성능을 보여주고 있다. 본 연구에서는 한국어 개체명 인식시스템 성능 향상을 위해 자질을 보강한 Bi-LSTM-CNN-CRF 모델에 관해 기술하고 전통문화 말뭉치구축 방식에 대해 제안한다. 그리고 구축한 말뭉치를 한국어 개체명 인식 성능 향상을 위한 자질 보강 모델 Bi-LSTM-CNN-CRF로 학습한 결과에 대해 제안한다.

패러프레이즈 추출을 위한 키프레이즈 데이터셋 구축 방법론 연구 (A Study on the Construction of keyphrase dataset for paraphrase extraction)

  • 강혜린;강예지;박서윤;장연지;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.357-362
    • /
    • 2020
  • 자연어 처리 응용 시스템이 패러프레이즈 표현을 얼마나 정확하게 포착하는가에 따라 응용 시스템의 성능 측면에서 차이가 난다. 따라서 자연어 처리의 응용 분야 전반에서 패러프레이즈 표현에 대한 중요성이 커지고 있다. 시스템의 성능 향상을 위해서는 모델을 학습시킬 충분한 말뭉치가 필요하다. 특히 이러한 패러프레이즈 말뭉치를 구축하기 위해서는 정확한 패러프레이즈 추출이 필수적이다. 따라서 본 연구에서는 패러프레이즈를 추출을 위한 언어 자원으로 키프레이즈 데이터셋을 제안하고 이를 기반으로 유사한 의미를 전달하는 패러프레이즈 관계의 문장을 추출하였다. 구축한 키프레이즈 데이터셋을 패러프레이즈 추출에 활용한다면 본 연구에서 수행한 것과 같은 간단한 방법으로 패러프레이즈 관계에 있는 문장을 찾을 수 있다는 것을 보였다.

  • PDF