• Title/Summary/Keyword: 언어처리

Search Result 4,751, Processing Time 0.028 seconds

Natural Language Toolkit _ Korean (NLTKo 1.0: 한국어 언어처리 도구)

  • Hong, Seong-Tae;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.554-557
    • /
    • 2021
  • NLTKo는 한국어 분석 도구들을 NLTK에 결합하여 사용할 수 있게 만든 도구이다. NLTKo는 전처리 도구, 토크나이저, 형태소 분석기, 세종 의미사전, 분류 및 기계번역 성능 평가 도구를 추가로 제공한다. 이들은 기존의 NLTK 함수와 동일한 방법으로 사용할 수 있도록 구현하였다. 또한 세종 의미사전을 제공하여 한국어 동의어/반의어, 상/하위어 등을 제공한다. NLTKo는 한국어 자연어처리를 위한 교육에 도움이 될 것으로 믿는다.

  • PDF

Comparative Analysis of Statistical Language Modeling for Korean using K-SLM Toolkits (K-SLM Toolkit을 이용한 한국어의 통계적 언어 모델링 비교)

  • Lee, Jin-Seok;Park, Jay-Duke;Lee, Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.426-432
    • /
    • 1999
  • 통계적 언어 모델은 자연어 처리의 다양한 분야에서 시스템의 정확도를 높이고 수행 시간을 줄여줄 수 있는 중요한 지식원이므로 언어 모델의 성능은 자연어 처리 시스템, 특히 음성 인식 시스템의 성능에 직접적인 영향을 준다. 본 논문에서는 한국어를 위한 통계적 언어 모델을 구축하기 위한 다양한 언어 모델 실험을 제시하고 각 언어 모델들 간의 성능 비교를 통하여 통계적 언어 모델의 표준을 제시한다. 또한 형태소 및 어절 단위의 고 빈도 어휘만을 범용 언어 모델에 적용할 때의 적용률을 통하여 언어 모델 구축시 어휘 사전 크기 결정을 위한 기초적 자료를 제시한다. 본 연구는 음성 인식용 통계적 언어 모델의 성능을 판단하는 데 앞으로 큰 도움을 줄 수 있을 것이다.

  • PDF

Processing Korean Passives for Database Semantics (데이터베이스 의미론을 위한 한국어 피동형의 전산적 처리)

  • 홍정하;최승철;이기용
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2000.06a
    • /
    • pp.411-418
    • /
    • 2000
  • Hausser (1999)와 이기용 (1999a, 1999c)에서는 데이터베이스 관리 시스템(DBMS)을 이용하여 자연언어의 의미를 다루는 데이터베이스 의미론을 제안하였다. 특히 이기용 (1999c)에서는 수형도(tree), 논리 형태(logical fomulas), 자질 구조(feature structure)와 같은 다양한 언어 표상 형식들을 관계형 데이터베이스 관리 시스템(DBMS)의 표상 형식인 테이블 형식으로 전환 가능함을 보임으로써 데이터베이스 의미론에 관계형 데이터베이스 관리 시스템을 도입할 수 있음을 제시하였다. 한편, Lee (2000)에서 제시한 데이터베이스 의미론 모형에서는 데이터베이스 관리 시스템과 사용자(end-user)를 연결하는 언어 정보 처리 시스템(LIPS; Linguistic Information Processing System)을 제안하였다. 이 언어 정보 처리 시스템은 사용자에 의해 입력된 언어 자료를 처리하여 그 분석 결과를 데이터베이스 관리 시스템에 전달하고, 이를 통해 구축된 데이터베이스에서 추출한 정보를 다시 사용자에게 전달하는 시스템이다. 이 논문은 한국어 '이, 히, 리, 기' 피동형을 전산처리 할 수 있도록, 데이터베이스 의미론에서 핵심 요소인 언어정보 처리 시스템과 데이터베이스 관리 시스템을 구현하는 것이 목적이다.

  • PDF

Syntactic and Semantic Integration Processes during Korean Sentence Comprehension: using ERPs as an neurophysiological index (ERP로 확인된 한국어 문장 이해과정에서의 통사 및 의미 처리특성 연구)

  • Kim, Choong-Myung;Lee, Kyoung-Min
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.259-263
    • /
    • 2004
  • 본 연구는 머리어-후행언어(head-final language)로 분류되는 한국어의 통사 및 의미 처리 과정의 언어간(cross linguistic) 일반성과 언어내(intra-language) 특이성을 ERP(event- related potentials) 실험결과를 통해 알아보고자 하였다. 한국어 문장처리 과정에서의 통사 및 의미 처리특성은, 우선 이들을 지표하는 각각의 오류문을 통해 P600과 N400 이라는 언어일반의 처리과정을 보이면서도 각 성분의 영역분포는 오류가 출현된 위치에 따라 분기하고 있음을 관찰할 수 있었다. 곧, 문미위치의 술어오류에서 중심-두정 부위의 활성화 우세로 각 오류간 영역분화를 보이는 패턴을 새롭게 확인하였다. 이로써 오류의 유형별 재분류과정으로 드러난 오류출현 위치가 오류의 유형 내에 영향을 끼치는 한 변수가 될 수 있으며. 이는 이들 보어 및 술어를 구성하는 고유의 범주 특성으로 해석할 수 있는 근거가 될 수 있음도 아울러 확인하였다.

  • PDF

A Study of Disfluency Processing for Dependency Parsing of Spoken (구어 의존 구문 분석을 위한 비유창성 처리 연구)

  • Park, Seokwon;Choe, Hyonsu;Han, Jiyoon;Oh, Taehwan;Ahn, Euijeong;Kim, Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.144-148
    • /
    • 2019
  • 비유창성(disfluency)은 문어와 같이 정연한 구조로 말하지 못하는 현상 전반을 지칭한다. 이는 구어에서 보편적으로 발생하는 현상으로 구어 의존 구문 분석의 난이도를 상향시키는 요인이다. 본 연구에서는 비유창성 요소 유형을 담화 표지, 수정 표현, 반복 표현, 삽입 표현으로 분류하였다. 또한 유형별 비유창성 요소를 실제 말뭉치에서 어떻게 구문 주석할 것인지를 제안한다. 이와 같은 구어 데이터 처리 방식은 대화시스템 등 구어를 처리해야 하는 도메인에서의 자연언어이해 성능 향상에 기여할 것이다.

  • PDF

Construction of bilingually pre-trained language model from large-scaled Korean and English corpus (KE-T5: 한국어-영어 대용량 텍스트를 활용한 이중언어 사전학습기반 대형 언어모델 구축)

  • Shin, Saim;Kim, San;Seo, Hyeon-Tae
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.419-422
    • /
    • 2021
  • 본 논문은 한국어와 영어 코퍼스 93GB를 활용하여 구축한 대형 사전학습기반 언어모델인 KE-T5를 소개한다. KE-T5는 한국어와 영어 어휘 64,000개를 포함하는 대규모의 언어모델로 다양한 한국어처리와 한국어와 영어를 모두 포함하는 번역 등의 복합언어 태스크에서도 높은 성능을 기대할 수 있다. KE-T5의 활용은 대규모의 언어모델을 기반으로 영어 수준의 복잡한 언어처리 태스크에 대한 연구들을 본격적으로 시작할 수 있는 기반을 마련하였다.

  • PDF

Towards Korean-Centric Token-free Pretrained Language Model (한국어 중심의 토큰-프리 언어 이해-생성 모델 사전학습 연구)

  • Jong-Hun Shin;Jeong Heo;Ji-Hee Ryu;Ki-Young Lee;Young-Ae Seo;Jin Seong;Soo-Jong Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.711-715
    • /
    • 2023
  • 본 연구는 대부분의 언어 모델이 사용하고 있는 서브워드 토큰화 과정을 거치지 않고, 바이트 단위의 인코딩을 그대로 다룰 수 있는 토큰-프리 사전학습 언어모델에 대한 것이다. 토큰-프리 언어모델은 명시적인 미등록어 토큰이 존재하지 않고, 전 처리 과정이 단순하며 다양한 언어 및 표현 체계에 대응할 수 있는 장점이 있다. 하지만 관련 연구가 미흡, 서브워드 모델에 대비해 학습이 어렵고 낮은 성능이 보고되어 왔다. 본 연구에서는 한국어를 중심으로 토큰-프리 언어 이해-생성 모델을 사전 학습 후, 서브워드 기반 모델과 비교하여 가능성을 살펴본다. 또한, 토큰 프리 언어모델에서 지적되는 과도한 연산량을 감소시킬 수 있는 그래디언트 기반 서브워드 토크나이저를 적용, 처리 속도를 학습 2.7배, 추론 1.46배 개선하였다.

  • PDF

The Processing System of English for Korean: Focused on the Interaction with Native Language Processing (한국인의 영어처리의 기제: 모국어처리와의 상호작용을 중심으로)

  • 이창환;강봉경
    • Korean Journal of Cognitive Science
    • /
    • v.15 no.2
    • /
    • pp.43-53
    • /
    • 2004
  • The purpose of this study was to investigate the role of phonology in lexical access of bilingual processing for Korean-English bilinguals. Four experiments have been conducted in order to adjudicate the nonselective lexical access hypothesis, which argues simultaneous phonological activation of two bilingual languages, and the selective lexical access hypothesis. which argues phonological activation of only one bilingual language. The results showed that the Korean target word processing was significantly affected by the phonological manipulation of the English target word(Exp. 2). Similarly, the English target word processing showed the tendencies that it is affected by the phonological manipulation of the Korean prime word(Exp. 2). This results indicates that the phonological information of another bilingual language is automatically activated when we process one of bilingual languages, and the process of English which is the second language for most Korean, is phonologically activated.

  • PDF

eFlowC: A Packet Processing Language for Network Management (eFlowC : 네트워크 관리를 위한 패킷 처리 언어)

  • Ko, Bang-Won;Yoo, Jae-Woo
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.1
    • /
    • pp.65-76
    • /
    • 2014
  • In this paper, we propose a high-level programming language for packet processing called eFlowC and it supporting programming development environment. Based on the C language which is already familiar and easy to use to program developers, eFlowC maintains the similar syntax and semantics of C. Some features that are unnecessary for the packet processing has been removed from C, eFlowC is highly focused on performing packet data, database, string byte information checking and event processing. Design high-level programming languages and apply an existing language or compiler technology, language function and compilation process that is required for packet processing will be described. In order to use the DPIC device such as X11, we designed a virtual machine eFVM that takes into account the scalability and portability. We have evaluated the utility of the proposed language by experimenting a variety of real application programs with our programming environment such as compiler, simulator and debugger for eFVM. As there is little research that devoted to define the formats, meanings and functions of the packet processing language, this research is significant and expected to be a basis for the packet processing language.

A Design of Active Robot System for Speech Therapy (능동적인 언어치료 로봇시스템 설계)

  • Yun, Jae-Min;Jee, Min-Sung;Shin, Dong-chun;Ko, Yeon-Jeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.687-688
    • /
    • 2022
  • 기존 언어치료는 언어발달장애 아동과 언어치료사간의 대면 방식으로 이루어지며, 이때 각종 언어치료도구가 사용된다. 본 시스템은 언어발달장애 아동과 로봇 간의 언어치료를 위해서, 센서를 통한 아동 이동 접근 확인, 아동 얼굴 검출, 아동 얼굴 인식, 아동 얼굴 감정 인식, 아동 얼굴 추적, 감정 돌봄 대화 출력, 언어치료 콘텐츠 표시, 음성대화를 통한 언어치료 수행이 어떻게 적용되는지 개념을 설명하고자 한다.