• Title/Summary/Keyword: 언어공학

검색결과 3,028건 처리시간 0.028초

언어모델도 남녀유별을 아는가? - 'Fill-Mask' 태스크로 보는 성별과 직업의 관계 (Do language models know the distinctions between men and women? An insight into the relationships between gender and profession Through "Fill-Mask" task)

  • 비립;최재현;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-9
    • /
    • 2022
  • 본연구는 한국어 언어모델 트레이닝 단계에서 자주 사용되는 Fill-Mask 태스크와 직업 관련 키워드로 구성되는 각종 성별 유추 템플릿을 이용해 한국어 언어모델에서 발생하는 성별 편향 현상을 정량적으로 검증하고 해석한다. 결과를 봤을 때 현재 직업 키워드에서 드러나는 성별 편향은 각종 한국어 언어모델에서 이미 학습된 상태이며 이를 해소하거나 차단하는 방법을 마련하는 것이 시급한 과제이다.

  • PDF

KE-T5: 한국어-영어 대용량 텍스트를 활용한 이중언어 사전학습기반 대형 언어모델 구축 (Construction of bilingually pre-trained language model from large-scaled Korean and English corpus)

  • 신사임;김산;서현태
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.419-422
    • /
    • 2021
  • 본 논문은 한국어와 영어 코퍼스 93GB를 활용하여 구축한 대형 사전학습기반 언어모델인 KE-T5를 소개한다. KE-T5는 한국어와 영어 어휘 64,000개를 포함하는 대규모의 언어모델로 다양한 한국어처리와 한국어와 영어를 모두 포함하는 번역 등의 복합언어 태스크에서도 높은 성능을 기대할 수 있다. KE-T5의 활용은 대규모의 언어모델을 기반으로 영어 수준의 복잡한 언어처리 태스크에 대한 연구들을 본격적으로 시작할 수 있는 기반을 마련하였다.

  • PDF

다국어 정보 검색을 위한 적대적 언어 적응을 활용한 ColBERT (ColBERT with Adversarial Language Adaptation for Multilingual Information Retrieval)

  • 김종휘;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.239-244
    • /
    • 2023
  • 신경망 기반의 다국어 및 교차 언어 정보 검색 모델은 타겟 언어로 된 학습 데이터가 필요하지만, 이는 고자원 언어에 치중되어있다. 본 논문에서는 이를 해결하기 위해 영어 학습 데이터와 한국어-영어 병렬 말뭉치만을 이용한 효과적인 다국어 정보 검색 모델 학습 방법을 제안한다. 언어 예측 태스크와 경사 반전 계층을 활용하여 인코더가 언어에 구애 받지 않는 벡터 표현을 생성하도록 학습 방법을 고안하였고, 이를 한국어가 포함된 다국어 정보 검색 벤치마크에 대해 실험하였다. 본 실험 결과 제안 방법이 다국어 사전학습 모델과 영어 데이터만을 이용한 베이스라인보다 높은 성능을 보임을 실험적으로 확인하였다. 또한 교차 언어 정보 검색 실험을 통해 현재 검색 모델이 언어 편향성을 가지고 있으며, 성능에 직접적인 영향을 미치는 것을 보였다.

  • PDF

일본의 한일(韓日) 기계번역(機械飜譯) 시스템에 있어서의 오역(誤譯)과 그 언어환경 (Errors and Their Circumstances in Korean Japanese M/T Systems in Japan)

  • 강용희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.303-310
    • /
    • 1997
  • 일본의 한일(韓日) 기계번역(機械飜譯) 시스템을 평가한 결과 각기 다른 번역 시스템임에도 불구하고 오역(誤譯)의 패턴에 있어서는 유사(類似)한 점이 많았다. 이는 사전(辭典)의 입력 단위와 구문(構文)분석의 해석단계에서 오역(誤譯)의 언어환경에 대비하지 못한 점을 지적할 수 있다. 본 연구는 오역(誤譯)의 TYPE을 언어적 환경과 기계적 환경으로 구분하여 그 영향관계를 밝혀서 오역(誤譯)의 환경에 대비한 사전(辭典)과 그 모듈의 작성을 목적으로 삼는다.

  • PDF

북한 문화어 형태소 분석기(NKMA)의 어절 구조 (The Word Structure of the North Korean Morphological Analyzer)

  • 최운호;정회선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.49-55
    • /
    • 1998
  • 분단 이후 북한은 우리와는 다른 언어정책을 추진해 왔고, 그 결과로 지금은 남북한 언어 정책에서 많은 차이를 드러내게 되었다. 본 논문은 북한 문화어 형태소 분석 시스템(NKMA)의 구축을 위한 어절 구조를 제시한다. 북한 문화어의 형태소 분절 및 분석을 위해 사용된 어절 구조는 대체로 말토막 단위와 일치하므로, 음성언어의 인식을 위한 분절 방법에 응용될 수도 있으리라 기대한다.

  • PDF

세계어로서의 한국어 정보처리 (Information Processing of the Korean Language as a World Language)

  • 이동한
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.377-384
    • /
    • 1992
  • 보편적으로 일반 문법의 질서에 부합될 수 있는 자연언어들이 상호 번역이라는 수단을 통해 언어 변환이 가능하다면 이들 언어는 세계어이다. 한국어도 그 하나에 속한다. 본 논문에서는 한국어를 세계어라고 하는 보다 넓은 관점에서 보아 가면서, 이에 따라 고려해야할 문제들을 검토함으로서 한국어 정보처리의 개념을 정립하고, 나아가 세계 속의 한국어 위치를 다듬어 보고자 하는 것이 본 논문의 목표이다.

  • PDF

우리말 식 프로그래밍 교육용 언어 PELIHAN의 설계 및 구현 (Design and Implementation of PELIHAN : Programming Educational Language In HANgul)

  • 김명렬;박영진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.313-319
    • /
    • 1992
  • 후치 표기 내지 한국어와 유사한 구문과 LISP의 함수와 같은 모듈로 이루어지는 초중고교생의 프로그래밍 교육용 언어 PELIHAN을 설계하고, PELIHAN 전용의 구문지향적 지능형 편집기와 인터프리터를 내장한 통합 환경을 구비한 언어 시스템의 프로토타입을 구현하였다.

  • PDF

자연언어 처리를 위한 한국어 동사.명사의 개념 분류 (The Classification of Korean Noun and Verb for Natural Language Processing)

  • 박영자;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.141-149
    • /
    • 1992
  • 본 논문에서는 자연언어 처리 시스템에서 사용할 수 있는 단어의 개념 정보에 대해 연구한다. 그러기 위해 언어의 실생활에서의 쓰임 - 연세대학교 사전 편찬실의 연세 말뭉치 -을 바탕으로 한국어의 동사와 명사에 대해 개념을 조사, 분류하였으며 그 개념들이 한국어 문장 분석기에 어떻게 이용되는가를 보인다.

  • PDF

자연언어 데이터베이스 인터페이스 시스템을 위한 프레임워크 (A Framework for Natural Language Database Interface System)

  • 임경업;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.593-596
    • /
    • 2009
  • 자연언어 데이터베이스 인터페이스 시스템은 입력된 자연언어를 데이터베이스의 질의문(query)으로 바꿔주는 시스템으로, 데이터베이스에 잘 모르는 일반 사용자도 쉽게 데이터베이스를 이용할 수 있게 하는 장점이 있다. 본 논문에서는, 범용적인 분야의 자연언어 데이터베이스 인터페이스 시스템을 설계하기 위한 하나의 틀을 제안한다. 패턴 매칭과 구문 분석 기법을 동시에 사용하여 자연언어 처리 능력과 속도를 향상시켰으며, 패턴을 4개 분류로 나누어 의미 처리를 가능하게 하였다.

프로그램 검증을 위한 중간표현 언어의 분석 (Analysis of the intermediate representation langauge for program verification)

  • 김선태;김제민;박준석;유원희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.201-204
    • /
    • 2011
  • 소프트웨어의 비중이 커짐에 따라 소프트웨어가 안전하게 실행되는 것이 보장되어야 한다. 이를 위해 다양한 검증 도구를 통해 검증이 수행된다. 하지만 소스 코드와 명세를 입력으로 받는 검증도구는 검증조건 생성이 어렵기 때문에 검증 조건 생성에 용이하도록 입력 값을 중간 표현 언어로 변환해 주는 것이 필요하다. 본 논문에서는 검증의 정확성을 위해 다양하게 존재하는 중간 표현 언어의 특성을 분석하고 예제를 통해 비교한다. 중간 표현 언어의 비교 분석 결과를 통해 검증을 수행할 때 검증의 목적과 환경에 적합한 중간 표현 언어 선택으로 검증의 효율성과 정확성을 향상시킨다.