• 제목/요약/키워드: 사전기반

검색결과 3,191건 처리시간 0.028초

한국어 사전학습 모델 KE-T5 기반 자동 논문 요약 (Korean Pre-trained Model KE-T5-based Automatic Paper Summarization)

  • 서현태;신사임;김산
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.505-506
    • /
    • 2021
  • 최근 인터넷에서 기하급수적으로 증가하는 방대한 양의 텍스트를 자동으로 요약하려는 연구가 활발하게 이루어지고 있다. 자동 텍스트 요약 작업은 다양한 사전학습 모델의 등장으로 인해 많은 발전을 이루었다. 특히 T5(Text-to-Text Transfer Transformer) 기반의 모델은 자동 텍스트 요약 작업에서 매우 우수한 성능을 보이며, 해당 분야의 SOTA(State of the Art)를 달성하고 있다. 본 논문에서는 방대한 양의 한국어를 학습시킨 사전학습 모델 KE-T5를 활용하여 자동 논문 요약을 수행하고 평가한다.

  • PDF

비정형 데이터를 활용한 감기 판단 사전 구축 (Constructing the Dictionary of Flue using unstructured data)

  • 김광민;남기훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1187-1190
    • /
    • 2015
  • 최근에 비정형 데이터의 잠재적 가치를 유용한 데이터로써 사용하려는 경우가 많아지고 있다. 특히 트위터는 사용자의 상태나 이벤트가 잘 나타나 있어서 하나의 사용자의 이벤트로서 간주될 수 있다. 본 논문은 트위터에서 발생하는 이벤트에 주목하여, 감기라는 이벤트를 트위터 내에서 추적하고자 한다. 추적을 위해서는 트위터를 판단할 필요가 있는데, 이를 위해 기존의 감성 사전 방식 중 하나인 통계적 사전 구축을 기반으로 키워드를 활용하여 감기 판단 사전을 구축하는 방식을 제안한다.

음성 인식 오류 수정을 위한 Trie 기반 사전을 이용한 Guided Sequence Generation (Guided Sequence Generation using Trie-based Dictionary for ASR Error Correction)

  • 최준휘;류성한;유환조;이근배
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.211-216
    • /
    • 2016
  • 현재 나오는 많은 음성 인식기가 대체로 높은 정확도를 가지고 있더라도, 음성 인식 오류는 여전히 빈번하게 발생한다. 음성 인식 오류는 관련 어플리케이션에 있어 많은 오동작의 원인이 되므로, 음성 인식 오류는 고쳐져야 한다. 본 논문에서는 Trie 기반 사전을 이용한 Guided Sequence Generation을 제안한다. 제안하는 모델은 목표 단어와 그 단어의 문맥을 Encoding하고, 그로부터 단어를 Character 단위로 Decoding하며 단어를 Generation한다. 올바른 단어를 생성하기 위하여, Generation 시에 Trie 기반 사전을 통해 유도한다. 실험을 위해 모델은 영어 TV 가이드 도메인의 말뭉치의 음성 인식 오류를 단순히 Simulation하여 만들어진 말뭉치로부터 훈련되고, 같은 도메인의 음성 인식 문장과 결과로 이루어진 병렬 말뭉치에서 성능을 평가하였다. Guided Generation은 Unguided Generation에 비해 14.9% 정도의 오류를 줄였다.

  • PDF

음성 인식 오류 수정을 위한 Trie 기반 사전을 이용한 Guided Sequence Generation (Guided Sequence Generation using Trie-based Dictionary for ASR Error Correction)

  • 최준휘;류성한;유환조;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.211-216
    • /
    • 2016
  • 현재 나오는 많은 음성 인식기가 대체로 높은 정확도를 가지고 있더라도, 음성 인식 오류는 여전히 빈번하게 발생한다. 음성 인식 오류는 관련 어플리케이션에 있어 많은 오동작의 원인이 되므로, 음성 인식 오류는 고쳐져야 한다. 본 논문에서는 Trie 기반 사전을 이용한 Guided Sequence Generation을 제안한다. 제안하는 모델은 목표 단어와 그 단어의 문맥을 Encoding하고, 그로부터 단어를 Character 단위로 Decoding하며 단어를 Generation한다. 올바른 단어를 생성하기 위하여, Generation 시에 Trie 기반 사전을 통해 유도한다. 실험을 위해 모델은 영어 TV 가이드 도메인의 말뭉치의 음성 인식 오류를 단순히 Simulation하여 만들어진 말뭉치로부터 훈련되고, 같은 도메인의 음성 인식 문장과 결과로 이루어진 병렬 말뭉치에서 성능을 평가하였다. Guided Generation은 Unguided Generation에 비해 14.9% 정도의 오류를 줄였다.

  • PDF

구조화된 상세 정보를 제공하는 한국어 형태소 분석기: KMM (KMM: A Detailed Morphological Analysis for Korean)

  • 김수라
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.202-206
    • /
    • 2010
  • 이 논문에서는 한국어 형태소 분석기 KMM(Korean Malaga Morphology)을 소개하고자 한다. KMM의 개발 동기는 이후 자연언어 처리 단계의 기반으로 사용될 수 있을 뿐 아니라 이론 형태론 연구의 도구로도 사용될 수 있도록 상세한 형태 동사 의미 정보를 제공하는 것이었다. 이론적 틀은 좌연접 문법(Left-Associative Grammar)에 기초한 LA-MORPH이며, 좌연접 기반 문법 개발 도구인 MALAGA로 구현되었다. LA-MORPH에 기반한 KMM은 분석 실행중이 아닐 때에는 사전의 규모를 최소한으로 유지하다가 분석에 필요할 때에만 분석용 사전을 자동으로 생성한다. 형태소 분석은 분석용 사전에 근거하여, 매칭과 결합이라는 단순한 알고리즘만을 사용한다. KMM의 분석은 동사 어절의 경우, 시제, 서법, 문형, 대우법, 명사 어절의 경우 격정보, 수사 결합어절의 경우 추출된 수랑 정보 등과 같은 상세한 정보를 제시한다. 세종 말뭉치와 KIBS 말뭉치를 KMM 을 이용해서 분석한 결과 각각의 94.96%와 94.59%의 분석률과 88.4%와 90.7%의 정확도를 보였다.

  • PDF

템플릿 기반 미세조정을 통한 토익 모델 훈련 (TOEIC Model Training Through Template-Based Fine-Tuning)

  • 이정우;문현석;박기남;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.324-328
    • /
    • 2022
  • 기계 독해란 주어진 문서를 이해하고 문서 내의 내용에 대한 질문에 답을 추론하는 연구 분야이며, 기계 독해 문제의 종류 중에는 여러 개의 선택지에서 질문에 대한 답을 선택하는 객관식 형태의 문제가 존재한다. 이러한 자연어 처리 문제를 해결하기 위해 기존 연구에서는 사전학습된 언어 모델을 미세조정하여 사용하는 방법이 널리 활용되고 있으나, 학습 데이터가 부족한 환경에서는 기존의 일반적인 미세조정 방법으로 모델의 성능을 높이는 것이 제한적이며 사전학습된 의미론적인 정보를 충분히 활용하지 못하여 성능 향상에 한계가 있다. 이에 본 연구에서는 기존의 일반적인 미세조정 방법에 템플릿을 적용한 템플릿 기반 미세조정 방법을 통해 사전학습된 의미론적인 정보를 더욱 활용할 수 있도록 한다. 객관식 형태의 기계 독해 문제 중 하나인 토익 문제에 대해 모델을 템플릿 기반 미세조정 방법으로 실험을 진행하여 템플릿이 모델 학습에 어떠한 영향을 주는지 확인하였다.

  • PDF

선인출 기반의 모바일 사전 (A Mobile Dictionary based on a Prefetching Method)

  • 홍순정;문양세;김혜숙;김진호;정영준
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권3호
    • /
    • pp.197-206
    • /
    • 2008
  • 모바일 인터넷 환경에서는 학습 내용을 검색 및 다운로드하기 위하여 모바일 기기와 서버 사이에 잦은 통신이 필요하다. 본 논문에서는 모바일 사전을 사용함에 있어서, 네트워크 비용을 절감하고 통신 효율을 높이기 위한 효율적인 선인출 기법을 제안한다. 이를 위해 본 논문에서는 다음 방법으로 연구를 전개한다. 첫째, 모바일 사전을 위한 선인출 기반의 동작 프레임워크를 제안한다. 둘째, 패킷 요금 방식과 정액 요금 방식으로 구분하여 선인출할 데이타의 양을 결정하는 방법을 제시한다. 셋째, 중 고등학생 대상의 모바일 영한사전에 초점을 맞춘 선인출 데이타 결정 방법을 제안한다. 넷째, 이러한 데이타 양 및 데이타 종류 결정 방법을 바탕으로 선인출 알고리즘을 제안한다. 다섯째, 실험을 통하여 제안한 선인출 방법의 우수성을 입증한다. 이 같은 연구에 따른 본 논문의 공헌은 다음과 같이 요약할 수 있다. 첫째, 선인출을 모바일 응용에 적용한 첫 번째 시도로서 의미를 갖는다. 둘째, 선인출을 모바일 사전에 적용하기 위한 체계적인 방법론을 제시하였다. 셋째, 선인출 적용을 통해 네트워크 기반 모바일 사전의 성능 향상을 도모하였다. 실제 실험 결과, 제안한 방법은 기존의 요구인출에 평균 $9.8%{\sim}33.2%$의 높은 성능 향상을 나타냈다. 이 같은 결과를 볼 때, 본 논문의 연구 결과는 모바일 사전뿐 아니라 선인출 기능을 필요로 하는 무선 인터넷 기반의 여러 응용에 적용될 수 있는 우수한 연구 결과라 사료된다.

그래프 기반 준지도 학습 방법을 이용한 특정분야 감성사전 구축 (The Construction of a Domain-Specific Sentiment Dictionary Using Graph-based Semi-supervised Learning Method)

  • 김정호;오연주;채수환
    • 감성과학
    • /
    • 제18권1호
    • /
    • pp.103-110
    • /
    • 2015
  • 감성어휘는 텍스트로 감성을 표현하거나, 반대로 텍스트로부터 감성을 인식하기 위한 특징으로써 감성분류 연구에 필수요소이다. 본 연구는 감성어휘의 집합인 감성사전을 자동으로 구축하는 그래프 기반 준지도 학습 방법을 제안한다. 특히 감성어휘가 사용되어지는 분야에 따라 그 감성이 변하는 중의성 문제를 고려하여 분야 별 감성사전을 구축하고자 한다. 제안하는 방법은 어휘와 어휘들 간의 밀접도를 토대로 그래프를 구성하고, 사전에 학습 된 일부 소량의 감성어휘들의 감성을 구성된 그래프 전체에 전파하는 방식으로 모든 어휘의 감성을 추론한다. 감성어휘는 대표적으로 감성단어와 감성구문이 있으며, 본 연구에서는 이들 각각에 대한 그래프를 구성하고 감성을 추론하여 전체 감성사전을 구축하였다. 제안하는 방법의 성능을 검증하기 위해 영화평 분야의 감성사전을 구축하고, 이를 이용한 영화평 감성분류 실험을 수행하였다. 그 결과 기존 범용 감성사전의 어휘들을 이용한 감성분류보다 더 높은 분류 성능을 확인하였다.

해상적하목록 사전제출을 통한 수출입물류 효율화 방안에 관한 연구 (A Study on the Efficiency of Import-Export Logistics through Advance Presentation of Vessel Manifest)

  • 김용진;서동균
    • 한국항만경제학회지
    • /
    • 제27권2호
    • /
    • pp.275-296
    • /
    • 2011
  • 본 연구의 목적은 우리나라에서 해상적하목록 사전제출제도를 도입하여 수출입물류 원활화와 안전을 도모하기 위한 방안을 제시하는데 있다. 우리나라의 주요 교역대상국인 미국, EU, 중국에서 해상적하목록 사전제출제도를 도입하고 있고 물류보안 강화가 국제적 추세인 상황에서 변화된 무역관행에 수출기업의 조기 적응을 유도하고 수입 우범화물에 대한 통제를 강화하기 위해 해상적하목록 사전제출제도가 필요하다. 국가간에 거래되는 수출입화물이 선박에 적재되기 24시간 전에 화물정보를 세관에 사전 제출함으로써 세관당국으로 하여금 고위험화물을 사전에 선별토록 하고, 적법화물에 대해서는 신속한 통관을 가능토록 하여 결과적으로 수출입물류 프로세스의 원활화와 안전이 동시에 확보될 수 있다. 우리나라에서도 글로벌스탠다드에 부합하는 해상적하목록 사전제출제도를 조속히 도입하고 이와 병행하여 인터넷기반 적하목록 취합 제출 시스템 구축과 선적지 수출검사 체계를 도입한다면 우리나라 수출입물류의 안전과 원활화에 크게 기여할 것이다.

게임 도메인 웹 코퍼스를 이용한 감성사전 구축 및 평가 (Construction and Evaluation of a Sentiment Dictionary Using a Web Corpus Collected from Game Domain)

  • 정우영;배병철;조성현;강신진
    • 한국게임학회 논문지
    • /
    • 제18권5호
    • /
    • pp.113-122
    • /
    • 2018
  • 본 논문은 게임 도메인에서 웹 코퍼스를 이용하여 감성사전을 구축하는 방법과 구축한 감성사전의 평가 결과를 기술한다. 감성사전 구축을 위해 먼저 트위터 형태소 분석기를 이용해 국내 한 포털 사이트의 게임 관련 웹 문서를 기반으로 어휘를 수집하여 감성 사전 어휘 목록을 만들었고, 목록에 있는 단어들 중 동사와 형용사 품사의 단어들에 대해 감성 사전을 구축하였다. 구축된 감성 사전의 평가를 위해 영어 기반의 Senti-word Net(SWN)을 한글로 번역한 한국어 SWN을 이용하여 정밀도와 재현율 값을 계산하였다. 평가 결과 긍정과 부정 감성의 F-1 값에 대한 평균이 형용사의 경우 0.85, 동사에 대해 0.77을 각각 보여 주었다.