• 제목/요약/키워드: 세종코퍼스

검색결과 29건 처리시간 0.025초

신문 기사의 코퍼스 언어학적 분석 (Corpus-Linguistical Analysis of Newspaper Articles)

  • 송경화;강범모
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.7-14
    • /
    • 2006
  • 본 연구에서는 신문 기사에 대한 실증적 언어 분석을 목적으로 하여, <21세기 세종계획>에 의해 구축된 대용량의 신문 기사 말뭉치를 다양한 각도로 계량화하여 분석한다. 신문 기사를 표제, 전문, 본문의 구성으로 나누고 각 구성의 특징에 따라 형태 분석 말뭉치, 형태의미 분석 말뭉치, 구문 분석 말뭉치를 이용하여 분석한다. 본 연구는 대량의 신문 기사 말뭉치를 이용한 계량적 방법이라는데 의의가 있다 이러한 연구 방법을 통하여 기존의 직관을 이용한 연구 방법들과 차별화 된 실증적 연구로서 신문 이론을 검증하고, 신문 기사의 새로운 언어 현상을 발견할 수 있을 것이다.

  • PDF

XLNet을 이용한 한국어 구문분석 (Korean Syntactic Parsing with XLNet)

  • 김민석;신창욱;오진영;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.540-542
    • /
    • 2019
  • 문맥기반 사전학습 단어 임베딩이 다양한 분야 적용되어 훌륭한 성능을 보여주고 있다. 본 논문에서는 사전학습한 XLNet 모델을 구문분석에 적용하였다. XLNet은 문장에서 생성 가능한 모든 후보에 대해 트랜스 포머를 기반으로 하는 사전학습을 진행한다. 따라서 문장 전체 정보를 필요로 하는 구문분석에 특히 유용하다. 본 논문에서는 한국어 특성을 반영하기 위하여 형태소 분석을 시행한 107.2GB 크기의 대용량 데이터를 사용해 학습을 진행하였다. 본 논문에서 제안한 모델을 세종 구문 코퍼스에 적용한 결과, UAS 91.93% LAS 89.30%의 성능을 보였다.

  • PDF

사전 학습 모델과 Specific-Abstraction 인코더를 사용한 한국어 의존 구문 분석 (Korean Dependency Parsing using Pretrained Language Model and Specific-Abstraction Encoder)

  • 김봉수;황태선;김정욱;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.98-102
    • /
    • 2020
  • 의존 구문 분석은 입력된 문장 내의 어절 간의 의존 관계를 예측하기 위한 자연어처리 태스크이다. 최근에는 BERT와 같은 사전학습 모델기반의 의존 구문 분석 모델이 높은 성능을 보이고 있다. 본 논문에서는 추가적인 성능 개선을 위해 ALBERT, ELECTRA 언어 모델을 형태소 분석과 BPE를 적용해 학습한 후, 인코딩 과정에 사용하였다. 또한 의존소 어절과 지배소 어절의 특징을 specific하게 추상화 하기 위해 두 개의 트랜스포머 인코더 스택을 추가한 의존 구문 분석 모델을 제안한다. 실험결과 제안한 모델이 세종 코퍼스에 대해 UAS 94.77 LAS 94.06의 성능을 보였다.

  • PDF

BERT에 기반한 Subword 단위 한국어 형태소 분석 (BERT with subword units for Korean Morphological Analysis)

  • 민진우;나승훈;신종훈;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.37-40
    • /
    • 2019
  • 한국어 형태소 분석은 입력된 문장 내의 어절들을 지니는 최소의 단위인 형태소로 분리하고 품사 부착하는 작업을 의미한다. 기존 한국어 형태소 분석 방법은 음절 기반 연구가 주를 이루고 이를 순차 태깅 문제로 보고 SVM, CRF혹은 Bi-LSTM-CRF 등을 이용하거나 특정 음절에서 형태소의 경계를 결정하는 전이 기반 모델을 통해 분석하는 모델 등이 연구되었다. 최근 자연어 처리 연구에서 대용량 코퍼스로부터 문맥을 고려한 BERT 등의 언어 모델을 활용한 연구가 각광받고 있다. 본 논문에서는 음절 단위가 아닌 BERT를 이용한 Sub-word 기반 형태소 분석 방법을 제안하고 기분석 사전을 통해 분석하는 과정을 거쳐 세종 한국어 형태소 분석 데이터 셋에서 형태소 단위 F1 : 95.22%, 어절 정확도 : 93.90%의 성능을 얻었다.

  • PDF

용어를 공유하는 패턴 쌍을 이용한 의미 관계 추출 (Semantic Relation Extraction using Pattern Pairs Sharing a Term)

  • 김세종;이용훈;이종혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권3호
    • /
    • pp.221-225
    • /
    • 2009
  • 대용량 코퍼스를 사용하여 온톨로지를 구축하는 것은 해당 코퍼스에서 등장하는 용어들과 이들 간의 의미관계를 보다 자동화된 방법으로 추출하는 것으로부터 시작한다. 이때 주로 사용하는 방법이 용어들 사이에서 나타나는 문자열을 일종의 패턴으로 취급하여 특정 패턴과 함께 나타나는 용어들을 해당 패턴에 할당된 의미 관계로 설정하는 방법이다. 하지만 기존의 패턴 기반 의미 관계 추출 방법은 한 문장만을 대상으로 패턴을 추출 및 적용하기 때문에 서로 떨어진 용어에 대한 의미 관계를 추출할 수 없다는 단점을 가지고 있다. 본 논문은 이러한 한계점에 착안하여, 의미 관계를 대표하는 각각의 용어를 하나씩 포함하고 기타 용어를 공유하고 있는 서로 떨어진 패턴 쌍을 추출하여 확장된 패턴을 생성하고 이를 의미 관계 추출에 적용하였다. 본 방법론은 is-${\alpha}$ 관계의 경우 기존 방법론 보다 7.5% 향상된 83.75%의 정확률을, part-of 관계의 경우에는 5% 향상된 동일한 83.75%의 정확률을 보였으며 상대적 재현율을 통해 실제 재현율의 향상 가능성도 함께 제시하였다.

스택-포인터 네트워크와 부분 트리 정보를 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing Using Stack-Pointer Networks and Subtree Information)

  • 최용석;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권6호
    • /
    • pp.235-242
    • /
    • 2021
  • 본 연구에서는 포인터 네트워크 모델을 의존 구문 분석에 맞게 확장한 스택-포인터 네트워크 모델을 이용하여 한국어 의존 구문 분석기를 구현한다. 스택-포인터 네트워크 모델 기반 의존 구문 분석기는 인코더-디코더로 구성되어 있으며 다른 의존 구문 분석기와 달리 내부 스택을 갖고 있어 루트부터 시작하는 하향식 구문 분석이 가능하다. 디코더의 각 단계에서는 의존소를 찾기 위해 부모 노드뿐만 아니라 이미 파생된 트리 구조에서 조부모와 형제 노드를 참조할 수 있다. 기존 연구에서는 단순하게 해당 노드들의 합을 계산하여 입력으로 사용하였고, 형제 노드의 경우에는 가장 최근에 방문했던 것만을 사용할 수 있었다. 본 연구에서는 그래프 어텐션 네트워크를 도입하여 이미 파생된 부분 트리를 표현하고 이를 스택-포인터 네트워크의 입력으로 사용하도록 구문 분석기를 수정한다. 세종 코퍼스와 모두의 코퍼스를 대상을 실험한 결과 레이어 2의 그래프 어텐션 네트워크를 이용하여 부분 트리를 표현했을 때 특히 문장 단위의 구문 분석 정확도에서 많은 성능 향상을 확인할 수 있었다.

다단계 구단위화를 이용한 고속 한국어 의존구조 분석 (High Speed Korean Dependency Analysis Using Cascaded Chunking)

  • 오진영;차정원
    • 한국시뮬레이션학회논문지
    • /
    • 제19권1호
    • /
    • pp.103-111
    • /
    • 2010
  • 한국어 처리에서 구문분석기에 대한 요구는 많은 반면 성능의 한계와 강건함의 부족으로 인해 채택되지 못하는 것이 현실이다. 본 연구는 구문분석을 레이블링 문제로 전환하여 성능, 속도, 강건함을 모두 실현한 시스템에 대해서 설명한다. 우리는 다단계 구 단위화(Cascaded Chunking)를 통해 한국어 구문분석을 시도한다. 각 단계에서는 어절별 품사 태그와 어절 구문표지를 자질로 사용하고 CRFs(Conditional Random Fields)를 이용하여 최적의 결과를 얻는다. 58,175문장 세종 구문 코퍼스로 10-fold Cross Validation(평균 10.97어절)으로 실험한 결과 평균 86.01%의 구문 정확도를 보였다. 이 결과는 기존에 제안되었던 구문분석기와 대등하거나 우수한 성능이며 기존 구문분석기가 처리하지 못하는 장문도 처리 가능하다.

신문 기사의 언어 사용 양상: 코퍼스언어학적 접근 (Aspects of Language Use in Newspaper Articles: A Corpus Linguistic Perspective)

  • 송경화;강범모
    • 인지과학
    • /
    • 제17권4호
    • /
    • pp.255-269
    • /
    • 2006
  • 본 연구는 신문 기사에 대한 실증적 언어 분석을 목적으로 한다. <21세기 세종계획>에 의해 구축된 대용량의 신문 기사 말뭉치를 형태, 어절, 절, 문장 등의 단위로 계량화하여 분석하였다. 신문 기사를 표제, 전문, 본문의 세 구성 성분으로 나누고 표제의 표시성과 압축성의 실현 양상, 전문과 표제의 연관성, 본문의 문장 구조와 일반명사 구성 비율 등을 살펴보았다. 이 연구를 통하여 기존의 비계량적 연구 방법들과 차별화 된 실증적 연구로서 신문 이론을 검증하고, 신문 기사의 새로운 언어 현상을 발견할 수 있었다. 신문 기사와 같은 텍스트는 인간의 인지적 언어 처리의 결과이며 동시에 인지적 언어 형성에 영향을 미칠 것이다.

  • PDF

숯가마에서 발생하는 온실가스 배출 특성 (Characteristics of Greenhouse Gas Emissions from Charcoal Kiln)

  • 이슬기;전의찬;박성규;최상진
    • 한국기후변화학회지
    • /
    • 제4권2호
    • /
    • pp.115-126
    • /
    • 2013
  • 최근 국내 배출원 특성을 고려하여 생물성 연소에 대한 배출목록(emission inventory)을 추가하려는 연구가 이루어지고 있으나, 국내 현황을 반영한 실증 연구는 현재까지 거의 이루어진 바가 없는 실정이다. 따라서 앞으로 배출목록에 대한 기후 대기 통합관리시스템이 진행될 경우, 효과적인 배출원 관리를 위해 생물성 연소의 온실가스 배출 특성에 대한 연구가 필요한 시점이다. 본 연구에서는 숯가마에서 발생하는 온실가스 배출 특성을 파악하기 위하여 숯가마 모형장치를 이용하여 현장실험을 실시했다. 또한, 참나무의 점화, 탄화, 출탄하는 시기와 내부 온도 변화를 고려하여 굴뚝에서 배출되는 온실가스($CO_2$, $CH_4$, $N_2O$)를 직접 포집하여 분석하였다. 온실가스 배출계수 산정 결과, $CO_2$ 배출계수는 668 g/kg, $CH_4$ 배출계수는 20 g/kg이며, $N_2O$ 배출계수는 0.01 g/kg으로 나타났다. 본 연구에서 개발한 온실가스 배출계수를 사용하여 국가 배출량을 산정한 결과, $CO_2$ 배출량은 46,040 ton/yr, $CH_4$ 배출량은 1,378 ton/yr, $N_2O$ 배출량은 0.69 ton/yr으로 나타났다. GWP를 이용하여 총 배출량을 산정한 결과, 연간 $75,201ton\;CO_2eq.$으로 나타났으며, 참나무는 바이오 매스에 포함되기 때문에 연소하는 과정에서 발생하는 $CO_2$는 총 배출량에서 제외되므로 숯가마에서 발생하는 국내 순배출량은 연간 $29,161ton\;CO_2eq.$으로 추정되었다.