• Title/Summary/Keyword: 토큰화

Search Result 91, Processing Time 0.026 seconds

Korean Coreference Resolution at the Morpheme Level (형태소 수준의 한국어 상호참조해결 )

  • Kyeongbin Jo;Yohan Choi;Changki Lee;Jihee Ryu;Joonho Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.329-333
    • /
    • 2022
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 End-to-End 모델이 주로 연구가 되었다. 그러나 End-to-End 방식으로 모델을 수행하기 위해서는 모든 스팬을 잠재적인 멘션으로 간주해야 되기 때문에 많은 메모리가 필요하고 시간 복잡도가 상승하는 문제가 있다. 본 논문에서는 서브 토큰을 다시 단어 단위로 매핑하여 상호참조해결을 수행하는 워드 레벨 상호참조해결 모델을 한국어에 적용하며, 한국어 상호참조해결의 특징을 반영하기 위해 워드 레벨 상호참조해결 모델의 토큰 표현에 개체명 자질과 의존 구문 분석 자질을 추가하였다. 실험 결과, ETRI 질의응답 도메인 평가 셋에서 F1 69.55%로, 기존 End-to-End 방식의 상호참조해결 모델 대비 0.54% 성능 향상을 보이면서 메모리 사용량은 2.4배 좋아졌고, 속도는 1.82배 빨라졌다.

  • PDF

Development and Evaluation of Information Extraction Module for Postal Address Information (우편주소정보 추출모듈 개발 및 평가)

  • Shin, Hyunkyung;Kim, Hyunseok
    • Journal of Creative Information Culture
    • /
    • v.5 no.2
    • /
    • pp.145-156
    • /
    • 2019
  • In this study, we have developed and evaluated an information extracting module based on the named entity recognition technique. For the given purpose in this paper, the module was designed to apply to the problem dealing with extraction of postal address information from arbitrary documents without any prior knowledge on the document layout. From the perspective of information technique practice, our approach can be said as a probabilistic n-gram (bi- or tri-gram) method which is a generalized technique compared with a uni-gram based keyword matching. It is the main difference between our approach and the conventional methods adopted in natural language processing that applying sentence detection, tokenization, and POS tagging recursively rather than applying the models sequentially. The test results with approximately two thousands documents are presented at this paper.

An Effective Segmentation Scheme for Korean Sentence Classification tasks (한국어 문장 분류 태스크에서의 효과적 분절 전략)

  • Kim, Jin-Sung;Kim, Gyeong-Min;Son, Junyoung;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.173-177
    • /
    • 2021
  • 분절을 통한 양질의 입력 자질을 구성하는 것은 언어모델의 문장에 대한 이해도를 높이기 위한 필수적인 단계이다. 분절은 문장의 의미를 이해하는 데 있어 중요한 역할을 하기 때문이다. 따라서, 한국어 문장 분류 태스크를 수행함에 있어 한국어의 특징에 맞는 분절 기법을 선택하는 것은 필수적이다. 명확한 판단 기준 마련을 위해, 우리는 한국어 문장 분류 태스크에서 가장 효과적인 분절 기법이 무엇인지 감성 분석, 자연어 추론, 텍스트 간 의미적 유사성 판단 태스크를 통해 검증한다. 이 때 비교할 분절 기법의 유형 분류 기준은 언어학적 단위에 따라 어절, 형태소, 음절, 자모 네 가지로 설정하며, 분절 기법 외의 다른 실험 환경들은 동일하게 설정하여 분절 기법이 문장 분류 성능에 미치는 영향만을 측정하도록 한다. 실험 결과에 따르면 자모 단위의 분절 기법을 적용한 모델이 평균적으로 가장 높은 성능을 보여주며, 반복 실험 간 편차가 적어 일관적인 성능 결과를 기록함을 확인할 수 있다.

  • PDF

Translation Pre-processing Technique for Improving Analysis Performance of Korean News (한국어 뉴스 분석 성능 향상을 위한 번역 전처리 기법)

  • Lee, Ji-Min;Jeong, Da-Woon;Gu, Yeong-Hyeon;Yoo, Seong-Joon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.619-623
    • /
    • 2020
  • 한국어는 교착어로 1개 이상의 형태소가 단어를 이루고 있기 때문에 텍스트 분석 시 형태소를 분리하는 작업이 필요하다. 자연어를 처리하는 대부분의 알고리즘은 영미권에서 만들어졌고 영어는 굴절어로 특정 경우를 제외하고 일반적으로 하나의 형태소가 단어를 구성하는 구조이다. 그리고 영문은 주로 띄어쓰기 위주로 토큰화가 진행되기 때문에 텍스트 분석이 한국어에 비해 복잡함이 떨어지는 편이다. 이러한 이유들로 인해 한국어 텍스트 분석은 영문 텍스트 분석에 비해 한계점이 있다고 알려져 있다. 한국어 텍스트 분석의 성능 향상을 위해 본 논문에서는 번역 전처리 기법을 제안한다. 번역 전처리 기법이란 원본인 한국어 텍스트를 영문으로 번역하고 전처리를 거친 뒤 분석된 결과를 재번역하는 것이다. 본 논문에서는 한국어 뉴스 기사 데이터와 번역 전처리 기법이 적용된 영문 뉴스 텍스트 데이터를 사용했다. 그리고 주제어 역할을 하는 키워드를 단어 간의 유사도를 계산하는 알고리즘인 Word2Vec(Word to Vector)을 통해 유사 단어를 추출했다. 이렇게 도출된 유사 단어를 텍스트 분석 전문가 대상으로 성능 비교 투표를 진행했을 때, 한국어 뉴스보다 번역 전처리 기법이 적용된 영문 뉴스가 약 3배의 득표 차이로 의미있는 결과를 도출했다.

  • PDF

A Case of Esophagel Foreign Body (식도이물 1예)

  • 진강우;윤희로;강주원;김병우
    • Proceedings of the KOR-BRONCHOESO Conference
    • /
    • 1978.06a
    • /
    • pp.3.4-3
    • /
    • 1978
  • We had been experienced many cases of esophageal foreign bodies in children especially by coins. Recently, We became to use another coin such as bus-token. Authors report a case of esophageal foreign body which lodged in the first narrowing in female baby of 15 months old.

  • PDF

Design and Implementation of Flexible Event Parsing Engine (유연성 있는 이벤트 파싱 엔진의 설계 및 구현)

  • Yun, Tae-Woong;Min, Dug-Ki
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05a
    • /
    • pp.189-192
    • /
    • 2003
  • 분산 시스템의 관리를 위해서 시스템 내의 각 컴포넌트에서 발생되는 많은 이벤트 중에 의미 있는 이벤트를 효과적으로 찾아내는 이벤트 파싱 엔진이 필요하다. 본 논문에서는 유연성 있는 이벤트 파싱 엔진을 제안한다. 특히 이벤트 파싱 엔진의 내부 구현을 위해서 기존의 룰 기반 접근방법을 변형한 새로운 접근방법을 제시한다. 본 엔진에서는 룰의 조건과 액션을 스크립트 객체화한 스크립트 객체 기반 접근방법과 룰에 해당하는 이벤트들을 찾아낼 때 보다 효과적이 검색을 지원하는 이벤트 토큰 기반 방식을 사용한다.

  • PDF

A Leaky Bucket & EWMA Type Traffic Control in ATM Networks (ATM network에서 리키버킷과 EWMA를 이용한 트래픽 제어)

  • Yoon, Seok-Hyun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2011.06a
    • /
    • pp.327-330
    • /
    • 2011
  • 본 논문에서는 ATM network에서 트래픽 제어를 위하여 리키버켓과 EWMA로 구성된 셀 간격 제어기를 연구한다. 제안하는 알고리즘은 토큰 풀을 가진 리키버켓과 시간 윈도우를 가진 EWMA, 간격제어 버퍼로 구성된다. BONeS 시뮬레이터에서 ON/OFF 트래픽 소스 모델을 이용하여 제안한 UPC 알고리즘의 성능을 평가한 결과, 패킷화된 음성 트래픽과 고속 트래픽 소스 모두 셀 간격이 평균 비트율에 수렴하여 제어되는 것을 관찰할 수 있었다.

  • PDF

A Method of Distributed Parallel Processing based on Multi-Server for Improving Encryption Performance (암호화 성능 향상을 위한 다중장비 기반 분산 병렬 처리 방법)

  • Kim, Hyun-Wook;Park, Sung-Eun;Euh, Sung-Yul
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.3
    • /
    • pp.529-536
    • /
    • 2015
  • As personal information protection act was recently enforced, a mechanism which saves encrypted personal information has been used to Information Security systems. To use the mechanism, a millions of personal information which are already saved on the system first have to be encrypted. At the moment, it may cause a resource scarcity on server, and also take a lot of time. Thus, this paper suggests a way to encrypt millions of personal information by using multi-server with low specifications and measures its performance on test environment. And, I was compared with the performance of high- specification server. As a compared result, the mechanism with three devices by parallel and distributed processing improved its performance by 128%, and the mechanism with five devices by the same processing improved its performance by 158%.

Approximate sojourn time distribution for cyclic service systems and its applications to token passing networks (순환서비스시스템에서의 근사화된 체류시간 분포화 토큰 패싱 네트워크에의 응용)

  • 권욱현;정범진;박홍성
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 1989.10a
    • /
    • pp.524-529
    • /
    • 1989
  • In this paper, an approximate sojourn time distribution is obtained for cyclic service systems. We consider symmetric and limited service systems in which each queue has an infinite capacity. The combined service time is defined which consists of the frame service time and server waiting time that is approximated by two cases of the uniform and exponential distributions. The approximate sojourn time distribution is obtained from the Pollaczek-Khinchine formula where the combined service time is used for the service time in the M/G/I model. And some numerical examples are given to validate the suggested approximate analysis.

  • PDF

Adaptive User and Topic Modeling based Automatic TV Recommender System for Big Data Processing (빅 데이터 처리를 위한 적응적 사용자 및 토픽 모델링 기반 자동 TV 프로그램 추천시스템)

  • Kim, EunHui;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2015.07a
    • /
    • pp.195-198
    • /
    • 2015
  • 최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

  • PDF