• Title/Summary/Keyword: ELECTRA

Search Result 60, Processing Time 0.026 seconds

A Comparative Study on Korean Relation Extraction with entity position information (엔터티 위치 정보를 활용한 한국어 관계추출 모델 비교 및 분석)

  • Son, Suhyune;Hur, Yuna;Lim, Jungwoo;Shim, Midan;Park, Chanjun;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.247-250
    • /
    • 2021
  • 관계추출(Relation Extraction)이란 주어진 문장에서 엔터티간의 관계를 예측하는 것을 목표로 하는 태스크이다. 이를 위해 문장 구조에 대한 이해와 더불어 두 엔터티간의 관계성 파악이 핵심이다. 기존의 관계추출 연구는 영어 데이터를 기반으로 발전되어 왔으며 그에 반해 한국어 관계 추출에 대한 연구는 부족하다. 이에 본 논문은 한국어 문장내의 엔터티 정보에 대한 위치 정보를 활용하여 관계를 예측할 수 있는 방법론을 제안하였으며 이를 다양한 한국어 사전학습 모델(KoBERT, HanBERT, KorBERT, KoELECTRA, KcELECTRA)과 mBERT를 적용하여 전반적인 성능 비교 및 분석 연구를 진행하였다. 실험 결과 본 논문에서 제안한 엔터티 위치 토큰을 사용하였을때의 모델이 기존 연구들에 비해 좋은 성능을 보였다.

  • PDF

A Named Entity Recognition Model in Criminal Investigation Domain using Pretrained Language Model (사전학습 언어모델을 활용한 범죄수사 도메인 개체명 인식)

  • Kim, Hee-Dou;Lim, Heuiseok
    • Journal of the Korea Convergence Society
    • /
    • v.13 no.2
    • /
    • pp.13-20
    • /
    • 2022
  • This study is to develop a named entity recognition model specialized in criminal investigation domains using deep learning techniques. Through this study, we propose a system that can contribute to analysis of crime for prevention and investigation using data analysis techniques in the future by automatically extracting and categorizing crime-related information from text-based data such as criminal judgments and investigation documents. For this study, the criminal investigation domain text was collected and the required entity name was newly defined from the perspective of criminal analysis. In addition, the proposed model applying KoELECTRA, a pre-trained language model that has recently shown high performance in natural language processing, shows performance of micro average(referred to as micro avg) F1-score 98% and macro average(referred to as macro avg) F1-score 95% in 9 main categories of crime domain NER experiment data, and micro avg F1-score 98% and macro avg F1-score 62% in 56 sub categories. The proposed model is analyzed from the perspective of future improvement and utilization.

A Performance comparison of HEVC with H.264 and MPEG-2 for HD Sequences (고해상도 영상에 대한 MPEG-2 / H.264 / HEVC 비디오 코덱의 성능 비교 분석)

  • Lee, Hahyun;Kim, Jongho;Kim, Hui Yong;Choi, Jin Soo
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2011.07a
    • /
    • pp.192-195
    • /
    • 2011
  • 본 논문에서는 JCT-VC(Joint Collaboration Team on Video Coding)에서 표준화가 진행 중인 HEVC(High Efficiency Video Coding)의 Test Model 인 HM1.0과 현재 디지털 방송, 통신, 저장 매체 등 다양한 응용 분야에 사용되고 있는 범용 비디오 코덱들 간의 객관적, 주관적 측면에서의 부호화 성능을 비교한다. 이를 통해 HEVC의 현재 성능 수준에 대한 평가 결과를 보이고, 활용 가능성에 대해 결론을 맺는다. 비교 대상 코덱으로는 H.264/AVC 표준의 S/W 기반인 VideoLAN Project의 x264와 MPEG-2 표준으로 Harmonic사의 H/W기반의 최신형 실시간 인코더인 Electra8000을 사용하였다. 총 5개의 HD(1920x1080)영상에 대한 객관적 성능 비교 결과, HM1.0이 x264 대비 평균 44.93%의 BD-rate 감소와 평균 1.65%의 BD-PSNR 증가를 보였고, Electra8000에 대해서도 월등히 높은 성능차를 보였다. 주관적 화질 비교 결과 동일 PSNR 조건하에서 HM1.0이 범용 비디오 코덱들보다 주관적 화질이 유사하거나 좀 더 나음을 보였다.

  • PDF

A Study on the Psychological Counseling AI Chatbot System based on Sentiment Analysis (감정분석 기반 심리상담 AI 챗봇 시스템에 대한 연구)

  • An, Se Hun;Jeong, Ok Ran
    • Journal of Information Technology Services
    • /
    • v.20 no.3
    • /
    • pp.75-86
    • /
    • 2021
  • As artificial intelligence is actively studied, chatbot systems are being applied to various fields. In particular, many chatbot systems for psychological counseling have been studied that can comfort modern people. However, while most psychological counseling chatbots are studied as rule-base and deep learning-based chatbots, there are large limitations for each chatbot. To overcome the limitations of psychological counseling using such chatbots, we proposes a novel psychological counseling AI chatbot system. The proposed system consists of a GPT-2 model that generates output sentence for Korean input sentences and an Electra model that serves as sentiment analysis and anxiety cause classification, which can be provided with psychological tests and collective intelligence functions. At the same time as deep learning-based chatbots and conversations take place, sentiment analysis of input sentences simultaneously recognizes user's emotions and presents psychological tests and collective intelligence solutions to solve the limitations of psychological counseling that can only be done with chatbots. Since the role of sentiment analysis and anxiety cause classification, which are the links of each function, is important for the progression of the proposed system, we experiment the performance of those parts. We verify the novelty and accuracy of the proposed system. It also shows that the AI chatbot system can perform counseling excellently.

Persona-based Korean Conversational Model (페르소나 기반 한국어 대화 모델)

  • Jang, Yoonna;Lim, Jungwoo;Hur, Yuna;Yang, Kisu;Park, Chanjun;Seo, Jaehyung;Lee, Seungjun;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.453-456
    • /
    • 2021
  • 대화형 에이전트가 일관성 없는 답변, 재미 없는 답변을 하는 문제를 해결하기 위하여 최근 페르소나 기반의 대화 분야의 연구가 활발히 진행되고 있다. 그러나 한국어로 구축된 페르소나 대화 데이터는 아직 구축되지 않은 상황이다. 이에 본 연구에서는 영어 원본 데이터에서 한국어로 번역된 데이터를 활용하여 최초의 페르소나 기반 한국어 대화 모델을 제안한다. 전처리를 통하여 번역 품질을 향상시킨 데이터에 사전 학습 된 한국어 모델인 KoBERT와 KoELECTRA를 미세조정(fine-tuning) 시킴으로써 모델에게 주어진 페르소나와 대화 맥락을 고려하여 올바른 답변을 선택하는 모델을 학습한다. 실험 결과 KoELECTRA-base 모델이 가장 높은 성능을 보이는 것을 확인하였으며, 단순하게 사용자의 발화만을 주는 것 보다 이전 대화 이력이 추가적으로 주어졌을 때 더 좋은 성능을 보이는 것을 확인할 수 있었다.

  • PDF

Objectivity in Korean News Reporting : Machine Learning-Based Verification of News Headline Accuracy (기계학습 기반 국내 뉴스 헤드라인의 정확성 검증 연구)

  • Baik, Jisoo;Lee, Seung Eon;Han, Jiyoung;Cha, Meeyoung
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.281-286
    • /
    • 2021
  • 뉴스 헤드라인에 제3자의 발언을 직접 인용해 전언하는 이른바 '따옴표 저널리즘'이 언론 보도의 객관주의 원칙을 해치는지는 언론학 및 뉴스 구독자에게 중요한 문제이다. 이 연구는 온라인 포털사이트를 통해 실시간 유통되는 한국어 기사의 정확성을 판별하기 위한 기계학습(Machine Learning) 모델을 제안한다. 이 연구에서 제안하는 모델은 Edit Distance와 FastText 기법을 활용해 기사 제목과 본문 내 인용구의 유사성을 측정하고, XGBoost 모델을 활용해 최종 분류한다. 아울러 이 모델을 통해 229만 건의 뉴스 헤드라인에 대해 직접 인용구가 포함된 기사가 취재원의 발언을 주관적인 윤색없이 독자들에게 전하고 있는지를 판별했다. 이뿐만 아니라 딥러닝 기반의 KoELECTRA 모델을 활용해 기사의 제목 내 인용구에 대한 감성 분석을 진행했다. 분석 결과, 윤색이 가미되지 않은 직접 인용형 기사의 비율이 지난 20년 동안 10% 이상 증가했으며, 기사 제목의 인용구에 나타나는 감정은 부정 감성이 긍정 감성의 2.8배 정도로 우세했다. 이러한 시도는 앞으로 계산사회과학 방법론과 빅데이터에 기반한 언론 보도의 평가 및 개선에 도움을 주리라 기대한다.

  • PDF

Sequence Labeling-based Multiple Causal Relations Extraction using Pre-trained Language Model for Maritime Accident Prevention (해양사고 예방을 위한 사전학습 언어모델의 순차적 레이블링 기반 복수 인과관계 추출)

  • Ki-Yeong Moon;Do-Hyun Kim;Tae-Hoon Yang;Sang-Duck Lee
    • Journal of the Korean Society of Safety
    • /
    • v.38 no.5
    • /
    • pp.51-57
    • /
    • 2023
  • Numerous studies have been conducted to analyze the causal relationships of maritime accidents using natural language processing techniques. However, when multiple causes and effects are associated with a single accident, the effectiveness of extracting these causal relations diminishes. To address this challenge, we compiled a dataset using verdicts from maritime accident cases in this study, analyzed their causal relations, and applied labeling considering the association information of various causes and effects. In addition, to validate the efficacy of our proposed methodology, we fine-tuned the KoELECTRA Korean language model. The results of our validation process demonstrated the ability of our approach to successfully extract multiple causal relationships from maritime accident cases.

Research on ITB Contract Terms Classification Model for Risk Management in EPC Projects: Deep Learning-Based PLM Ensemble Techniques (EPC 프로젝트의 위험 관리를 위한 ITB 문서 조항 분류 모델 연구: 딥러닝 기반 PLM 앙상블 기법 활용)

  • Hyunsang Lee;Wonseok Lee;Bogeun Jo;Heejun Lee;Sangjin Oh;Sangwoo You;Maru Nam;Hyunsik Lee
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.11
    • /
    • pp.471-480
    • /
    • 2023
  • The Korean construction order volume in South Korea grew significantly from 91.3 trillion won in public orders in 2013 to a total of 212 trillion won in 2021, particularly in the private sector. As the size of the domestic and overseas markets grew, the scale and complexity of EPC (Engineering, Procurement, Construction) projects increased, and risk management of project management and ITB (Invitation to Bid) documents became a critical issue. The time granted to actual construction companies in the bidding process following the EPC project award is not only limited, but also extremely challenging to review all the risk terms in the ITB document due to manpower and cost issues. Previous research attempted to categorize the risk terms in EPC contract documents and detect them based on AI, but there were limitations to practical use due to problems related to data, such as the limit of labeled data utilization and class imbalance. Therefore, this study aims to develop an AI model that can categorize the contract terms based on the FIDIC Yellow 2017(Federation Internationale Des Ingenieurs-Conseils Contract terms) standard in detail, rather than defining and classifying risk terms like previous research. A multi-text classification function is necessary because the contract terms that need to be reviewed in detail may vary depending on the scale and type of the project. To enhance the performance of the multi-text classification model, we developed the ELECTRA PLM (Pre-trained Language Model) capable of efficiently learning the context of text data from the pre-training stage, and conducted a four-step experiment to validate the performance of the model. As a result, the ensemble version of the self-developed ITB-ELECTRA model and Legal-BERT achieved the best performance with a weighted average F1-Score of 76% in the classification of 57 contract terms.

Electra-Optic Effect of Nonchiral Smectic C Liquid Crystal Mode with Negative Dielectric Anisotropy

  • Yu, Chang-Jae;Jang, Eun-Je;Lee, Sin-Doo
    • 한국정보디스플레이학회:학술대회논문집
    • /
    • 2002.08a
    • /
    • pp.467-470
    • /
    • 2002
  • We report on an analog electro-optic effect in a nonchiral smectic C (NSC) liquid crystal (LC) mode with negative dielectric anisotropy in a transverse electrode configuration. Two-dimensional numerical simulations are executed to evaluate the display performances. The analog gray scales in the NSC LC mode are obtained in a dielectrically driving scheme.

  • PDF

Noble LCD with a single supporting substrate

  • Kim, Il;Kim, Jae-Hoon;Agra-Kooijman, Dena M.;Kumar, Satyendra
    • 한국정보디스플레이학회:학술대회논문집
    • /
    • 2002.08a
    • /
    • pp.463-466
    • /
    • 2002
  • A new type of LCD has been developed using recently developed phase separated composite film method with a single glass substrate. The resultant structures are made of adjacent parallel layers of liquid crystal and polymer. The LC layer is confined between the solidified polymer layer and glass substrate. The electra-optical properties of the display have been investigated. This technique has the potential to realize a lightweight display for hand-held portable electronic products.

  • PDF