• 제목/요약/키워드: Transformer Model

검색결과 590건 처리시간 0.028초

사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약 (Transformer-based Text Summarization Using Pre-trained Language Model)

  • 송의석;김무성;이유린;안현철;김남규
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.395-398
    • /
    • 2021
  • 최근 방대한 양의 텍스트 정보가 인터넷에 유통되면서 정보의 핵심 내용을 파악하기가 더욱 어려워졌으며, 이로 인해 자동으로 텍스트를 요약하려는 연구가 활발하게 이루어지고 있다. 텍스트 자동 요약을 위한 다양한 기법 중 특히 트랜스포머(Transformer) 기반의 모델은 추상 요약(Abstractive Summarization) 과제에서 매우 우수한 성능을 보이며, 해당 분야의 SOTA(State of the Art)를 달성하고 있다. 하지만 트랜스포머 모델은 매우 많은 수의 매개변수들(Parameters)로 구성되어 있어서, 충분한 양의 데이터가 확보되지 않으면 이들 매개변수에 대한 충분한 학습이 이루어지지 않아서 양질의 요약문을 생성하기 어렵다는 한계를 갖는다. 이러한 한계를 극복하기 위해 본 연구는 소량의 데이터가 주어진 환경에서도 양질의 요약문을 생성할 수 있는 문서 요약 방법론을 제안한다. 구체적으로 제안 방법론은 한국어 사전학습 언어 모델인 KoBERT의 임베딩 행렬을 트랜스포머 모델에 적용하는 방식으로 문서 요약을 수행하며, 제안 방법론의 우수성은 Dacon 한국어 문서 생성 요약 데이터셋에 대한 실험을 통해 ROUGE 지표를 기준으로 평가하였다.

  • PDF

한국어 립리딩: 데이터 구축 및 문장수준 립리딩 (Korean Lip-Reading: Data Construction and Sentence-Level Lip-Reading)

  • 조선영;윤수성
    • 한국군사과학기술학회지
    • /
    • 제27권2호
    • /
    • pp.167-176
    • /
    • 2024
  • Lip-reading is the task of inferring the speaker's utterance from silent video based on learning of lip movements. It is very challenging due to the inherent ambiguities present in the lip movement such as different characters that produce the same lip appearances. Recent advances in deep learning models such as Transformer and Temporal Convolutional Network have led to improve the performance of lip-reading. However, most previous works deal with English lip-reading which has limitations in directly applying to Korean lip-reading, and moreover, there is no a large scale Korean lip-reading dataset. In this paper, we introduce the first large-scale Korean lip-reading dataset with more than 120 k utterances collected from TV broadcasts containing news, documentary and drama. We also present a preprocessing method which uniformly extracts a facial region of interest and propose a transformer-based model based on grapheme unit for sentence-level Korean lip-reading. We demonstrate that our dataset and model are appropriate for Korean lip-reading through statistics of the dataset and experimental results.

노이즈 제거 알고리즘을 적용한 변압기 초음파 상시 측정장치 개발 (Development of the On-line Ultrasonic Detecter for Transformer Applied Noise Rejection Algorithm)

  • 권동진;진상범;곽희로
    • 조명전기설비학회논문지
    • /
    • 제16권4호
    • /
    • pp.80-91
    • /
    • 2002
  • 운전중인 변압기 내부의 부분방전에 의한 초음파 신호를 상시 감시하기 위한 초음파 상시 측정장치를 개발하였다. 초음파 상시 측정장치는 변압기 외부에서 발생하는 전기적 및 기계적인 노이즈를 제거하고 변압기 내부의 부분방전에 의한 초음파 신호만을 측정하기 위하여 50~300[KHz] 주파수 대역만 집중 측정하도록 협대역 필터를 설계하였으며, 초음파 센서는 60[dB] 증폭도의 프리앰프 내장형으로 개발하였다. 부분방전에 의한 초음파 신호와 특성이 유사한 부하시 탭 절환장치의 동작에 의한 초음파 신호를 제거하기 위하여, 초음파 신호의 지속시간으로 판별하는 초음파 신호판별 알고리즘을 개발하였다. 본 연구에서 개발한 초음파 상시 측정장치는 실험실의 모의 변압기와 현장에서 운전중인 변압기에서 부분방전에 의한 초음파 신호를 측정하여 신뢰성을 확인하였다.

신경회로망을 이용한 변압기 사고 검출 기법 개발 (Development of Fault Detection Method for a Transformer Using Neural Network)

  • 김일남;김남호
    • 조명전기설비학회논문지
    • /
    • 제17권5호
    • /
    • pp.43-50
    • /
    • 2003
  • 본 논문은 신경회로망을 이용하여 변압기 사고검출 기법을 제안하였다. 계전기 정동작을 위하여 전력용 변압기의 외부사고와 돌입현상은 포화현상이 고려된 EMTP/ATP를 이용하였고, 내부사고는 EMTP/BCTRAN를 이용하여 얻은 전류 데이타를 신경회로망의 사고검출 성능으로 평가하였다. 신경회로망의 입력지수로는 변압기 양단전류를 FFT로 주파수 분석하여 얻은 억제전류와 동작전류의 고조파 비의 크기를 이용하였고, 외부사고 시 억제전류값이 크게 나타나는 것을 이용하기 위해 억제전류를 동작전류로 나눈값을 계전기 입력으로 사용하였고, 학습알고리즘은back-propagation을 사용하였다. 실 계통에 적용하고 있는 변압기 보호용 계전기의 특성을 신경회로망의 검출성능으로 테스트한 결과 제안된 기법이 뛰어남이 확인되었다.

MATLAB/Simulink에서 계통연계 풍력발전시스템의 특성해석에 대한 시뮬레이션 (Simulation for Characteristics Analysis of Grid-connected Wind Power Generation System on MATLAB/Simulink)

  • 노경수;안해준
    • 조명전기설비학회논문지
    • /
    • 제22권8호
    • /
    • pp.18-25
    • /
    • 2008
  • 본 논문은 HATLAB/Simulink에서 계통연계 풍력발전시스템의 특성해석을 위한 모델링을 제안하여 시뮬레이션을 수행한다. 이를 위해 풍속의 변화에 따른 발전기의 출력제어를 위해 피치제어를 수행하며, 연계변압기의 결선방법에 따른 고장전류의 변화를 살펴봄으로 하여 연계변압기의 결선방법과 고장전류와의 상관관계를 제시하였다. 아울러 풍력발전시스템의 연계변압기 중성점접지방식이 고장전류에 미치는 영향을 살펴본다. 계통에서의 1선 지락고장에 대해 연계변압기의 4가지 결선방식의 차이에 따른 고장전류, 전압 및 발전기의 특성 변화를 확인할 수 있었으며 중성점 접지방식의 차이에 따른 고장전류의 변화를 확인하였다. 사례연구를 통하여 제안한 Simulink에서의 시뮬레이션 모델의 효용성을 입증하였다.

고정밀 권선형 레졸버의 변압부 및 레졸버 연동해석 연구 (A Study on Multi-Physics Analysis of High-Resolution Winding Type Resolver and Rotary Transformer)

  • 신영철;김기찬
    • 한국산학기술학회논문지
    • /
    • 제17권5호
    • /
    • pp.146-152
    • /
    • 2016
  • 본 논문에서는 고정밀 각도 센싱을 요구하는 응용분야에 이용되는 권선형 레졸버의 변압부와 레졸버 파트의 유한요소법 (Finite Element Method, FEM)을 이용한 연동해석을 통해 권선형 레졸버 시스템의 성능을 도출하는 과정을 연구하였다. 외부 인가 전원을 증폭시키는 회전형 변압기부와 증폭된 변압기 출력을 이용하는 레졸버의 회전자 입력부의 연동해석을 통하여 전자기적인 정밀도를 향상시킬 수 있는 권선형 레졸버의 연동해석 모델을 제시하고 출력 신호의 특성을 분석하였다. 회전형 변압기에서 승압된 전압이 레졸버 회전자 권선에 인가될 때 회전자 권선의 임피던스를 고려하여 레졸버 입력 전류를 계산하여야 한다. 따라서 레졸버 회전자 권선부 인터페이스 부분은 회로 모델로 구성하여 변압기의 유한요소 모델, 인터페이스 회로 모델, 레졸버 유한요소 모델을 한 번에 연성해석을 수행하였다. 고정밀 각도 도출을 위해 레졸버 고정자 권선은 32x와 1x의 혼합 권선이 설치되어 있으며 서로간의 자기적인 간섭은 없다. 본 논문에서는 슬롯에 적절한 분포적인 권선법이 제시되어 정현적인 SIN, COS 파형과 이들간의 위상각 $90^{\circ}$를 만족시킬 수 있음을 확인하였다.

Intrusion Detection System based on Packet Payload Analysis using Transformer

  • Woo-Seung Park;Gun-Nam Kim;Soo-Jin Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권11호
    • /
    • pp.81-87
    • /
    • 2023
  • 네트워크 패킷의 메타데이터를 학습한 침입탐지시스템이 최근 많이 제안되었다. 그러나 이러한 방식은 모델 학습에 사용할 메타데이터 생성을 위해 패킷을 분석하는 시간, 그리고 학습 전 메타데이터를 전처리하는 시간이 필요하다. 또한, 특정 메타데이터를 학습한 모델은 실제 네트워크로 유입되는 원본 패킷을 그대로 사용하여 침입을 탐지하는 것이 불가능하다. 이러한 문제를 해결하기 위해 본 논문에서는 패킷 페이로드를 하나의 문장으로 학습시켜 침입을 탐지하는 자연어 처리 기반의 침입탐지시스템을 제안하였다. 제안하는 기법의 성능 검증을 위해 UNSW-NB15와 Transformer 모델을 활용하였다. 먼저, 데이터세트의 PCAP 파일에 대한 라벨링을 실시한 후 2종의 Transformer 모델(BERT, DistilBERT)에 문장 형태로 직접 학습시켜 탐지성능을 분석하였다. 실험 결과 이진분류 정확도는 각각 99.03%, 99.05%로 기존 연구에서 제안한 기법들과 유사하거나 우수한 탐지성능을 보였으며, 다중분류는 각각 86.63%, 86.36%로 더 우수한 성능을 나타냄을 확인하였다.

Sentiment analysis of Korean movie reviews using XLM-R

  • Shin, Noo Ri;Kim, TaeHyeon;Yun, Dai Yeol;Moon, Seok-Jae;Hwang, Chi-gon
    • International Journal of Advanced Culture Technology
    • /
    • 제9권2호
    • /
    • pp.86-90
    • /
    • 2021
  • Sentiment refers to a person's thoughts, opinions, and feelings toward an object. Sentiment analysis is a process of collecting opinions on a specific target and classifying them according to their emotions, and applies to opinion mining that analyzes product reviews and reviews on the web. Companies and users can grasp the opinions of public opinion and come up with a way to do so. Recently, natural language processing models using the Transformer structure have appeared, and Google's BERT is a representative example. Afterwards, various models came out by remodeling the BERT. Among them, the Facebook AI team unveiled the XLM-R (XLM-RoBERTa), an upgraded XLM model. XLM-R solved the data limitation and the curse of multilinguality by training XLM with 2TB or more refined CC (CommonCrawl), not Wikipedia data. This model showed that the multilingual model has similar performance to the single language model when it is trained by adjusting the size of the model and the data required for training. Therefore, in this paper, we study the improvement of Korean sentiment analysis performed using a pre-trained XLM-R model that solved curse of multilinguality and improved performance.

Recovery Voltage Measurements of Oil-immersed Transformer

  • Li, Ming-Hua;Dong, Ming;Qu, Yan-Ming;Yan, Zhang
    • Transactions on Electrical and Electronic Materials
    • /
    • 제7권5호
    • /
    • pp.230-234
    • /
    • 2006
  • One of the methods currently being investigated as a possible non-intrusive diagnostic tool for condition monitoring of power transformer and cable is the recovery voltage measurement, which will be improving the ability to detect the content of water concentration and the ageing process in the insulation system and may thus be an indicator of insulation quality and its ageing status. The polarization phenomenon was studied using RVM with oil-paper samples. In order to interpret its mechanism, the Extended Debye model was introduced. With different circuit parameters, various simulation results were gotten. Furthermore, with the test samples of different ageing condition, measurements are accomplished in the lab. On the basis of this experiment as well as theoretical analysis, correlations between polarizations and ageing were analyzed.

초고압 대용량 변압기에서의 유동대전 현상에 관한 연구(전압무인가) (A Study of the Streaming Electrostatic Current in High Voltage - Large Power Transformer)

  • 박재윤;윤승진;소금실성;이덕출;곽희로
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1990년도 추계학술대회 논문집 학회본부
    • /
    • pp.176-179
    • /
    • 1990
  • In this paper, the pheonmena of flowing electrification is experimently studied in the model transformer of a super high voltage transformer. The current of natural terminal which is flowed by the flowing electrification is increased according to oil flow, but according to the oil temperature the current is decreased and the direction of the current is changed.

  • PDF