• 제목/요약/키워드: sequence-to-sequence 모델

검색결과 695건 처리시간 0.029초

Generative Adversarial Network 학습을 통한 감정 텍스트 생성에 관한 연구 (A Study on the Emotional Text Generation using Generative Adversarial Network)

  • 김우성;김현철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.380-382
    • /
    • 2019
  • GAN(Generative Adversarial Network)은 정해진 학습 데이터에서 정해진 생성자와 구분자가 서로 각각에게 적대적인 관계를 유지하며 동시에 서로에게 생산적인 관계를 유지하며 가능한 긍정적인 영향을 주며 학습하는 기계학습 분야이다. 전통적인 문장 생성은 단어의 통계적 분포를 기반으로 한 마르코프 결정 과정(Markov Decision Process)과 순환적 신경 모델(Recurrent Neural Network)을 사용하여 학습시킨다. 이러한 방법은 문장 생성과 같은 연속된 데이터를 기반으로 한 모델들의 표준 모델이 되었다. GAN은 표준모델이 존재하는 해당 분야에 새로운 모델로써 다양한 시도가 시도되고 있다. 하지만 이러한 모델의 시도에도 불구하고, 지금까지 해결하지 못하고 있는 다양한 문제점이 존재한다. 이 논문에서는 다음과 같은 두 가지 문제점에 집중하고자 한다. 첫째, Sequential 한 데이터 처리에 어려움을 겪는다. 둘째, 무작위로 생성하기 때문에 사용자가 원하는 데이터만 출력되지 않는다. 본 논문에서는 이러한 문제점을 해결하고자, 부분적인 정답 제공을 통한 조건별 생산적 적대 생성망을 설계하여 이 방법을 사용하여 해결하였다. 첫째, Sequence to Sequence 모델을 도입하여 Sequential한 데이터를 처리할 수 있도록 하여 원시적인 텍스트를 생성할 수 있게 하였다. 둘째, 부분적인 정답 제공을 통하여 문장의 생성 조건을 구분하였다. 결과적으로, 제안하는 기법들로 원시적인 감정 텍스트를 생성할 수 있었다.

Long Short Term Memory 모델 기반 Case Study를 통한 낙동강 하구역의 용존산소농도 예측 (Prediction of DO Concentration in Nakdong River Estuary through Case Study Based on Long Short Term Memory Model)

  • 박성식;김경회
    • 한국해안·해양공학회논문집
    • /
    • 제33권6호
    • /
    • pp.238-245
    • /
    • 2021
  • 본 연구에서는 LSTM 모델을 활용하여 낙동강 하구역의 DO 농도 예측을 위한 최적 모델 조건과 적합한 예측변수를 찾기 위한 Case study를 수행하였다. 모델 매개변수 case study 결과, Epoch = 300과 Sequence length = 1에서 상대적으로 높은 정확도를 보였다. 예측변수 case study 결과, DO와 수온을 예측변수로 했을 때 가장 높은 정확도를 보였으며, 이는 DO 농도와 수온의 높은 상관성에 기인한 것으로 판단된다. 상기 결과로부터 낙동강 하구역의 DO 농도 예측에 적합한 LSTM 모델 조건과 예측변수를 찾을 수 있었다.

마스크 언어 모델 기반 비병렬 한국어 텍스트 스타일 변환 (Unpaired Korean Text Style Transfer with Masked Language Model)

  • 배장성;이창기;황정인;노형종
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.391-395
    • /
    • 2021
  • 텍스트 스타일 변환은 입력 스타일(source style)로 쓰여진 텍스트의 내용(content)을 유지하며 목적 스타일(target style)의 텍스트로 변환하는 문제이다. 텍스트 스타일 변환을 시퀀스 간 변환 문제(sequence-to-sequence)로 보고 기존 기계학습 모델을 이용해 해결할 수 있지만, 모델 학습에 필요한 각 스타일에 대응되는 병렬 말뭉치를 구하기 어려운 문제점이 있다. 따라서 최근에는 비병렬 말뭉치를 이용해 텍스트 스타일 변환을 수행하는 방법들이 연구되고 있다. 이 연구들은 주로 인코더-디코더 구조의 생성 모델을 사용하기 때문에 입력 문장이 가지고 있는 내용이 누락되거나 다른 내용의 문장이 생성될 수 있는 문제점이 있다. 본 논문에서는 마스크 언어 모델(masked language model)을 이용해 입력 텍스트의 내용을 유지하면서 원하는 스타일로 변경할 수 있는 텍스트 스타일 변환 방법을 제안하고 한국어 긍정-부정, 채팅체-문어체 변환에 적용한다.

  • PDF

혼합분류기 기반 영상내 움직이는 객체의 혼잡도 인식에 관한 연구 (A Study on Recognition of Moving Object Crowdedness Based on Ensemble Classifiers in a Sequence)

  • 안태기;안성제;박광영;박구만
    • 한국통신학회논문지
    • /
    • 제37권2A호
    • /
    • pp.95-104
    • /
    • 2012
  • 혼합분류기를 이용한 패턴인식은 약한 분류기를 결합하여 강한 분류기를 구성하는 형태이다. 본 논문에서는 고정된 카메라를 통해 입력된 영상을 이용하여 특징을 추출하고 이것들을 이용한 약한 분류기의 결합으로 강한 분류기를 만들어 낸다. 제안하는 시스템 구성은 차영상 기법을 이용해서 이진화된 전경 영상을 얻고 모폴로지 침식연산 수행으로 얻어진 혼잡도 가중치 영상을 이용해 특징을 추출하게 된다. 추출된 특징을 조합하고 혼잡도를 판단하기 위한 모델의 훈련 및 인식을 위한 혼합분류기 알고리즘으로 부스팅 방법을 사용하였다. 혼합 분류기는 약한 분류기의 조합으로 하나의 강한 분류기를 만들어 내는 분류기로서 그림자나 반사 등이 일어나는 환경에서도 잠재적인 특징들을 잘 활용할 수 있다. 제안하는 시스템의 성능실험은 "AVSS 2007"의 도로환경의 차량 영상과 철도환경내의 승강장 영상을 사용하였다. 조명변화가 심한 야외환경과 승강장과 같은 복잡한 환경에서도 시스템의 우수한 성능을 보여주었다.

요구사항 수집 단계에서 가변성 분석을 위한 문제 프레임 및 목표 모델 통합 프레임워크 (A Framework Integrating Problem Frames and Goal Modeling to Support Variability Analysis during Requirements Elicitation)

  • 미투시 싱;이석원
    • 정보과학회 논문지
    • /
    • 제44권3호
    • /
    • pp.261-274
    • /
    • 2017
  • 가변성 관리는 시스템이 어느 정도까지의 복잡성을 처리할 수 있는가를 정의하는 가장 중요한 기준이다. 대부분의 요구 공학 연구에서는 시스템이 동작하는 환경에 대해 많은 부분을 간과하거나 추측하는 수준에 그치고 있다. 그러나 실시간 시스템에서는 본질적으로 변화하는 컨텍스트를 관찰하고 조정하는 것은 중요한 요소이다. 본 연구에서는 i* 목표 모델, 문제 프레임, 유즈 케이스 맵, 라이브 시퀀스 차트를 활용하여 다양한 컨텍스트에 적합한 요구사항을 식별할 수 있는 프레임워크를 제안하며 스마트 그리드의 실시간 가격 정책 변화 시스템을 사례 연구로 활용하여 제안하는 프레임워크를 단계별로 자세하게 설명한다. 사례 연구를 통해 제안방법에서 유즈 케이스 맵과 라이브 시퀀스 차트를 활용한 시나리오 정교화 과정이 초기 컨텍스트 분석 및 검증에 도움을 주는 것을 보여주며 장애물 및 충돌 분석을 위한 요구사항을 정교화함으로써 요구공학 엔지니어들이 시스템의 건장성을 증가시키는 것을 도와줄 수 있음을 증명한다. 이처럼 제안하는 프레임워크는 이론적인 방법과 실증적인 사례를 통해 평가된다.

타임 윈도우 기반의 T-N2SCD 탐지 모델 구현 (Design of T-N2SCD Detection Model based on Time Window)

  • 신미예;원일용;이상호
    • 한국정보통신학회논문지
    • /
    • 제13권11호
    • /
    • pp.2341-2348
    • /
    • 2009
  • 호스트 기반 침입탐지 기법에는 시스템 호출 순서를 고려하는 방법과 시스템 호출 파라미터를 고려하는 방법이 있다. 이 두 방법은 프로세스의 시스템 호출이 일어나는 전 구간에서 시스템 호출 순서에 이상이 있거나 시스템 호출 파라미터의 순서 및 길이 등에 이상이 있는 경우에 적합하지만 긍정적 결함율과 부정적 결함율이 높은 단점이 있다. 이 논문에서는 시스템 호출을 이용한 방법에서 발생하는 긍정적 결함율과 부정적 결함율을 줄이기 위해서 단위 시간을 도입한 타임 윈도우 기반의 T-N2SCD 탐지 모델을 제안한다. 제안 모델의 실험에 사용된 데이터는 DARPA에서 제공된 데이터이며, 실험 결과 제안 모델은 다른 시간 간격 보다 1000ms 시간 간격으로 실험하였을 경우가 긍정적 결합률과 부정적 결합률이 가장 낮았다.

스킵 포인팅 모델 기반 포인터 네트워크 (Pointer Networks based on Skip Pointing Model)

  • 박천음;이창기
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권12호
    • /
    • pp.625-631
    • /
    • 2016
  • 포인터 네트워크는 어텐션 메커니즘(Attention mechanism)을 기반으로 입력열에 대응되는 위치를 결과 리스트로 출력하는 모델이다. 포인터 네트워크를 수행할 때 입력열의 크기를 N이라고 하면, 각 입력에 대한 어텐션(attention)을 계산하기 때문에 시간복잡도는 $O(N^2)$이 되어 디코딩 시간이 길어진다. 이에 따라, 본 논문에서는 포인터 네트워크의 디코딩 시간을 줄이기 위하여 디코딩 시에 필요한 입력 정보만을 확인하는 스킵 포인팅 모델 기반 포인터 네트워크를 제안한다. 본 논문에서 제안한 방법을 이용하여 대명사 상호참조해결에 대한 실험을 수행한 결과, 일반 포인터 네트워크에 비하여 문장당 처리 시간이 약 1.15배 빠른 속도와, MUC F1 값이 약 2.17% 향상된 83.60%의 성능을 보였다.

Seq2SPARQL: 신경망 기계 번역을 사용한 지식 베이스 질의 언어 자동 생성 (Seq2SPARQL: Automatic Generation of Knowledge base Query Language using Neural Machine Translation)

  • 홍동균;심홍매;김광민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.898-900
    • /
    • 2019
  • SPARQL(SPARQL Protocol and RDF Query Language)은 지식 베이스를 위한 표준 시맨틱 질의 언어이다. 최근 인공지능 분야에서 지식 베이스는 질의 응답 시스템, 시맨틱 검색 등 그 활용성이 커지고 있다. 그러나 SPARQL 과 같은 질의 언어를 사용하기 위해서는 질의 언어의 문법을 이해하기 때문에, 일반 사용자의 경우에는 그 활용성이 제한될 수밖에 없다. 이에 본 논문은 신경망 기반 기계 번역 기술을 활용하여 자연어 질의로부터 SPARQL 을 생성하는 방법을 제안한다. 우리는 제안하는 방법을 대규모 공개 지식 베이스인 Wikidata 를 사용해 검증하였다. 우리는 실험에서 사용할 Wikidata 에 존재하는 영화 지식을 묻는 자연어 질의-SPARQL 질의 쌍 20,000 건을 생성하였고, 여러 sequence-to-sequence 모델을 비교한 실험에서 합성곱 신경망 기반의 모델이 BLEU 96.8%의 가장 좋은 결과를 얻음을 보였다.

Seq2seq 기반 한국어 추상 의미 표상(AMR) 파싱 연구 (A Study for Sequence-to-sequence based Korean Abstract Meaning Representation (AMR) Parsing)

  • ;박혜진;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-261
    • /
    • 2022
  • 본 연구에서는 한국어 AMR 자동 파싱을 하기 위해 seq2seq 방법론을 적용하였다. Seq2seq 방법론은 AMR 파싱 태스크를 자연어 문장을 바탕으로 선형화된(linearization) 그래프의 문자열을 번역해내는 과정을 거친다. 본고는 Transformer 모델을 파싱 모델로 적용하여 2020년 공개된 한국어 AMR와 자체적으로 구축된 한국어 <어린 왕자> AMR 데이터에서 실험을 진행하였다. 이 연구에서 seq2seq 방법론 기반 한국어 AMR 파싱의 성능은 Smatch F1-Score 0.30으로 나타났다.

  • PDF

신경망 기계번역에서 최적화된 데이터 증강기법 고찰 (Optimization of Data Augmentation Techniques in Neural Machine Translation)

  • 박찬준;김규경;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.258-261
    • /
    • 2019
  • 딥러닝을 이용한 Sequence to Sequence 모델의 등장과 Multi head Attention을 이용한 Transformer의 등장으로 기계번역에 많은 발전이 있었다. Transformer와 같은 성능이 좋은 모델들은 대량의 병렬 코퍼스를 가지고 학습을 진행하였는데 대량의 병렬 코퍼스를 구축하는 것은 시간과 비용이 많이 드는 작업이다. 이러한 단점을 극복하기 위하여 합성 코퍼스를 만드는 기법들이 연구되고 있으며 대표적으로 Back Translation 기법이 존재한다. Back Translation을 이용할 시 단일 언어 데이터를 가상 병렬 데이터로 변환하여 학습데이터의 양을 증가 시킨다. 즉 말뭉치 확장기법의 일종이다. 본 논문은 Back Translation 뿐만 아니라 Copied Translation 방식을 통한 다양한 실험을 통하여 데이터 증강기법이 기계번역 성능에 미치는 영향에 대해서 살펴본다. 실험결과 Back Translation과 Copied Translation과 같은 데이터 증강기법이 기계번역 성능향상에 도움을 줌을 확인 할 수 있었으며 Batch를 구성할 때 상대적 가중치를 두는 것이 성능향상에 도움이 됨을 알 수 있었다.

  • PDF