• Title/Summary/Keyword: sequence-to-sequence 모델

Search Result 695, Processing Time 0.026 seconds

Automatic Generation of Emotional Comments on News-Articles using Sequence-to-Sequence Model (Sequence-to-Sequence 모델을 이용한 신문기사의 감성 댓글 자동 생성)

  • Park, Chun-Young;Park, Yo-Han;Jeong, Hye-Ji;Kim, Ji-Won;Choi, Yong-Seok;Lee, Kong-Joo
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.233-237
    • /
    • 2017
  • 본 논문은 신문기사의 감성 댓글을 생성하기 위한 시스템을 제시한다. 감성을 고려한 댓글 생성을 위해 기존의 Sequence-to-Sequence 모델을 사용하여 긍정, 부정, 비속어 포함, 비속어 미포함 유형의 4개의 감성 모델을 구축한다. 하나의 신문 기사에는 다양한 댓글이 달려있지만 감성 사전과 비속어 사전을 활용하여 하나의 댓글만 선별하여 사용한다. 분류한 댓글을 통해 4개의 모델을 학습하고 감성 유형에 맞는 댓글을 생성한다.

  • PDF

Korean Text Style Transfer Using Attention-based Sequence-to-Sequence Model (Attention-based Sequence-to-Sequence 모델을 이용한 한국어 어체 변환)

  • Hong, Taesuk;Xu, Guanghao;Ahn, Hwijeen;Kang, Sangwoo;Seo, Jungyun
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.567-569
    • /
    • 2018
  • 한국어의 경어체는 종결어미에 따라 구분하고, 서로 다른 경어체는 각각 고유한 경어 강도가 있다. 경어체 간의 어체 변환은 규칙기반으로 진행되어 왔다. 본 논문은 어체 변환을 위한 규칙 정의의 번거로움을 줄이고 어체 변환 데이터만을 사용한 심층 학습 기반의 어체 변환 방법을 제안한다. 본 연구는 '해요체-합쇼체' 쌍의 병렬 데이터를 이용하여 Attention-based Sequence-to-Sequence 모델을 바탕으로 한 어체 변환 모델을 학습하였다. 해당 모델을 학습하고 실험하였을 때, 정확도 91%의 우수한 성과를 얻을 수 있었다.

  • PDF

LSTM based sequence-to-sequence Model for Korean Automatic Word-spacing (LSTM 기반의 sequence-to-sequence 모델을 이용한 한글 자동 띄어쓰기)

  • Lee, Tae Seok;Kang, Seung Shik
    • Smart Media Journal
    • /
    • v.7 no.4
    • /
    • pp.17-23
    • /
    • 2018
  • We proposed a LSTM-based RNN model that can effectively perform the automatic spacing characteristics. For those long or noisy sentences which are known to be difficult to handle within Neural Network Learning, we defined a proper input data format and decoding data format, and added dropout, bidirectional multi-layer LSTM, layer normalization, and attention mechanism to improve the performance. Despite of the fact that Sejong corpus contains some spacing errors, a noise-robust learning model developed in this study with no overfitting through a dropout method helped training and returned meaningful results of Korean word spacing and its patterns. The experimental results showed that the performance of LSTM sequence-to-sequence model is 0.94 in F1-measure, which is better than the rule-based deep-learning method of GRU-CRF.

Title Generation Model for which Sequence-to-Sequence RNNs with Attention and Copying Mechanisms are used (주의집중 및 복사 작용을 가진 Sequence-to-Sequence 순환신경망을 이용한 제목 생성 모델)

  • Lee, Hyeon-gu;Kim, Harksoo
    • Journal of KIISE
    • /
    • v.44 no.7
    • /
    • pp.674-679
    • /
    • 2017
  • In big-data environments wherein large amounts of text documents are produced daily, titles are very important clues that enable a prompt catching of the key ideas in documents; however, titles are absent for numerous document types such as blog articles and social-media messages. In this paper, a title-generation model for which sequence-to-sequence RNNs with attention and copying mechanisms are employed is proposed. For the proposed model, input sentences are encoded based on bi-directional GRU (gated recurrent unit) networks, and the title words are generated through a decoding of the encoded sentences with keywords that are automatically selected from the input sentences. Regarding the experiments with 93631 training-data documents and 500 test-data documents, the attention-mechanism performances are more effective (ROUGE-1: 0.1935, ROUGE-2: 0.0364, ROUGE-L: 0.1555) than those of the copying mechanism; in addition, the qualitative-evaluation radiative performance of the former is higher.

A Petri Net based Disassembly Sequence Planning Model with Precedence Operations (분해우선작업을 가지는 페트리 넷 기반의 분해순서계획모델)

  • Seo, Kwang-Kyu
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.9 no.5
    • /
    • pp.1392-1398
    • /
    • 2008
  • This paper presents a Petri Net (PN) based disassembly sequence planning model with precedence operations. All feasible disassembly sequences are generated by a disassembly tree and a disassembly sequence is determined using the disassembly precedence and disassembly value matrix, The precedence of disassembly operations is determined through a disassembly tree and the value of disassembly is induced by economic analysis in the end-of-life phase. To solve the disassembly sequence planning model with precedence operations, a heuristic algorithm based on PNs is developed. The developed algorithm generates and searches a partial reachability graph to arrive at an optimal or near-optimal disassembly sequence based on the firing sequence of transitions of the PN model. A refrigerator is shown as an example to demonstrate the effectiveness of proposed model.

Roman-to-Korean Conversion System for Korean Company Names Based on Sequence-to-sequence learning (Sequence-to-sequence 모델을 이용한 로마자-한글 상호(商號) 표기 변환 시스템)

  • Kim, Tae-Hyun;Jung, Hyun-Guen;Kim, Jae-Hwa;Kim, Jeong-Gil
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.67-70
    • /
    • 2017
  • 상호(商號)란 상인이나 회사가 영업 활동을 위해 자기를 표시하는데 쓰는 명칭을 말한다. 일반적으로 국내 기업의 상호 표기법은 한글과 로마자를 혼용함으로 상호 검색 시스템에서 단어 불일치 문제를 발생시킨다. 본 연구에서는 이러한 단어 불일치 문제를 해결하기 위해 Sequence-to-sequence 모델을 이용하여 로마자 상호를 이에 대응하는 한글 상호로 변환하고 그 후보들을 생성하는 시스템을 제안한다. 실험 결과 본 연구에서 구축한 시스템은 57.82%의 단어 정확도, 90.73%의 자소 정확도를 보였다.

  • PDF

Roman-to-Korean Conversion System for Korean Company Names Based on Sequence-to-sequence learning (Sequence-to-sequence 모델을 이용한 로마자-한글 상호(商號) 표기 변환 시스템)

  • Kim, Tae-Hyun;Jung, Hyun-Guen;Kim, Jae-Hwa;Kim, Jeong-Gil
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.67-70
    • /
    • 2017
  • 상호(商號)란 상인이나 회사가 영업 활동을 위해 자기를 표시하는데 쓰는 명칭을 말한다. 일반적으로 국내 기업의 상호 표기법은 한글과 로마자를 혼용함으로 상호 검색 시스템에서 단어 불일치 문제를 발생시킨다. 본 연구에서는 이러한 단어 불일치 문제를 해결하기 위해 Sequence-to-sequence 모델을 이용하여 로마자 상호를 이에 대응하는 한글 상호로 변환하고 그 후보들을 생성하는 시스템을 제안한다. 실험 결과 본 연구에서 구축한 시스템은 57.82%의 단어 정확도, 90.73%의 자소 정확도를 보였다.

  • PDF

Sequence-to-sequence Autoencoder based Korean Text Error Correction using Syllable-level Multi-hot Vector Representation (음절 단위 Multi-hot 벡터 표현을 활용한 Sequence-to-sequence Autoencoder 기반 한글 오류 보정기)

  • Song, Chisung;Han, Myungsoo;Cho, Hoonyoung;Lee, Kyong-Nim
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.661-664
    • /
    • 2018
  • 온라인 게시판 글과 채팅창에서 주고받는 대화는 실제 사용되고 있는 구어체 특성이 잘 반영된 텍스트 코퍼스로 음성인식의 언어 모델 재료로 활용하기 좋은 학습 데이터이다. 하지만 온라인 특성상 노이즈가 많이 포함되어 있기 때문에 학습에 직접 활용하기가 어렵다. 본 논문에서는 사용자 입력오류가 다수 포함된 문장에서의 한글 오류 보정을 위한 sequence-to-sequence Denoising Autoencoder 모델을 제안한다.

  • PDF

A Pipeline Model for Korean Morphological Analysis and Part-of-Speech Tagging Using Sequence-to-Sequence and BERT-LSTM (Sequence-to-Sequence 와 BERT-LSTM을 활용한 한국어 형태소 분석 및 품사 태깅 파이프라인 모델)

  • Youn, Jun Young;Lee, Jae Sung
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.414-417
    • /
    • 2020
  • 최근 한국어 형태소 분석 및 품사 태깅에 관한 연구는 주로 표층형에 대해 형태소 분리와 품사 태깅을 먼저하고, 추가 언어자원을 사용하여 후처리로 형태소 원형과 품사를 복원해왔다. 본 연구에서는 형태소 분석 및 품사 태깅을 두 단계로 나누어, Sequence-to-Sequence를 활용하여 형태소 원형 복원을 먼저 하고, 최근 자연어처리의 다양한 분야에서 우수한 성능을 보이는 BERT를 활용하여 형태소 분리 및 품사 태깅을 하였다. 본 논문에서는 두 단계를 파이프라인으로 연결하였고, 제안하는 형태소 분석 및 품사 태깅 파이프라인 모델은 음절 정확도가 98.39%, 형태소 정확도 98.27%, 어절 정확도 96.31%의 성능을 보였다.

  • PDF

Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features (Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅)

  • Li, Jianri;Lee, EuiHyeon;Lee, Jong-Hyeok
    • Journal of KIISE
    • /
    • v.44 no.1
    • /
    • pp.57-62
    • /
    • 2017
  • Traditional Korean morphological analysis and POS tagging methods usually consist of two steps: 1 Generat hypotheses of all possible combinations of morphemes for given input, 2 Perform POS tagging search optimal result. require additional resource dictionaries and step could error to the step. In this paper, we tried to solve this problem end-to-end fashion using sequence-to-sequence model convolutional features. Experiment results Sejong corpus sour approach achieved 97.15% F1-score on morpheme level, 95.33% and 60.62% precision on word and sentence level, respectively; s96.91% F1-score on morpheme level, 95.40% and 60.62% precision on word and sentence level, respectively.