• 제목/요약/키워드: sequence-to-sequence 모델

검색결과 695건 처리시간 0.026초

Sequence-to-Sequence 모델을 이용한 신문기사의 감성 댓글 자동 생성 (Automatic Generation of Emotional Comments on News-Articles using Sequence-to-Sequence Model)

  • 박천용;박요한;정혜지;김지원;최용석;이공주
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.233-237
    • /
    • 2017
  • 본 논문은 신문기사의 감성 댓글을 생성하기 위한 시스템을 제시한다. 감성을 고려한 댓글 생성을 위해 기존의 Sequence-to-Sequence 모델을 사용하여 긍정, 부정, 비속어 포함, 비속어 미포함 유형의 4개의 감성 모델을 구축한다. 하나의 신문 기사에는 다양한 댓글이 달려있지만 감성 사전과 비속어 사전을 활용하여 하나의 댓글만 선별하여 사용한다. 분류한 댓글을 통해 4개의 모델을 학습하고 감성 유형에 맞는 댓글을 생성한다.

  • PDF

Attention-based Sequence-to-Sequence 모델을 이용한 한국어 어체 변환 (Korean Text Style Transfer Using Attention-based Sequence-to-Sequence Model)

  • 홍태석;허광호;안휘진;강상우;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.567-569
    • /
    • 2018
  • 한국어의 경어체는 종결어미에 따라 구분하고, 서로 다른 경어체는 각각 고유한 경어 강도가 있다. 경어체 간의 어체 변환은 규칙기반으로 진행되어 왔다. 본 논문은 어체 변환을 위한 규칙 정의의 번거로움을 줄이고 어체 변환 데이터만을 사용한 심층 학습 기반의 어체 변환 방법을 제안한다. 본 연구는 '해요체-합쇼체' 쌍의 병렬 데이터를 이용하여 Attention-based Sequence-to-Sequence 모델을 바탕으로 한 어체 변환 모델을 학습하였다. 해당 모델을 학습하고 실험하였을 때, 정확도 91%의 우수한 성과를 얻을 수 있었다.

  • PDF

LSTM 기반의 sequence-to-sequence 모델을 이용한 한글 자동 띄어쓰기 (LSTM based sequence-to-sequence Model for Korean Automatic Word-spacing)

  • 이태석;강승식
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.17-23
    • /
    • 2018
  • 자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

주의집중 및 복사 작용을 가진 Sequence-to-Sequence 순환신경망을 이용한 제목 생성 모델 (Title Generation Model for which Sequence-to-Sequence RNNs with Attention and Copying Mechanisms are used)

  • 이현구;김학수
    • 정보과학회 논문지
    • /
    • 제44권7호
    • /
    • pp.674-679
    • /
    • 2017
  • 대용량의 텍스트 문서가 매일 만들어지는 빅데이터 환경에서 제목은 문서의 핵심 아이디어를 빠르게 집어내는데 매우 중요한 단서가 된다. 그러나 블로그 기사나 소셜 미디어 메시지와 같은 많은 종류의 문서들은 제목을 갖고 있지 않다. 본 논문에서는 주의집중 및 복사 작용을 가진 sequence-to-sequence 순환신경망을 사용한 제목 생성 모델을 제안한다. 제안 모델은 양방향 GRU(Gated Recurrent Unit) 네트워크에 기반 하여 입력 문장을 인코딩(encoding)하고, 입력 문장에서 자동 선별된 키워드와 함께 인코딩된 문장을 디코딩함으로써 제목 단어들을 생성한다. 93,631문서의 학습 데이터와 500문서의 평가 데이터를 가진 실험에서 주의집중 작용방법이 복사 작용방법보다 높은 어휘 일치율(ROUGE-1: 0.1935, ROUGE-2: 0.0364, ROUGE-L: 0.1555)을 보였고 사람이 정성평가한 지표는 복사 작용방법이 높은 성능을 보였다.

분해우선작업을 가지는 페트리 넷 기반의 분해순서계획모델 (A Petri Net based Disassembly Sequence Planning Model with Precedence Operations)

  • 서광규
    • 한국산학기술학회논문지
    • /
    • 제9권5호
    • /
    • pp.1392-1398
    • /
    • 2008
  • 본 논문에서는 분해우선작업을 가지는 페트리 넷 기반의 분해순서계획모델을 제안한다. 모든 가능한 분해순서는 분해트리에 의해 생성되고, 분해우선순위와 분해가치 행렬을 이용하여 분해순서를 결정한다. 분해작업의 우선순위는 분해트리를 통하여 결정하고 분해작업의 가치는 제품의 마지막 수명단계의 경제적 분석에 의해 유도된다. 분해우선작업을 가지는 분해계획모델을 해결하기 위하여, 본 연구에서는 페트리 넷 기반의 휴리스틱 알고리듬을 개발한다. 개발된 알고리듬은 페트리 넷 모델의 전이순서에 기반을 두어 도달할 수 있는 모든 그래프의 노드를 탐색하여 최적의 혹은 근사최적의 분해순서를 생성한다. 본 연구에서는 냉장고를 대상으로 제안모델의 유효성을 입증한다.

Sequence-to-sequence 모델을 이용한 로마자-한글 상호(商號) 표기 변환 시스템 (Roman-to-Korean Conversion System for Korean Company Names Based on Sequence-to-sequence learning)

  • 김태현;정현근;김재화;김정길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.67-70
    • /
    • 2017
  • 상호(商號)란 상인이나 회사가 영업 활동을 위해 자기를 표시하는데 쓰는 명칭을 말한다. 일반적으로 국내 기업의 상호 표기법은 한글과 로마자를 혼용함으로 상호 검색 시스템에서 단어 불일치 문제를 발생시킨다. 본 연구에서는 이러한 단어 불일치 문제를 해결하기 위해 Sequence-to-sequence 모델을 이용하여 로마자 상호를 이에 대응하는 한글 상호로 변환하고 그 후보들을 생성하는 시스템을 제안한다. 실험 결과 본 연구에서 구축한 시스템은 57.82%의 단어 정확도, 90.73%의 자소 정확도를 보였다.

  • PDF

Sequence-to-sequence 모델을 이용한 로마자-한글 상호(商號) 표기 변환 시스템 (Roman-to-Korean Conversion System for Korean Company Names Based on Sequence-to-sequence learning)

  • 김태현;정현근;김재화;김정길
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.67-70
    • /
    • 2017
  • 상호(商號)란 상인이나 회사가 영업 활동을 위해 자기를 표시하는데 쓰는 명칭을 말한다. 일반적으로 국내 기업의 상호 표기법은 한글과 로마자를 혼용함으로 상호 검색 시스템에서 단어 불일치 문제를 발생시킨다. 본 연구에서는 이러한 단어 불일치 문제를 해결하기 위해 Sequence-to-sequence 모델을 이용하여 로마자 상호를 이에 대응하는 한글 상호로 변환하고 그 후보들을 생성하는 시스템을 제안한다. 실험 결과 본 연구에서 구축한 시스템은 57.82%의 단어 정확도, 90.73%의 자소 정확도를 보였다.

  • PDF

음절 단위 Multi-hot 벡터 표현을 활용한 Sequence-to-sequence Autoencoder 기반 한글 오류 보정기 (Sequence-to-sequence Autoencoder based Korean Text Error Correction using Syllable-level Multi-hot Vector Representation)

  • 송치성;한명수;조훈영;이경님
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.661-664
    • /
    • 2018
  • 온라인 게시판 글과 채팅창에서 주고받는 대화는 실제 사용되고 있는 구어체 특성이 잘 반영된 텍스트 코퍼스로 음성인식의 언어 모델 재료로 활용하기 좋은 학습 데이터이다. 하지만 온라인 특성상 노이즈가 많이 포함되어 있기 때문에 학습에 직접 활용하기가 어렵다. 본 논문에서는 사용자 입력오류가 다수 포함된 문장에서의 한글 오류 보정을 위한 sequence-to-sequence Denoising Autoencoder 모델을 제안한다.

  • PDF

Sequence-to-Sequence 와 BERT-LSTM을 활용한 한국어 형태소 분석 및 품사 태깅 파이프라인 모델 (A Pipeline Model for Korean Morphological Analysis and Part-of-Speech Tagging Using Sequence-to-Sequence and BERT-LSTM)

  • 윤준영;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.414-417
    • /
    • 2020
  • 최근 한국어 형태소 분석 및 품사 태깅에 관한 연구는 주로 표층형에 대해 형태소 분리와 품사 태깅을 먼저하고, 추가 언어자원을 사용하여 후처리로 형태소 원형과 품사를 복원해왔다. 본 연구에서는 형태소 분석 및 품사 태깅을 두 단계로 나누어, Sequence-to-Sequence를 활용하여 형태소 원형 복원을 먼저 하고, 최근 자연어처리의 다양한 분야에서 우수한 성능을 보이는 BERT를 활용하여 형태소 분리 및 품사 태깅을 하였다. 본 논문에서는 두 단계를 파이프라인으로 연결하였고, 제안하는 형태소 분석 및 품사 태깅 파이프라인 모델은 음절 정확도가 98.39%, 형태소 정확도 98.27%, 어절 정확도 96.31%의 성능을 보였다.

  • PDF

Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅 (Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features)

  • 이건일;이의현;이종혁
    • 정보과학회 논문지
    • /
    • 제44권1호
    • /
    • pp.57-62
    • /
    • 2017
  • 기존의 전통적인 한국어 형태소 분석 및 품사 태깅 방법론은 먼저 형태소 후보들을 생성한 뒤 수많은 조합에서 최적의 확률을 가지는 품사 태깅 결과를 구하는 두 단계를 거치며 추가적으로 형태소의 접속 사전, 기분석 사전 및 원형복원 사전 등을 필요로 한다. 본 연구는 기존의 두 단계 방법론에서 벗어나 심층학습 모델의 일종인 sequence-to-sequence 모델을 이용하여 한국어 형태소 분석 및 품사 태깅을 추가 언어자원에 의존하지 않는 end-to-end 방식으로 접근하였다. 또한 형태소 분석 및 품사 태깅 과정은 어순변화가 일어나지 않는 특수한 시퀀스 변환과정이라는 점을 반영하여 음성인식분야에서 주로 사용되는 합성곱 자질을 이용하였다. 세종말뭉치에 대한 실험결과 합성곱 자질을 사용하지 않을 경우 97.15%의 형태소 단위 f1-score, 95.33%의 어절단위 정확도, 60.62%의 문장단위 정확도를 보여주었고, 합성곱 자질을 사용할 경우 96.91%의 형태소 단위 f1-score, 95.40%의 어절단위 정확도, 60.62%의 문장단위 정확도를 보여주었다.