• 제목/요약/키워드: Sequence-to-Sequence Model

검색결과 1,631건 처리시간 0.027초

Could Decimal-binary Vector be a Representative of DNA Sequence for Classification?

  • Sanjaya, Prima;Kang, Dae-Ki
    • International journal of advanced smart convergence
    • /
    • 제5권3호
    • /
    • pp.8-15
    • /
    • 2016
  • In recent years, one of deep learning models called Deep Belief Network (DBN) which formed by stacking restricted Boltzman machine in a greedy fashion has beed widely used for classification and recognition. With an ability to extracting features of high-level abstraction and deal with higher dimensional data structure, this model has ouperformed outstanding result on image and speech recognition. In this research, we assess the applicability of deep learning in dna classification level. Since the training phase of DBN is costly expensive, specially if deals with DNA sequence with thousand of variables, we introduce a new encoding method, using decimal-binary vector to represent the sequence as input to the model, thereafter compare with one-hot-vector encoding in two datasets. We evaluated our proposed model with different contrastive algorithms which achieved significant improvement for the training speed with comparable classification result. This result has shown a potential of using decimal-binary vector on DBN for DNA sequence to solve other sequence problem in bioinformatics.

시퀀스 다이어그램으로부터 테스트 케이스 자동 생성을 위한 M2M(Model-to-Model) 변환 규칙 (M2M Transformation Rules for Automatic Test Case Generation from Sequence Diagram)

  • 김진아;김수지;서용진;천은영;김현수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.32-37
    • /
    • 2016
  • 시퀀스 다이어그램에 대한 모델 기반 테스트를 수행하기 위하여 시퀀스 다이어그램으로부터 테스트 케이스를 자동으로 생성해야 한다. 이를 위해서는 시퀀스 다이어그램이 나타내는 시나리오를 파악하고 테스트 커버리지를 만족하는 경로를 추출하여 테스트 정보를 생성해야 한다. 하지만 시퀀스 다이어그램은 결합 조각을 사용하여 반복 및 조건, 대안 정보를 나타내므로 시퀀스 다이어그램으로부터 테스트 케이스를 자동으로 생성하는 것은 복잡하다. 이러한 문제를 해결하기 위하여 본 논문에서는 시퀀스 다이어그램으로부터 액티비티 다이어그램으로 변환을 수행하는 모델 변환 프로세스를 정의하고, 이를 통해 시퀀스 다이어그램의 시나리오를 제어 흐름 형태로 표현하고 여기에 테스트 커버리지를 적용하여 테스트 케이스를 생성하는 과정을 정의한다. 마지막으로, 사례 연구를 통하여 시퀀스 다이어그램으로부터 테스트 케이스를 생성하는 과정을 보인다.

Error Correction for Korean Speech Recognition using a LSTM-based Sequence-to-Sequence Model

  • Jin, Hye-won;Lee, A-Hyeon;Chae, Ye-Jin;Park, Su-Hyun;Kang, Yu-Jin;Lee, Soowon
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권10호
    • /
    • pp.1-7
    • /
    • 2021
  • 현재 대부분의 음성인식 오류 교정에 관한 연구는 영어를 기준으로 연구되어 한국어 음성인식에 대한 연구는 미비한 실정이다. 하지만 영어 음성인식에 비해 한국어 음성인식은 한국어의 언어적인 특성으로 인해 된소리, 연음 등의 발음이 있어, 비교적 많은 오류를 보이므로 한국어 음성인식에 대한 연구가 필요하다. 또한, 기존의 한국어 음성인식 연구는 주로 편집 거리 알고리즘과 음절 복원 규칙을 사용하기 때문에, 된소리와 연음의 오류 유형을 교정하기 어렵다. 본 연구에서는 된소리, 연음 등 발음으로 인한 한국어 음성인식 오류를 교정하기 위하여 LSTM을 기반으로 한 인공 신경망 모델 Sequence-to-Sequence와 Bahdanau Attention을 결합하는 문맥 기반 음성인식 후처리 모델을 제안한다. 실험 결과, 해당 모델을 사용함으로써 음성인식 성능은 된소리의 경우 64%에서 77%, 연음의 경우 74%에서 90%, 평균 69%에서 84%로 인식률이 향상되었다. 이를 바탕으로 음성인식을 기반으로 한 실제 응용 프로그램에도 본 연구에서 제안한 모델을 적용할 수 있다고 사료된다.

Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅 (Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features)

  • 이건일;이의현;이종혁
    • 정보과학회 논문지
    • /
    • 제44권1호
    • /
    • pp.57-62
    • /
    • 2017
  • 기존의 전통적인 한국어 형태소 분석 및 품사 태깅 방법론은 먼저 형태소 후보들을 생성한 뒤 수많은 조합에서 최적의 확률을 가지는 품사 태깅 결과를 구하는 두 단계를 거치며 추가적으로 형태소의 접속 사전, 기분석 사전 및 원형복원 사전 등을 필요로 한다. 본 연구는 기존의 두 단계 방법론에서 벗어나 심층학습 모델의 일종인 sequence-to-sequence 모델을 이용하여 한국어 형태소 분석 및 품사 태깅을 추가 언어자원에 의존하지 않는 end-to-end 방식으로 접근하였다. 또한 형태소 분석 및 품사 태깅 과정은 어순변화가 일어나지 않는 특수한 시퀀스 변환과정이라는 점을 반영하여 음성인식분야에서 주로 사용되는 합성곱 자질을 이용하였다. 세종말뭉치에 대한 실험결과 합성곱 자질을 사용하지 않을 경우 97.15%의 형태소 단위 f1-score, 95.33%의 어절단위 정확도, 60.62%의 문장단위 정확도를 보여주었고, 합성곱 자질을 사용할 경우 96.91%의 형태소 단위 f1-score, 95.40%의 어절단위 정확도, 60.62%의 문장단위 정확도를 보여주었다.

Model Predictive Control of Circulating Current Suppression in Parallel-Connected Inverter-fed Motor Drive Systems

  • Kang, Shin-Won;Soh, Jae-Hwan;Kim, Rae-Young
    • Journal of Electrical Engineering and Technology
    • /
    • 제13권3호
    • /
    • pp.1241-1250
    • /
    • 2018
  • Parallel three-phase voltage source inverters in a direct connection configuration are widely used to increase system power ratings. A zero-sequence circulating current can be generated according to the switching method; however, the zero-sequence circulating current not only distorts current, but also reduces the system reliability and efficiency. In this paper, a model predictive control scheme is proposed for parallel inverters to drive an interior permanent magnet synchronous motor with zero-sequence circulating current suppression. The voltage vector of the parallel inverters is derived to predict and control the torque and stator flux components. In addition, the zero-sequence circulating current is suppressed by designing the cost function without an additional current sensor and high-impedance inductor. Simulation and experimental results are presented to verify the proposed control scheme.

Online Selective-Sample Learning of Hidden Markov Models for Sequence Classification

  • Kim, Minyoung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제15권3호
    • /
    • pp.145-152
    • /
    • 2015
  • We consider an online selective-sample learning problem for sequence classification, where the goal is to learn a predictive model using a stream of data samples whose class labels can be selectively queried by the algorithm. Given that there is a limit to the total number of queries permitted, the key issue is choosing the most informative and salient samples for their class labels to be queried. Recently, several aggressive selective-sample algorithms have been proposed under a linear model for static (non-sequential) binary classification. We extend the idea to hidden Markov models for multi-class sequence classification by introducing reasonable measures for the novelty and prediction confidence of the incoming sample with respect to the current model, on which the query decision is based. For several sequence classification datasets/tasks in online learning setups, we demonstrate the effectiveness of the proposed approach.

Sequence-to-Sequence 모델을 이용한 신문기사의 감성 댓글 자동 생성 (Automatic Generation of Emotional Comments on News-Articles using Sequence-to-Sequence Model)

  • 박천용;박요한;정혜지;김지원;최용석;이공주
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.233-237
    • /
    • 2017
  • 본 논문은 신문기사의 감성 댓글을 생성하기 위한 시스템을 제시한다. 감성을 고려한 댓글 생성을 위해 기존의 Sequence-to-Sequence 모델을 사용하여 긍정, 부정, 비속어 포함, 비속어 미포함 유형의 4개의 감성 모델을 구축한다. 하나의 신문 기사에는 다양한 댓글이 달려있지만 감성 사전과 비속어 사전을 활용하여 하나의 댓글만 선별하여 사용한다. 분류한 댓글을 통해 4개의 모델을 학습하고 감성 유형에 맞는 댓글을 생성한다.

  • PDF

Sequence-to-Sequence 모델을 이용한 신문기사의 감성 댓글 자동 생성 (Automatic Generation of Emotional Comments on News-Articles using Sequence-to-Sequence Model)

  • 박천용;박요한;정혜지;김지원;최용석;이공주
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.233-237
    • /
    • 2017
  • 본 논문은 신문기사의 감성 댓글을 생성하기 위한 시스템을 제시한다. 감성을 고려한 댓글 생성을 위해 기존의 Sequence-to-Sequence 모델을 사용하여 긍정, 부정, 비속어 포함, 비속어 미포함 유형의 4개의 감성 모델을 구축한다. 하나의 신문 기사에는 다양한 댓글이 달려있지만 감성 사전과 비속어 사전을 활용하여 하나의 댓글만 선별하여 사용한다. 분류한 댓글을 통해 4개의 모델을 학습하고 감성 유형에 맞는 댓글을 생성한다.

  • PDF

BERT 기반 Sequence-to-Sequence 모델을 이용한 한국어 질문 생성 (Korean Question Generation using BERT-based Sequence-to-Sequence Model)

  • 이동헌;황현선;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.60-63
    • /
    • 2020
  • 기계 독해는 입력 받은 질문과 문단의 관계를 파악하여 알맞은 정답을 예측하는 자연어처리 태스크로 양질의 많은 데이터 셋을 필요로 한다. 기계 독해 학습 데이터 구축은 어려운 작업으로, 문서에서 등장하는 정답과 정답을 도출할 수 있는 질문을 수작업으로 만들어야 한다. 이러한 문제를 해결하기 위하여, 본 논문에서는 정답이 속한 문서로부터 질문을 자동으로 생성해주는 BERT 기반의 Sequence-to-sequence 모델을 이용한 한국어 질문 생성 모델을 제안한다. 또한 정답이 속한 문서와 질문의 언어가 같고 정답이 속한 문장의 주변 단어가 질문에 등장할 확률이 크다는 특성에 따라 BERT 기반의 Sequence-to-sequence 모델에 복사 메카니즘을 추가한다. 실험 결과, BERT + Transformer 디코더 모델의 성능이 기존 모델과 BERT + GRU 디코더 모델보다 좋았다.

  • PDF

Sequence-to-Sequence 와 BERT-LSTM을 활용한 한국어 형태소 분석 및 품사 태깅 파이프라인 모델 (A Pipeline Model for Korean Morphological Analysis and Part-of-Speech Tagging Using Sequence-to-Sequence and BERT-LSTM)

  • 윤준영;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.414-417
    • /
    • 2020
  • 최근 한국어 형태소 분석 및 품사 태깅에 관한 연구는 주로 표층형에 대해 형태소 분리와 품사 태깅을 먼저하고, 추가 언어자원을 사용하여 후처리로 형태소 원형과 품사를 복원해왔다. 본 연구에서는 형태소 분석 및 품사 태깅을 두 단계로 나누어, Sequence-to-Sequence를 활용하여 형태소 원형 복원을 먼저 하고, 최근 자연어처리의 다양한 분야에서 우수한 성능을 보이는 BERT를 활용하여 형태소 분리 및 품사 태깅을 하였다. 본 논문에서는 두 단계를 파이프라인으로 연결하였고, 제안하는 형태소 분석 및 품사 태깅 파이프라인 모델은 음절 정확도가 98.39%, 형태소 정확도 98.27%, 어절 정확도 96.31%의 성능을 보였다.

  • PDF