• 제목/요약/키워드: sequence-to-sequence 모델

검색결과 695건 처리시간 0.025초

다중변수 순차층서 모델 개발을 통한 울릉분지 남서부 대륙주변부의 층서연구 (Muti-variable Sequence Stratigraphic Model and its Application to Shelf-Slope System of the Southwestern Ulleung Basin Margin)

  • 윤석훈;박세진;조성권
    • 한국석유지질학회지
    • /
    • 제5권1_2호
    • /
    • pp.36-47
    • /
    • 1997
  • 본 연구에서는 기존 Exxon group의 순차층서 모델이 갖고 있는 적용의 한계성을 극복하기 위하여 다중변수 순차층서 모델을 제시하였다. 이 모델에서는 2~3차수의 주기성을 갖고 변화되는 범세계적 해수면 변동, 지구조운동, 퇴적물 공급 등의 영향요소를 모두 변수로 간주하며, 이들 요소에 의해 순차층의 내부구성과 경계면 타입이 결정된다. 순차층을 구성하는 기본 단위로 해석적 층서단위인 퇴적계 연합체(systems tract)대신, 내부 지층의 집적형태에 의해 구분되는 기술적 층서단위인 부순차층세트(parasequence set)를 채택하였으며, 부순차층세트의 타입은 상대적 해수면 변동과 퇴적물 공급속도의 변화를 반영한다. 따라서 본 순차층서 모델은, 네 가지 타입의 상대적 해수면 변동과 세 등급의 퇴적물 공급 변화 사이의 조합으로써 예상되는 단일 또는 $2{\~}4$개의 부순차층세트로 구성된 7가지 타입의 순차층을 보여준다. 다중변수 순차층서 모델을 울릉분지 남서부 대륙주변부에 적용한 결과, 순차층의 타입은 울릉분지의 형성과 닫힘에 따른 3단계의 분지주변부 지구조 운동의 변화를 잘 반영한다. 즉, 순차층을 구성하는 부순차층세트 조합의 변화와 울릉분지 지구조 운동의 타입과 속도가 시기적으로 일치 한다. 해저면의 급격한 침강을 동반한 울릉분지의 후열도 열개 동안에는 분지의 급격 한 침강으로 인해 상대적 인 해수면은 지속적으로 상승되었고, 많은 양의 퇴적물이 공급되어 1개의 부순차층세트로 구성된 순차층이 형성되었다. 이후, 압축성 변형을 동반한 울릉분지의 닫힘 동안에는, 분지 침강이 느려지고 국지적으로 융기가 일어나 하강 또는 상승우세의 상대적 해수면 변동이 야기되었고, 또한 지구조적 요인에 의해 통제되는 퇴적물 집적속도의 지역적인 차이로 인하여 변형대와 비변형대에서 상이한 순차층이 형성되었다. 분지 닫힘단계 이후에는 다시 해저면이 전반적으로 침강되면서, 상승이 우세한 상대적 해수면 변동과 보통 또는 빠른 퇴적물 집적속도가 결합하여 2-3개의 부순차층세트로 구성된 순차층을 형성하였다.

  • PDF

인공신경망 기계번역에서 디코딩 전략에 대한 연구 (Study on Decoding Strategies in Neural Machine Translation)

  • 서재형;박찬준;어수경;문현석;임희석
    • 한국융합학회논문지
    • /
    • 제12권11호
    • /
    • pp.69-80
    • /
    • 2021
  • 딥러닝 모델을 활용한 인공신경망 기계번역 (Neural machine translation)이 주류 분야로 떠오르면서 최고의 성능을 위해 모델과 데이터 언어 쌍에 대한 많은 투자와 연구가 활발하게 진행되고 있다. 그러나, 최근 대부분의 인공신경망 기계번역 연구들은 번역 문장의 품질을 극대화하는 자연어 생성을 위한 디코딩 전략 (Decoding strategy)에 대해서는 미래 연구 과제로 남겨둔 채 다양한 실험과 구체적인 분석이 부족한 상황이다. 기계번역에서 디코딩 전략은 번역 문장을 생성하는 과정에서 탐색 경로를 최적화 하고, 모델 변경 및 데이터 확장 없이도 성능 개선이 가능하다. 본 논문은 시퀀스 투 시퀀스 (Sequence to Sequence) 모델을 활용한 신경망 기반의 기계번역에서 고전적인 그리디 디코딩 (Greedy decoding)부터 최신의 방법론인 Dynamic Beam Allocation (DBA)까지 비교 분석하여 디코딩 전략의 효과와 그 의의를 밝힌다.

그래프⇋시퀀스의 반복적 추론을 이용한 한국어 AMR 파싱 (Korean AMR Parsing using Graph⇋Sequence Iterative Inference)

  • 민진우;나승훈;최현수;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.211-214
    • /
    • 2020
  • Abstract Meaning Representation(AMR)은 문장의 의미를 그래프 구조로 인코딩하여 표현하는 의미 형식표현으로 문장의 각 노드는 사건이나 개체를 취급하는 개념으로 취급하며 간선들은 이러한 개념들의 관계를 표현한다. AMR 파싱은 주어진 문장으로부터 AMR 그래프를 생성하는 자연어 처리 태스크이다. AMR 그래프의 각 개념은 추상 표현으로 문장 내의 토큰과 명시적으로 정렬되지 않는 어려움이 존재한다. 이러한 문제를 해결하기 위해 별도의 사전 학습된 정렬기를 이용하여 해결하거나 별도의 정렬기 없이 Sequence-to-Sequence 계열의 모델로 입력 문장으로부터 그래프의 노드를 생성하는 방식으로 연구되어 왔다. 본 논문에서는 문장의 입력 시퀀스와 부분 생성 그래프 사이에서 반복 추론을 통해 새로운 노드와 기존 노드와의 관계를 구성하여 점진적으로 그래프를 구성하는 모델을 한국어 AMR 데이터 셋에 적용하여 Smatch 점수 39.8%의 실험 결과를 얻었다.

  • PDF

MASS와 복사 메커니즘을 이용한 한국어 문서 요약 (Korean Text Summarization using MASS with Copying Mechanism)

  • 정영준;이창기;고우영;윤한준
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.157-161
    • /
    • 2020
  • 문서 요약(text summarization)은 주어진 문서로부터 중요하고 핵심적인 정보를 포함하는 요약문을 만들어 내는 작업으로, 기계 번역 작업에서 주로 사용되는 Sequence-to-Sequence 모델을 사용한 end-to-end 방식의 생성(abstractive) 요약 모델 연구가 활발히 진행되고 있다. 최근에는 BERT와 MASS 같은 대용량 단일 언어 데이터 기반 사전학습(pre-training) 모델을 이용하여 미세조정(fine-tuning)하는 전이 학습(transfer learning) 방법이 자연어 처리 분야에서 주로 연구되고 있다. 본 논문에서는 MASS 모델에 복사 메커니즘(copying mechanism) 방법을 적용하고, 한국어 언어 생성(language generation)을 위한 사전학습을 수행한 후, 이를 한국어 문서 요약에 적용하였다. 실험 결과, MASS 모델에 복사 메커니즘 방법을 적용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였다.

  • PDF

3차원 모델을 이용한 입모양 인식 알고리즘에 관한 연구 (A study on the lip shape recognition algorithm using 3-D Model)

  • 김동수;남기환;한준희;배철수;나상동
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1998년도 추계종합학술대회
    • /
    • pp.181-185
    • /
    • 1998
  • 최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 높은 독순(lipreading)을 PC에서 구현하고자 한다. 간 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 독순(lipreading)을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형상 모델을 입력 동영상에 정합시키고 정합된 3차원모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식 단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의한다. 인식은 다차원(multi-dimensional), 다단계 라벨링 방법을 사용하여 3차원 특징벡터를 입력으로 한 이산 HMM을 사용하였다.

  • PDF

Sequence-Pair 기반의 플로어플랜을 위한 개선된 Simulated-Annealing 기법 (Improved Simulated-Annealing Technique for Sequence-Pair based Floorplan)

  • 성영태;허성우
    • 대한전자공학회논문지SD
    • /
    • 제46권4호
    • /
    • pp.28-36
    • /
    • 2009
  • Sequence-Pair(SP) 모델은 모듈간의 위상 관계를 표현하는 방법으로써, 일반적으로 SP 모델에 기반한 플로어플래너(floorplanner)는 Simulated-Annealing(SA) 알고리즘을 통해 해를 탐색한다. 다양한 논문에서 SP와 SA 기반 배치 알고리즘의 성능 향상을 위해 SP의 평가 함수의 개선, SA의 스케줄링 기법 향상과 변형 함수의 개선 등을 모색하였다. 제안 기법은 기존의 SA 프레임웍을 수정한 2단계 SA 알고리즘으로써, 전 단계에선 SP로부터 구한 플로어플랜에 압축기법을 적용하여 모듈 사이에 존재하는 빈 공간을 가능한 최소화시켰다. 압축기법이 적용된 플로어플랜으로터 SP를 얻고, 이를 변환함으로써 해 공간을 탐색해 간다. 해가 기준 값에 수렴되었다고 판단되면 전 단계의 SA 기반 검색을 중단하고 압축기법을 사용하지 않은 기존의 SA 프레임웍을 이용하여 최적 해를 계속 탐색해 간다. MCNC 벤치마크 회로를 이용한 실험을 통해 제안 기법이 SA의 해 탐색 과정에 끼치는 효과를 보이며, 제안 기법을 통해 얻은 결과가 기존의 SA 기반 알고리즘으로 구한 결과보다 우수함을 보인다.

차종 시퀀스 패턴을 이용한 구간통행시간 계측 (Measurement of Travel Time Using Sequence Pattern of Vehicles)

  • 임중선;최경현;오규삼;박종헌
    • 한국ITS학회 논문지
    • /
    • 제7권5호
    • /
    • pp.53-63
    • /
    • 2008
  • 교본 연구는, 구간속도 검지를 위한 기존의 방법인 프로브차량 방식과 차량 번호판 인식 방식의 문제점을 보완할 수 있는 대안으로써, 도로 구간 시.종점에서의 차량 시퀀스 패턴을 이용하여 구간속도 검지가 가능토록 하는 알고리즘을 개발, 제시하였다. 본 알고리즘은 구간 시.종점에서의 차량들을 '차종 순차(Precedence)패턴을 순서대로 나열한 일정한 길이의 시퀀스 그룹'으로 인식하고, 종점에서의 특정 시퀀스에 대응하는, 시점에서의 시퀀스를 탐색하여 가장 유사도가 높은 시퀀스를 동일 그룹으로 간주하여 해당 구간의 통행 시간을 산출하였다. 유사도 비용의 정의에 따라 세 가지의 모델을 제시하였으며, 차량 유출입에 의한 이상치를 제거하고 가공함으로써 정보제공 주기에 가장 적합한 구간 대표 통행시간을 산출할 수 있도록 하였다. 컴퓨터 모의 실험을 통해 구간길이와 통과차량 수를 증가시키면서 차종별, 시.종점의 시퀀스 길이별로 반복 시뮬레이션 한 결과, 평균 최대 오차율 3.46%로서 현장 적용성에서 뛰어난 가능성을 보였다.

  • PDF

신경망을 이용한 영역 행위 예측 (Prediction of Domain Action Using a Neural Network)

  • 이현정;서정연;김학수
    • 인지과학
    • /
    • 제18권2호
    • /
    • pp.179-191
    • /
    • 2007
  • 목적 지향 대화에서 사용자의 의도는 화행과 개념열의 쌍으로 구성된 영역행위로 표현될 수 있다. 사용자 발화에 대한 영역행위 예측은 음성 인식 오류를 보정하는데 유용하며, 시스템 발화에 대한 영역행위 예측은 유연한 응답 생성에 유용하다. 본 논문에서는 신경망을 이용하여 영역행위를 예측하는 모델을 제안한다. 제안 모델은 대화 이력 벡터와 현재 영역행위를 신경망의 입력으로 사용하여 다음 영역행위를 예측한다. 실험 결과, 제안 모델은 화행 예측과 개념열 예측에서 각각 80.02%, 82.09%의 정확률을 보였다.

  • PDF

목적지향 대화에서 화자 의도의 통계적 예측 모델 (A Statistical Prediction Model of Speakers' Intentions in a Goal-Oriented Dialogue)

  • 김동현;김학수;서정연
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권9호
    • /
    • pp.554-561
    • /
    • 2008
  • 사용자 의도 예측 기술은 음성인식기의 탐색 공간을 줄이기 위한 후처리 방법으로 사용될 수 있으며, 시스템 의도 예측 기술은 유연한 응답 생성을 위한 전처리 방법으로 사용될 수 있다. 이러한 실용적인 필요성에 따라 본 논문에서는 화행과 개념열의 쌍으로 일반화된 화자의 의도를 예측하는 통계 모델을 제안한다. 단순한 화행 n-그램 통계만을 이용한 기존의 모델과는 다르게 제안 모델은 현재 발화까지의 대화 이력을 다양한 언어 레벨의 자질 집합(화행과 개념열 쌍의 n-그램, 단서 단어, 영역 프레임의 상태정보)으로 표현한다. 그리고 추출된 자질 집합을 CRFs(Conditional Random Fields)의 입력으로 사용하여 다음 발화의 의도를 예측한다. 일정 관리 영역에서 실험을 수행한 결과, 제안 모델은 사용자의 화행과 개념열 예측에서 각각 76.25%, 64.21%의 정확률을 보였다. 그리고 시스템의 화행과 개념열 예측에서 각각 88.11%, 87.19%의 정확률을 보였다. 또한 기존 모델과 비교하여 29.32% 높은 평균 정확률을 보였다.

BERT기반 LSTM-CRF 모델을 이용한 한국어 형태소 분석 및 품사 태깅 (Korean Morphological Analysis and Part-Of-Speech Tagging with LSTM-CRF based on BERT)

  • 박천음;이창기;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.34-36
    • /
    • 2019
  • 기존 딥 러닝을 이용한 형태소 분석 및 품사 태깅(Part-Of-Speech tagging)은 feed-forward neural network에 CRF를 결합하는 방법이나 sequence-to-sequence 모델을 이용한 방법 등의 다양한 모델들이 연구되었다. 본 논문에서는 한국어 형태소 분석 및 품사 태깅을 수행하기 위하여 최근 자연어처리 태스크에서 많은 성능 향상을 보이고 있는 BERT를 기반으로 한 음절 단위 LSTM-CRF 모델을 제안한다. BERT는 양방향성을 가진 트랜스포머(transformer) 인코더를 기반으로 언어 모델을 사전 학습한 것이며, 본 논문에서는 한국어 대용량 코퍼스를 어절 단위로 사전 학습한 KorBERT를 사용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 형태소 분석 및 품사 태깅 연구들 보다 좋은 (세종 코퍼스) F1 98.74%의 성능을 보였다.

  • PDF