• 제목/요약/키워드: 신경 기계 번역

검색결과 48건 처리시간 0.027초

영어학습 도구로서 기계번역기의 가용성 분석 - as구문 역번역을 통하여 (Analysis of the Usability of Machine Translators as an English Learning Tool -Through backtranslation of the as phrase)

  • 박권호;김정렬
    • 한국콘텐츠학회논문지
    • /
    • 제21권5호
    • /
    • pp.259-267
    • /
    • 2021
  • 기계번역기는 1950년대 처음 등장하였고 2010년대 신경망번역시스템을 적용하면서 번역정확성에 비약적인 발전을 하였다. 하지만 아직도 복잡한 문장의 번역에는 어려움을 겪고 있으며 이것은 영어학습 도구로서 기계번역기를 이용하는데 불편함을 주었다. 따라서 본 연구는 고등학교 1학년 수준의 문장들 중 다양한 뜻과 품사를 가지고 있는 as가 포함된 문장들을 분석대상으로 기계번역기를 이용한 역번역실험을 통해서 영어학습 도구로서 기계번역기의 가용성을 분석했다. 분석도구로는 신경망번역시스템을 이용한 대표적인 기계번역기인 구글 번역기, 네이버 파파고, 마이크로소프트 번역기를 이용하였다. 연구결과 기계번역기 사용시 각 as용법에 따라서 가용성이 유의하게 다른 것을 확인하였고 그에 따라 각 문장에 쓰인 as용법을 기계번역기를 사용하여 학습할 시 가용성이 높은 용법, 보통인 용법, 낮은 용법으로 분류하였다. 선행연구와는 다르게 직접 학습도구로서 기계번역기를 분석했고 접속사 as의 용법의 가용성을 수치화 시킨 데 있어서 본 연구는 연구적 공헌점을 가진다.

양보다 질? : 병렬 말뭉치의 양과 질이 인공신경망 기계번역에 미치는 효과 (Quality, not Quantity? : Effect of parallel corpus quantity and quality on Neural Machine Translation)

  • 박찬준;이연수;이찬희;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.363-368
    • /
    • 2020
  • 글로벌 시대를 맞이하여 언어의 장벽을 해소하기 위하여 기계번역 연구들이 전 세계적으로 이루어지고 있다. 딥러닝의 등장으로 기존 규칙 및 통계기반 방법론에 비하여 눈에 띄는 성능향상을 이루어내고 있으며 많은 연구들이 이루어지고 있다. 인공신경망 기반 기계번역 모델을 만들 때 가장 중요한 요소는 병렬 말뭉치의 양과 질이다. 본 논문은 한-영 대용량의 말뭉치를 수집하고 병렬 말뭉치 필터링 기법을 적용하여 데이터의 양과 질을 충족시켰으며 한-영 기계번역 관련 객관적인 테스트셋인 Iwslt 16, Iwslt 17을 기준으로 기존 한-영 기계번역 관련 연구 중 가장 좋은 성능을 보였다.

  • PDF

심볼릭 지식 정보를 결합한 뉴럴기계번역 모델 설계 (Design Neural Machine Translation Model Combining External Symbolic Knowledge)

  • 어수경;박찬준;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.529-534
    • /
    • 2020
  • 인공신경망 기반 기계번역(Neural Machine Translation, NMT)이란 딥러닝(Deep learning)을 이용하여 출발 언어의 문장을 도착 언어 문장으로 번역해주는 시스템을 일컫는다. NMT는 종단간 학습(end-to-end learning)을 이용하여 기존 기계번역 방법론의 성능을 앞지르며 기계번역의 주요 방법론으로 자리잡게 됐다. 이러한 발전에도 불구하고 여전히 개체(entity), 또는 전문 용어(terminological expressions)의 번역은 미해결 과제로 남아있다. 개체나 전문 용어는 대부분 명사로 구성되는데 문장 내 명사는 주체, 객체 등의 역할을 하는 중요한 요소이므로 이들의 정확한 번역이 문장 전체의 번역 성능 향상으로 이어질 수 있다. 따라서 본 논문에서는 지식그래프(Knowledge Graph)를 이용하여 심볼릭 지식을 NMT와 결합한 뉴럴심볼릭 방법론을 제안한다. 또한 지식그래프를 활용하여 NMT의 성능을 높인 선행 연구 방법론을 한영 기계번역에 이용할 수 있도록 구조를 설계한다.

  • PDF

숫자 기호화를 통한 신경기계번역 성능 향상 (Symbolizing Numbers to Improve Neural Machine Translation)

  • 강청웅;노영헌;김지수;최희열
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권6호
    • /
    • pp.1161-1167
    • /
    • 2018
  • 기계 학습의 발전은 인간만이 할 수 있었던 섬세한 작업들을 기계가 할 수 있도록 이끌었고, 이에 따라 많은 기업체들은 기계 학습 기반의 번역기를 출시하였다. 현재 상용화된 번역기들은 우수한 성능을 보이지만 숫자 번역에서 문제가 발생하는 것을 발견했다. 번역기들은번역할문장에 큰숫자가 있을경우종종숫자를잘못번역하며, 같은문장에서숫자만바꿔번역할 때문장의구조를 완전히바꾸어 번역하기도 한다. 이러한 문제점은오번역의 가능성을 높이기 때문에해결해야 될 사안으로여겨진다. 본 논문에서는 Bidirectional RNN (Recurrent Neural Network), LSTM (Long Short Term Memory networks), Attention mechanism을 적용한 Neural Machine Translation 모델을 사용하여 데이터 클렌징, 사전 크기 변경을 통한 모델 최적화를 진행 하였고, 최적화된 모델에 숫자 기호화 알고리즘을 적용하여 상기 문제점을 해결하는 번역 시스템을 구현하였다. 본논문은 데이터 클렌징 방법과 사전 크기 변경, 그리고 숫자 기호화 알고리즘에 대해 서술하였으며, BLEU score (Bilingual Evaluation Understudy score) 를 이용하여 각 모델의 성능을 비교하였다.

도메인 특화 기계번역 사후교정 모델 검증 연구 (Verification of the Domain Specialized Automatic Post Editing Model)

  • 문현석;박찬준;서재형;어수경;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2021
  • 인공지능 기술이 발달함에 따라 기계번역 기술도 많은 진보를 이루었지만 여전히 기계번역을 통한 번역문 내에는 사람이 교정해야 하는 오류가 다수 포함되어있다. 이렇게 번역 모델에서 생성되는 오류를 교정하는 전문인력의 요구를 경감시키기 위하여 기계번역 사후교정 연구가 등장하였고, 해당 연구는 현재 WMT를 주축으로 활발하게 연구되고 있다. 이러한 사후교정 연구는 최근 도메인 특화 관점에서 주로 연구가 이루어지고 있으며 현재 많은 도메인에서 유의미한 성과를 내고 있다. 하지만 이런 연구들은 기존 번역문의 품질을 얼만큼 향상시켰는가에 초점을 맞출 뿐, 다른 도메인 특화 번역모델의 성능과 비교했을 때 얼마나 뛰어난지는 밝히지 않기 때문에 사후교정 연구가 도메인 특화에서 효과적으로 작용하는지 명확하게 알 수 없다. 이에 본 연구에서는 도메인 특화 번역 모델과 도메인 특화 사후교정 모델간의 성능을 비교함으로써, 도메인 특화에서 사후교정을 통해 얻을 수 있는 실제적인 성능을 검증한다. 이를 통해 사후교정이 도메인 특화 번역모델과 비교했을 때 미미한 수준의 성능을 보임을 실험적으로 확인하였고, 해당 실험 결과를 분석함으로써 향후 도메인특화 사후교정 연구의 방향을 제안하였다.

  • PDF

기계번역 사후교정(Automatic Post Editing) 연구 (Automatic Post Editing Research)

  • 박찬준;임희석
    • 한국융합학회논문지
    • /
    • 제11권5호
    • /
    • pp.1-8
    • /
    • 2020
  • 기계번역이란 소스문장(Source Sentence)을 타겟문장(Target Sentence)으로 컴퓨터가 번역하는 시스템을 의미한다. 기계번역에는 다양한 하위분야가 존재하며 APE(Automatic Post Editing)이란 기계번역 시스템의 결과물을 교정하여 더 나은 번역문을 만들어내는 기계번역의 하위분야이다. 즉 기계번역 시스템이 생성한 번역문에 포함되어 있는 오류를 수정하여 교정문을 만드는 과정을 의미한다. 기계번역 모델을 변경하는 것이 아닌 기계번역 시스템의 결과 문장을 교정하여 번역품질을 높이는 연구분야이다. 2015년부터 WMT 공동 캠페인 과제로 선정되었으며 성능 평가는 TER(Translation Error Rate)을 이용한다. 이로 인해 최근 APE에 모델에 대한 다양한 연구들이 발표되고 있으며 이에 본 논문은 APE 분야의 최신 동향에 대해서 다루게 된다.

병렬 코퍼스 필터링과 한국어에 최적화된 서브 워드 분절 기법을 이용한 기계번역 (Parallel Corpus Filtering and Korean-Optimized Subword Tokenization for Machine Translation)

  • 박찬준;김경민;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.221-224
    • /
    • 2019
  • 딥러닝을 이용한 Neural Machine Translation(NMT)의 등장으로 기계번역 분야에서 기존의 규칙 기반,통계기반 방식을 압도하는 좋은 성능을 보이고 있다. 본 논문은 기계번역 모델도 중요하지만 무엇보다 중요한 것은 고품질의 학습데이터를 구성하는 일과 전처리라고 판단하여 이에 관련된 다양한 실험을 진행하였다. 인공신경망 기계번역 시스템의 학습데이터 즉 병렬 코퍼스를 구축할 때 양질의 데이터를 확보하는 것이 무엇보다 중요하다. 그러나 양질의 데이터를 구하는 일은 저작권 확보의 문제, 병렬 말뭉치 구축의 어려움, 노이즈 등을 이유로 쉽지 않은 상황이다. 본 논문은 고품질의 학습데이터를 구축하기 위하여 병렬 코퍼스 필터링 기법을 제시한다. 병렬 코퍼스 필터링이란 정제와 다르게 학습 데이터에 부합하지 않다고 판단되며 소스, 타겟 쌍을 함께 삭제 시켜 버린다. 또한 기계번역에서 무엇보다 중요한 단계는 바로 Subword Tokenization 단계이다. 본 논문은 다양한 실험을 통하여 한-영 기계번역에서 가장 높은 성능을 보이는 Subword Tokenization 방법론을 제시한다. 오픈 된 한-영 병렬 말뭉치로 실험을 진행한 결과 병렬 코퍼스 필터링을 진행한 데이터로 만든 모델이 더 좋은 BLEU 점수를 보였으며 본 논문에서 제안하는 형태소 분석 단위 분리를 진행 후 Unigram이 반영된 SentencePiece 모델로 Subword Tokenization를 진행 하였을 시 가장 좋은 성능을 보였다.

  • PDF

신경망 기계번역에서 최적화된 데이터 증강기법 고찰 (Optimization of Data Augmentation Techniques in Neural Machine Translation)

  • 박찬준;김규경;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.258-261
    • /
    • 2019
  • 딥러닝을 이용한 Sequence to Sequence 모델의 등장과 Multi head Attention을 이용한 Transformer의 등장으로 기계번역에 많은 발전이 있었다. Transformer와 같은 성능이 좋은 모델들은 대량의 병렬 코퍼스를 가지고 학습을 진행하였는데 대량의 병렬 코퍼스를 구축하는 것은 시간과 비용이 많이 드는 작업이다. 이러한 단점을 극복하기 위하여 합성 코퍼스를 만드는 기법들이 연구되고 있으며 대표적으로 Back Translation 기법이 존재한다. Back Translation을 이용할 시 단일 언어 데이터를 가상 병렬 데이터로 변환하여 학습데이터의 양을 증가 시킨다. 즉 말뭉치 확장기법의 일종이다. 본 논문은 Back Translation 뿐만 아니라 Copied Translation 방식을 통한 다양한 실험을 통하여 데이터 증강기법이 기계번역 성능에 미치는 영향에 대해서 살펴본다. 실험결과 Back Translation과 Copied Translation과 같은 데이터 증강기법이 기계번역 성능향상에 도움을 줌을 확인 할 수 있었으며 Batch를 구성할 때 상대적 가중치를 두는 것이 성능향상에 도움이 됨을 알 수 있었다.

  • PDF

영한 기계번역에서 전치사구를 해석하는 시스템 (An Analysis System of Prepositional Phrases in English-to-Korean Machine Translation)

  • 강원석
    • 한국정보처리학회논문지
    • /
    • 제3권7호
    • /
    • pp.1792-1802
    • /
    • 1996
  • 영한 기계번역에서 전치사구의 해석 부착의 문제(Attachment Problem)와 의미 해석의 문제, 그리고 해석에 필요한 정보 획득의 문제가 있다. 이 세 가지 문제를 해결하기 위하여 본 논문은 전치사구 해석 시스템을 제시한다. 이 시스템은 규칙 제어기와 신경망의 하이브리드 구문해석 시스템, 격의미 해석 시스템, 그리고 신경망 의 입력 정보를 자동으로 생성하는 의미속성 생성기로 구성한다. 의미속성 생성기는 시스템의 입력이 되는 의미속성을 자동으로 생성하는 방법으로 인위적인 방법의 단점 을보완하여 객관성 있는 전치사구 해석을 하게 한다. 격의미 해석 시스템은 영한 기계 번역에 맞는 격의미를 찾아내어 자연스런 한국어 생성을 하게 하고 구문해석 시스템은 규칙 방법의 장점과 신경망 방법의 장점을 취한 하이브리드 방식의 시스템으로 전치사 구 부착의 문제를 해결한다.

  • PDF

문자 단위의 Neural Machine Translation (Character-Level Neural Machine Translation)

  • 이창기;김준석;이형규;이재송
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.115-118
    • /
    • 2015
  • Neural Machine Translation (NMT) 모델은 단일 신경망 구조만을 사용하는 End-to-end 방식의 기계번역 모델로, 기존의 Statistical Machine Translation (SMT) 모델에 비해서 높은 성능을 보이고, Feature Engineering이 필요 없으며, 번역 모델 및 언어 모델의 역할을 단일 신경망에서 수행하여 디코더의 구조가 간단하다는 장점이 있다. 그러나 NMT 모델은 출력 언어 사전(Target Vocabulary)의 크기에 비례해서 학습 및 디코딩의 속도가 느려지기 때문에 출력 언어 사전의 크기에 제한을 갖는다는 단점이 있다. 본 논문에서는 NMT 모델의 출력 언어 사전의 크기 제한 문제를 해결하기 위해서, 입력 언어는 단어 단위로 읽고(Encoding) 출력 언어를 문자(Character) 단위로 생성(Decoding)하는 방법을 제안한다. 출력 언어를 문자 단위로 생성하게 되면 NMT 모델의 출력 언어 사전에 모든 문자를 포함할 수 있게 되어 출력 언어의 Out-of-vocabulary(OOV) 문제가 사라지고 출력 언어의 사전 크기가 줄어들어 학습 및 디코딩 속도가 빨라지게 된다. 실험 결과, 본 논문에서 제안한 방법이 영어-일본어 및 한국어-일본어 기계번역에서 기존의 단어 단위의 NMT 모델보다 우수한 성능을 보였다.

  • PDF