• 제목/요약/키워드: 인공신경망 기계번역

검색결과 23건 처리시간 0.026초

인공신경망 기계번역에서 디코딩 전략에 대한 연구 (Study on Decoding Strategies in Neural Machine Translation)

  • 서재형;박찬준;어수경;문현석;임희석
    • 한국융합학회논문지
    • /
    • 제12권11호
    • /
    • pp.69-80
    • /
    • 2021
  • 딥러닝 모델을 활용한 인공신경망 기계번역 (Neural machine translation)이 주류 분야로 떠오르면서 최고의 성능을 위해 모델과 데이터 언어 쌍에 대한 많은 투자와 연구가 활발하게 진행되고 있다. 그러나, 최근 대부분의 인공신경망 기계번역 연구들은 번역 문장의 품질을 극대화하는 자연어 생성을 위한 디코딩 전략 (Decoding strategy)에 대해서는 미래 연구 과제로 남겨둔 채 다양한 실험과 구체적인 분석이 부족한 상황이다. 기계번역에서 디코딩 전략은 번역 문장을 생성하는 과정에서 탐색 경로를 최적화 하고, 모델 변경 및 데이터 확장 없이도 성능 개선이 가능하다. 본 논문은 시퀀스 투 시퀀스 (Sequence to Sequence) 모델을 활용한 신경망 기반의 기계번역에서 고전적인 그리디 디코딩 (Greedy decoding)부터 최신의 방법론인 Dynamic Beam Allocation (DBA)까지 비교 분석하여 디코딩 전략의 효과와 그 의의를 밝힌다.

기계번역과 인간번역의 혼합적 접근법 (The Blended Approach of Machine Translation and Human Translation)

  • 김양순
    • 문화기술의 융합
    • /
    • 제8권1호
    • /
    • pp.239-244
    • /
    • 2022
  • 인공신경망기계번역은 점진적으로 인간번역과 기계번역의 경계를 허물어가고 있다. 기계번역의 현재와 미래 그리고 기계번역의 장·단점을 논의하는 가운데 인간번역과 기계번역의 실제 번역사례들을 살펴보고 최근 수년간 놀라운 발전을 이룬 인공신경망기계번역이 왜 인간번역의 손길을 필요로 하는지를 논의하는 것이 본 연구의 목표이다. 번역분야에서 인간이 기계로 대치될 수 있는가? 인공신경망기계번역 시대에 인간번역가는 도태되어야 하는가? 그리고 인공신경망기계번역과 지역의 세계화에 기반을 두고 확장하고 있는 세계영어들이라는 언어다양성 시대에 언어장벽을 없애는 것이 가능한가라는 질문 모두에 대하여 부정적인 결론과 함께 기계번역은 신속성, 정확성, 저비용의 생산성이라는 장점을 갖는 유용한 도구임에도 불구하고, 문화, 차용어, 중의성, (국가)방언, 신조어 등의 분야에서는 인간번역이 요구된다고 제안한다. 기계학습을 기반으로 하는 기계번역과 직관과 습득을 기반으로 하는 인간번역은 협업의 상태로 공생 발전해야할 것이다. 기계번역은 역 번역과 인간의 사후편집과 같은 방법을 활용할 때 도덕적 문제를 야기하지 않는 유용한 번역도구가 될 것이다. 결론적으로 기계번역은 인간번역의 손길 없이는 완성될 수 없다는 혼합적 접근법을 제안한다.

공공 한영 병렬 말뭉치를 이용한 기계번역 성능 향상 연구 (A Study on the Performance Improvement of Machine Translation Using Public Korean-English Parallel Corpus)

  • 박찬준;임희석
    • 디지털융복합연구
    • /
    • 제18권6호
    • /
    • pp.271-277
    • /
    • 2020
  • 기계번역이란 소스언어를 목적언어로 컴퓨터가 번역하는 소프트웨어를 의미하며 규칙기반, 통계기반 기계번역을 거쳐 최근에는 인공신경망 기반 기계번역에 대한 연구가 활발히 이루어지고 있다. 인공신경망 기계번역에서 중요한 요소 중 하나로 고품질의 병렬 말뭉치를 뽑을 수 있는데 이제까지 한국어 관련 언어쌍의 고품질 병렬 코퍼스를 구하기 쉽지 않은 실정이었다. 최근 한국정보화진흥원의 AI HUB에서 고품질의 160만 문장의 한-영 기계번역 병렬 말뭉치를 공개하였다. 이에 본 논문은 AI HUB에서 공개한 데이터 및 현재까지 가장 많이 쓰인 한-영 병렬 데이터인 OpenSubtitles와 성능 비교를 통해 각각의 데이터의 품질을 검증하고자 한다. 테스트 데이터로 한-영 기계번역 관련 공식 테스트셋인 IWSLT에서 공개한 테스트셋을 이용하여 보다 객관성을 확보하였다. 실험결과 동일한 테스트셋으로 실험한 기존의 한-영 기계번역 관련 논문들보다 좋은 성능을 보임을 알 수 있었으며 이를 통해 고품질 데이터의 중요성을 알 수 있었다.

양보다 질? : 병렬 말뭉치의 양과 질이 인공신경망 기계번역에 미치는 효과 (Quality, not Quantity? : Effect of parallel corpus quantity and quality on Neural Machine Translation)

  • 박찬준;이연수;이찬희;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.363-368
    • /
    • 2020
  • 글로벌 시대를 맞이하여 언어의 장벽을 해소하기 위하여 기계번역 연구들이 전 세계적으로 이루어지고 있다. 딥러닝의 등장으로 기존 규칙 및 통계기반 방법론에 비하여 눈에 띄는 성능향상을 이루어내고 있으며 많은 연구들이 이루어지고 있다. 인공신경망 기반 기계번역 모델을 만들 때 가장 중요한 요소는 병렬 말뭉치의 양과 질이다. 본 논문은 한-영 대용량의 말뭉치를 수집하고 병렬 말뭉치 필터링 기법을 적용하여 데이터의 양과 질을 충족시켰으며 한-영 기계번역 관련 객관적인 테스트셋인 Iwslt 16, Iwslt 17을 기준으로 기존 한-영 기계번역 관련 연구 중 가장 좋은 성능을 보였다.

  • PDF

사전 정보를 활용한 신경망 기계 번역 (Neural Machine Translation with Dictionary Information)

  • 전현규;김지윤;최승호;김봉수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.86-90
    • /
    • 2023
  • 최근 생성형 언어 모델이 주목받고 있으며, 이와 관련된 과제 또한 주목받고 있다. 언어 생성과 관련하여 많은 연구가 진행된 분야 중 하나가 '번역'이다. 번역과 관련하여, 최근 인공신경망 기반의 신경망 기계 번역(NMT)가 주로 연구되고 있으며, 뛰어난 성능을 보여주고 있다. 하지만 교착어인 한국어에서 언어유형학 상의 다른 분류에 속한 언어로 번역은 매끄럽게 번역되지 않는다는 한계가 여전하다. 따라서, 본 논문에서는 이러한 문제점을 극복하기 위해 한-영 사전을 통한 번역 품질 향상 방법을 제안한다. 또한 출력과 관련하여 소형 언어모델(sLLM)을 통해 CoT데이터셋을 구축하고 이를 기반으로 조정 학습하여 성능을 평가할 것이다.

  • PDF

심볼릭 지식 정보를 결합한 뉴럴기계번역 모델 설계 (Design Neural Machine Translation Model Combining External Symbolic Knowledge)

  • 어수경;박찬준;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.529-534
    • /
    • 2020
  • 인공신경망 기반 기계번역(Neural Machine Translation, NMT)이란 딥러닝(Deep learning)을 이용하여 출발 언어의 문장을 도착 언어 문장으로 번역해주는 시스템을 일컫는다. NMT는 종단간 학습(end-to-end learning)을 이용하여 기존 기계번역 방법론의 성능을 앞지르며 기계번역의 주요 방법론으로 자리잡게 됐다. 이러한 발전에도 불구하고 여전히 개체(entity), 또는 전문 용어(terminological expressions)의 번역은 미해결 과제로 남아있다. 개체나 전문 용어는 대부분 명사로 구성되는데 문장 내 명사는 주체, 객체 등의 역할을 하는 중요한 요소이므로 이들의 정확한 번역이 문장 전체의 번역 성능 향상으로 이어질 수 있다. 따라서 본 논문에서는 지식그래프(Knowledge Graph)를 이용하여 심볼릭 지식을 NMT와 결합한 뉴럴심볼릭 방법론을 제안한다. 또한 지식그래프를 활용하여 NMT의 성능을 높인 선행 연구 방법론을 한영 기계번역에 이용할 수 있도록 구조를 설계한다.

  • PDF

전문번역사들의 기계번역 수용에 관한 연구 (Study on Translators' Acceptance of Machine Translation)

  • 천종성
    • 한국융합학회논문지
    • /
    • 제11권6호
    • /
    • pp.281-288
    • /
    • 2020
  • 본 연구는 구글 번역과 파파고와 같은 신경망 기계번역(NMT)에 대한 수용성을 탐구한다. 기계번역의 도입으로 훈련받은 번역사들이 위협을 느끼리라는 것과 기계와의 협력을 모색해야 한다는 논의가 상충하고 있는 시점에서, 오랫동안 기술수용을 예측해 온 TAM을 적용하여 전문번역사들의 기계번역 수용에 관한 의사결정 과정을 살펴보았다. 결론적으로 번역사들이 기계번역에 대해 위협을 느낄 것이라는 기존의 규범적 논의와 달리 본 연구의 경험적 결과는 번역사들이 자신의 업무의 효율을 높여주는 유용한 도구로 인식하고 있음이 밝혀졌다. 특히 같이 작업하는 동료들의 조언과 사회적 분위기가 우호적일 경우 이러한 경향은 더욱 강해졌다.

도메인 특화 기계번역 사후교정 모델 검증 연구 (Verification of the Domain Specialized Automatic Post Editing Model)

  • 문현석;박찬준;서재형;어수경;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2021
  • 인공지능 기술이 발달함에 따라 기계번역 기술도 많은 진보를 이루었지만 여전히 기계번역을 통한 번역문 내에는 사람이 교정해야 하는 오류가 다수 포함되어있다. 이렇게 번역 모델에서 생성되는 오류를 교정하는 전문인력의 요구를 경감시키기 위하여 기계번역 사후교정 연구가 등장하였고, 해당 연구는 현재 WMT를 주축으로 활발하게 연구되고 있다. 이러한 사후교정 연구는 최근 도메인 특화 관점에서 주로 연구가 이루어지고 있으며 현재 많은 도메인에서 유의미한 성과를 내고 있다. 하지만 이런 연구들은 기존 번역문의 품질을 얼만큼 향상시켰는가에 초점을 맞출 뿐, 다른 도메인 특화 번역모델의 성능과 비교했을 때 얼마나 뛰어난지는 밝히지 않기 때문에 사후교정 연구가 도메인 특화에서 효과적으로 작용하는지 명확하게 알 수 없다. 이에 본 연구에서는 도메인 특화 번역 모델과 도메인 특화 사후교정 모델간의 성능을 비교함으로써, 도메인 특화에서 사후교정을 통해 얻을 수 있는 실제적인 성능을 검증한다. 이를 통해 사후교정이 도메인 특화 번역모델과 비교했을 때 미미한 수준의 성능을 보임을 실험적으로 확인하였고, 해당 실험 결과를 분석함으로써 향후 도메인특화 사후교정 연구의 방향을 제안하였다.

  • PDF

한국어 인공신경망 기계번역의 서브 워드 분절 연구 및 음절 기반 종성 분리 토큰화 제안 (Research on Subword Tokenization of Korean Neural Machine Translation and Proposal for Tokenization Method to Separate Jongsung from Syllables)

  • 어수경;박찬준;문현석;임희석
    • 한국융합학회논문지
    • /
    • 제12권3호
    • /
    • pp.1-7
    • /
    • 2021
  • 인공신경망 기계번역(Neural Machine Translation, NMT)은 한정된 개수의 단어만을 번역에 이용하기 때문에 사전에 등록되지 않은 단어들이 입력으로 들어올 가능성이 있다. 이러한 Out of Vocabulary(OOV) 문제를 완화하고자 고안된 방법이 서브 워드 분절(Subword Tokenization)이며, 이는 문장을 단어보다 더 작은 서브 워드 단위로 분할하여 단어를 구성하는 방법론이다. 본 논문에서는 일반적인 서브 워드 분절 알고리즘들을 다루며, 나아가 한국어의 무한한 용언 활용을 잘 다룰 수 있는 사전을 만들기 위해 한국어의 음절 중 종성을 분리하여 서브 워드 분절을 학습하는 새로운 방법론을 제안한다. 실험결과 본 논문에서 제안하는 방법론이 기존의 서브 워드 분리 방법론보다 높은 성능을 거두었다.

Seq2SPARQL: 신경망 기계 번역을 사용한 지식 베이스 질의 언어 자동 생성 (Seq2SPARQL: Automatic Generation of Knowledge base Query Language using Neural Machine Translation)

  • 홍동균;심홍매;김광민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.898-900
    • /
    • 2019
  • SPARQL(SPARQL Protocol and RDF Query Language)은 지식 베이스를 위한 표준 시맨틱 질의 언어이다. 최근 인공지능 분야에서 지식 베이스는 질의 응답 시스템, 시맨틱 검색 등 그 활용성이 커지고 있다. 그러나 SPARQL 과 같은 질의 언어를 사용하기 위해서는 질의 언어의 문법을 이해하기 때문에, 일반 사용자의 경우에는 그 활용성이 제한될 수밖에 없다. 이에 본 논문은 신경망 기반 기계 번역 기술을 활용하여 자연어 질의로부터 SPARQL 을 생성하는 방법을 제안한다. 우리는 제안하는 방법을 대규모 공개 지식 베이스인 Wikidata 를 사용해 검증하였다. 우리는 실험에서 사용할 Wikidata 에 존재하는 영화 지식을 묻는 자연어 질의-SPARQL 질의 쌍 20,000 건을 생성하였고, 여러 sequence-to-sequence 모델을 비교한 실험에서 합성곱 신경망 기반의 모델이 BLEU 96.8%의 가장 좋은 결과를 얻음을 보였다.