Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2008.05a
  • /
  • Pages.65-68
  • /
  • 2008
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Study to Relation between Human Judgment and Automatic Evaluation in English-Korean Scientific Paper MT System

영한 논문 번역시스템의 수동 평가와 자동 평가의 관계

  • Choi, Sung-Kwon (Natural Language Processing Research Team, Electronics and Telecommunications Research Institute) ;
  • Hwang, Young-Sook (Future Business Development Division, SK Telecom) ;
  • Kim, Young-Gil (Natural Language Processing Research Team, Electronics and Telecommunications Research Institute)
  • 최승권 (한국전자통신연구원 언어처리연구팀) ;
  • 황영숙 (SK Telecom 미래사업개발 3 팀) ;
  • 김영길 (한국전자통신연구원 언어처리연구팀)
  • Published : 2008.05.16
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문은 영한 과학기술 논문 자동번역 시스템을 대상으로 이루어진 수동 평가와 자동 평가 사이의 상관 관계를 밝힘으로써 수동 평가와 자동 평가 중에 한쪽의 방법에 의해서 평가가 이루어지더라도 다른 쪽의 수치를 파악할 수 있도록 하는데 목표가 있다. 본 논문에서 수행한 수동 평가는 5 인의 전문 번역가가 5 회에 걸쳐 평가한 결과이며, 자동 평가는 영어 원문 1,000 문장에 대한 8 인이 번역한 8,000 문장의 정답문(References)과 자동번역 결과를 어절 단위와 형태소 단위로 N-gram 비교를 통해 평가된 결과이다. 본 논문에서 도출된 식은 사용하는 평가 집합과 대상 번역 시스템 별로 자동 평가와 수동 평가 간의 상관 계수를 만들어내고 수동 번역률을 구하는 식을 동일하게 적용한다면 시스템의 자동 평가 결과로부터 성능을 직관적으로 해석하는데 상당히 도움이 될 것이다.

Keywords