• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.270-271
• /
• 2017

본 연구는 한국어 학습자 작문의 자동 평가 시스템 개발의 일환으로, 자동 평가 결과에 대한 설명과 근거가 될 수 있는 평기 기준 범주를 선정하기 위한 데이터 구축과 선정 방법을 제시한다. 작문의 평가 기준의 영역과 항목은 평가체계에 대한 이론적 연구에 따라 다양하다. 이러한 평가 기준은 자동 평가에서는 식별되기 어려운 경우도 있고, 각각의 평가 기준이 적용되는 작문 오류의 범위도 다양하다. 그러므로 본 연구에서는 자동 평가 기준 선정의 문제는 다양한 평가 기준에 중 하나를 선정하는 분류의 문제로 보고, 학습데이터를 구축, 기계학습을 통해 자동 작문 평가에 효과적인 평가 기준을 선정 가능성을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.05a
• /
• pp.65-68
• /
• 2008

본 논문은 영한 과학기술 논문 자동번역 시스템을 대상으로 이루어진 수동 평가와 자동 평가 사이의 상관 관계를 밝힘으로써 수동 평가와 자동 평가 중에 한쪽의 방법에 의해서 평가가 이루어지더라도 다른 쪽의 수치를 파악할 수 있도록 하는데 목표가 있다. 본 논문에서 수행한 수동 평가는 5 인의 전문 번역가가 5 회에 걸쳐 평가한 결과이며, 자동 평가는 영어 원문 1,000 문장에 대한 8 인이 번역한 8,000 문장의 정답문(References)과 자동번역 결과를 어절 단위와 형태소 단위로 N-gram 비교를 통해 평가된 결과이다. 본 논문에서 도출된 식은 사용하는 평가 집합과 대상 번역 시스템 별로 자동 평가와 수동 평가 간의 상관 계수를 만들어내고 수동 번역률을 구하는 식을 동일하게 적용한다면 시스템의 자동 평가 결과로부터 성능을 직관적으로 해석하는데 상당히 도움이 될 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.1041-1044
• /
• 2019

자동통번역의 성능을 평가하는데 가장 잘 알려진 자동평가 기술은 BLEU이다. 그러나 BLEU로는 자동통번역 결과의 어느 부분이 강점이고 약점인지를 파악할 수 없다. 본 논문에서는 자동통번역 시스템의 언어 현상별 자동평가 방법을 소개하고자 한다. 언어 현상별 자동평가 방법은 BLEU가 제시하지 못하는 언어 현상별 자동평가가 가능하며 개발자로 하여금 해당 자동통번역 시스템의 언어 현상별 강점과 약점을 직관적으로 파악할 수 있도록 한다. 언어 현상별 정확도 측정은 Google 과 Naver Papago 를 대상으로 실시하였다. 정확률이 40%이하를 약점이라고 간주할 때, Google 영한 자동번역기의 약점은 스타일(32.50%)번역이었으며, Google 영한 자동통역기의 약점은 음성(30.00%)인식, 담화(30.00%)처리였다. Google 한영 자동번역기 약점은 구문(34.00%)분석, 모호성(27.50%)해소, 스타일(20.00%)번역이었으며, Google 한영 자동통역기 약점은 담화(30.00%)처리였다. Papago 영한 자동번역기는 대부분 정확률이 55% 이상이었으며 Papago 영한 자동통역기의 약점은 담화(30.00%)처리였다. 또한 Papago 한영 자동번역기의 약점은 구문(38.00%)분석, 모호성(32.50%)해소, 스타일(20.00%)번역이었으며, Google 한영 자동통역기 약점은 담화(20.00%)처리였다. 언어 현상별 자동평가의 궁극적인 목표는 자동통번역기의 다양한 약점을 찾아내어 약점과 관련된 targeted corpus 를 반자동 수집 및 구축하고 재학습을 하여 자동통번역기의 성능을 점증적으로 향상시키는 것이다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.270-271
• /
• 2017

본 연구는 한국어 학습자 작문의 자동 평가 시스템 개발의 일환으로, 자동 평가 결과에 대한 설명과 근거가 될 수 있는 평기 기준 범주를 선정하기 위한 데이터 구축과 선정 방법을 제시한다. 작문의 평가 기준의 영역과 항목은 평가체계에 대한 이론적 연구에 따라 다양하다. 이러한 평가 기준은 자동 평가에서는 식별되기 어려운 경우도 있고, 각각의 평가 기준이 적용되는 작문 오류의 범위도 다양하다. 그러므로 본 연구에서는 자동 평가 기준 선정의 문제는 다양한 평가 기준에 중 하나를 선정하는 분류의 문제로 보고, 학습데이터를 구축, 기계학습을 통해 자동 작문 평가에 효과적인 평가 기준을 선정 가능성을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.489-491
• /
• 2016

자동차산업은 매년 발전하고 있다. 자동차용 소프트웨어의 중요성이 커지고 있기 때문에 자동차용 소프트웨어의 신뢰성 평가는 이루어 져야한다. 자동차용 소프트웨어의 오류가 있을 경우 대형 사고로 이어질 수 있기 때문에 자동차용 소프트웨어의 신뢰성 평가가 반드시 필요하다. 따라서 본 논문에서는 자동차용 소프트웨어의 신뢰성 평가를 위한 다양한 평가 방안들에 대한 분석을 수행하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.543-547
• /
• 2020

자연어 처리에서 기계번역은 가장 많이 사용되고 빠르게 발전하고 있다. 기계번역에 있어서 사람의 평가가 가장 정확하고 중요하지만 많은 시간과 비용이 발생된다. 이에 기계번역을 자동 평가하는 방법들이 많이 제안되어 사용되고 있지만, 한국어 특성을 잘 반영한 자동평가 방법은 연구되지 않고 있다. BLEU와 같은 자동평가 방법을 많이 사용하고 있지만 언어의 특성 차이로 인해 원하는 평가결과를 얻지 못하는 경우가 발생하며, 특히 특허나 논문과 같은 기술문서의 번역에서는 더 많이 발생한다. 이에 본 논문에서는 단어의 정밀도와 어순이 평가에 영향이 있는 RIBES를 가지고 특허 기계 번역에서 영어→한국어로 기계 번역된 결과물의 자동평가에 대해 사람의 평가와 유사한 결과를 얻기 위해 tokenization 과정에서 복합 형태소 분리를 통한 평가방법을 제안하고자 한다.

• Proceedings of the KAIS Fall Conference
• /
• 2008.11a
• /
• pp.446-449
• /
• 2008

본 논문에서는 신규 개발품인 자동 싱킹시트의 구조와 작동원리를 파악하고 새롭게 개발하는 제품에 대한 새로운 성능평가 방안에 관한 연구를 수행하였다. 기존 시트와의 변경 사항을 고려하여 자동 싱킹시트의 개발 단계에서 성능을 평가할 수 있는 항목을 도출 하고자 하였다. 이 는 자동 싱킹시트의 특성상 모터가 부착되고 부품이 변경되는 부를 고려하여 3가지 대표 성능 평가항목인 고정부의 유격, 작동력인 토크, 자동 싱킹시트의 작동시간을 주요 평가항목으로 도출하였다. 또 한 각 항목별 성능평가방법에 대해 적절한 방법을 모색하고 자동 싱킹시트에 대한 성능지수로의 적용방법을 연구하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.221-222
• /
• 2023

본 연구에서는 주피터 노트북에서 자동 평가 시스템을 활용하기 위한 방안으로 자동 평가 시스템의 문제를 저장하고 제시하는 방안에 대해서 연구하였다. 자동 평가 시스템은 학습자가 직접 프로그래밍을 하고 바로 피드백을 받을 수 있는 장점이 있다. 주피터 노트북에서 자동 평가 시스템을 제공하는 nbgrader와 코들의 장점을 바탕으로 문제 제시 방안은 다음과 같다. 문제는 HTML 태그를 이용해 서식 있는 형태로 서버에 저장한다. 주피터 노트북에서 IPython.display 모듈의 display와 HTML 명령어를 사용하여 문제를 출력하면 코드셀 출력창에 서식 있는 HTML 문서를 출력하여 학습자에게 가독성 있게 문제를 제시할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.354-359
• /
• 2022

에세이 자동 평가는 주어진 에세이를 읽고 자동으로 평가하는 작업이다. 본 논문에서는 효과적인 에세이 자동 평가 모델을 위해 Argument Mining 작업을 사용하여 에세이의 논증 구조가 반영된 에세이 표현을 만들고, 에세이의 평가 항목별 표현을 학습하는 방법을 제안한다. 실험을 통해 제안하는 에세이 표현이 사전 학습 언어 모델로 얻은 표현보다 우수함을 입증했으며, 에세이 평가를 위해 평가 항목별로 다른 표현을 학습하는 것이 보다 효과적임을 보였다. 최종 제안 모델의 성능은 QWK 기준으로 0.543에서 0.627까지 향상되어 사람의 평가와 상당히 일치한다.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.247-249
• /
• 2017

프로그래밍 학습 시스템에서 자동 평가 기능은, 코드에 대한 실행 결과 외 다른 피드백을 제공할 수 있기 때문에, 그 피드백을 통해 학습자 스스로가 자신의 코드를 개선할 수 있다. 본 논문에서는 다양한 프로그래밍 학습 시스템에서 사용중인 자동 평가 기능을 비교하고, 지능형 프로그래밍 튜터링 시스템인 Everycoding에서의 새로운 자동 평가 기능을 소개한다.