• IEIE Transactions on Smart Processing and Computing
• /
• 제5권2호
• /
• pp.77-84
• /
• 2016

In the field of natural language processing, Universal Networking Language (UNL) has been used by various researchers as an inter-lingual approach to automatic machine translation. The UNL system consists of two main components, namely, EnConverter for converting text from a source language to UNL, and DeConverter for converting from UNL to a target language. Currently, many projects are researching how to apply UNL to different languages. In this paper, we introduce the tools that are UNL's applications and discuss how to reuse them to encode a Vietnamese sentence into UNL expressions and decode UNL expressions into a Vietnamese sentence. The testing was done with about 1,000 Vietnamese sentences (a dictionary that includes 4573 entries and 3161 rules). In addition, we compare the proportion of sentences translated based on a direct method (Google Translator) and another one based on UNL.

• Journal of Information Processing Systems
• /
• 제8권2호
• /
• pp.301-314
• /
• 2012

In this paper, two new approaches to align English-Arabic sentences in bilingual parallel corpora based on the Multi-Class Support Vector Machine (MSVM) and the Hidden Markov Model (HMM) classifiers are presented. A feature vector is extracted from the text pair that is under consideration. This vector contains text features such as length, punctuation score, and cognate score values. A set of manually prepared training data was assigned to train the Multi-Class Support Vector Machine and Hidden Markov Model. Another set of data was used for testing. The results of the MSVM and HMM outperform the results of the length based approach. Moreover these new approaches are valid for any language pairs and are quite flexible since the feature vector may contain less, more, or different features, such as a lexical matching feature and Hanzi characters in Japanese-Chinese texts, than the ones used in the current research.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2002년도 하계학술발표대회 논문집 제21권 1호
• /
• pp.87-90
• /
• 2002

This paper analyzes statistically the relationship between size and balance of text corpus by evaluation of the effect of interview sentences in language model for Korean broadcast news transcription system. Our Korean broadcast news transcription system's ultimate purpose is to recognize not interview speech, but the anchor's and reporter's speech in broadcast news show. But the gathered text corpus for constructing language model consists of interview sentences a portion of the whole, $15\%$ approximately. The characteristic of interview sentence is different from the anchor's and the reporter's in one thing or another. Therefore it disturbs the anchor and reporter oriented language modeling. In this paper, we evaluate the effect of interview sentences in language model for Korean broadcast news transcription system and analyze statistically the relationship between size and balance of text corpus by making an experiment as the same procedure according to varying the size of corpus.

• Journal of Information Processing Systems
• /
• 제17권1호
• /
• pp.203-212
• /
• 2021

To eliminate ambiguities in the existing methods to simplify Chinese pronunciation learning, we propose a model that can predict the pronunciation of Chinese characters automatically. The proposed model relies on a statistical machine translation (SMT) framework. In particular, we consider the components of Chinese characters as the basic unit and consider the pronunciation prediction as a machine translation procedure (the component sequence as a source sentence, the pronunciation, pinyin, as a target sentence). In addition to traditional features such as the bidirectional word translation and the n-gram language model, we also implement a component similarity feature to overcome some typos during practical use. We incorporate these features into a log-linear model. The experimental results show that our approach significantly outperforms other baseline models.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.678-680
• /
• 2023

본 논문은 정확하면서도 효율적인 한국어 문장 분류 기법에 대해서 논의한다. 최근 자연어처리 분야에서 사전 학습된 언어 모델(Pre-trained Language Models, PLM)은 미세조정(fine-tuning)을 통해 문장 분류 하위 작업(downstream task)에서 성공적인 결과를 보여주고 있다. 하지만, 이러한 미세조정은 하위 작업이 바뀔 때마다 사전 학습된 언어 모델의 전체 매개변수(model parameters)를 학습해야 한다는 단점을 갖고 있다. 본 논문에서는 이러한 문제를 해결할 수 있도록 도메인 적응기(domain adapter)를 활용한 한국어 문장 분류 프레임워크인 DAKS(Domain Adaptation-based Korean Sentence classification framework)를 제안한다. 해당 프레임워크는 학습되는 매개변수의 규모를 크게 줄임으로써 효율적인 성능을 보였다. 또한 문장 분류를 위한 특징(feature)으로써 한국어 사전학습 모델(KLUE-RoBERTa)의 다양한 은닉 계층 별 은닉 상태(hidden states)를 활용하였을 때 결과를 비교 분석하고 가장 적합한 은닉 계층을 제시한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권12호
• /
• pp.531-536
• /
• 2014

인터넷에서 사용 가능한 수많은 정보로 인해서 대용량의 문서를 다루는 기술은 점차 그 필요성이 증가되어 왔지만, 효과적으로 문서 내 정보를 처리하기 위한 기술의 문제는 여전히 풀어야 할 과제로 남아 있다. 자동문서 요약 기술은 문서 내 중요한 부분을 유지하고, 중복된 내용을 제거함으로써 이러한 대용량의 문서를 처리하는 데 중요한 방법으로 인식되어 왔다. 본 논문에서는 이러한 요약문을 만들 때 중요도를 결정하는 문제를 해결하기 위해서 퍼지 이론을 이용한 문서 요약 기술을 제안한다. 제안된 요약 기술은 중요도를 결정하는 여러 특징들의 애매모호한 문제를 해결하고, 그 실험결과는 기존의 다른 방법과 비교해서 전반적으로 높은 결과를 보인다.

• 한국정보시스템학회지:정보시스템연구
• /
• 제28권3호
• /
• pp.105-121
• /
• 2019

Purpose One of the reasons for the expansion of information systems in the enterprise is the increased efficiency of data analysis. In particular, the rapidly increasing data types which are complex and unstructured such as video, voice, images, and conversations in and out of social networks. The purpose of this study is the customer needs analysis from customer voices, ie, text data, in the web environment.. Design/methodology/approach As previous study results, the word frequency of the sentence is extracted as a word that interprets the sentence has better affects than frequency analysis. In this study, we applied the TF-IDF method, which extracts important keywords in real sentences, not the TF method, which is a word extraction technique that expresses sentences with simple frequency only, in Korean language research. We visualized the two techniques by cluster analysis and describe the difference. Findings TF technique and TF-IDF technique are applied for Korean natural language processing, the research showed the value from frequency analysis technique to semantic analysis and it is expected to change the technique by Korean language processing researcher.

• 정보처리학회논문지B
• /
• 제14B권3호
• /
• pp.223-230
• /
• 2007

영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 연구에서는 영작문 중 여러 문장이나 단락으로 구성된 에세이가 아닌 단문형의 영작문을 채점하는 시스템을 개발하였다. 단일 문장을 채점하기 때문에 정답 문장과 좀 더 자세한 비교를 할 수 있고 수험자들에게 좀 더 상세한 피드백을 제공해 줄 수 있다. 단일 문장을 채점하기 위해서는 크게 두 단계의 처리가 요구된다. 첫 번째 단계는 문장내의 오류를 탐지하는 과정으로, 수험자의 영작문을 분석하여 문장 내에 포함되어 있을 수 있는 철자 및 구문 오류를 검사한다. 둘째 단계는 문장 간 오류를 탐지하는 과정으로 문제 출제자가 제공한 정답문장과 수험자의 영작문을 비교하여 두 문장 사이의 차이를 오류로 인식한다. 실제로 중학교 3학년 학생들을 대상으로 영작문 시험을 수행하였고, 이를 본 연구에서 개발한 영작문 자동 채점 시스템을 이용하여 채점해 보았다 인간 채점자와의 비교를 통해서 영작문 자동 채점 시스템의 효용성을 살펴보았다.

• 컴퓨터교육학회논문지
• /
• 제21권6호
• /
• pp.105-115
• /
• 2018

서술형 문항은 수준 높은 사고능력 평가에 적합하나 채점이 쉽지 않다. 동일한 채점기준을 적용하더라도 채점자마다 서로 다른 채점을 할 수 있으므로 객관적인 채점 시스템이 필요하다. 그렇지만 채점 시스템을 구축하기 위해서는 표현 언어인 한국어 분석이 전제되어야 한다. 특히 서술형 문항의 답변은 단문형태가 아닌 복문이 내포된 복합 문장으로 표현되기 때문에 복합문의 한국어 분석이 이루어져야 한다. 본 연구는 이와 같은 서술형 문항의 자동 채점을 위해 한국어의 복합문을 구문의미 분석하는 시스템을 개발하고 시스템의 성능을 분석하였다. 이 시스템은 의미속성 사전을 활용하여 대상 구문의 의미적 제한조건을 검사하고 적합한 피수식 대상을 선별하여 구문의미분석을 실행한다. 실험 데이터에 대해 93%의 정확률을 얻어 제안한 시스템이 효과있음을 알 수 있었다. 본 연구의 시스템은 서술형 문항 채점에 활용할 수 있고 한국어 처리의 응용영역에 활용할 수 있을 것으로 기대된다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권4호
• /
• pp.169-178
• /
• 2022

형태소는 더 이상 분리하면 본래의 의미를 잃어버리는 말의 최소 단위이다. 한국어에서 문장은 공백으로 구분되는 어절(단어)의 조합이다. 형태소 분석은 어절 단위의 문장을 입력 받아서 문맥 정보를 활용하여 형태소 단위로 나누고 각 형태소에 적절한 품사 기호를 부착한 결과를 생성하는 것이다. 한국어 자연어 처리에서 형태소 분석은 가장 핵심적인 태스크다. 형태소 분석의 성능 향상은 한국어 자연어 처리 태스크의 성능 향상에 직결된다. 최근 형태소 분석은 주로 기계 번역 관점에서 연구가 진행되고 있다. 기계 번역은 신경망 모델 등으로 어느 한 도메인의 시퀀스(문장)를 다른 도메인의 시퀀스(문장)로 바꾸는 것이다. 형태소 분석을 기계 번역 관점에서 보면 어절 도메인에 속하는 입력 시퀀스를 형태소 도메인 시퀀스로 변환하는 것이다. 본 논문은 한국어 형태소 분석을 위한 딥러닝 모델을 제안한다. 본 연구에서 사용하는 모델은 기계 번역에서 높은 성능을 기록한 BERT-fused 모델을 기반으로 한다. BERT-fused 모델은 기계 번역에서 대표적인 Transformer 모델과 자연어 처리 분야에 획기적인 성능 향상을 이룬 언어모델인 BERT를 활용한다. 실험 결과 형태소 단위 F1-Score 98.24의 성능을 얻을 수 있었다.