• 제목/요약/키워드: Multilingual Processing

검색결과 41건 처리시간 0.015초

다국어 정보처리를 위한 불어 전처리에 관한 연구 (Preprocessing of the French Sentence for Multilingual Information Processing)

  • 서래원;박세원;유성준
    • 한국정보처리학회논문지
    • /
    • 제7권4호
    • /
    • pp.1132-1140
    • /
    • 2000
  • The purpose of this paper was to present the method of progress efficiency of morphosyntaxical analyzer for French information processing in the view of multilingual information processing. This study indicated that he method prohibit the additional useless word type by decomposing word type by decomposing works which were created by morphological amalgamation. Findings also suggested the need of preprocessing in order to decrease the overload of morphosyntaxical analysis algorithm. In addition, general rules were proposed to divide word form and to decompose complex sentence.

  • PDF

A multilingual grammar model of honorification: using the HPSG and MRS formalism

  • Song, Sanghoun
    • 한국언어정보학회지:언어와정보
    • /
    • 제20권1호
    • /
    • pp.25-49
    • /
    • 2016
  • Honorific forms express the speaker's social attitude to others and also indicate the social ranks and level of intimacy of the participants in the discourse. In a cross-linguistic perspective of grammar engineering, modelling honorification has been regarded as a key strategy for improving language processing applications. Using the HPSG and MRS formalism, this article provides a multilingual grammar model of honorification. The present study incorporates the honorific information into the Meaning Representation System (MRS) via Individual Constraints (ICONS), and then conducts an evaluation to see if the model contributes to semantics-based language processing.

  • PDF

Combination of Classifiers Decisions for Multilingual Speaker Identification

  • Nagaraja, B.G.;Jayanna, H.S.
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.928-940
    • /
    • 2017
  • State-of-the-art speaker recognition systems may work better for the English language. However, if the same system is used for recognizing those who speak different languages, the systems may yield a poor performance. In this work, the decisions of a Gaussian mixture model-universal background model (GMM-UBM) and a learning vector quantization (LVQ) are combined to improve the recognition performance of a multilingual speaker identification system. The difference between these classifiers is in their modeling techniques. The former one is based on probabilistic approach and the latter one is based on the fine-tuning of neurons. Since the approaches are different, each modeling technique identifies different sets of speakers for the same database set. Therefore, the decisions of the classifiers may be used to improve the performance. In this study, multitaper mel-frequency cepstral coefficients (MFCCs) are used as the features and the monolingual and cross-lingual speaker identification studies are conducted using NIST-2003 and our own database. The experimental results show that the combined system improves the performance by nearly 10% compared with that of the individual classifier.

최신 기계번역 품질 예측 연구 (Research on Recent Quality Estimation)

  • 어수경;박찬준;문현석;서재형;임희석
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.37-44
    • /
    • 2021
  • 기계번역 품질 예측(Quality Estimation, QE)은 정답 문장(Reference sentence) 없이도 기계번역 결과의 질을 평가할 수 있으며, 활용도가 높다는 점에서 그 필요성이 대두되고 있다. Conference on machine translation(WMT)에서 매년 이와 관련한 shared task가 열리고 있고 최근에는 대용량 데이터 기반 Pretrained language model(PLM)을 적용한 연구들이 주로 진행되고 있다. 본 논문에서는 기계번역 품질 예측 task에 대한 설명 및 연구 동향에 대한 전반적인 survey를 진행했고, 최근 자주 활용되는 PLM의 특징들에 대해 정리하였다. 더불어 아직 활용된 바가 없는 multilingual BART 모델을 이용하여 기존 연구들인 XLM, multilingual BERT, XLM-RoBERTa와 의 비교 실험 및 분석을 진행하였다. 실험 결과 어떤 사전 학습된 다중언어 모델이 QE에 적용했을 때 가장 효과적인지 확인하였을 뿐 아니라 multilingual BART 모델의 QE 태스크 적용 가능성을 확인했다.

Syntactic Structured Framework for Resolving Reflexive Anaphora in Urdu Discourse Using Multilingual NLP

  • Nasir, Jamal A.;Din, Zia Ud.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권4호
    • /
    • pp.1409-1425
    • /
    • 2021
  • In wide-ranging information society, fast and easy access to information in language of one's choice is indispensable, which may be provided by using various multilingual Natural Language Processing (NLP) applications. Natural language text contains references among different language elements, called anaphoric links. Resolving anaphoric links is a key problem in NLP. Anaphora resolution is an essential part of NLP applications. Anaphoric links need to be properly interpreted for clear understanding of natural languages. For this purpose, a mechanism is desirable for the identification and resolution of these naturally occurring anaphoric links. In this paper, a framework based on Hobbs syntactic approach and a system developed by Lappin & Leass is proposed for resolution of reflexive anaphoric links, present in Urdu text documents. Generally, anaphora resolution process takes three main steps: identification of the anaphor, location of the candidate antecedent(s) and selection of the appropriate antecedent. The proposed framework is based on exploring the syntactic structure of reflexive anaphors to find out various features for constructing heuristic rules to develop an algorithm for resolving these anaphoric references. System takes Urdu text containing reflexive anaphors as input, and outputs Urdu text with resolved reflexive anaphoric links. Despite having scarcity of Urdu resources, our results are encouraging. The proposed framework can be utilized in multilingual NLP (m-NLP) applications.

다국어 사용자 후기에 대한 속성기반 감성분석 연구 (A study on the aspect-based sentiment analysis of multilingual customer reviews)

  • 지성영;이시윤;최대우;강기훈
    • 응용통계연구
    • /
    • 제36권6호
    • /
    • pp.515-528
    • /
    • 2023
  • 전자상거래 시장의 성장과 더불어 소비자들은 상품 및 서비스 구매 시 다른 사용자가 작성한 후기 정보에 기반하여 구매 의사를 결정하게 되며 이러한 후기를 효과적으로 분석하기 위한 연구가 활발히 이루어지고 있다. 특히, 사용자 후기에 대해 단순 긍/부정으로 감성분석하는 것이 아니라 다면적으로 분석하는 속성기반 감성분석 방법이 주목받고 있다. 속성기반 감성분석을 위한 다양한 방법론 중 최신 자연어 처리 기술인 트랜스포머 계열 모델을 활용한 분석 방법이 있다. 본 논문에서는 최신 자연어 처리 기술 모델에 두 가지 실제 데이터를 활용하여 다국어 사용자 후기에 대한 속성기반 감성분석을 진행하였다. 공개된 데이터 셋인 SemEval 2016의 Restaurant 데이터와 실제 화장품 도메인에서 작성된 다국어 사용자 후기 데이터를 활용하여 속성기반 감성분석을 위한 트랜스포머 계열 모델의 성능을 비교하였고 성능 향상을 위한 다양한 방법론도 적용하였다. 다국어 데이터를 활용한 모델을 통해 언어별로 별도의 모델을 구축하지 않고 한가지 모델로 다국어를 분석할 수 있다는 점에서 효용 가치가 클 것으로 예상된다.

사건 어휘의 특성을 반영한 다국어 사건 연결 탐색 (Multilingual Story Link Detection based on Properties of Event Terms)

  • 이경순
    • 정보처리학회논문지B
    • /
    • 제12B권1호
    • /
    • pp.81-90
    • /
    • 2005
  • 본 논문에서는 다국어 뉴스에 대해서 '시간' 요소와 '언어 공간' 요소를 사건 어휘의 가중치 계산에 반영하는 다국어 사건 연결 탐색하는 방법을 제안한다. 시간의 흐름과 다국어 공간상에서 어휘의 분포 특성을 어휘의 가중치로 반영하여 사건 중심 어휘에 변별력을 줌으로써 같은 사건을 다루는 문서를 탐색하도록 한다. 시간상에서 어휘가중치는 전체 시간의 모든 문서집합에서의 어휘 분포와 특정 시간의 문서집합에서의 어휘 분포를 비교함으로써 계산하고, 그 특정 시간의 어휘의 가중치로 표현한다. 두 개의 언어는 하나의 언어에서보다 더 많은 정보를 줄 수 있기 때문에, 각 언어공간에서 어휘의 중요도를 측정하고, 다국어 처리에서 다른 언어 공간에서의 정보를 참조함으로써 언어 공간에서의 참조 역할을 하도록 한다. 본 논문의 실험에서는 같은 기간의 한국어와 일본어 신문기사에 대해서 사건 연결 탐색 성능을 평가하였다. 일반적인 가중치 기법인 tfidf 가중치 기법과의 비교 평가에서, 제안 방법이 단일언어 문서쌍에 대한 사건 연결 탐색은 $14.3{\%}$, 다국어 문서쌍에 대한 사건 연결 탐색에서는 $16.7{\%}$의 성능 향상을 보였다. 제안한 가중치 요소에 대한 유효성을 검증하기 위해, 공간 밀집도를 측정하였는데, 같은 사건을 나타내는 문서들의 그룹에서는 높은 밀집도를 나타냈고, 서로 다른 사건을 나타내는 문서들의 그룹에서는 낮은 밀집도를 나타냈다. 이 결과를 통해서 시간과 공간 요소를 반영한 사건 어휘 가중치 방법이 단일언어 사건 연결 탐색뿐만 아니라 다국어 사건 연결 탐색에 효과적이라고 볼 수 있다.

다중 언어 인명 검색에 관한 연구 (A Study on a Multilingual name Retrieval)

  • 조영화;송재용;류근호
    • 한국정보처리학회논문지
    • /
    • 제5권9호
    • /
    • pp.2271-2280
    • /
    • 1998
  • 이 논문은 로마자 표기 한글 인명의 효율적 검색 방안의 제시와 규칙기반 다중 언어 인명 검색 시스템의 설계에 관한 것이다. 기존의 서지 정보 검색 시스템이나 논문 검색 시스템에서 사람마다 제각기 표기되고 있는 로마자표기 한글 인명을 효율적으로 검색하는데 상당한 어려움이 따랐다. 예를 들어, 한글 인명 "홍길동"의 로마자 표기는 "Hong, gildong", "Gildong Hong", "Hong Kil dong", "Hong kil-dong"등 철자나 표기 양식이 매우 다양하다.이 논문에서는 이렇게 다양하게 표기되는 로마자 표기 한글 인명을 효율적으로 검색하기 위해 규칙기반을 이용한 질의 확장법을 제안하고 질의분류기, 예외처리기, 질의확장기, 질의실행기, 예외규정집, 규칙기반으로 구성된 다중 언어 인명 검색 시스템을 설계한다. 또한 인명생성기의 구현과 실행을 통해 규칙기반 질의 확장법의 효율적 검색 가능성을 보이도록 한다.

  • PDF

언어별 웹 화면 제공 시스템 (Multilingual Web-Page Providing system)

  • 진성근;이재경
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (하)
    • /
    • pp.1545-1548
    • /
    • 2000
  • 본 고는 인터넷 이용자가 원하는 웹페이지 링크시 발생할 수 있는 여러 가지 문제 중, 언어적인 장벽을 해결하기 위한 시스템을 설계하고 이를 이용하여 언어적인 문제를 해결할 수 있는 방법을 제시한다. 인터넷 이용자의 DNS 서버와 로컬 데이터베이스를 이용하여 인터넷 이용자의 언어 정보를 추정하고, 추정한 언어로 구성된 웹페이지를 인터넷 이용자에게 제공하는 시스템을 설계한 것이다. 이로 인해, 인터넷 이용자들에게 발생하는 언어적인 장벽 문제 해결, 웹페이지 상에서의 불필요한 클릭 수 감소, 웹페이지 링크 수 증가, 시간 절약 등의 여러 가지 편의를 제공할 수 있다.

  • PDF

한국어 어휘의미망 "KorLex 1.5"의 구축 (Construction of Korean Wordnet "KorLex 1.5")

  • 윤애선;황순희;이은령;권혁철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권1호
    • /
    • pp.92-108
    • /
    • 2009
  • 1980년대 중반부터 지난 20여 년간 구축해 온 영어 워드넷(PWN)은 인간의 심상어휘집을 재현하려는 목적으로 개발되기 시작하였으나, 그 활용 가능성에 주목한 것은 자연언어처리와 지식공학 분야다. 컴퓨터 매개 의사소통(CMC), 인간-컴퓨터 상호작용(HCI)에서 인간 언어를 자연스럽게 사용하여 필요한 정보를 획득하기 위해서는 의미와 지식의 처리가 필수적인데, 그 해결의 실마리를 어휘라는 실체를 가진 언어단위에서 찾을 수 있기 때문이다. 이후 전 세계적으로 약 50개 언어의 어휘의미망이 PWN을 참조모델로 구축되어 다국어처리의 기반을 제공할 뿐 아니라, 시맨틱 웹 이후 더욱 주목받고 다양한 방식으로 활용되고 있다. 이 논문은 PWN을 참조 모텔로 2004년부터 2007년까지 구축한 한국어 어휘의미망 KorLex 1.5를 소개하는 데 있다. 현재 KorLex는 명사, 동사, 형용사, 부사 및 분류사로 구성되며, 약 13만 개의 신셋과 약 15만 개의 어의를 포함하고 있다.