• Title/Summary/Keyword: 언어자원 구축

Search Result 136, Processing Time 0.028 seconds

Cross-Lingual Style-Based Title Generation Using Multiple Adapters (다중 어댑터를 이용한 교차 언어 및 스타일 기반의 제목 생성)

  • Yo-Han Park;Yong-Seok Choi;Kong Joo Lee
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.8
    • /
    • pp.341-354
    • /
    • 2023
  • The title of a document is the brief summarization of the document. Readers can easily understand a document if we provide them with its title in their preferred styles and the languages. In this research, we propose a cross-lingual and style-based title generation model using multiple adapters. To train the model, we need a parallel corpus in several languages with different styles. It is quite difficult to construct this kind of parallel corpus; however, a monolingual title generation corpus of the same style can be built easily. Therefore, we apply a zero-shot strategy to generate a title in a different language and with a different style for an input document. A baseline model is Transformer consisting of an encoder and a decoder, pre-trained by several languages. The model is then equipped with multiple adapters for translation, languages, and styles. After the model learns a translation task from parallel corpus, it learns a title generation task from monolingual title generation corpus. When training the model with a task, we only activate an adapter that corresponds to the task. When generating a cross-lingual and style-based title, we only activate adapters that correspond to a target language and a target style. An experimental result shows that our proposed model is only as good as a pipeline model that first translates into a target language and then generates a title. There have been significant changes in natural language generation due to the emergence of large-scale language models. However, research to improve the performance of natural language generation using limited resources and limited data needs to continue. In this regard, this study seeks to explore the significance of such research.

A Client-Server Model for Online Practicing Environment (온라인 실습환경 구축을 위한 클라이언트-서버 모델)

  • Lee, Su-Hyun
    • Journal of The Korean Association of Information Education
    • /
    • v.3 no.1
    • /
    • pp.143-152
    • /
    • 1999
  • 컴퓨터 관련 교육에 있어서 실험과 실습은 교육 내용의 효과적인 전달과 교육의 목적 달성을 위하여 대단히 중요한 부분이다. 현재의 환경에서 소프트웨어의 실험과 실습을 위해서는 실습하고자 하는 프로그램을 실습자가 사용하는 컴퓨터에 모두 설치하여야 한다. 실습 프로그램을 개별적으로 갖추는 것은 설치에 대한 부담, 설치에 의한 자원 낭비, 업그레이드의 필요성등으로 인해서 실습 자체와는 직접적인 관련이 없는 부분에 대한 부담이 커진다. 본 논문에서는 WWW 환경에서 컴퓨터 관련 교과를 실습할 수 있는 환경을 구축하기 위한 기본적인 모델을 제시하는데 그 목적이 있다. 제안된 모델은 클라이언트-서버 구조를 기반으로 하여 구축되었으며, 실습자는 웹 브라우저를 실행함으로써 실습에 대한 준비가 끝나며, 프로그램의 실행이나 처리는 서버에서 모두 이루어진다. 또한 WWW에서 제공하는 하이퍼링크 기능을 이용하여 실습에 관련된 사항이나 정보를 실습 환경 속에 포함할 수 있어 실습을 위한 통합된 환경을 제공한다. 제안된 모델의 유용성을 검증하기 위하여 본 논문에서는 다양한 프로그래밍 언어를 실습하기 위한 시스템, UNIX 운영체제 실습 시스템, 오라클 데이타베이스 실습 시스템을 제안된 모델을 이용하여 구현하였다.

  • PDF

Opne API for semantic technology (시맨틱 기술 개발을 지원하기 위한 Open API)

  • Park, Jeong-Won;Nam, Se-Jin;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.111-115
    • /
    • 2009
  • 현재 Open API는 프로그램 개발 및 정보의 제공 등 다양한 방향에서 많이 활용 되고 있다. Open API는 개발된 기술을 웹으로 공개하여 네트워크가 연결된 곳이라면 어디서든지 그 기술을 활용할 수 있다. 잘 개발된 Open API는 매쉬업을 통해 또 다른 기술과 합쳐 새로운 서비스를 개발하는 등 그 활용빈도가 높다. 이미 개발된 기술을 활용할 수 있어서 개발 속도가 단축되고 새로운 서비스를 개발하면서 기존의 부족한 부분을 합쳐 더욱 창의적인 정보 제공이 가능하다. 이러한 Open API의 특성을 이용하여 시맨틱 기술 개발을 지원할 수 있으며, 개발 시간 단축 및 관계 설정, 온톨로지 제공 등을 네트워크를 통해 사용자들에게 제공하고 활용할 수 있는 방법을 제시한다. 시맨틱 기술은 사람이 글을 읽고 의미를 이해하는 것처럼 컴퓨터가 이해할 수 있는 언어와 규칙들을 정해 놓아 컴퓨터 사이의 의사소통을 가능하게 하는 지능형 기술이다. 이런 시맨틱 기술 개발을 지원하기 위하여 Open API를 통해 온톨로지의 개념 및 속성, 관계 설정, 코퍼스 등을 제공하기 하기 위해 CoreOnto API라는 것을 구축했다. CoreOnto API는 네트워크에서 사용할 수 있는 Open API로 세가지의 큰 형태의 Open API를 제공하고 있다. 첫 번째, 온톨로지에 대한 클래스, 속성, 관계를 제공하는 APIs, 두 번째, 트리플(두개의 용어가 어떤 관계인지를 표현한 형태로 구성(용어1, 관계, 용어2)) 생성 및 구축된 트리플을 검색할 수 APIs, 세 번째, 온톨로지를 생성하기 위해 필요한 자원(온톨로지 명, 개체명, 관계, 코퍼스 등)을 제공하는 APIs로 구성했다. 이상과 같이 시맨틱 기술 개발을 지원하기 위한 큰 형태의 세 가지 APIs를 구축하는 방법과 APIs의 활용, 그리고 서비스를 테스트한 결과를 제시한다.

  • PDF

A Study on Semi-Automatic Construction of Verb Patterns for a Korean-Chinese MT System (한중 기계번역 시스템을 위한 동사구 패턴 반자동 확장 방안 연구)

  • Hong, Mun-Pyo;Ryu, Cheol;Kim, Young-Kil;Park, Sang-Kyu
    • Annual Conference on Human and Language Technology
    • /
    • 2003.10d
    • /
    • pp.273-278
    • /
    • 2003
  • 본 논문에서는 한-중 기계번역 시스템에서 사용되는 한중 동사구 패턴의 반자동 생성을 위한 방법론을 제안한다. 한중 동사구 패턴은 한국어와 중국어간의 변환을 위한 정보를 제공할 뿐만 아니라, 한국어의 구문분석과 중국어의 생성을 위해 중요한 정보를 제공하는 고급 언어자원이다. 본 논문에서 제시하는 새로운 패턴 반자동확장 방안은 기존의 한중 동사구 패턴으로부터 대역어 정보를 이용하여 새로운 동사구 패턴을 생성해내는 방법이다. 본 방법론은 시스템 개발 초기에 일반적으로 이루어지는 사전기반 패턴 구축이 끝난 후, 패턴의 커버리지 문제를 해결하기 위해 실용적으로 적용할 수 있는 방법론으로서, 한국어와 중국어 같이 활용 가능한 대역 코퍼스가 아직 많지 않은 경우에 효과적이다. 본 논문에서 제시한 방법론은 실험 결과 67.15%의 정확률과 4.58배의 패턴 확장률을 나타냈다.

  • PDF

Development of Machine Translation Technology Customized at Restricted Domain - Focusing on English-Korean Patent Translator - (제한된 도메인에 특화된 기계번역 기술 개발 - 특허 전문 영한 번역기를 중심으로 -)

  • Choi, Sung-Kwon;Park, Eun-Jin;Kim, Young-Kil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.687-689
    • /
    • 2007
  • 본 논문은 2005 년부터 2006 년도까지 정보통신부의 지원 하에 한국전자통신연구원 언어처리연구팀에서 성공적으로 개발하여 현재 산업자원부 특허지원센터에서 대용량의 영어 특허문서를 대상으로 한국어 자동번역 서비스를 제공하고 있는 특허 전문 영한 번역기에 대해 기술한다. 특히 본 논문에서는 일반 도메인을 대상으로 한 기존의 영한 번역기를 제한된 도메인을 대상으로 한 영한번역기로 개량하고자 할 때, 개량하는 방법으로써 제한된 도메인에 대한 특화 절차에 대해서 기술한다. 이와 같이 특화 절차에 따라 구축된 특허 전문 영한 번역기 번역률을 특허 분야 중에 주요 5개 분야(기계, 전기전자, 화학일반, 의료위생, 컴퓨터)에 대해 특허전문번역가가 평가한 결과, 평균 82.43%가 나왔다. 또한 전기전자 분야 특허문서를 대상으로 특허 전문 영한 번역기와 일반 도메인을 대상으로 한 영한 번역기와의 번역률을 평가한 결과, 특허 전문 영한 번역기는 82.20%, 일반 도메인 대상 영한 번역기는 54.25%의 번역률을 내어, 특허에 특화된 특허 전문 영한 번역기가 특화되지 않은 일반 도메인의 영한 번역기에 비해 27.95%나 더 높은 결과를 알 수 있었다.

Study on Zero-shot based Quality Estimation (Zero-Shot 기반 기계번역 품질 예측 연구)

  • Eo, Sugyeong;Park, Chanjun;Seo, Jaehyung;Moon, Hyeonseok;Lim, Heuiseok
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.11
    • /
    • pp.35-43
    • /
    • 2021
  • Recently, there has been a growing interest in zero-shot cross-lingual transfer, which leverages cross-lingual language models (CLLMs) to perform downstream tasks that are not trained in a specific language. In this paper, we point out the limitations of the data-centric aspect of quality estimation (QE), and perform zero-shot cross-lingual transfer even in environments where it is difficult to construct QE data. Few studies have dealt with zero-shots in QE, and after fine-tuning the English-German QE dataset, we perform zero-shot transfer leveraging CLLMs. We conduct comparative analysis between various CLLMs. We also perform zero-shot transfer on language pairs with different sized resources and analyze results based on the linguistic characteristics of each language. Experimental results showed the highest performance in multilingual BART and multillingual BERT, and we induced QE to be performed even when QE learning for a specific language pair was not performed at all.

A Web-Based Multimedia Dictionary System Supporting Media Synchronization (미디어 동기화를 지원하는 웹기반 멀티미디어 전자사전 시스템)

  • Choi, Yong-Jun;Hwang, Do-Sam
    • Journal of Korea Multimedia Society
    • /
    • v.7 no.8
    • /
    • pp.1145-1161
    • /
    • 2004
  • The purpose of this research is to establish a method for the construction of a multimedia electronic dictionary system by integrating the media data available from linguistic resources on the Internet. As the result of this study, existing text-oriented electronic dictionary systems can be developed into multimedia lexical systems with greater efficiency and effectiveness. A method is proposed to integrate the media data of linguistic resources on the Internet by a web browser. In the proposed method, a web browser carries out all the work related to integration of media data, and it does not need a dedicated server system. The system constructed by our web browser environment integrates text, image, and voice sources, and also can produce moving pictures. Each media is associated with the meaning of data so that the data integration and movement may be specified in the associations. SMIL documents are generated by analyzing the meaning of each data unit and they are executed in a web browser. The proposed system can be operated without a dedicated server system. And also, the system saves storage space by sharing the each media data distributed on the Internet, and makes it easier to update data.

  • PDF

Method Customizing From Web-based English-Korean MT System To English-Korean MT System for Patent Documents (웹 영한 번역기로부터 특허 영한 번역기로의 특화 방법)

  • Choi, Sung-Kwon;Kwon, Oh-Woog;Lee, Ki-Young;Roh, Yoon-Hyung;Park, Sang-Kyu
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.57-64
    • /
    • 2006
  • 본 논문에서는 웹과 같은 일반적인 도메인의 영한 자동 번역기를 특허용 영한 자동번역기로 특화하는 방법에 대해 기술한다. 특허용 영한 파동번역기로의 특화는 다음과 같은 절차에 의해 이루어진다: 1) 대용량 특허 문서에 대한 언어학적 특성 분석, 2) 대용량 특허문서 대상 전문용어 추출 및 대역어 구축, 3) 기존 번역사전 대역어의 특화, 4) 특허문서 고유의 번역 패턴 추출 및 구축, 5) 언어학적 특성 분석에 따른 번역 엔진 모듈의 특화 및 개선, 6) 특화된 번역 지식 및 번역 엔진 모듈에 따른 번역률 평가. 이와 같은 절차에 의해 만들어진 특허 영한 자동 번역기는 특허 전문번역가의 평가에 의해 전분야 평균 81.03%의 번역률을 내었으며, 분야별로는 기계분야(80.54%), 전기전자분야(81.58%), 화학일반분야(79.92%), 의료위생분야(80.79%), 컴퓨터분야(82.29%)의 성능을 보였으며 계속 개선 중에 있다. 현재 본 논문에서 기술된 영한 특허 자동번역 시스템은 산업자원부의 특허지원센터에서 변리사 및 특허 심사관이 영어 전기전자분야 특허 문서를 검색할 때 한국어 번역서비스를 제공받도록 이용되고 있으며($\underline{http://www.ipac.or.kr}$), 2007년에는 전분야 특허문서에 대한 영한 자동번역 서비스를 제공할 예정이다.

  • PDF

News in a Nutshell: A Korean Headline-Style Summarization Dataset (요점만 남긴 신문 기사: 한국어 표제 형식 문서 요약 데이터셋)

  • Kwon, Hongseok;Go, Byunghyun;Park, Juhong;Lee, Myungjee;Oh, Jaeyoung;Heo, Dam;Lee, Jonghyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.47-53
    • /
    • 2020
  • 문서 요약은 주어진 문서에서 핵심 내용만을 남긴 간결한 요약문을 생성하는 일로 자연어처리의 주요 분야 중 하나이다. 최근 방대한 데이터로부터 심층 신경망 표상을 학습하는 기술의 발전으로 문서 요약 기술이 급진적으로 진화했다. 이러한 데이터 기반 접근 방식에는 모델의 학습을 위한 양질의 데이터가 필요하다. 그러나 한국어와 같이 잘 알려지지 않은 언어에 대해서는 데이터의 획득이 쉽지 않고, 이를 구축하는 것은 많은 시간과 비용을 필요로 한다. 본 논문에서는 한국어 문서 요약을 위한 대용량 데이터셋을 소개한다. 데이터셋은 206,822개의 기사-요약 쌍으로 구성되며, 요약은 표제 형식의 여러 문장으로 되어 있다. 우리는 구축한 학습 데이터의 적합성을 검증하기 위해 수동 평가 및 여러 주요 속성에 대해 분석하고, 기존 여러 문서 요약 시스템에 학습 및 평가하여 향후 문서 요약 벤치마크 데이터셋으로써 기준선을 제시한다. 데이터셋은 https://github.com/hong8e/KHS.git의 스크립트를 통해 내려받을 수 있다.

  • PDF

A Meta Scheduling Framework for Workflow Service on the Grid (그리드 환경에서 워크플로우 서비스를 제공하기 위한 메타 스케줄링 프레임워크)

  • 황석찬;최재영
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.10 no.5
    • /
    • pp.375-384
    • /
    • 2004
  • The Grid is new infrastructure to provide computing environment for grand challenge research by sharing large-scale resources. Currently the Globus becomes a de facto standard middleware to construct Grid and supports core services such as resource management, security, data transfer, information services, and so on. However, it still needs more works and researches to satisfy requirements from various grid applications. A workflow management is becoming a main service as one of the important grid services for complex grid applications. We propose a Meta Scheduling Framework (MSF) in this paper. The MSF provides a XML-based Job Control Markup Language (JCML) for describing information and procedures of grid applications, and a workflow management service for scheduling the job using the JCML and for processing the job effectively.