• 제목/요약/키워드: Copy mechanism

검색결과 78건 처리시간 0.02초

Copy Mechanism과 Input Feeding을 이용한 End-to-End 한국어 문서요약 (End-to-end Document Summarization using Copy Mechanism and Input Feeding)

  • 최경호;이창기
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.56-61
    • /
    • 2016
  • 본 논문에서는 Sequence-to-sequence 모델을 생성요약의 방법으로 한국어 문서요약에 적용하였으며, copy mechanism과 input feeding을 적용한 RNN search 모델을 사용하여 시스템의 성능을 높였다. 인터넷 신문기사를 수집하여 구축한 한국어 문서요약 데이터 셋(train set 30291 문서, development set 3786 문서, test set 3705문서)으로 실험한 결과, input feeding과 copy mechanism을 포함한 모델이 형태소 기준으로 ROUGE-1 35.92, ROUGE-2 15.37, ROUGE-L 29.45로 가장 높은 성능을 보였다.

  • PDF

복사 방법론과 입력 추가 구조를 이용한 End-to-End 한국어 문서요약 (End-to-end Korean Document Summarization using Copy Mechanism and Input-feeding)

  • 최경호;이창기
    • 정보과학회 논문지
    • /
    • 제44권5호
    • /
    • pp.503-509
    • /
    • 2017
  • 본 논문에서는 copy mechanism과 input feeding 추가한 RNN search 모델을 end-to-end 방식으로 한국어 문서요약에 적용하였다. 또한 시스템의 입출력으로 사용하는 데이터를 음절단위, 형태소단위, hybrid 단위의 토큰화 형식으로 처리하여 수행한 각각의 성능을 구하여, 모델과 토큰화 형식에 따른 문서요약 성능을 비교한다. 인터넷 신문기사를 수집하여 구축한 한국어 문서요약 데이터 셋(train set 30291 문서, development set 3786 문서, test set 3705문서)으로 실험한 결과, 형태소 단위로 토큰화 하였을 때 우수한 성능을 확인하였으며, GRU search에 input feeding과 copy mechanism을 추가한 모델이 ROUGE-1 35.92, ROUGE-2 15.37, ROUGE-L 29.45로 가장 높은 성능을 보였다.

Copy Mechanism과 Input Feeding을 이용한 End-to-End 한국어 문서요약 (End-to-end Document Summarization using Copy Mechanism and Input Feeding)

  • 최경호;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.56-61
    • /
    • 2016
  • 본 논문에서는 Sequence-to-sequence 모델을 생성요약의 방법으로 한국어 문서요약에 적용하였으며, copy mechanism과 input feeding을 적용한 RNN search 모델을 사용하여 시스템의 성능을 높였다. 인터넷 신문기사를 수집하여 구축한 한국어 문서요약 데이터 셋(train set 30291 문서, development set 3786 문서, test set 3705문서)으로 실험한 결과, input feeding과 copy mechanism을 포함한 모델이 형태소 기준으로 ROUGE-1 35.92, ROUGE-2 15.37, ROUGE-L 29.45로 가장 높은 성능을 보였다.

  • PDF

VIA 기반 PC 클러스터 시스템을 위한 무복사 파일 전송 메커니즘의 개발 및 성능분석 (Development and Performance Study of a Zero-Copy File Transfer Mechanism for Ink-based PC Cluster Systems)

  • 박세진;정상화;최봉식;김상문
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.557-565
    • /
    • 2005
  • 본 논문에서는 VIA(Virtual Interface Architecture) 기반 클러스터 시스템 상에서 효과적인 파일 전송을 위한 무복사 파일 전송 메커니즘의 개발 및 구현에 관하여 나타내었다. VIA는 클러스터 시스템을 위한 대표적인 사용자 수준 통신 방법이지만 파일 전송에 대한 라이브러리는 제공하지 않으며 파일 전송을 위해서는 커널 공간에서 사용자 공간으로 한번의 데이타 복사가 필요하다. 본 논문의 파일 전송 메커니즘은 파일시스템의 수정 없이 파일 전송 라이브러리만 제공함으로써, 네트워크 인터페이스 카드가 보내고자 하는 노드의 파일을 상대방 노드의 사용자 버퍼로 복사 없이 전송 가능케 하였다. 이를 위해 본 연구에서는 PCI 64bit/66MHz를 지원하고 물리적 네트워크로 기가비트 이더넷을 사용하는 VIA 기반의 네트워크 카드를 개발하였고, 이를 바탕으로 무복사 파일 전송 메커니즘을 구현하였다. 이러한 구현의 결과로 sender 측의 데이타 복사 횟수 및 문맥전환 시간을 줄였고, 기존의 VIA의 send/receive에 비해 CPU 사용률을 $30\%\~40\%$ 정도로 줄일 수 있었다. 본 논문에서는 TCP/IP에서 제공하는 무복사 파일 전송 및 VIA에서 사용되는 파일 전송 방법과의 비교 분석 실험을 통하여 본 논문에서 제시한 무복사 파일 전송 메커니즘의 성능을 보였다.

딥러닝 기반 한국어 방언 기계번역 연구 (Deep Learning based Korean Dialect Machine Translation Research)

  • 임상범;박찬준;조재춘;양영욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.490-495
    • /
    • 2021
  • 표준어와 방언사이에는 위계가 존재하지 않고 열등하지 않다는 사상을 기반으로 방언을 보존하기 위한 다양한 노력들이 이루어지고있다. 또한 동일한 국가내에서 표준어와 방언간의 의사소통이 잘 이루어져야한다. 본 논문은 방언 연구보존과 의사소통의 중요성을 바탕으로 한국어 방언 기계번역 연구를 진행하였다. 대표적인 방언 중 하나인 제주어와 더불어 강원어, 경상어, 전라어, 충청어 기반의 기계번역 연구를 진행하였다. 공개된 AI Hub 데이터를 바탕으로 Transformer기반 copy mechanism을 적용하여 방언 기계번역의 성능을 높이는 모델링 연구를 진행하였으며 모델배포의 효율성을 위하여 Many-to-one기반 universal한 방언 기계번역기를 개발하였고 이를 one-to-one 모델과의 성능비교를 진행하였다. 실험결과 copy mechanism이 방언 기계번역 모델에 매우 효과적인 요소임을 알 수 있었다.

  • PDF

TCP/IP 에서의 Zero-copy 매커니즘 연구 (Study of Zero-copy Mechanism in TCP/IP)

  • 채병수;차승주
    • 한국정보전자통신기술학회논문지
    • /
    • 제1권2호
    • /
    • pp.131-136
    • /
    • 2008
  • 인터넷 네트워크를 통한 상호연결망에서 전체시스템의 성능향상을 위해서는 메시지 전송 지연시간을 줄이는 방법으로 수행된 연구는 정보와 데이터 유통경로로서 통신망이 네트워크로 구축된 접속 장치들로 중계기, 브리지, 라우터, 게이트웨이, TCP/IP(Transmission Control Protocol/Internet Protocol)프로토콜에 이르게 되었다. 여기서 TCP/IP 프로토콜 제 3계층인 사용자 데이터 프로그램 프로토콜(UDP)과 전송 제어 프로토콜(TCP)의 전송제어 계층에서 버퍼 캐시를 사용하지 않으므로 통신 속도를 줄일 수 있는 무 복사(zero-copy)로부터 소프트웨어 통신 지연시간을 다루어 통신 성능을 개선하려는 것이다.

  • PDF

리눅스 커널에서 네트워크 멀티미디어 서비스를 위한 메모리 복사 감소 기법 구현 (Implementation of Memory Copy Reduction Scheme for Networked Multimedia Service in Linux)

  • 김정원
    • 한국통신학회논문지
    • /
    • 제28권2B호
    • /
    • pp.129-137
    • /
    • 2003
  • MPEG(Motion Picture Expert Group)과 같은 멀티미디어 스트림은 연속적 재생으로 인해 데이터의 지속적인 디스크 검색을 요구한다. 따라서, 커널의 효율적인 지원이 필요한데, 유닉스 계열의 리눅스 버퍼 캐시 시스템은 비정기적이고 비실시간 데이터인 텍스트 데이터용으로 설계되었다. 대용량의 연속 미디어의 경우 커널 주소공간에서 사용자 주소공간으로의 대량의 복사가 이루어지므로 이 과정에서 CPU의 과중한 오버헤드가 발생한다. 이것은 시스템 처리율을 저하시킬 뿐만 아니라 QOS(Quality of Service)도 보장할 수 없다. 본 논문에서 이 메모리 복사 오버헤드를 감소시키기 위한 direct I/O와 one copy 기법을 리눅스 커널에서 설계 및 구현하였다. direct I/O는 디스크의 데이터를 커널 버퍼로 복사하지 않고 사용자 버퍼로 직접 복사하므로 CPU 오버헤드를 획기적으로 감소시킬 수 있다. 그리고, one-copy는 사용자 버퍼로 데이터를 복사하지 않고 직접 네트워크로 전송하는 기법이다. 구현 결과, CPU 오버헤드의 상당한 감소와 시스템의 처리율이 향상됨을 확인하였다.

복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 기반 문서 생성 요약 (Copy-Transformer model using Copy-Mechanism and Inference Penalty for Document Abstractive Summarization)

  • 전동현;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.301-306
    • /
    • 2019
  • 문서 생성 요약은 최근 딥러닝을 이용한 end-to-end 시스템을 통해 유망한 결과들을 보여주고 있어 연구가 활발히 진행되고 있는 자연어 처리 분야 중 하나이다. 하지만 문서 생성 요약 모델을 구성하기 위해서는 대량의 본문과 요약문 쌍의 데이터 셋이 필요한데, 이를 구축하기가 쉽지 않다. 따라서 본 논문에서는 정교한 뉴스 기사 요약 데이터 셋을 기계적으로 구축하는 방법을 제안한다. 또한 딥러닝 기반의 생성 요약은 입력 문서와 다른 정보를 생성하거나, 또는 같은 단어를 반복하여 생성하는 문제점들이 존재한다. 이를 해결하기 위해 요약문을 생성할 때 입력 문서의 내용을 인용하는 복사-메커니즘과, 추론 단계에서 단어 반복을 직접적으로 제어하는 페널티를 사용하면 상대적으로 안정적인 문장이 생성될 수 있다. 그리고 Transformer 모델은 순환 신경망 모델보다 요약문 생성 과정에서 시퀀스 길이가 긴 본문의 정보를 적절히 인코딩하여 줄 수 있는 모델이다. 따라서 본 논문에서는 복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 모델을 한국어 문서 생성 요약 데이터에 적용하였다. 네이버 지식iN 질문 요약 데이터 셋과 뉴스 기사 요약 데이터 셋 상에서 실험한 결과, 제안한 모델을 이용한 생성 요약이 비교 모델들 대비 가장 좋은 성능을 보이고 양질의 요약을 생성하는 것을 확인하였다.

  • PDF

Enhanced Client Polling with Multilevel Pre-Fetching Algorithm for Wireless Networks

  • Ahmad Nazrul Muhaimin;Geok Tan Kim
    • Journal of Communications and Networks
    • /
    • 제9권1호
    • /
    • pp.43-49
    • /
    • 2007
  • The implementation of client polling as a weak cache coherence mechanism has two major drawbacks: Firstly, the cache may return a stale copy if the object is changed in the origin server while the cached copy is considered valid. Secondly, the cache can invalidate a cached copy that is still valid in the server. Therefore, we propose a multilevel pre-fetching (MLP) in conjunction with the client polling to refine these drawbacks. MLP is introduced to improve the level of freshness among the cached objects. The simulation results presented in this paper show that the proposed MLP significantly minimizes the number of stale objects and reduces the invalidation messages sent out to the server, i.e., increase the cache HIT rate.

Zero-copy 기술을 이용한 PVM의 성능 개선 (Performance Improvement for PVM by Zero-copy Mechanism)

  • 임성택;심재홍;최경희;정기현;김재훈;문성근
    • 한국통신학회논문지
    • /
    • 제25권5B호
    • /
    • pp.899-912
    • /
    • 2000
  • PVM(Parallel Virtual Machine)은 네트워크 상에 분산되어 있는 여러 시스템들을 투명하게 활용하여 사용자에 고성능 병렬 컴퓨팅을 지원하는 단일 가상 시스템(single virtual system)으로 인식되게 하는 middle-ware 소프트웨어이다. 초고속 통신망을 기반으로 하는 PVM에서는 임의의 태스크로부터 하나의 메시지를 전송하기 위해 세 번의 메시지 복사가 필요하며, 이는 PVM의 성능 저하를 가져오는 주요 원인이 된다. 이러한 문제점을 개선하기 위해 이 논문에서는 zero-copy PVM 통신 모델을 제안한다. 제안된 모델은 PVM 태스크, PVM 데몬, 네트워크 인터페이스 보드 등에 의해 동시 접근이 가능한 전역 공유 메모리(global shared memory)를 이용하며, 초고속 통신망을 기반으로 하고 있다. 이 모델에서 PVM 태스크는 전송하고자 하는 메시지를 전역 공유 메모리에 저장하고, 메시지를 보낼 준비가 되었음을 PVM 데몬에게 알리며, 데몬은 해당 메시지를 커널을 통하지 않고 바로 초고속 통신망으로 전송함으로써, 메시지의 메모리 복사 횟수를 감소 시킨다. 실험 결과 두 시스템간의 메시지 왕복 시간은 제안된 모델을 사용함으로써 현저히 줄어 들었음을 확인하였다.

  • PDF