• 제목/요약/키워드: 언어 모델링

검색결과 586건 처리시간 0.025초

Bi-Cross 사전 학습을 통한 자연어 이해 성능 향상 (The Bi-Cross Pretraining Method to Enhance Language Representation)

  • 김성주;김선훈;박진성;유강민;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.320-325
    • /
    • 2021
  • BERT는 사전 학습 단계에서 다음 문장 예측 문제와 마스킹된 단어에 대한 예측 문제를 학습하여 여러 자연어 다운스트림 태스크에서 높은 성능을 보였다. 본 연구에서는 BERT의 사전 학습 문제 중 다음 문장 예측 문제에 대해 주목했다. 다음 문장 예측 문제는 자연어 추론 문제와 질의 응답 문제와 같이 임의의 두 문장 사이의 관계를 모델링하는 문제들에 성능 향상을 위해 사용되었다. 하지만 BERT의 다음 문장 예측 문제는 두 문장을 특수 토큰으로 분리하여 단일 문자열 형태로 모델에 입력으로 주어지는 cross-encoding 방식만을 학습하기 때문에 문장을 각각 인코딩하는 bi-encoding 방식의 다운스트림 태스크를 고려하지 않은 점에서 아쉬움이 있다. 본 논문에서는 기존 BERT의 다음 문장 예측 문제를 확장하여 bi-encoding 방식의 다음 문장 예측 문제를 추가적으로 사전 학습하여 단일 문장 분류 문제와 문장 임베딩을 활용하는 문제에서 성능을 향상 시키는 Bi-Cross 사전 학습 기법을 소개한다. Bi-Cross 학습 기법은 영화 리뷰 감성 분류 데이터 셋인 NSMC 데이터 셋에 대해 학습 데이터의 0.1%만 사용하는 학습 환경에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 5점 가량의 성능 향상이 있었다. 또한 KorSTS의 bi-encoding 방식의 문장 임베딩 성능 평가에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 1.5점의 성능 향상을 보였다.

  • PDF

포인터 생성 네트워크를 이용한 패러프레이즈 생성 (Generation Paraphrase using Pointer Generation Network)

  • 박다솔;김영길;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.535-539
    • /
    • 2020
  • 다양한 발화를 모델링하는 요구는 자연어 처리 분야에서 꾸준히 있었으며 단어, 구 또는 문장과 동등한 의미 콘텐츠를 자동으로 식별하고 생성하는 것은 자연어 처리의 중요한 부분이다. 본 논문에서는 포인터 생성 네트워크(Pointer Generate Nework)를 이용하여 패러프레이즈 생성 모델을 제안한다. 제안한 모델의 성능을 측정하기 위해 사람이 직접 구축한 유사 문장 코퍼스를 이용하였으며, 토큰 단위의 BLEU-4 0.250, ROUGE_L 0.455, CIDEr 2.190의 성능을 보였다. 하지만 입력 문장과 동일한 문장을 출력하는 문제점이 존재하여 빔서치(beam search)를 적용하여 입력 문장과 비교하여 생성 문장을 선택하는 방식을 적용하였다. 입력 문장과 동일한 문장을 제외한 문장으로 평가를 진행했으며, 토큰 단위의 BLEU-4 0.234, ROUGE_L 0.459, CIDEr 2.041의 성능을 보였으나, 패러프레이즈 생성 데이터 양이 크게 증가하였다. 본 연구는 문장 간의 의미적으로 동일한 정보를 정확하게 추출할 수 있게 됨으로써 정보 추출, 온톨로지 생성에 도움이 될 것이다. 또한 이러한 기법이 챗봇에서 사용자의 의도 탐지 및 MRC와 같은 자연어 처리의 여러 분야에 유용한 자원으로 사용될 것이다.

  • PDF

무인항공기체계의 개념설계에서 SysML 모델의 활용에 관한 연구 (On the Use of SysML Models in the Conceptual Design of Unmanned Aerial Vehicles)

  • 김영민;이재천
    • 한국통신학회논문지
    • /
    • 제37권2C호
    • /
    • pp.206-216
    • /
    • 2012
  • 최근의 전장 상황이 디지털 네트워크 중심의 전장체계를 기반으로 진화하면서, 개발해야 할 국방 전술무기체계가 첨단화, 복잡화, 다기능화 및 고도의 정밀화 등의 특성으로 가속화 되고 있다. 따라서 오늘날 국방 연구개발에서의 복잡도, 비용, 개발기간 및 위험 등을 효율적으로 관리하면서 성공적인 과제수행을 위해서는 시스템공학적인 설계 방법론의 적용이 필수불가결하게 되었다. 본 논문에서는 국방무기체계를 개발하기 위한 전체 수명주기 중 개념설계(conceptual design) 단계의 설계 활동에서 시스템공학 기법을 기반으로 하되 그래픽모델을 활용함으로써 여러 가지 장점을 추구하는 방안에 관해서 기술하고 있다. 특히 설계 대상시스템으로서 무인항공기 체계개발을 선택하였고, 모델링언어로서 표준 언어인 SysML을 적용함으로써 활용성을 증대시키고, 생성 된 모델들이 개념연구단계의 설계 활동에서 활용될 수 있는 방안에 관하여 논의하고 있다. 본 연구의 결과를 기반으로 향 후 추가 연구를 수행하면, 대형복합 국방무기시스템개발에서 전면적인 모델기반 시스템공학 방법론을 적용하기 위한 발전과정에 도움이 될 것으로 기대된다.

인간-컴퓨터 상호 작용을 위한 인간 팔의 3차원 자세 추정 - 기계요소 모델링 기법을 컴퓨터 비전에 적용 (3D Pose Estimation of a Human Arm for Human-Computer Interaction - Application of Mechanical Modeling Techniques to Computer Vision)

  • 한영모
    • 전자공학회논문지SC
    • /
    • 제42권4호
    • /
    • pp.11-18
    • /
    • 2005
  • 인간은 의사 표현을 위해 음성언어 뿐 아니라 몸짓 언어(body languages)를 많이 사용한다 이 몸짓 언어 중 대표적인 것은, 물론 손과 팔의 사용이다. 따라서 인간 팔의 운동 해석은 인간과 기계의 상호 작용(human-computer interaction)에 있어 매우 중요하다고 할 수 있다. 이러한 견지에서 본 논문에서는 다음과 같은 방법으로 컴퓨터비전을 이용한 인간팔의 3차원 자세 추정 방법을 제안하다. 먼저 팔의 운동이 대부분 회전 관절(revolute-joint)에 의해 이루어진다는 점에 착안하여, 컴퓨터 비전 시스템을 활용한 회전 관절의 3차원 운동 해석 기법을 제안한다. 이를 위해 회전 관절의 기구학적 모델링 기법(kinematic modeling techniques)과 컴퓨터 비전의 경사 투영 모델(perspective projection model)을 결합한다. 다음으로, 회전 관절의 3차원 운동해석 기법을 컴퓨터 비전을 이용한 인간 팔의 3차원 자세 추정 문제에 웅용한다. 그 기본 발상은 회전 관절의 3차원 운동 복원 알고리즘을 인간 팔의 각 관절에 순서 데로 적용하는 것이다. 본 알고리즘은 특히 유비쿼터스 컴퓨팅(ubiquitous computing)과 가상현실(virtual reality)를 위한 인간-컴퓨터 상호작용(human-computer interaction)이라는 응용을 목표로, 고수준의 정확도를 갖는 폐쇄구조 형태(closed-form)의 해를 구하는데 주력한다.

Subsea 생산 시스템 시뮬레이션에 관한 연구 (Study on Simulation of Subsea Production System)

  • 박주용;조효제;이승재
    • 한국해양공학회지
    • /
    • 제27권3호
    • /
    • pp.1-7
    • /
    • 2013
  • The purpose of this study was the implementation of a simulation for a subsea production system. This subsea production system is installed under environments with high pressure and low temperature. Most of the processes for oil and gas production occur in the subsea equipment. Therefore, an understanding and study of subsea production systems is very difficult because people cannot directly observe the processes occurring in the subsea production system. A simulation system can be a useful solution for this difficult problem. In this research, information models and a 3-D graphic model of the subsea equipment were built using the object-oriented technology and 3-D CAD. The entire system was implemented with the help of simulation software, 3-DVIA Virtools. The simulation system for the subsea production system was tested using several production process scenarios. The results of the tests showed that the simulation system is very useful for understanding a subsea production system and could be a good educational tool.

두레 : 분산시스템을 위한 병행연산모델 (DOORAE : A Concurrent Computation Model for Distributed Systems)

  • 김대권;박충식;이임건;이용석;박규태
    • 전자공학회논문지B
    • /
    • 제31B권11호
    • /
    • pp.1-10
    • /
    • 1994
  • 문제의 병행처리를 위한 모델링 방법과 문제의 병행성을 동적 환경에서 자동으로 검출하기 위하여 병행 연산모델 두레를 설계하고 두레언어 DL로 구현하였다. 두레모델은 문제의 모델링과 연산수행을 위해 단순하고 일관된 개념의 객체 정의와 메시지 전송개념을 지원한다. 문제의 병행처리를 프로그램에 명시하지 않고도 암시적으로 지원할 수 있도록 병행성의 검출 기준을 제안하였으며, 동적 환경에서 병행객체를 생성하여 최대한의 병행성을 보장하도록 하였다. 또한 객체의 연산 진행을 효율적으로 보장해 줄 수 있도록 Waiting Variable의 개념을 제안하였다.

  • PDF

UML 클래스 다이어그램을 XML DTD로의 변환 시스템 설계 및 구현 (Design and Implementation of Conversion System from UML Class Diagram to XML DTD)

  • 홍도석;하얀;김용성
    • 한국정보처리학회논문지
    • /
    • 제7권12호
    • /
    • pp.3829-3839
    • /
    • 2000
  • UML(Unified Modeling Language)의 구조 중에 UML 클래스 다이어그램은 객체모델링에 매우 적합하여, 최근에는 UXF(UML eXchange Format)까지 등장하여 UML 클래스 다이어그램을 여러 이기종 문서와의 교환이 가능하게 되었다. 따라서 본 논문은 UML 클래스 다이어그램을 인터넷 문서의 표준으로 자리잡은 XML 문서의 DTD 형태로 변환하는 시스템을 설계하였다. 이를 통하여 우리는 모델링 언어의 표준인 UML 클래스 다이어그램을 재사용 성이 뛰어난 XML 문서 형태로 쉽게 변형 및 저장할 수 있을 것이다. 또한 DTD로 변환하기 때문에 문서의 논리구조를 다양한 형식으로 표현할 수 있는 유연성을 제공할 수 있을 것이다.

  • PDF

OWL을 이용한 온톨로지 기반의 목록시스템 설계 연구 (A Study of Ontology-based Cataloguing System Using OWL)

  • 이현실;한성국
    • 정보관리학회지
    • /
    • 제21권2호
    • /
    • pp.249-267
    • /
    • 2004
  • MARC는 목록 데이터를 상세하게 정의할 수 있는 장점이 있지만, 개념요소가 구조화 되어 있지 않고 표현체계가 복잡하기 때문에 단순 계층구조의 의미 어휘 체계를 지원하는 XML DTD나 RDF/S로는 그 구조를 모델화하기가 어렵다. 본 연구에서는 MARC의 데이터 요소를 추상화하여 목록 데이터의 개념 구조를 표현하는 서지 온톨로지를 구축하였으며, 개념간의 논리 관계와 프로퍼터의 카디널리티 및 프로퍼티 값에 대한 논리적 제한을 부가할 수 있는 OWL을 이용하여 MRAC 필드의 복합 구조를 모델링하여 구축한 목록 온톨로지를 구현하였다. 온톨로지 언어를 이용한 MARC 데이터를 기술 방법은 목록 데이터에 대한 메타데이터 구성과 목록의 호환성 문제를 해결할 수 있는 기초적 방안이 되며, 시맨틱 웹 서비스를 기반으로 하는 차세대 문헌 정보서비스 시스템 구현의 토대가 될 것이다.

SMIL 문서의 구조 정보 모델 및 검색 (Structured Information Modeling and Query Method for SMIL Documents)

  • 류은숙;이기호;이규철
    • 한국멀티미디어학회논문지
    • /
    • 제7권3호
    • /
    • pp.293-307
    • /
    • 2004
  • XML 기반의 SMIL(Synchronized Multimedia Integration Language) 문서는 문서를 구조적인 특성에 따라 논리적 구조 정보, 공간적 구조 정보, 시간적 구조 정보, 하이퍼링크 구조 정보로 표현할 수 있다. 본 논문은 이와 같이 SMIL 문서에 내재된 다중 구조 정보를 효과적으로 모델링하고, 관련 정보를 검색할 수 있는 기능을 지원한다. 특히, 본 논문에서는 SMIL문서의 구조 정보에 대한 객체 클래스와 클래스간의 계층 구조 및 관계를 표현하기 위해 UML의 클래스 다이어그램을 이용하여 객체 지향 모델링을 제공한다. 또한 객체 클래스들을 정의하기 위해 데이터베이스 표준 언어인 SQL3를 이용하고 있다 그밖에, SMIL 문서의 구조적인 구성 요소들을 효과적으로 검색하기 위해 계층 구조 접근 연산을 제공하며, SMIL문서의 효율적인 검색을 지원하고 있다.

  • PDF

네트워크 침입 탐지 시스템에서 고속 패턴 매칭기의 설계 및 구현 (Design and Implementation of High-Speed Pattern Matcher in Network Intrusion Detection System)

  • 윤여찬;황선영
    • 한국통신학회논문지
    • /
    • 제33권11B호
    • /
    • pp.1020-1029
    • /
    • 2008
  • 본 논문은 네트워크 침입 탐지 시스템에서 고속 패턴 매칭 알고리듬과 그 구조를 제안한다. 제안된 알고리듬은 실시간 입력 패킷에서 특정 패턴을 검사하며 정확한 문자열, 문자열 값의 범위, 그리고 문자열 값의 조합 등을 검색한다. 본 연구에서는 입력 패킷과 패턴은 동시에 겹치는 문자열들을 검색하기 위해 상태 전이 그래프로 모델링 하였으며 상태 전이 그래프는 구현 복잡도를 줄이기 위해 입력 임플리컨트 단위로 분할하였다. 제안된 패턴 매칭구조는 상태 전이 그래프와 입력된 문자열을 입력으로 사용한다. 제안된 패턴 매칭기는 VHDL 언어로 모델링하여 구현하였으며, 성능 분석을 통하여 제안된 기법의 적절성을 검증하였다.