• Title/Summary/Keyword: 추론망

Search Result 302, Processing Time 0.032 seconds

Copy-Transformer model using Copy-Mechanism and Inference Penalty for Document Abstractive Summarization (복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 기반 문서 생성 요약)

  • Jeon, Donghyeon;Kang, In-Ho
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.301-306
    • /
    • 2019
  • 문서 생성 요약은 최근 딥러닝을 이용한 end-to-end 시스템을 통해 유망한 결과들을 보여주고 있어 연구가 활발히 진행되고 있는 자연어 처리 분야 중 하나이다. 하지만 문서 생성 요약 모델을 구성하기 위해서는 대량의 본문과 요약문 쌍의 데이터 셋이 필요한데, 이를 구축하기가 쉽지 않다. 따라서 본 논문에서는 정교한 뉴스 기사 요약 데이터 셋을 기계적으로 구축하는 방법을 제안한다. 또한 딥러닝 기반의 생성 요약은 입력 문서와 다른 정보를 생성하거나, 또는 같은 단어를 반복하여 생성하는 문제점들이 존재한다. 이를 해결하기 위해 요약문을 생성할 때 입력 문서의 내용을 인용하는 복사-메커니즘과, 추론 단계에서 단어 반복을 직접적으로 제어하는 페널티를 사용하면 상대적으로 안정적인 문장이 생성될 수 있다. 그리고 Transformer 모델은 순환 신경망 모델보다 요약문 생성 과정에서 시퀀스 길이가 긴 본문의 정보를 적절히 인코딩하여 줄 수 있는 모델이다. 따라서 본 논문에서는 복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 모델을 한국어 문서 생성 요약 데이터에 적용하였다. 네이버 지식iN 질문 요약 데이터 셋과 뉴스 기사 요약 데이터 셋 상에서 실험한 결과, 제안한 모델을 이용한 생성 요약이 비교 모델들 대비 가장 좋은 성능을 보이고 양질의 요약을 생성하는 것을 확인하였다.

  • PDF

실시간 CRM을 위한 분류 기법과 연관성 규칙의 통합적 활용;신용카드 고객 이탈 예측에 활용

  • Lee, Ji-Yeong;Kim, Jong-U
    • 한국경영정보학회:학술대회논문집
    • /
    • 2007.06a
    • /
    • pp.135-140
    • /
    • 2007
  • 이탈 고객 예측은 데이터 마이닝에서 다루는 주요한 문제 중에 하나이다. 이탈 고객 예측은 일종의 분류(classification) 문제로 의사결정나무추론, 로지스틱 회귀분석, 인공신경망 등의 기법이 많이 활용되어왔다. 일반적으로 이탈 고객 예측을 위한 모델은 고객의 인구통계학적 정보와 계약이나 거래 정보를 입력변수로 하여 이탈 여부를 목표변수로 보는 형태로 분류 모델을 생성하게 된다. 본 연구에서는 고객과의 지속적인 접촉으로 발생되는 추가적인 사건 정보를 활용하여 연관성 규칙을 생성하고 이 결과를 기존의 방식으로 생성된 분류 모델과 결합하는 이탈 고객 예측 방법을 제시한다. 제시한 방법의 유용성을 확인하기 위해서 특정 국내 신용카드사의 실제 데이터를 활용하여 실험을 수행하였다. 실험 결과 제시된 방법이 기존의 전통적인 분류 모델에 비해서 향상된 성능을 보이는 것을 확인할 수 있었다. 제시된 예측 방법의 장점은 기존의 이탈 예측을 위한 입력 변수들 이외에 고객과 회사간의 접촉을 통해서 생성된 동적 정보들을 통합적으로 활용하여 예측 정확도를 높이고 실시간으로 이탈 확률을 갱신할 수 있다는 점이다.

  • PDF

Learning and inference of fuzzy inference system with fuzzy neural network (퍼지 신경망을 이용한 퍼지 추론 시스템의 학습 및 추론)

  • 장대식;최형일
    • Journal of the Korean Institute of Telematics and Electronics B
    • /
    • v.33B no.2
    • /
    • pp.118-130
    • /
    • 1996
  • Fuzzy inference is very useful in expressing ambiguous problems quantitatively and solving them. But like the most of the knowledge based inference systems. It has many difficulties in constructing rules and no learning capability is available. In this paper, we proposed a fuzzy inference system based on fuzy associative memory to solve such problems. The inference system proposed in this paper is mainly composed of learning phase and inference phase. In the learning phase, the system initializes it's basic structure by determining fuzzy membership functions, and constructs fuzzy rules in the form of weights using learning function of fuzzy associative memory. In the inference phase, the system conducts actual inference using the constructed fuzzy rules. We applied the fuzzy inference system proposed in this paper to a pattern classification problem and show the results in the experiment.

  • PDF

Generation of Sectional Area Curve using an ANFIS and a B-spline Curve (적응형 회로망의 퍼지 추론과 B-spline 곡선을 이용한 횡단면적 곡선의 생성)

  • Kim, Soo-Young;Kim, Hyun-Cheol;Ryeu, Kyung-Hyun;Kim, Min-Jeong
    • Journal of Ocean Engineering and Technology
    • /
    • v.12 no.3 s.29
    • /
    • pp.96-102
    • /
    • 1998
  • This paper presents to create a SAC(Sectional Area Curve) using an ANFIS(Adaptive-Network-based Fuzzy Inference System). First, it defines SACs of parent ships by using a B-spline approximation and a genetic algorithm and accumulates a database about SAC's control points. Second, it learns an ANFIS from parent ship data, which are related with principal dimensions and SAC's control points. This process is to model an ANFIS for SAC inferreice. When an ANFIS modeling is completed, we can determine a SAC through an ANFIS inferring.

  • PDF

A bidirectional fuzy inference network for interval valued decision making systems (구간 결정값을 갖는 의사결정시스템의 양방향 퍼지 추론망)

  • 전명근
    • Journal of the Korean Institute of Telematics and Electronics C
    • /
    • v.34C no.10
    • /
    • pp.98-105
    • /
    • 1997
  • In this work, we proesent a bidirectional approximate reasoning method and fuzzy inference network for interval valued decision making systems. For this, we propose a new type of similarity measure between two fuzzy vectors based on the Ordered Weighted Averaging (OWA) operator. Since the proposed similarity measure has a structure to give the extreme values by choosing a suitable weighting vector of the OWA operator, it can render an interval valued similarity value. From this property, we derive a bidirectional approximate reasoning method based on the similarity measure and show its fuzzy inference network implementation for the decision making systems requiring the interval valued decisions.

  • PDF

Query Normalization Using P-tuning of Large Pre-trained Language Model (Large Pre-trained Language Model의 P-tuning을 이용한 질의 정규화)

  • Suh, Soo-Bin;In, Soo-Kyo;Park, Jin-Seong;Nam, Kyeong-Min;Kim, Hyeon-Wook;Moon, Ki-Yoon;Hwang, Won-Yo;Kim, Kyung-Duk;Kang, In-Ho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.396-401
    • /
    • 2021
  • 초거대 언어모델를 활용한 퓨샷(few shot) 학습법은 여러 자연어 처리 문제에서 좋은 성능을 보였다. 하지만 데이터를 활용한 추가 학습으로 문제를 추론하는 것이 아니라, 이산적인 공간에서 퓨샷 구성을 통해 문제를 정의하는 방식은 성능 향상에 한계가 존재한다. 이를 해결하기 위해 초거대 언어모델의 모수 전체가 아닌 일부를 추가 학습하거나 다른 신경망을 덧붙여 연속적인 공간에서 추론하는 P-tuning과 같은 데이터 기반 추가 학습 방법들이 등장하였다. 본 논문에서는 문맥에 따른 질의 정규화 문제를 대화형 음성 검색 서비스에 맞게 직접 정의하였고, 초거대 언어모델을 P-tuning으로 추가 학습한 경우 퓨샷 학습법 대비 정확도가 상승함을 보였다.

  • PDF

Evidence Extraction Method for Machine Reading Comprehension Model using Recursive Neural Network Decoder (디코더를 활용한 기계독해 모델의 근거 추출 방법)

  • Kyubeen Han;Youngjin Jang;Harksoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.609-614
    • /
    • 2023
  • 최근 인공지능 시스템이 발전함에 따라 사람보다 높은 성능을 보이고 있다. 또한 전문 지식에 특화된 분야(질병 진단, 법률, 교육 등)에도 적용되고 있지만 이러한 전문 지식 분야는 정확한 판단이 중요하다. 이로 인해 인공지능 모델의 결정에 대한 근거나 해석의 중요성이 대두되었다. 이를 위해 설명 가능한 인공지능 연구인 XAI가 발전하게 되었다. 이에 착안해 본 논문에서는 기계독해 프레임워크에 순환 신경망 디코더를 활용하여 정답 뿐만 아니라 예측에 대한 근거를 추출하고자 한다. 실험 결과, 모델의 예측 답변이 근거 문장 내 등장하는지에 대한 실험과 분석을 수행하였다. 이를 통해 모델이 추론 과정에서 예측 근거 문장을 기반으로 정답을 추론한다는 것을 확인할 수 있었다.

  • PDF

Development of Random fracture network for discontinuity plane (불연속면의 확률절리망 알고리즘의 개발)

  • Ko, Wang-Kyung
    • Journal of the Korean Data and Information Science Society
    • /
    • v.11 no.2
    • /
    • pp.189-199
    • /
    • 2000
  • A major deficiency of laboratory testing of rock structure is that the structures are limited in size and therefore present a very small and highly selective sample of the rock mass from which were removed. In a typical engineering project, the samples tested in the laboratory represent only a very small fraction of one percent of the volume of the rock mass. In this paper, we calculate the representative orientation of the resultant vector, the measure of the degree of clustering, the volume of rock mass, the trace length of discontinuity spacing under underlying distributions. And we generate the random fracture networks using real data. We propose the calculating the trace length.

  • PDF

A Study on the Regional Frequency Analysis Using the Artificial Neural Network Method - the Nakdong River Basin (인공신경망 군집분석을 이용한 지역빈도해석에 관한 연구 - 낙동강 유역을 중심으로)

  • Ahn, Hyunjun;Kim, Sunghun;Jung, Jinseok;Heo, Jun-Haeng
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.404-404
    • /
    • 2017
  • 이상기후현상으로 인해 극치 수문 사상들이 빈번히 발생함에 따라 상대적으로 높은 재현기간에 해당하는 극치 수문 사상해석에 대한 관심이 높아지고 있다. 그러나 우리나라의 경우 이러한 극치 수문 사상을 추정하기 위한 표본의 수가 부족한 실정이다. 지역빈도해석은 지점의 표본 수가 적거나 수문자료의 수집이 불가능한 미계측지점인 경우, 해당 지점과 수문학적으로 동질하다고 여겨지는 주변 지점들의 자료를 확보하여 확률수문량을 추정함으로써 상대적으로 지점빈도해석 보다 roubst한 추정값을 얻을 수 있다는 장점을 가지고 있다. 따라서 최근 확률수문량 산정 기법으로 지역빈도해석 방법에 관한 관심이 높아지고 있다. 지역구분은 지역빈도해석이 지점빈도해석과 구분될 수 있는 큰 특징이고 지역구분 결과 따라 지역의 표본 크기가 결정되기 때문에 수문학적으로 동질한 지역을 나누는 방법은 매우 중요하다고 볼 수 있다. 인공신경망은 인간의 뇌가 학습하는 방식을 모사한 통계적 모델링 기법이다. 즉, 인간의 뇌가 일정한 반복 학습을 통해 어떠한 문제의 해법을 추론하거나 예측, 또는 패턴을 인식하는 일련의 과정을 알고리즘화 하여 목적함수의 해를 찾는 방식이다. 특히, 주어진 자료들로 부터 특징을 추출하고 그 특징을 학습하여 전체 자료의 분류나 군집화를 이루는데 널리 이용되고 있다. 본 연구에서는 낙동강유역을 대상으로 인공신경망을 이용한 군집분석을 수행하고 구분된 지역을 이용하여 지역빈도해석을 수행하였다.

  • PDF

인공 신경망 기법을 이용한 제지공정의 지절 원인 분석

  • 이진희;이학래
    • Proceedings of the Korea Technical Association of the Pulp and Paper Industry Conference
    • /
    • 2001.04a
    • /
    • pp.168-168
    • /
    • 2001
  • 제지공정의 지절 현상은 많은 공정 변수들이 복합적으로 작용하여 발생하는 가장 큰 공정 트러블 중의 하나이다. 지절은 생산량 감소 뿐만 아니라 발생 후 공정의 복구 와 정리, 생산재가동 및 공정의 재안정화를 위해 많은 시간과 비용, 그리고 노력이 투 입되어야 하므로 공정의 효율과 생산성을 크게 저하시키는 요인이다. 그러나 지절 현상 의 복잡성 때문에 이에 대해 쉽게 접근하거나 해결하지 못하고 있는 것이 현실이지만 그 필요성은 더욱 더 증대되고 있다. 본 연구에서는 최근 들어 각종 산업분야에서 복잡 한 공정상의 결점 발견 및 진단에 효과적이라고 인정받고 있는 예측 분석기법인 인공 신경망(artificial neural network) 시율레이션과 일반적인 통계기법 중의 하나인 주성분 분석을 이용하여 제지 공정의 지절 현상의 검토 가능성을 타진하였다. 인공신경망이란 인간두뇌에서 일어나는 자극-반응-학습과정을 모사하여 현실세계에 존재하는 다양한 현상들의 업력벡터와 출력상태 간의 비선형 mapping올 컴퓨터 시율 레이션을 통하여 분석하고자 하는 기법으로, 여러 가지 현상들을 학습을 통해서 인식하 는 신경망 내의 신경단위들이 병렬처리에 의해 많은 양의 자료에 대한 추론이나 판단 을 신속하고 정확하게 해주는 특징이 있으며 실시간 패턴인식이나 분류 응용분야에도 매우 매력적으로 이용되고 있는 방법이다. 이러한 인공 신경망 기법 중에서도 본 연구 에서는 퍼셉트론의 한계점을 극복하기 위하여 입력총과 출력층에 한 개 이상의 은닉층 ( (hidden layer)을 사용하여 다층 네트워으로 구성하고, 모든 입력패턴에 대하여 발생하 는 오차함수를 최소화하는 방향으로 연결강도를 조정하는 back propagation 학습 알고 리즘을 사용하였다. 지절의 원인으로 추정 가능한 공정인자들을 변수로 하여 최적의 인 공신경망을 구축하기 위해 학습률과 모멘트 상수의 변화 및 은닉층의 수와 출력층의 뉴런 수를 조절하는 동의 작업을 거쳐 네트워크의 정확도가 높은 인공신경망을 설계하 였다. 또한 이러한 인공신경망과의 비교분석을 위해 동일한 공정 데이터들올 이용하여 보편적으로 사용하는 통계기법 중의 하나인 주성분회귀분석을 실시하였다. 주성분 분석은 여러 개의 반응변수에 대하여 얻어진 다변량 자료의 다차원적인 변 수들을 축소, 요약하는 차원의 단순화와 더불어 서로 상관되어있는 반응변수들 상호간 의 복잡한 구조를 분석하는 기법이다. 본 발표에서는 공정 자료를 활용하여 인공신경망 과 주성분분석을 통해 공정 트러블의 발생에 영향 하는 인자들을 보다 현실적으로 추 정하고, 그 대책을 모색함으로써 이를 최소화할 수 있는 방안을 소개하고자 한다.

  • PDF