• Title/Summary/Keyword: 일반화 모델

Search Result 618, Processing Time 0.022 seconds

기계독해 데이터셋의 교차 평가 및 블라인드 평가를 통한 한국어 기계독해의 일반화 성능 평가 (Evaluating Korean Machine Reading Comprehension Generalization Performance using Cross and Blind Dataset Assessment)

  • 임준호;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.213-218
    • /
    • 2019
  • 기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

  • PDF

공간데이터모델 유도에 따른 파급 처리 규칙 (Rules to control propagations in deriving spatial data models)

  • 도순희;강혜경;이기준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.94-96
    • /
    • 2001
  • 기존의 대축척 지리정보 데이터베이스로 부터 새로운 소축적 지리정보 데이터베이스를 유도하는 방법 중의 하나는 일반화이다. 이는 대축적 공간데이터를 소축척에 적합하도록 변형시킨다. 즉, 일반화를 통해서 지리정보 데이터의 공간 및 비공간적 특성이 변형되고 그 결과 데이터 모델로 변하게 된다. 본 연구는 이러한 변형에 따른 파급효과를 제어할 수 있는 규칙들을 제시한다. 특히 여섯 가지 일반화 연산자들이 모델에 미치는 영향을 조사하여, 이를 바탕으로 모델 변형을 제어할 수 있는 규칙을 제시하였다.

  • PDF

강화학습 기반의 차량 경로 문제 일반화 방안 연구 (A Study of Solving the Generalized Vehicle Routing Problem Using Reinforcement Learning)

  • 정철환;김광수;김한솔
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.705-707
    • /
    • 2022
  • 본 연구에서는 기존 차량 경로 문제(Vehicle Routing Problem)의 범위를 확장시켜 일반화된 차량 경로문제(Generalized Vehicle Routing Problem)를 제시하고, 이 문제를 해결하기 위한 강화학습 모델을 제안한다. 기존의 차량 경로 문제는 depot에서 각 node(또는 각 node에서 depot)의 단방향만 존재해 제한된 문제만을 해결할 수 있었다. 이 한계점을 극복하기 위해 depot을 제외한 모든 node가 서로 연결된 형태의 일반화된 차량 경로 문제를 정의하고 이를 해결하고자 한다. 차량 경로 문제는 NP-hard 문제로 최근에는 강화학습을 이용해 이를 해결하고자 하는 모델이 연구되고 있다. 본 연구에서는 새로 정의한 일반화된 차량 경로 문제를 해결하기 위한 강화학습 모델을 제안한다.

  • PDF

일반화된 음원 모델로서 기저함수합계 모델 (Sum-of-Basis-Functions Model As a Generalized Voice Source Model)

  • 홍준모
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
    • /
    • pp.55-60
    • /
    • 1994
  • 본 논문에서는 음원을 모델링하기 위한 새로운 음원 모델로서 기저함수합계 모델을 제안하고 그 모델의 변수를 추정하는 방법에 관하여 설명한다. 기존 모델들이 다양한 음원신호를 표현하는데 부족함이 많았던데 비해 기저함수합계 모델은 다양한 음원신호를 표현하기에 적합하며 ML 이라는 통일된 추정 방법을 통해 모델의 변수들을 구할 수 있다. 또한 기저함수합계 모델은 기존의 모델들을 포함하는 일반화된 음원 모델이 됨을 보인다.

  • PDF

초기하분포 소프트웨어 신뢰성 성장 모델 : 일반화, 추정과 예측 (Hyper-Geometric Distribution Software Reliability Growth Model : Generalizatio, Estimation and Prediction)

  • 박중양;유창열;박재홍
    • 한국정보처리학회논문지
    • /
    • 제6권9호
    • /
    • pp.2343-2349
    • /
    • 1999
  • 최근에 개발되어 성공적으로 적용되고 있는 초기하분포 소프트웨어 신뢰성 성장 모델은 이 모델에서 중요한 역할을 하는 반응계수(sensitivity factor)를 추정 대상인 모수로 가정하고 있다. 본 논문은 먼저 디버깅과정의 무작위성을 반영하기 위해 반응계수를 이항분로를 하는 확률변수로 가정하여 초기하분포 신뢰성 성장 모델을 일반화한다. 이러한 일반화는 초기하분포 소프트웨어 신뢰성 성장 모델의 통계적 특성을 쉽게 파악할 수 있게 한다. 특히 일반화 된 모델의 모수를 최소자승법으로 추정하면 기존 모델에 최소자승법을 적용한 것과 같은 결과를 얻을 수 있음을 보이고, 더불어 최우추정치를 최소자승법으로 구하는 방법과 예측방법도 제시한다.

  • PDF

공간데이터 일반화의 파급을 처리하기 위한 규칙 (Rules for Control Propagation of Geospatial Data Generalization)

  • 강혜경;이기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제4권1호
    • /
    • pp.5-14
    • /
    • 2002
  • 공간데이터의 일반화는 기존에 구축된 공간 데이터베이스로부터 새로운 소축척 데이터베이스를 유도할 수 있는 중요한 GIS 기법이다. 공간데이터의 일반화는 공간데이터의 기하 및 속성데이터를 변형[3, 15] 시킬 뿐만 아니라, 데이터 모델의 관계를 따라서 연결되어 있는 다른 공간데이터도 변형[8-10, 14]시킨다. 이것을 공간데이터 일반화의 파급이라고 한다. 이 파급을 처리하지 않은 채 일반화를 계속 진행하면, 일관성 혹은 원시데이터베이스 정보 중의 일부가 손실된 채 새로운 데이터베이스가 생성될 수 있다. 그럼에도 불구하고 일반화에 관한 기존 연구들은 공간데이터의 상호관계를 무시한 채 독립된 하나의 공간데이터에 대한 유도를 위해서 방법들을 제시해 왔다. 그리고 그 결과 공간데이터의 기하 및 속성을 변형시키는 많은 일반화 연산자들이 제시되어졌다. 본 연구는 이 일반화 연산자들이 어떤 공간데이터에 적용되었을 때 그와 관련된 다른 공간데이터에도 파급 적용될 수 있도록, 일반화 연산자를 확장을 시킬 것이다. 이 일반화 파급을 처리하기 위해서, 본 연구는 일반화 과정에서 반드시 고려될 필요가 있는 규칙들을 제시한다. 그리고 일반화 연산자들이 반드시 준수해야 하는 규칙들을 기술한다. 이 규칙들은 관계대수로서 표현될 수 있으므로, SQL로 쉽게 전환할 수 있다. 이 확장된 일반화 연산자들의 적합성을 검토하기 위해서 간단한 프로토타입을 구현하였다.

  • PDF

반도체 공정 최적화를 위한 일반화된 회귀 신경망 플라즈마 모델 (A Generalized Regression Neural Network Plasma Model for Semiconductor Process Optimization)

  • 박성진;김병환
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 하계학술대회 논문집 D
    • /
    • pp.2744-2746
    • /
    • 2000
  • 일반화된 회귀 신경망을 이용하여 반도체 공정 최적화를 위한 플라즈마를 모델링한다. 플라즈마는 Box-W린son 실험계획표에 의해 특성화되었으며, 여기에서 변화시킨 인자로는 소스전력, 압력, 척지지대의 위치, 그리고 염소의 유량이다. 총 24회의 실험이 수행이 되었으며, 플라즈마 변수는 Langmuir Probe를 이용하여 측정하였다. 측정된 주요 플라즈마 변수로는 전자밀도, 전자온도, 그리고 플라즈마 전위이다. 폭변수를 점진적으로 증가시켜 회귀신경망을 최적화하였으며. 최적화된 모델은 통계적인 반응표면모델과 비교하였다. 비교 결과, 회귀신경망은 반응표면모델에 상응하는 예측능력을 보이고 있음을 알 수 있었다.

  • PDF

데이터 증가를 통한 선형 모델의 일반화 성능 개량 (중심극한정리를 기반으로) (Improvement of generalization of linear model through data augmentation based on Central Limit Theorem)

  • 황두환
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.19-31
    • /
    • 2022
  • 기계학습 모델 구축 간 트레이닝 데이터를 활용하며, 훈련 간 사용되지 않은 테스트 데이터를 활용하여 모델의 정확도와 일반화 성능을 판단한다. 일반화 성능이 낮은 모델의 경우 새롭게 받아들이게 되는 데이터에 대한 예측 정확도가 현저히 감소하게 되며 이러한 현상을 두고 모델이 과적합 되었다고 한다. 본 연구는 중심극한정리를 기반으로 데이터를 생성 및 기존의 훈련용 데이터와 결합하여 새로운 훈련용 데이터를 구성하고 데이터의 정규성을 증가시킴과 동시에 이를 활용하여 모델의 일반화 성능을 증가시키는 방법에 대한 것이다. 이를 위해 중심극한정리의 성질을 활용해 데이터의 각 특성별로 표본평균 및 표준편차를 활용하여 데이터를 생성하였고, 새로운 훈련용 데이터의 정규성 증가 정도를 파악하기 위하여 Kolmogorov-Smirnov 정규성 검정을 진행한 결과, 새로운 훈련용 데이터가 기존의 데이터에 비해 정규성이 증가하였음을 확인할 수 있었다. 일반화 성능은 훈련용 데이터와 테스트용 데이터에 대한 예측 정확도의 차이를 통해 측정하였다. 새롭게 생성된 데이터를 K-Nearest Neighbors(KNN), Logistic Regression, Linear Discriminant Analysis(LDA)에 적용하여 훈련시키고 일반화 성능 증가정도를 파악한 결과, 비모수(non-parametric) 기법인 KNN과 모델 구성 간 정규성을 가정으로 갖는 LDA의 경우에 대하여 일반화 성능이 향상되었음을 확인할 수 있었다.

KRM 대기확산모델의 수행능력 (Performance of KRM Dispersion Modelling System)

  • 김용준
    • 한국대기환경학회:학술대회논문집
    • /
    • 한국대기환경학회 1999년도 추계학술대회 논문집
    • /
    • pp.163-167
    • /
    • 1999
  • 컴퓨터가 일반화됨에 따라 대기질 관리 및 연구 분야에서 수치모델 이용이 보편화되고 있다. 현재 사용되는 대기오염 수치모델의 종류는 매우 다양하며, 구동에 필요한 전산시스템의 규모도 다양하다. 연구용 및 대형 모델들은 활용 분야가 넓고 신뢰도가 높은 반면 대형 전산시스템과 고도의 전문 인력을 요구한다. 그러나, 국내 대부분의 대기질 관련 기관의 사용 가능한 전산시스템과 담당 인력을 고려할 때 대형 모델의 사용이 일반화되기에는 한계가 있다.(중략)

  • PDF

균열암반에서의 양수시험자료 해석과 일반화 방사상 유동모델의 적용성 연구

  • 성현정;김용제;우남칠;이철우;김구영
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2003년도 추계학술발표회
    • /
    • pp.493-496
    • /
    • 2003
  • 이 연구는 우리나라 균열암반 대수층의 수리적 특성을 해석ㆍ평가하기 위하여 양수시험 해석해(Theis, 1935; Cooper-Jacob, 1946; Papadopulos-Cooper, 1967; Hantush, 1962a,b; Moench, 1985; Hantush-Jacob, 1955) 및 일반화 방사상 유동 모델을 이용하여 균열암반 대수층(화강암, 화산암, 변성암, 백악기퇴적암, 제3기 퇴적암에 굴착된 100개 조사공)에서 수행되어진 양수시험으로부터 얻은 122개의 양수시험자료(수위강하 자료)를 분석하였다. AQTESOLV 전산프로그램을 이용한 양수시험자료 분석에 의하면, 122개 자료중 86개(71%)의 자료들이 이 연구에 사용된 해석해와 일치하며, 양수시험자료 해석해 중에 누수(leaky) 및 경계조건(boundary condition)을 고려한 해석해들이 53개(43%)로 가장 많이 나타났다. 그러므로, 양수시험자료의 해석은 균열암반 대수층의 수리지질학적 특성에 적합한 개념모델의 설정이 중요하다. 일반화 방사상 유동(GRF)모델을 적용해보면, 122개의 자료중 77개(63%)의 자료들이 Barker(1988)의 표준곡선에 의한 차원(1.1차원-2.9차원)을 보여준다. 이중 44.2%에 해당하는 39개 자료가 1.1차원과 1.9차원 사이의 분할 유동차원을 보여주는 반면에 26개(6.5%)만이 Theis 이론에 맞는 2차원의 방사상 흐름을 보여주며, 38개(49.3%)는 2.1차원에서 2.9차원에 속한다. 따라서 우리나라 균열암반 대수층에서 지하수 유동은 대부분 분할차원의 유동을 보여주는 것으로 평가된다.

  • PDF