• Title/Summary/Keyword: 일반화 평가

Search Result 585, Processing Time 0.051 seconds

전자해도 해안선 정보의 일반화 평가 방안 연구

  • Hwang, Seon-Pil;O, Se-Ung;Sim, U-Seong
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2014.06a
    • /
    • pp.138-140
    • /
    • 2014
  • 전자해도는 기존 종이해도로 표현하던 해안선, 등심선, 수심, 항로표지 등의 정보를 디지털화한 것으로 기존 종이해도 정보의 디지털화 과정에서 해도 사용 목적에 부합하는 수준으로 일반화 과정을 거치게 된다. 이 과정에서 일관된 기준과 자동화된 작업 방식 적용의 어려움으로 일반화 수준이 균일하지 않은 문제가 발생할 수 있다. 본 연구에서는 전자해도로 제작된 여러 정보 중 해안선을 대상으로 균일한 수준으로 일반화되었는지 평가하는 전자해도 일반화 평가 방안을 연구하였다. 세부 내용으로는 일반화 평가에 활용할 수 있는 여러 알고리즘을 비교 분석하여 전자해도에 가장 최적화된 알고리즘 및 평가 방법을 제안하였다.

  • PDF

Evaluating Korean Machine Reading Comprehension Generalization Performance using Cross and Blind Dataset Assessment (기계독해 데이터셋의 교차 평가 및 블라인드 평가를 통한 한국어 기계독해의 일반화 성능 평가)

  • Lim, Joon-Ho;Kim, Hyunki
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.213-218
    • /
    • 2019
  • 기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

  • PDF

Performance Evaluation of the Generalized Hough Transform (일반화된 허프변환의 성능평가)

  • Chang, Ji-Young
    • Journal of Convergence for Information Technology
    • /
    • v.7 no.6
    • /
    • pp.143-151
    • /
    • 2017
  • The generalized Hough transform(GHough) can be used effectively for detecting and extracting an arbitrary-shaped 2-D model in an input image. However, the main drawbacks of the GHough are both heavy computation and an excessive storage requirement. Thus, most of the researches so far have focused on reducing both the time and space requirement of the GHough. But it is still not clear how well their improved algorithms will perform under various noise in an input image. Thus, this paper proposes a new framework that can measure the performance of the GHough quantitatively. For this purpose, we view the GHough as a detector in signal detection theory and the ROC curve will be used to specify the performance of the GHough. Finally, we show that we can evaluate the GHough under various noise conditions in an input image.

Improving Generalization Ability of IPD Game Strategy by Evolution of Coalition (연합이 진화를 통한 IPD게임전략의 일반화 능력 개선)

  • 서연규;조성배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.223-225
    • /
    • 2000
  • 사화나 경제와 같은 동적 시스템에서 행동에 대한 적절성은 주위의 개체들에 의해 평가되고 일반적으로 동적 시스템에서 개체들의 행동은 주위 상황의 변화에 민감한 자극-반응의 형태로 나뉜다. 본 논문에서는 그와 같은 동적 시스템을 간단한 반복적 죄수의 딜레마게임으로 모델링하고 에이전트들의 연합을 통해 일반화 능력을 향상시킴으로써 환경변화에 보다 적응적으로 반응하도록 한다. 이를 위해 반복적 죄수의 딜레마 게임에서 획득된 전략 연합에서 에이전트들의 신뢰도를 조정함으로써 일반화 능력이 향상되도록 하였다. 실험결과, 전략 연합에서 에이전트들의 신뢰도를 진화적으로 조정함으로써 일반화 능력을 크게 향상시킬 수 있음을 볼 수 있었다.

  • PDF

Exploring the Application of Generalizability Theory to Mathematics Teacher Evaluation for Professional Development in Korea Based on the Analysis of Instructional Quality Assessment of Mathematics Teachers in the U.S. (미국 수학교사의 교수 질 평가도구 분석을 통한 우리나라 수학 교원능력개발평가에서의 일반화가능도 이론 활용성 탐색)

  • Kim, Sungyeun
    • Communications of Mathematical Education
    • /
    • v.28 no.4
    • /
    • pp.431-455
    • /
    • 2014
  • The purpose of this study was to suggest methods to apply generalizability theory to mathematics teacher evaluation using classroom observations in Korea by analysing mathematics teachers in the U.S. using the instructional quality of assessment instrument as an illustrative example. The subjects were 96 teachers participating in Year 3 and Year 4 from the Middle-school Mathematics and the Institutional Setting of Teaching (MIST) project funded by the National Science Foundation since 2007. The MIST project investigates the following question: What does it takes to support mathematics teachers' development of ambitious and equitable instructional practices on a large scale (MIST, 2007). This study examined data based on both the univariate generalizability analysis using GENOVA program and the multivariate generalizability analysis using mGENOVA program. Specifically, this study determined the relative effects of each error source and investigated optimal measuring conditions to obtain the suitable generalizability coefficients. The methodology applied in this study can be utilized to find effective optimal measurement conditions for the mathematics teacher evaluation for professional development in Korea. Finally, this study discussed limitations of the results and suggested directions for future research.

일반화 선형모형을 이용한 냉음극 형광램프의 휘도 측정 시 온도 및 습도의 영향에 대한 연구

  • 윤양기;길영수
    • Proceedings of the Korean Reliability Society Conference
    • /
    • 2005.06a
    • /
    • pp.281-286
    • /
    • 2005
  • 휘도(Luminance)는 냉음극 형광램프(Cold Cathode Fluorescent Lamp : CCFL)의 신뢰성을 평가하는데 있어 중요한 항목으로 사용되고 있다. 본 연구에서는 휘도 측정시 주위 온도 및 습도에 따라 측정감이 어떻게 변화하는가를 일반화 선형모형(Generalize Linear Model)을 이용하여 알아보고, 측정시의 환경조건 및 측정 오차에 대한 지침을 제시할 수 있게 된다.

  • PDF

A Study on the Cartographic Generalization of Stream Networks by Rule-based Modelling (규칙기반 모델링에 의한 하계망 일반화에 관한 연구)

  • Kim Nam-Shin
    • Journal of the Korean Geographical Society
    • /
    • v.39 no.4
    • /
    • pp.633-642
    • /
    • 2004
  • This study tries to generalize the stream network by constructing rule-based modelling. A study on the map generalization tends to be concentrated on development of algorithms for modification of linear features and evaluations to the limited cartographic elements. Rule-based modelling can help to improve previous algorithms by application of generalization process with the results that analyzing mapping principles and spatial distribution patterns of geographical phenomena. Rule-based modelling can be applied to generalize various cartographic elements, and make an effective on multi-scaling mapping in the digital environments. In this research, nile-based modelling for stream network is composed of generalization rule, algorithm for centerline extraction and linear features. Before generalization, drainage pattern was analyzed by the connectivity with lake to minimize logical errors. As a result, 17 streams with centerline are extracted from 108 double-lined streams. Total length of stream networks is reduced as 17% in 1:25,000 scale, and as 29% in 1:50,000. Simoo algorithm, which is developed to generalize linear features, is compared to Douglas-Peucker(D-P) algorithm. D-P made linear features rough due to the increase of data point distance and widening of external angle. But in Simoo, linear features are smoothed with the decrease of scale.

균열암반에서의 양수시험자료 해석과 일반화 방사상 유동모델의 적용성 연구

  • 성현정;김용제;우남칠;이철우;김구영
    • Proceedings of the Korean Society of Soil and Groundwater Environment Conference
    • /
    • 2003.09a
    • /
    • pp.493-496
    • /
    • 2003
  • 이 연구는 우리나라 균열암반 대수층의 수리적 특성을 해석ㆍ평가하기 위하여 양수시험 해석해(Theis, 1935; Cooper-Jacob, 1946; Papadopulos-Cooper, 1967; Hantush, 1962a,b; Moench, 1985; Hantush-Jacob, 1955) 및 일반화 방사상 유동 모델을 이용하여 균열암반 대수층(화강암, 화산암, 변성암, 백악기퇴적암, 제3기 퇴적암에 굴착된 100개 조사공)에서 수행되어진 양수시험으로부터 얻은 122개의 양수시험자료(수위강하 자료)를 분석하였다. AQTESOLV 전산프로그램을 이용한 양수시험자료 분석에 의하면, 122개 자료중 86개(71%)의 자료들이 이 연구에 사용된 해석해와 일치하며, 양수시험자료 해석해 중에 누수(leaky) 및 경계조건(boundary condition)을 고려한 해석해들이 53개(43%)로 가장 많이 나타났다. 그러므로, 양수시험자료의 해석은 균열암반 대수층의 수리지질학적 특성에 적합한 개념모델의 설정이 중요하다. 일반화 방사상 유동(GRF)모델을 적용해보면, 122개의 자료중 77개(63%)의 자료들이 Barker(1988)의 표준곡선에 의한 차원(1.1차원-2.9차원)을 보여준다. 이중 44.2%에 해당하는 39개 자료가 1.1차원과 1.9차원 사이의 분할 유동차원을 보여주는 반면에 26개(6.5%)만이 Theis 이론에 맞는 2차원의 방사상 흐름을 보여주며, 38개(49.3%)는 2.1차원에서 2.9차원에 속한다. 따라서 우리나라 균열암반 대수층에서 지하수 유동은 대부분 분할차원의 유동을 보여주는 것으로 평가된다.

  • PDF

Analysis of Assessment Types, Scoring Methods and Reliability of Science Performance Assessment in Middle and High School (중등학교 과학 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석)

  • Lee, Ki-Young;An, Hui-Soo
    • Journal of The Korean Association For Science Education
    • /
    • v.25 no.2
    • /
    • pp.173-183
    • /
    • 2005
  • In this study, we questioned what assessment types and scoring methods of science performance assessment(SPA) were being used in middle and high school, and how much these SPA scores were reliable(generalizable). To answer these questions, SPA data obtained from the seven schools were classified according to assessment type and scoring method. Based upon this classification, we analyzed the reliability by applying generalizability theory. The result, from the classification of assessment type and scoring method, showed that SPA types of the seven schools were divided into two types: paper-pencil type and task type. Paper-pencil type included answer(content)-restricted essay-type test solely. Task type has two parts: process and outcome assessment. As the results of analyzing scoring methods of the seven schools, there were two cases in the way of scoring methods: one case is scoring all essay-type items and performance tasks by one teacher, the other is scoring assigned performance tasks by two teachers. But the case of scoring assigned essay-type items or the case of cross scoring by two or more teachers were not found. The findings of the reliability analysis are as follows: (1) Effect of essay-type item to SPA score was larger than that of performance task. (2) There was remarkable difference among the seven schools' interaction effect of person and rater in scoring performance tasks. (3) Most of generalizability(reliability) coefficients of SPA for the seven schools were smaller than the acceptable generalizability coefficient(0.80). Therefore, the population of statistical parameters such as number of item, task and rater, should be increased for approaching the acceptable generalizability level.

An Analysis of the Reliability of Group Assessment of Logical Thinking (GALT) using Generalizability Theory (일반화가능도 이론을 이용한 집단논리적사고력검사(GALT)의 신뢰도 분석)

  • Ryu, Chun-Ryol;Lee, Yong-Geun
    • Journal of the Korean earth science society
    • /
    • v.31 no.1
    • /
    • pp.95-105
    • /
    • 2010
  • The purpose of this study lies in applying generalizability theory depending on the aim of the usage of GALT to analyze the sources of error of single-facet considering item and person only and to analyze the sources of error of multi-facet considering item, person and domain. The study was conducted with 1016 students of local elementary, middle, and high schools. The 21 items of a full version were answered for 40 minute and then the 12 items of short version were sampled to analyze reliability using generalizability theory. Both the full version and the short version of the items were analyzed using Cronbach's alpha for data analysis, and we applied generalizability theory and separate $p{\times}i$ design and $p{\times}(i:h)$ design, G study and D study were performed. Results of analysis are as follows: First, the result of D study after $p{\times}I$ design both on the full version and the short version showed that in the case of the full version, the generalizability coefficient was 0.87 exceeding a normal level of 0.80, and the normal level of generalizability coefficient was achieved in 13 items as well. In case of short version, when 12 items were evaluated, generalizability coefficient was 0.77 not reaching the normal level, and the normal level was achieved in case of more than 15 items. Second, the result of D study after $p{\times}(I:H)$ design on the short version showed that once one domain consists of 2 items in 6 domains, generalizability coefficient was 0.71 which is lower than the normal level of 0.80, the normal level was achieved in more than 5 item cases.