• 제목/요약/키워드: 일반화 평가

검색결과 586건 처리시간 0.027초

전자해도 해안선 정보의 일반화 평가 방안 연구

  • 황선필;오세웅;심우성
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2014년도 춘계학술대회
    • /
    • pp.138-140
    • /
    • 2014
  • 전자해도는 기존 종이해도로 표현하던 해안선, 등심선, 수심, 항로표지 등의 정보를 디지털화한 것으로 기존 종이해도 정보의 디지털화 과정에서 해도 사용 목적에 부합하는 수준으로 일반화 과정을 거치게 된다. 이 과정에서 일관된 기준과 자동화된 작업 방식 적용의 어려움으로 일반화 수준이 균일하지 않은 문제가 발생할 수 있다. 본 연구에서는 전자해도로 제작된 여러 정보 중 해안선을 대상으로 균일한 수준으로 일반화되었는지 평가하는 전자해도 일반화 평가 방안을 연구하였다. 세부 내용으로는 일반화 평가에 활용할 수 있는 여러 알고리즘을 비교 분석하여 전자해도에 가장 최적화된 알고리즘 및 평가 방법을 제안하였다.

  • PDF

기계독해 데이터셋의 교차 평가 및 블라인드 평가를 통한 한국어 기계독해의 일반화 성능 평가 (Evaluating Korean Machine Reading Comprehension Generalization Performance using Cross and Blind Dataset Assessment)

  • 임준호;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.213-218
    • /
    • 2019
  • 기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

  • PDF

일반화된 허프변환의 성능평가 (Performance Evaluation of the Generalized Hough Transform)

  • 장지영
    • 융합정보논문지
    • /
    • 제7권6호
    • /
    • pp.143-151
    • /
    • 2017
  • 일반화된 허프변환은 임의의 형태의 2차원 모델을 입력영상에서 탐지 및 추출하는데 사용되어지는 효과적인 방법이다. 그러나 일반화된 허프변환의 단점으로 실행시간이 오래 걸린다는 것과 과도한 메모리 사용을 들 수 있다. 그래서 현재까지의 대부분의 연구는 일반화된 허프변환의 실행시간과 메모리 사용량을 줄이는데 집중되어왔다. 그러나 실행시간과 메모리 사용을 줄여서 개선된 알고리즘이 입력 영상에 존재하는 노이즈를 고려할 경우 어떤 성능을 제공하는가는 여전히 불분명하다. 그러므로 본 논문은 일반화된 허프변환의 성능 평가를 위한 새로운 프레임워크를 제안한다. 이를 위해 일반화된 허프변환을 신호탐지 이론의 탐지기로 간주하며 ROC 커브를 사용해서 일반화된 허프변환의 성능을 정의한다. 마지막으로 입력 영상에서의 노이즈를 고려한 정량적인 성능 평가가 가능함을 보인다.

연합이 진화를 통한 IPD게임전략의 일반화 능력 개선 (Improving Generalization Ability of IPD Game Strategy by Evolution of Coalition)

  • 서연규;조성배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.223-225
    • /
    • 2000
  • 사화나 경제와 같은 동적 시스템에서 행동에 대한 적절성은 주위의 개체들에 의해 평가되고 일반적으로 동적 시스템에서 개체들의 행동은 주위 상황의 변화에 민감한 자극-반응의 형태로 나뉜다. 본 논문에서는 그와 같은 동적 시스템을 간단한 반복적 죄수의 딜레마게임으로 모델링하고 에이전트들의 연합을 통해 일반화 능력을 향상시킴으로써 환경변화에 보다 적응적으로 반응하도록 한다. 이를 위해 반복적 죄수의 딜레마 게임에서 획득된 전략 연합에서 에이전트들의 신뢰도를 조정함으로써 일반화 능력이 향상되도록 하였다. 실험결과, 전략 연합에서 에이전트들의 신뢰도를 진화적으로 조정함으로써 일반화 능력을 크게 향상시킬 수 있음을 볼 수 있었다.

  • PDF

미국 수학교사의 교수 질 평가도구 분석을 통한 우리나라 수학 교원능력개발평가에서의 일반화가능도 이론 활용성 탐색 (Exploring the Application of Generalizability Theory to Mathematics Teacher Evaluation for Professional Development in Korea Based on the Analysis of Instructional Quality Assessment of Mathematics Teachers in the U.S.)

  • 김성연
    • 한국수학교육학회지시리즈E:수학교육논문집
    • /
    • 제28권4호
    • /
    • pp.431-455
    • /
    • 2014
  • 이 연구는 미국 수학교사의 교수 질 평가도구 분석을 통하여 우리나라 수학교사들의 수업관찰 평가의 현장 적용 가능성을 모색하였다. 자료는 2007년부터 미국국립과학재단의 지원을 받아 수행되고 있는 중등수학 교수와 제도적 구성 프로젝트에서 수집한 수학 수업관찰 평가 종단 자료 중 3차년도와 4차년도의 96명의 수학교사 수업관찰 평가점수를 활용하였다. 이 프로젝트는 대규모로 야심차고 공평한 교수 실제를 위한 수학교사의 전문성 개발을 지원하기 위해 필요한 것들을 탐구하고 있다(MIST, 2007). 이 연구에서는 GENOVA 프로그램을 이용하여 단변량 일반화가능도 분석을, 그리고 mGENOVA 프로그램을 이용하여 다변량 일반화가능도 분석을 수행하였다. 구체적으로 교수 질 평가도구를 사용한 수학 수업관찰 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 적정 수준의 신뢰도를 확보하기 위한 최적의 측정 조건을 탐색하였다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 수학교사들의 수업 전문성을 평가하는 교원능력개발평가에서 최적의 측정 조건을 탐구하는데 적용 가능하다. 마지막으로 이 연구의 제한점과 후속연구를 제시하였다.

일반화 선형모형을 이용한 냉음극 형광램프의 휘도 측정 시 온도 및 습도의 영향에 대한 연구

  • 윤양기;길영수
    • 한국신뢰성학회:학술대회논문집
    • /
    • 한국신뢰성학회 2005년도 학술발표대회 논문집
    • /
    • pp.281-286
    • /
    • 2005
  • 휘도(Luminance)는 냉음극 형광램프(Cold Cathode Fluorescent Lamp : CCFL)의 신뢰성을 평가하는데 있어 중요한 항목으로 사용되고 있다. 본 연구에서는 휘도 측정시 주위 온도 및 습도에 따라 측정감이 어떻게 변화하는가를 일반화 선형모형(Generalize Linear Model)을 이용하여 알아보고, 측정시의 환경조건 및 측정 오차에 대한 지침을 제시할 수 있게 된다.

  • PDF

규칙기반 모델링에 의한 하계망 일반화에 관한 연구 (A Study on the Cartographic Generalization of Stream Networks by Rule-based Modelling)

  • 김남신
    • 대한지리학회지
    • /
    • 제39권4호
    • /
    • pp.633-642
    • /
    • 2004
  • 본 연구의 목적은 규칙기반 모델링을 구성하여 하계망을 일반화하고자 하였다. 그 동안 지도 일반화에 대한 연구는 제한된 지도요소를 대상으로 선형사상의 형태변형을 위한 알고리즘 개발과 평가에 집중되었다. 규칙 기반 모델링은 지도제작 원리와 공간현상의 분포패턴을 분석하여, 그 결과를 일반화 과정에 적용하기 때문에 기존의 일반화 알고리즘 개선에 도움이 된다. 규칙기반 모델링은 다양한 지도요소들을 대상으로 일반화를 적용할 수 있고, 디지털 환경하에서 다축척 지도제작에 효과적이다. 본 연구에서 개발된 하계망 규칙기반 모델링은 일반화 규칙, 중심선 추출 그리고 선형사상 일반화 알고리즘으로 구성된다. 일반화를 적용하기 앞서, 하계망은 논리적 오류를 최소화하기 위해 저수지와의 연결관계를 분석하였다. 모델을 적용한 결과, 108개의 실폭 하천 중 17개 하천이 중심선으로 추출되었다. 하천의 총길이는 1:25,000에서 17%, 1:50,000에서는 29%로 감소하였다. 선형사상 일반화를 위해 개발된 Simoo 알고리즘은 Douglas-Peucker 알고리즘과 비교하였다. Doug]as-Peucker 알고리즘은 자료점 간격과 편각이 커지게 되어 선의 형태가 거칠어지는 반면, Simoo 알고리즘에서 선형사상은 축척이 감소함에 따라 보다 완만해진다.

균열암반에서의 양수시험자료 해석과 일반화 방사상 유동모델의 적용성 연구

  • 성현정;김용제;우남칠;이철우;김구영
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2003년도 추계학술발표회
    • /
    • pp.493-496
    • /
    • 2003
  • 이 연구는 우리나라 균열암반 대수층의 수리적 특성을 해석ㆍ평가하기 위하여 양수시험 해석해(Theis, 1935; Cooper-Jacob, 1946; Papadopulos-Cooper, 1967; Hantush, 1962a,b; Moench, 1985; Hantush-Jacob, 1955) 및 일반화 방사상 유동 모델을 이용하여 균열암반 대수층(화강암, 화산암, 변성암, 백악기퇴적암, 제3기 퇴적암에 굴착된 100개 조사공)에서 수행되어진 양수시험으로부터 얻은 122개의 양수시험자료(수위강하 자료)를 분석하였다. AQTESOLV 전산프로그램을 이용한 양수시험자료 분석에 의하면, 122개 자료중 86개(71%)의 자료들이 이 연구에 사용된 해석해와 일치하며, 양수시험자료 해석해 중에 누수(leaky) 및 경계조건(boundary condition)을 고려한 해석해들이 53개(43%)로 가장 많이 나타났다. 그러므로, 양수시험자료의 해석은 균열암반 대수층의 수리지질학적 특성에 적합한 개념모델의 설정이 중요하다. 일반화 방사상 유동(GRF)모델을 적용해보면, 122개의 자료중 77개(63%)의 자료들이 Barker(1988)의 표준곡선에 의한 차원(1.1차원-2.9차원)을 보여준다. 이중 44.2%에 해당하는 39개 자료가 1.1차원과 1.9차원 사이의 분할 유동차원을 보여주는 반면에 26개(6.5%)만이 Theis 이론에 맞는 2차원의 방사상 흐름을 보여주며, 38개(49.3%)는 2.1차원에서 2.9차원에 속한다. 따라서 우리나라 균열암반 대수층에서 지하수 유동은 대부분 분할차원의 유동을 보여주는 것으로 평가된다.

  • PDF

중등학교 과학 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석 (Analysis of Assessment Types, Scoring Methods and Reliability of Science Performance Assessment in Middle and High School)

  • 이기영;안희수
    • 한국과학교육학회지
    • /
    • 제25권2호
    • /
    • pp.173-183
    • /
    • 2005
  • 본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

일반화가능도 이론을 이용한 집단논리적사고력검사(GALT)의 신뢰도 분석 (An Analysis of the Reliability of Group Assessment of Logical Thinking (GALT) using Generalizability Theory)

  • 류춘렬;이용근
    • 한국지구과학회지
    • /
    • 제31권1호
    • /
    • pp.95-105
    • /
    • 2010
  • 본 연구의 목적은 집단논리적사고력검사의 이용 목적에 따라 일반화가능도이론을 적용하여 문항과 피험자만을 고려한 단일국면의 오차원, 그리고 문항과 피험자, 그리고 영역을 고려한 다국면의 오차원을 분석하는 데 있다. 연구는 지방 소재 초 중 고등학생 총 1016명을 대상으로 이루어졌으며, 21문항의 GALT 완본을 40분 동안 실시하고, 이 중 축소본에 해당하는 12문항을 별도로 추출하여 일반화가능도이론을 이용한 신뢰도 분석에 이용하였다. 자료의 분석을 위해 일반화가능도이론을 적용하여 $p{\times}i$설계와 $p{\times}(i:h)$설계로 나누어 G 연구와 D 연구를 실시하였다. 분석결과는 다음과 같다. 첫째, 완본과 축소본을 $p{\times}I$설계로 D 연구를 수행한 결과 완본의 경우 21문항을 평가했을 때 0.87로 적정 수준의 일반화가능도 계수인 0.80을 상회하였으며, 13문항에서도 적정 수준의 일반화가능도 계수에 도달하였다. 축소본의 경우 12문항을 평가했을 때 0.77로 적정 수준의 일반화가능도 계수에 미치지 못하였으며, 최소 15문항 이상에서 신뢰도가 적정 수준에 도달하였다. 둘째, 축소본을 $p{\times}(I:H)$설계로 D 연구를 수행한 결과 6영역에 대해 영역별로 2문항씩 구성될 경우 0.71로 적정 수준의 일반화가능도계수인 0.80 보다 낮게 측정되었으며, 최소 영역별 5문항 이상에서 신뢰도가 적정 수준에 도달하였다.