• 대한치과의사협회지
• /
• 제57권8호
• /
• pp.448-455
• /
• 2019

This study aims to apply the Generalizability Theory (G-theory) for estimation of reliability of evaluation scores between raters on Patient Dentist Interaction. Selecting a number of raters as multiple error sources, this study was analyzed the error sources caused by relative magnitude of error variances of interaction between the factors and proceeded with D-study based on the results of G-study for optimal determination of measurement condition. The estimated outcomes of variance component for accuracy among the Patient Dentist Interaction evaluation with G-theory showed that impact of error was the biggest influence factor in students. The second influence was the item effect, and the rater effect was relatively small. The Generalizability coefficients for case1 and case2 which were estimated through the D- study were calculated relatively low.

• 대한안전경영과학회:학술대회논문집
• /
• 대한안전경영과학회 2011년도 춘계학술대회
• /
• pp.701-705
• /
• 2011

The paper reviews Cronbaha's coefficient to measure a single source of error. On the contrary to classical measurement theory, the generalizability study can be used in the social survey design to calculate Generalizability Index (GI) and Dependability Index (DI) for measuring multiple sources of errors of behavior evaluation. The study proposes application guidelines to implement R:($A{\times}B$) mixed models that are composed of random factor and fixed factor.

• 한국지구과학회지
• /
• 제31권1호
• /
• pp.95-105
• /
• 2010

본 연구의 목적은 집단논리적사고력검사의 이용 목적에 따라 일반화가능도이론을 적용하여 문항과 피험자만을 고려한 단일국면의 오차원, 그리고 문항과 피험자, 그리고 영역을 고려한 다국면의 오차원을 분석하는 데 있다. 연구는 지방 소재 초 중 고등학생 총 1016명을 대상으로 이루어졌으며, 21문항의 GALT 완본을 40분 동안 실시하고, 이 중 축소본에 해당하는 12문항을 별도로 추출하여 일반화가능도이론을 이용한 신뢰도 분석에 이용하였다. 자료의 분석을 위해 일반화가능도이론을 적용하여 $p{\times}i$설계와 $p{\times}(i:h)$설계로 나누어 G 연구와 D 연구를 실시하였다. 분석결과는 다음과 같다. 첫째, 완본과 축소본을 $p{\times}I$설계로 D 연구를 수행한 결과 완본의 경우 21문항을 평가했을 때 0.87로 적정 수준의 일반화가능도 계수인 0.80을 상회하였으며, 13문항에서도 적정 수준의 일반화가능도 계수에 도달하였다. 축소본의 경우 12문항을 평가했을 때 0.77로 적정 수준의 일반화가능도 계수에 미치지 못하였으며, 최소 15문항 이상에서 신뢰도가 적정 수준에 도달하였다. 둘째, 축소본을 $p{\times}(I:H)$설계로 D 연구를 수행한 결과 6영역에 대해 영역별로 2문항씩 구성될 경우 0.71로 적정 수준의 일반화가능도계수인 0.80 보다 낮게 측정되었으며, 최소 영역별 5문항 이상에서 신뢰도가 적정 수준에 도달하였다.

• 대한안전경영과학회:학술대회논문집
• /
• 대한안전경영과학회 2011년도 춘계학술대회
• /
• pp.695-699
• /
• 2011

The study presents an efficient design method of Venn Diagram that can be used when implementing the quality design of experiments based on generalizability theory. The paper examines four mixed and combined models that are designed by fixed factor, random factor, crossed factor and nested factor. The models considered in this research are $A^*{\times}B^*{\times}C$, (B: $A^*$)${\times}C$, $A{\times}B{\times}C$ and (B: A)${\times}C$.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제28권4호
• /
• pp.431-455
• /
• 2014

이 연구는 미국 수학교사의 교수 질 평가도구 분석을 통하여 우리나라 수학교사들의 수업관찰 평가의 현장 적용 가능성을 모색하였다. 자료는 2007년부터 미국국립과학재단의 지원을 받아 수행되고 있는 중등수학 교수와 제도적 구성 프로젝트에서 수집한 수학 수업관찰 평가 종단 자료 중 3차년도와 4차년도의 96명의 수학교사 수업관찰 평가점수를 활용하였다. 이 프로젝트는 대규모로 야심차고 공평한 교수 실제를 위한 수학교사의 전문성 개발을 지원하기 위해 필요한 것들을 탐구하고 있다(MIST, 2007). 이 연구에서는 GENOVA 프로그램을 이용하여 단변량 일반화가능도 분석을, 그리고 mGENOVA 프로그램을 이용하여 다변량 일반화가능도 분석을 수행하였다. 구체적으로 교수 질 평가도구를 사용한 수학 수업관찰 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 적정 수준의 신뢰도를 확보하기 위한 최적의 측정 조건을 탐색하였다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 수학교사들의 수업 전문성을 평가하는 교원능력개발평가에서 최적의 측정 조건을 탐구하는데 적용 가능하다. 마지막으로 이 연구의 제한점과 후속연구를 제시하였다.

• 감성과학
• /
• 제11권4호
• /
• pp.553-564
• /
• 2008

본 연구에서는 일반화가능도 이론을 이용하여 폴리그라프 검사에 사용된 관련 질문의 개수와 반복측정 횟수 (차트의 수), 채점자 수가 폴리그라프 검사의 신뢰도에 미치는 영향을 평가하였다. 검찰청에서 형사피의자를 대상으로 Backster ZCT를 사용한 폴리그라프 검사자료 중 31명의 폴리그라프 검사자료를 표본추출하였으며, 31명의 검사자료를 13명의 채점자가 수치적 채점방법을 이용하여 채점한 점수에 대하여 일반화가능도 이론을 적용하여 분석하였다. 분석결과, 피검사자의 변량성분이 43.97%로 가장 컸으며, 다음으로 잔여오차변량성분이 16.84%, 피검사자와 반복측정 횟수의 상호작용오차변량성분이 12.17%, 피검사자와 반복측정 횟수, 관련 질문 개수의 삼원상호작용오차변량성분이 10.31%였으며, 나머지 변량성분은 모두 7% 미만이었다. 관련 질문의 개수와 반복측정 횟수, 채점자의 수에 따른 일반화가능도 계수를 산출한 결과, 바람직한 일반화가능도 계수인 0.80 이상을 보이는 조건은 관련 질문 2개 이상과 반복측정 3회 이상, 채점자 2명 이상의 조합인 것으로 나타났다.

• 한국지구과학회지
• /
• 제26권6호
• /
• pp.511-523
• /
• 2005

본 연구에서는 한국 지구과학 올림피아드 문항의 질 향상 방안을 모색하고자 1회와 2회 예선 및 본선 문항을 다양한 측면에서 분석하였다. 문항 분석을 위해 내적 및 외적 문항 분류틀을 구안하여 적용하였다. 고전 검사이론을 적용하여 문항의 난이도와 변별도, 상관계수, 그리고 신뢰도를, 일반화가능도 이론을 적용하여 일반화가능 도를 각각 추정하였다. 문항 분류틀 적용 결과는 다음과 같다: (1) 내용 차원에서는 지질 영역과 천문 영역에, 지식 및 탐구과정 차원에서는 자료 분석 및 해석에 집중되는 경향을 보였다. 또한 맥락 차원에서는 거의 대부분의 문항이 교과서적인 상황을 토대로 한 것이었다. (2) 요구 사고 수준에서 예선과 본선간의 차이를 발견할 수 없었다. (3) 문항 표현 범주에서는 그림의 사용 비율이 가장 높았고, 문항 유형 범주에서는 예선은 선다형과 단답형의 비율이, 본선은 서술형의 비율이 높았다. 또한 문항 형식 범주에서는 중학부와 예선은 단독형의 비율이 높고, 고교부와 본선은 복합형의 비율이 높았다. 문항을 분석한 결과는 다음과 같다: (1) 중학부는 대체로 난이도가 낮고, 변별도는 적절하였다. 그러나 고교부는 일반고와 과학고간에 상당한 차이가 있었다. (2) 중학부는 대기 영역과 총점과의 상관이, 고교부는 천문 영역과 총점과의 상관이 가장 높았다. (3) 양호한 문항이 가장 많은 일반고부의 문항 내적 일관성신뢰도와 일반화가능도가 가장 높았다. (4) 일반 고는 출제된 문항 수로 적정 수준의 일반화가능 도에 도달되나, 중학부나 과학고는 출제된 문항보다 2배 이상 많은 문항수가 필요한 것으로 나타났다.

• 한국산학기술학회논문지
• /
• 제18권1호
• /
• pp.565-571
• /
• 2017

본 연구는 유아정서지능검사 도구의 신뢰도와 오차 분석을 통해 유아의 정서지능을 평가하는 도구의 적절성을 검증하고 유아 대상의 검사도구를 활용할 때 고려해야 할 도구 관련 정보를 제공하려는 데 목적이 있다. 본 연구의 연구대상은 만5세 14학급 198명의 담임교사 14명과 어머니가 유아의 정서지능을 평가한 자료이다. 이병래[14]의 유아정서지능검사를 사용하여 유아의 정서지능을 측정한 후 그 결과를 활용하여 평가자, 평가문항, 평가대상 유아, 검사도구 그리고 각 요인간의 상호작용에 대한 분산분석을 실시하였다. 또한 각 요인의 분산추정치에 대한 분석을 수행하였다. 본 연구 결과에 따르면 유아의 정서지능 개인차가 평가결과에 반영되었음을 보여준다. 하위요인중 '자기인식능력', '자기조절능력' '타인조절능력' 등은 단일국면을 측정하고 있는 것으로 볼 수 있다. 또한 유아 정서지능을 평가할 때 교사뿐 아니라 부모도 평가자로 활용할 수 있다는 시사점을 얻을 수 있다. 다만 일부 하위 요인의 경우에는 오차변인의 비율이 크게 나와 이를 줄일 수 있는 방안을 모색해야할 필요가 있다. 본 연구는 유아의 정서지능을 평가할 때 사용하는 도구의 문제점을 파악하여 앞으로 정서지능 평가도구의 제작 및 활용시 적용할 수 있는 정보를 제공한다는 점에서 커다란 의의가 있을 것이다.

• 한국산학기술학회논문지
• /
• 제17권11호
• /
• pp.507-512
• /
• 2016

본 연구는 유아 자기통제력 평가도구의 신뢰도와 오차에 대한 분석을 통해 유아 자기통제력 평가도구뿐만 아니라 유아를 대상으로 한 평가도구를 활용할 때 적용할 수 있는 유용한 정보를 제공하고자 하는 목적으로 수행되었다. 본 연구의 연구대상은 만5세 16학급 259명의 담임교사 16명과 어머니가 유아의 자기통제력을 평가한 자료이다. Kendall과 Wilcox[1]가 개발한 자기통제력 평가도구 검사 결과를 활용하여 평가자, 평가문항, 평가대상 유아, 검사도구 그리고 각 요인간의 상호작용에 대한 분산분석을 실시하였으며 각각의 분산추정치에 대한 분석을 수행하였다. 본 연구를 통하여 유아 자기통제력 평가의 경우 유아 각자의 자기통제력 차이가 평가결과에 반영되었음을 알 수 있었다. 또한 평가자 오차변인의 경우, 분산성분이 전혀 나타나지 않은 것으로 보아 부모와 교사의 평가결과가 일치하고 있으며 따라서 부모를 평가자로 활용할 수 있는 가능성이 있는 검사도구라는 것을 알 수 있었다. 그러나 일부 하위 요인 문항의 경우 오차변인의 비율을 줄일 수 있는 방안을 모색해야 할 필요가 있다는 점을 알 수 있었다. 본 연구의 결과는 유아 자기통제력 평가도구가 가지고 있는 문제점에 대한 탐색을 통해 평가도구의 제작 및 활용 시 적용할 수 있는 정보를 마련해줄 수 있다는 점에서 커다란 의의가 있을 것이라고 판단된다.

• 한국과학교육학회지
• /
• 제25권2호
• /
• pp.173-183
• /
• 2005

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.