• 한국지구과학회지
• /
• 제31권1호
• /
• pp.95-105
• /
• 2010

본 연구의 목적은 집단논리적사고력검사의 이용 목적에 따라 일반화가능도이론을 적용하여 문항과 피험자만을 고려한 단일국면의 오차원, 그리고 문항과 피험자, 그리고 영역을 고려한 다국면의 오차원을 분석하는 데 있다. 연구는 지방 소재 초 중 고등학생 총 1016명을 대상으로 이루어졌으며, 21문항의 GALT 완본을 40분 동안 실시하고, 이 중 축소본에 해당하는 12문항을 별도로 추출하여 일반화가능도이론을 이용한 신뢰도 분석에 이용하였다. 자료의 분석을 위해 일반화가능도이론을 적용하여 $p{\times}i$설계와 $p{\times}(i:h)$설계로 나누어 G 연구와 D 연구를 실시하였다. 분석결과는 다음과 같다. 첫째, 완본과 축소본을 $p{\times}I$설계로 D 연구를 수행한 결과 완본의 경우 21문항을 평가했을 때 0.87로 적정 수준의 일반화가능도 계수인 0.80을 상회하였으며, 13문항에서도 적정 수준의 일반화가능도 계수에 도달하였다. 축소본의 경우 12문항을 평가했을 때 0.77로 적정 수준의 일반화가능도 계수에 미치지 못하였으며, 최소 15문항 이상에서 신뢰도가 적정 수준에 도달하였다. 둘째, 축소본을 $p{\times}(I:H)$설계로 D 연구를 수행한 결과 6영역에 대해 영역별로 2문항씩 구성될 경우 0.71로 적정 수준의 일반화가능도계수인 0.80 보다 낮게 측정되었으며, 최소 영역별 5문항 이상에서 신뢰도가 적정 수준에 도달하였다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제55권2호
• /
• pp.147-169
• /
• 2016

This study analyzes the mathematical creativity test as an illustrative example with scoring domains of fluency, flexibility and originality in order to make suggestions for obtaining maximum reliability based on a composite score depending on combinations of each scoring domain weights. This is done by performing a multivariate generalizability analysis on the test scores, which were allowed to access publicly, of 30 mathematically gifted elementary school students, and therefore error variances, generalizability coefficients, and effective weights have been calculated. The main results were as follows. First, the optimal weights should adjust to .5, .4, and .1 based on the maximum generalizability coefficient even though the original weights in the mathematical creativity test were equal for each scoring domain with fluency, flexibility and originality. Second, the mathematical creativity test using the three scoring domains of fluency, flexibility, and originality showed higher reliability than using one scoring domain such as fluency. These results are limited to the mathematical creativity test used in this study. However, the methodology applied in this study can help determine the optimal weights depending on each scoring domain when the tests constructed in various researchers or educational fields are composed of multiple scoring domains.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제28권4호
• /
• pp.431-455
• /
• 2014

이 연구는 미국 수학교사의 교수 질 평가도구 분석을 통하여 우리나라 수학교사들의 수업관찰 평가의 현장 적용 가능성을 모색하였다. 자료는 2007년부터 미국국립과학재단의 지원을 받아 수행되고 있는 중등수학 교수와 제도적 구성 프로젝트에서 수집한 수학 수업관찰 평가 종단 자료 중 3차년도와 4차년도의 96명의 수학교사 수업관찰 평가점수를 활용하였다. 이 프로젝트는 대규모로 야심차고 공평한 교수 실제를 위한 수학교사의 전문성 개발을 지원하기 위해 필요한 것들을 탐구하고 있다(MIST, 2007). 이 연구에서는 GENOVA 프로그램을 이용하여 단변량 일반화가능도 분석을, 그리고 mGENOVA 프로그램을 이용하여 다변량 일반화가능도 분석을 수행하였다. 구체적으로 교수 질 평가도구를 사용한 수학 수업관찰 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 적정 수준의 신뢰도를 확보하기 위한 최적의 측정 조건을 탐색하였다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 수학교사들의 수업 전문성을 평가하는 교원능력개발평가에서 최적의 측정 조건을 탐구하는데 적용 가능하다. 마지막으로 이 연구의 제한점과 후속연구를 제시하였다.

• 대한치과의사협회지
• /
• 제57권8호
• /
• pp.448-455
• /
• 2019

This study aims to apply the Generalizability Theory (G-theory) for estimation of reliability of evaluation scores between raters on Patient Dentist Interaction. Selecting a number of raters as multiple error sources, this study was analyzed the error sources caused by relative magnitude of error variances of interaction between the factors and proceeded with D-study based on the results of G-study for optimal determination of measurement condition. The estimated outcomes of variance component for accuracy among the Patient Dentist Interaction evaluation with G-theory showed that impact of error was the biggest influence factor in students. The second influence was the item effect, and the rater effect was relatively small. The Generalizability coefficients for case1 and case2 which were estimated through the D- study were calculated relatively low.

• 한국지구과학회지
• /
• 제26권6호
• /
• pp.511-523
• /
• 2005

본 연구에서는 한국 지구과학 올림피아드 문항의 질 향상 방안을 모색하고자 1회와 2회 예선 및 본선 문항을 다양한 측면에서 분석하였다. 문항 분석을 위해 내적 및 외적 문항 분류틀을 구안하여 적용하였다. 고전 검사이론을 적용하여 문항의 난이도와 변별도, 상관계수, 그리고 신뢰도를, 일반화가능도 이론을 적용하여 일반화가능 도를 각각 추정하였다. 문항 분류틀 적용 결과는 다음과 같다: (1) 내용 차원에서는 지질 영역과 천문 영역에, 지식 및 탐구과정 차원에서는 자료 분석 및 해석에 집중되는 경향을 보였다. 또한 맥락 차원에서는 거의 대부분의 문항이 교과서적인 상황을 토대로 한 것이었다. (2) 요구 사고 수준에서 예선과 본선간의 차이를 발견할 수 없었다. (3) 문항 표현 범주에서는 그림의 사용 비율이 가장 높았고, 문항 유형 범주에서는 예선은 선다형과 단답형의 비율이, 본선은 서술형의 비율이 높았다. 또한 문항 형식 범주에서는 중학부와 예선은 단독형의 비율이 높고, 고교부와 본선은 복합형의 비율이 높았다. 문항을 분석한 결과는 다음과 같다: (1) 중학부는 대체로 난이도가 낮고, 변별도는 적절하였다. 그러나 고교부는 일반고와 과학고간에 상당한 차이가 있었다. (2) 중학부는 대기 영역과 총점과의 상관이, 고교부는 천문 영역과 총점과의 상관이 가장 높았다. (3) 양호한 문항이 가장 많은 일반고부의 문항 내적 일관성신뢰도와 일반화가능도가 가장 높았다. (4) 일반 고는 출제된 문항 수로 적정 수준의 일반화가능 도에 도달되나, 중학부나 과학고는 출제된 문항보다 2배 이상 많은 문항수가 필요한 것으로 나타났다.

• 한국과학교육학회지
• /
• 제25권2호
• /
• pp.173-183
• /
• 2005

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제57권2호
• /
• pp.179-196
• /
• 2018

The purpose of this study was to investigate the measurement equivalence and to suggest application ways in teaching aptitude and personality test results for pre-service mathematics teachers between a graduate school of education and a college of education. This study analyzed the scores of the teaching aptitude and personality test of 36 pre-service mathematics teachers enrolled in a graduate school of education and 111 pre-service mathematics teachers in a college of education by performing a multivariate generalizability analysis. The main results were as follows. First, graduate's pre-service mathematics teachers had a higher level of teaching aptitude and personality than that of college's pre-service mathematics teachers based on the total scores. In addition, graduate's pre-service mathematics teachers had higher levels of teaching aptitude and personality than those of college's pre-service mathematics teachers except for a creativity application domain based on the sub-domain scores. Second, cognitive domains were measured more precisely but affective domains were measured less precisely for graduate's pre-service mathematics teachers than for college's pre-service mathematics teachers. Third, regardless of school levels, Cronbach's ${\alpha}$ values, which might be overestimated by applying the classical test theory, were higher than dependability coefficients. Fourth, this study showed a somewhat negative result in ensuring the measurement equivalence for a problem solving exploration domain. However, regardless of school levels, this study indicated that the overall measurement was generally reliable on composite scores. Based on these results, it was confirmed that multivariate generalizability methodologies' approach can be useful for exploring the measurement equivalence issues. Finally, this study suggests how to utilize the results of the test, how to apply a multivariate generalizability analysis for detecting the measurement equivalence, and how to develop future research based on limitations.

• 한국산학기술학회논문지
• /
• 제18권1호
• /
• pp.565-571
• /
• 2017

본 연구는 유아정서지능검사 도구의 신뢰도와 오차 분석을 통해 유아의 정서지능을 평가하는 도구의 적절성을 검증하고 유아 대상의 검사도구를 활용할 때 고려해야 할 도구 관련 정보를 제공하려는 데 목적이 있다. 본 연구의 연구대상은 만5세 14학급 198명의 담임교사 14명과 어머니가 유아의 정서지능을 평가한 자료이다. 이병래[14]의 유아정서지능검사를 사용하여 유아의 정서지능을 측정한 후 그 결과를 활용하여 평가자, 평가문항, 평가대상 유아, 검사도구 그리고 각 요인간의 상호작용에 대한 분산분석을 실시하였다. 또한 각 요인의 분산추정치에 대한 분석을 수행하였다. 본 연구 결과에 따르면 유아의 정서지능 개인차가 평가결과에 반영되었음을 보여준다. 하위요인중 '자기인식능력', '자기조절능력' '타인조절능력' 등은 단일국면을 측정하고 있는 것으로 볼 수 있다. 또한 유아 정서지능을 평가할 때 교사뿐 아니라 부모도 평가자로 활용할 수 있다는 시사점을 얻을 수 있다. 다만 일부 하위 요인의 경우에는 오차변인의 비율이 크게 나와 이를 줄일 수 있는 방안을 모색해야할 필요가 있다. 본 연구는 유아의 정서지능을 평가할 때 사용하는 도구의 문제점을 파악하여 앞으로 정서지능 평가도구의 제작 및 활용시 적용할 수 있는 정보를 제공한다는 점에서 커다란 의의가 있을 것이다.

• 한국산학기술학회논문지
• /
• 제17권11호
• /
• pp.507-512
• /
• 2016

본 연구는 유아 자기통제력 평가도구의 신뢰도와 오차에 대한 분석을 통해 유아 자기통제력 평가도구뿐만 아니라 유아를 대상으로 한 평가도구를 활용할 때 적용할 수 있는 유용한 정보를 제공하고자 하는 목적으로 수행되었다. 본 연구의 연구대상은 만5세 16학급 259명의 담임교사 16명과 어머니가 유아의 자기통제력을 평가한 자료이다. Kendall과 Wilcox[1]가 개발한 자기통제력 평가도구 검사 결과를 활용하여 평가자, 평가문항, 평가대상 유아, 검사도구 그리고 각 요인간의 상호작용에 대한 분산분석을 실시하였으며 각각의 분산추정치에 대한 분석을 수행하였다. 본 연구를 통하여 유아 자기통제력 평가의 경우 유아 각자의 자기통제력 차이가 평가결과에 반영되었음을 알 수 있었다. 또한 평가자 오차변인의 경우, 분산성분이 전혀 나타나지 않은 것으로 보아 부모와 교사의 평가결과가 일치하고 있으며 따라서 부모를 평가자로 활용할 수 있는 가능성이 있는 검사도구라는 것을 알 수 있었다. 그러나 일부 하위 요인 문항의 경우 오차변인의 비율을 줄일 수 있는 방안을 모색해야 할 필요가 있다는 점을 알 수 있었다. 본 연구의 결과는 유아 자기통제력 평가도구가 가지고 있는 문제점에 대한 탐색을 통해 평가도구의 제작 및 활용 시 적용할 수 있는 정보를 마련해줄 수 있다는 점에서 커다란 의의가 있을 것이라고 판단된다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권4호
• /
• pp.947-956
• /
• 2015

본 연구는 문헌 및 현장에서 얻은 생물자원지식들의 가치를 평가하기 위해 전문가들을 대상으로 실시한 델파이 조사 (Delphi method)의 신뢰성을 평가하였다. 델파이조사는 전문가들이 다른 사람의 의견과 관계없이 독립적으로 전문성 있는 평가를 내린 다음에 다음 단계에서 다른 전문가들의 의견을 참고하며 자신의 의견을 수정하는 절차를 갖는다. 본 연구에서는 문헌에서 얻은 전통지식 100건, 현장에서 취득한 지식 100건 등, 모두 200건을 우선 선정한 후 전문가 6인을 선정하여 각 지식의 가치에 대하여 두 차례 평가하도록 하였다. 그 결과 두 차례의 평가점수는 연관성이 매우 높으면서 2차에서는 다른 전문가들의 의견을 수용해 어느 정도 자체수정이 발생하여 각 문항에 대한 평가점수의 표준편차가 줄어들었다. 본 조사의 신뢰성 (reliability)을 파악하기 위해 일반적인 신뢰도 계수인 크론바하 알파와 함께 일반화가능도 (generalizability) 계수를 구하였다. 이 두 신뢰도 분석을 통해 2차 평가 후 평가의 신뢰도가 상승하여 전문가에 의한 델파이 조사의 신뢰도가 매우 높다는 사실을 지지하였으나 일반화 가능도 분석 결과를 해석하는 과정에서 다른 결과를 유추할 수 있었다. 신뢰도계수가 증가하였음에도 불구하고 평가자간의 편차는 증가하여 신뢰도가 높아진 것은 평가가 상향되고 평균에 회귀하는 경향으로 잔차변동이 줄어서이지 평가자간의 의견수렴이 이루어진 결과로 볼 수는 없다는 사실이었다. 이러한 결과를 토대로 신뢰도 계수와 함께 평가자 간의 분산을 파악하여 델파이조사의 추가적인 단계 (round)가 필요함을 제시하였다.