• 한국지구과학회지
• /
• 제31권1호
• /
• pp.95-105
• /
• 2010

본 연구의 목적은 집단논리적사고력검사의 이용 목적에 따라 일반화가능도이론을 적용하여 문항과 피험자만을 고려한 단일국면의 오차원, 그리고 문항과 피험자, 그리고 영역을 고려한 다국면의 오차원을 분석하는 데 있다. 연구는 지방 소재 초 중 고등학생 총 1016명을 대상으로 이루어졌으며, 21문항의 GALT 완본을 40분 동안 실시하고, 이 중 축소본에 해당하는 12문항을 별도로 추출하여 일반화가능도이론을 이용한 신뢰도 분석에 이용하였다. 자료의 분석을 위해 일반화가능도이론을 적용하여 $p{\times}i$설계와 $p{\times}(i:h)$설계로 나누어 G 연구와 D 연구를 실시하였다. 분석결과는 다음과 같다. 첫째, 완본과 축소본을 $p{\times}I$설계로 D 연구를 수행한 결과 완본의 경우 21문항을 평가했을 때 0.87로 적정 수준의 일반화가능도 계수인 0.80을 상회하였으며, 13문항에서도 적정 수준의 일반화가능도 계수에 도달하였다. 축소본의 경우 12문항을 평가했을 때 0.77로 적정 수준의 일반화가능도 계수에 미치지 못하였으며, 최소 15문항 이상에서 신뢰도가 적정 수준에 도달하였다. 둘째, 축소본을 $p{\times}(I:H)$설계로 D 연구를 수행한 결과 6영역에 대해 영역별로 2문항씩 구성될 경우 0.71로 적정 수준의 일반화가능도계수인 0.80 보다 낮게 측정되었으며, 최소 영역별 5문항 이상에서 신뢰도가 적정 수준에 도달하였다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제28권4호
• /
• pp.431-455
• /
• 2014

이 연구는 미국 수학교사의 교수 질 평가도구 분석을 통하여 우리나라 수학교사들의 수업관찰 평가의 현장 적용 가능성을 모색하였다. 자료는 2007년부터 미국국립과학재단의 지원을 받아 수행되고 있는 중등수학 교수와 제도적 구성 프로젝트에서 수집한 수학 수업관찰 평가 종단 자료 중 3차년도와 4차년도의 96명의 수학교사 수업관찰 평가점수를 활용하였다. 이 프로젝트는 대규모로 야심차고 공평한 교수 실제를 위한 수학교사의 전문성 개발을 지원하기 위해 필요한 것들을 탐구하고 있다(MIST, 2007). 이 연구에서는 GENOVA 프로그램을 이용하여 단변량 일반화가능도 분석을, 그리고 mGENOVA 프로그램을 이용하여 다변량 일반화가능도 분석을 수행하였다. 구체적으로 교수 질 평가도구를 사용한 수학 수업관찰 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 적정 수준의 신뢰도를 확보하기 위한 최적의 측정 조건을 탐색하였다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 수학교사들의 수업 전문성을 평가하는 교원능력개발평가에서 최적의 측정 조건을 탐구하는데 적용 가능하다. 마지막으로 이 연구의 제한점과 후속연구를 제시하였다.

• 감성과학
• /
• 제11권4호
• /
• pp.553-564
• /
• 2008

본 연구에서는 일반화가능도 이론을 이용하여 폴리그라프 검사에 사용된 관련 질문의 개수와 반복측정 횟수 (차트의 수), 채점자 수가 폴리그라프 검사의 신뢰도에 미치는 영향을 평가하였다. 검찰청에서 형사피의자를 대상으로 Backster ZCT를 사용한 폴리그라프 검사자료 중 31명의 폴리그라프 검사자료를 표본추출하였으며, 31명의 검사자료를 13명의 채점자가 수치적 채점방법을 이용하여 채점한 점수에 대하여 일반화가능도 이론을 적용하여 분석하였다. 분석결과, 피검사자의 변량성분이 43.97%로 가장 컸으며, 다음으로 잔여오차변량성분이 16.84%, 피검사자와 반복측정 횟수의 상호작용오차변량성분이 12.17%, 피검사자와 반복측정 횟수, 관련 질문 개수의 삼원상호작용오차변량성분이 10.31%였으며, 나머지 변량성분은 모두 7% 미만이었다. 관련 질문의 개수와 반복측정 횟수, 채점자의 수에 따른 일반화가능도 계수를 산출한 결과, 바람직한 일반화가능도 계수인 0.80 이상을 보이는 조건은 관련 질문 2개 이상과 반복측정 3회 이상, 채점자 2명 이상의 조합인 것으로 나타났다.

• 한국지구과학회지
• /
• 제26권6호
• /
• pp.511-523
• /
• 2005

본 연구에서는 한국 지구과학 올림피아드 문항의 질 향상 방안을 모색하고자 1회와 2회 예선 및 본선 문항을 다양한 측면에서 분석하였다. 문항 분석을 위해 내적 및 외적 문항 분류틀을 구안하여 적용하였다. 고전 검사이론을 적용하여 문항의 난이도와 변별도, 상관계수, 그리고 신뢰도를, 일반화가능도 이론을 적용하여 일반화가능 도를 각각 추정하였다. 문항 분류틀 적용 결과는 다음과 같다: (1) 내용 차원에서는 지질 영역과 천문 영역에, 지식 및 탐구과정 차원에서는 자료 분석 및 해석에 집중되는 경향을 보였다. 또한 맥락 차원에서는 거의 대부분의 문항이 교과서적인 상황을 토대로 한 것이었다. (2) 요구 사고 수준에서 예선과 본선간의 차이를 발견할 수 없었다. (3) 문항 표현 범주에서는 그림의 사용 비율이 가장 높았고, 문항 유형 범주에서는 예선은 선다형과 단답형의 비율이, 본선은 서술형의 비율이 높았다. 또한 문항 형식 범주에서는 중학부와 예선은 단독형의 비율이 높고, 고교부와 본선은 복합형의 비율이 높았다. 문항을 분석한 결과는 다음과 같다: (1) 중학부는 대체로 난이도가 낮고, 변별도는 적절하였다. 그러나 고교부는 일반고와 과학고간에 상당한 차이가 있었다. (2) 중학부는 대기 영역과 총점과의 상관이, 고교부는 천문 영역과 총점과의 상관이 가장 높았다. (3) 양호한 문항이 가장 많은 일반고부의 문항 내적 일관성신뢰도와 일반화가능도가 가장 높았다. (4) 일반 고는 출제된 문항 수로 적정 수준의 일반화가능 도에 도달되나, 중학부나 과학고는 출제된 문항보다 2배 이상 많은 문항수가 필요한 것으로 나타났다.

• 한국과학교육학회지
• /
• 제25권2호
• /
• pp.173-183
• /
• 2005

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

• 영재교육연구
• /
• 제23권5호
• /
• pp.671-695
• /
• 2013

이 연구는 관찰 추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 활용하여 측정상황에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 이를 바탕으로 채점 영역 내의 문항 수의 조건을 변화시킴으로써 일반화가능도계수를 최대화할 수 있는 효율적인 측정 조건을 탐색하는 방법을 제시하였다. 이를 위해 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원 수학분야에 지원한 90명의 자기소개서와 교사추천서를 2명의 교사가 분석적 방법으로 채점한 자료에 대해 다변량 일반화가능도 분석을 적용하였다. 이 연구 결과 산출된 최적의 측정 조건은 특정 영재교육원에서 제작한 루브릭을 바탕으로 수학영재를 선발하기 위해 사용된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시 도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 제작한 선발도구에 측정학적 특성을 바탕으로 최적의 측정 조건을 탐색하는 데 적용 가능하다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
• /
• pp.623-625
• /
• 2000

인터넷 환경의 발달에 의해 네트워크상의 콘텐츠의 전송이 활발해 지고 있다. 그 대표적인 예가 대중적으로 일반화되어 있는 전자메일일 것이다. 하지만 전자메일이 보다 일반화되고 보안상의 위협을 제거하기 위해선 전송되는 메일에 대한 내용증명과 배달증명이 가능해야 한다. 따라서, 본 논문에서는 먼저 내용증명과 배달증명이 가능한 기존의 방법들을 분석하고, 양사용자 사이에 문서를 교활할 수 있는 새로운 방법을 제안한다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제31권1호
• /
• pp.49-70
• /
• 2017

본 연구의 목적은 측정학적 이론을 바탕으로 수학영재 집단과 일반학생 집단에서 수학적 창의성 태도 검사 점수에 영향을 미치는 오차 요인들의 상대적인 영향력과 적정 수준의 신뢰도에 도달하는 효율적인 측정 조건을 탐색하는 데 있다. 이를 위해 109명의 중등 수학영재와 125명의 일반 중학생을 대상으로 실시한 수학적 창의성 태도 검사 결과에 다변량 일반화가능도 분석을 수행하였다. 주요 분석 결과는 다음과 같다. 첫째, 수학적 창의성 태도 검사는 신뢰도를 기준으로는 일반학생 집단에서, 조건부 측정 오차를 기준으로는 수학영재 집단에서 좀 더 적합한 것으로 나타났지만, 두 집단에서 모두 시행할 수 있는 신뢰로운 측정도구인 것으로 나타났다. 둘째, 수학적 창의성 태도 검사에서 신뢰도를 높이기 위해서는 수학영재 집단의 경우 수렴적 태도를 높게. 반면에 일반학생 집단의 경우 발산적 태도와 문제해결 태도를 높게 반영하여야 하는 것으로 나타났다. 셋째, 수학영재 집단의 경우 발산적 태도, 문제해결 태도, 수렴적 태도의 다차원적인 요소를 반영하는 경우, 그리고 일반학생 집단의 경우 발산적 태도만으로도 적정 수준의 신뢰도에 도달하는 것으로 나타났다. 마지막으로 이러한 연구결과들을 바탕으로 수학적 창의성 태도 검사 활용 방안 및 향후 연구 방향을 제시하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제21권1호
• /
• pp.87-98
• /
• 2010

본 논문은 강의평가의 타당성과 신뢰성을 측정하는 방법을 소개하고 실제자료를 이용하여 타당성과 신뢰성을 평가하였다. 기존의 강의평가 관련논문이 강의평가에 미치는 외생적인 영향을 통제하는 데 주력한 데 반해, 교원의 신분에 직접적인 영향을 미칠 수 있는 중대한 강의평가가 과연 믿을 만한 평가인가에 관한 근원적인 질문에 답하려 하였다. 전주대학교의 강의평가 결과를 실증 분석한 결과 타당성과 신뢰성 면에서 어느 정도 만족할 만한 수준임을 확인할 수 있었다. 본 논문에서는 기존에 간편하게 사용되던 신뢰성 측도가 아닌 일반화가능도 계수를 이용하여 신뢰성을 평가하는 방법을 자세히 소개하고 그 장점을 설명하였다.

• 과학교육연구지
• /
• 제47권2호
• /
• pp.211-224
• /
• 2023

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도이론을 예시 자료에 적용하여 분석하였다. G-연구분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내용 영역에 따라 난이도는 거의 변화가 없는 것으로 나타났다. D-연구 분석 결과, 원자료는 적정수준 이상의 신뢰도를 확보하였으며, 수와 연산, 기하, 확률 및 통계 영역의 문항 수를 줄이거나 문자와 식과 함수 영역의 가중치를 높게 반영함으로써 원자료보다 높은 신뢰도를 산출할 수 있는 것으로 나타났다. 본 연구에서 제시한 효율적인 측정 조건은 예시 평가 자료에 제한되지만 본 연구에서 활용한 방법은 자동문항생성 기반의 다양한 평가 상황에서 측정학적 특성을 바탕으로 신뢰도를 산출하고, 효율적인 측정 조건을 탐색하는 데 적용 가능하다.