• 한국과학교육학회지
• /
• 제18권4호
• /
• pp.617-626
• /
• 1998

본 연구의 목적은 국가적 수준에서 우리나라 초 중 고등학교 학생의 과학탐구 능력을 점검해볼 수 있는 평가체제를 개발하는 것이다. 이를 위하여 많은 전문인력이 연구에 참여하였고, 과학탐구 평가틀과 평가 문항을 개발하였다. 개발된 평가 문항을 여러 차례 수정보완한 후, 325개의 문항을 958명의 학생에게 예비 검사를 실시하여 현장 적용 가능성을 검토하였다. 예비 검사 결과 문항 특성이 만족스럽지 못한 문항은 삭제하여 240개의 문항을 본 검사 문항으로 확정하였다. 본 검사는 총 8,906명의 학생을 대상으로 실시하였으며, 검사결과를 고전검사이론과 문항반응이론에 의하여 분석한 결과 난이도, 변별도, 신뢰도 등이 매우 우수하다는 것이 판명되었다. 앞으로 본 연구에서 개발된 과학탐구 평가틀을 이용하여 더 많은 문항이 개발될 수 있으며, 이러한 문항을 이용하여 우리나라 학생들의 과학탐구능력을 주기적으로 점검할 수 있을 것이다.

• 한국과학교육학회지
• /
• 제24권3호
• /
• pp.519-531
• /
• 2004

최근 제7차 교육과정이 실시되면서 준거 지향적인 수행평가에 대한 요구가 커지고 있으며, 이러한 상황에서 평가의 절대적인 기준을 마련할 필요성 또한 절실해지고 있다. 본 연구는 제7차 교육과정에 근거하여 고등학교 과학 중 '생식' 단원과 '생물 농축' 단원에 대해서 필수 학습 요소, 성취 기준, 평가 기준 및 평가 문항을 개발하고, 이를 바탕으로 개발한 평가 문항을 실제 현장에 적용하여 그 타당성을 검증하는 것을 목적으로 한다. 본 연구에서는 제7차 교육과정과 고등학교 과학의 7종 교과서를 바탕으로 하여, '생식' 과 '생물 농축' 단원의 필수 학습 요소를 추출하고, 준거 지향 평가의 기초가 되는 객관적이고 타당한 성취 기준 및 평가 기준을 마련하였다. 추출된 필수 학습 요소는 '생식' 단원에서 12개, '생물 농축' 단원에서 4개이었으며, 개발된 성취 기준은 '생식' 단원에서 총 26개, '생물 농축' 단원에서 총 9개로 각각은 지식(K), 탐구(P), 태도(A)의 세 개 영역으로 구분하여 개발하였다. 이상과 같이 개발된 성취 기준을 바탕으로 평가 기준을 개발하였다. 개발된 평가 기준의 수는 '생식' 단원에서 총 25개, '생물 농축' 단원에서 9개였다. 성취 기준과 평가 기준에 따라 '생식' 단원과 '생물 농축' 단원에서 개발된 평가 문항의 수는 서술형 문항 17개, 논술형 문항이 13개, 포트폴리오가 2개로 총 22문항이었다. 각 평가 문항은 구체적인 채점 기준을 제시하였으므로, 교육과정에 근거한 객관적인 평가에 사용될 수 있다. 개발된 평가 문항 중, 서술형 문항 8개를 경기도 소재 고등학교 1학년 학생 240명을 대상으로 적용 분석하였다. 서술형 문항에 대한 학생들의 응답을 두 가지 검사 이론을 적용하여 분석하였는데, 평가 문항의 기본적인 양호도 검증을 실시한 결과, 본 연구에서 개발된 서술형 문항들은 난이도와 변별도 면에서 전반적으로 적절한 지수를 보여 수행 평가로 사용하기에 적절한 문항들이었다. 개발한 서술형 수행 평가 문항들은 미리 개발된 성취 기준과 평가 기준을 바탕으로 하였으므로 교수 학습의 목표와 내용에도 적합하였다. 고전 검사 이론과 다분 문항 반응 이론에 의해 분석된 문항의 변별도에는 언어적인 해석의 차이가 없었으나, 문항 난이도의 경우는 고전 검사 이론을 사용하였을 때 집단의 특성이 많이 나타나 다분 문항 반응 이론을 사용한 결과와 비교하여 해석의 차이가 다양하게 나타났다.

• 한국보육지원학회지
• /
• 제10권3호
• /
• pp.137-158
• /
• 2014

본 연구에서는 유아의 과학적 탐구기술 이해정도를 측정할 수 있는 검사도구를 개발하고자 하였다. 이를 위해 유아의 과학적 탐구기술에 대한 관련문헌과 검사도구를 분석하고 유아교육전문가 및 과학교육전문가들의 의견을 수렴하여 유아가 습득해야 할 과학적 탐구기술 이해의 5개 범주를 선정하였다. 이를 기초로 유아의 과학적 탐구기술 이해를 측정하는 문항을 개발하여 유아검사와 전문가 조사를 통해 문항구성의 적합도와 내용타당도를 검증하고 문항을 수정 보완하였다. 이를 통해 관찰하기 이해 3문항, 분류하기 이해 4문항, 예측하기 이해 4문항, 측정하기 이해 5문항, 토의하기 이해 3문항, 총 19문항이 개발되었다. 최종 개발된 19문항의 양호도를 검증한 결과, 문항난이도, 문항변별도, 문항 내적합치도는 적절한 수준이었으며 공인타당도와 검사-재검사 신뢰도도 유의미하게 나타났다. 개발된 검사도구를 만3, 4, 5세 유아 300명에게 적용한 결과, 과학적 탐구기술에 대한 이해 정도가 만5세, 4세, 3세 순으로 유의미하게 높았으며 남녀 유아 간에는 유의미한 차이가 없었다. 결론적으로 본 연구에서 개발한 유아의 과학적 탐구기술 이해 검사는 문항양호도, 신뢰도와 타당도가 확보된 도구임이 검증되었다.

• 한국인구학
• /
• 제35권1호
• /
• pp.53-75
• /
• 2012

본 연구의 목적은 노인집단에 대한 사회적 인식과 태도를 평가할 수 있는 연령주의(Ageism) 척도를 개발하는 것이다. 기존 연구를 통해 개발된 노인집단에 대한 인식 및 태도와 관련된 측정도구들을 평가하고 이에 기초하여 노화불안, 노인에 대한 인식(편견, 고정관념, 기피), 차별행동 등 연령주의에 대한 다차원적인 내용이 포함되도록 문항을 개발했으며 이에 대한 검증작업을 수행하였다. 연구결과를 요약하면, 연령주의 척도를 개발하기 위하여 기존 연구를 바탕으로 다차원적 문항을 정리하고 전문가 자문을 거쳐 예비문항 44개 문항을 구성하였으며, 사전조사 분석을 통하여 31개의 예비문항을 제안하였다. 그리고 18세 이상 1,535명을 대상으로 문항에 대한 검증을 실시하였다. 내적신뢰도 분석을 통해 8문항을 정리하여 23개 문항을 대상으로 탐색적 요인분석과 확인적 요인분석을 하였다. 연구결과 최종적으로 7개 하위요인으로 구성된 21개 문항이 구성되었다. 하위 요인으로는, 노화에 대한 인식으로서 노화에 대한 불안, 외모변화에 대한 태도를 설명하는 요인과 한편 노년에 대한 긍정적인 기대를 나타내는 요인도 나타났다. 그리고 노인에 대한 편견, 기피/회피를 나타내고 극단적으로 노인집단과의 분리를 나타내는 요인, 연령(고령)에 대한 차별 행동이 주요한 요인으로 추출되었다. 연령주의 척도는 사회구성원으로서 노인집단의 위치와 상황을 파악하는데 도움이 될 것이다. 그리고 나아가 이 결과는 노인관련 정책을 수립하고 노인관련 업무를 실천하는 현장에 노인에 대한 사회적 인식 및 태도에 대해 재인식할 수 있는 기회를 제공할 것이다.

• 한국콘텐츠학회논문지
• /
• 제16권7호
• /
• pp.50-62
• /
• 2016

본 연구는 전문대학을 선택하는 과정에 영향을 미치는 요인을 파악하기 위한 측정도구를 개발하고자 시행되었다. 이를 위해 연구모형과 초기문항을 설정하였고 내용타당도와 1차 예비조사과정을 거쳤다. 문항의 타당도와 신뢰도 분석을 위해 충북 제천 소재의 일개 전문대학 신입생 230명을 대상으로 2차 예비조사를 실시하였으며 문항분석과 문항 신뢰도 분석, 주성분 분석을 이용한 요인분석, Cronbach's ${\alpha}$ 계수를 통한 도구의 신뢰도를 검증하였다. 분석결과 전체 변량의 68.37%를 설명하는 15요인(61문항)이 추출되었으며 속성에 따라 매체경로정보수집(4문항), 대학활동경로정보수집(3문항), 대학지원 및 환경(4문항), 교육관련(5문항), 의사결정영향인사(3문항), 교육품질(4문항), 교육서비스(5문항), 대학명성(3문항), 접근성(2문항), 개인상황(2문항), 매체광고(5문항), 대학프로모션(4문항), 온라인홍보(4문항), 인적홍보(3문항), 대학 이미지(10문항)로 분류되었다. 본 설문도구의 Cronbach's ${\alpha}$는 전체 0.916이었고 각 요인별로 0.694~0.878로 나타났다. 개발된 측정도구는 급격한 환경변화로 신입생 충원에 어려움이 많은 지방 전문대학의 정책적 전략 수립 시 필요한 기초자료 수집에 활용될 수 있을 것이라 생각된다.

• 한국노년학
• /
• 제41권1호
• /
• pp.149-168
• /
• 2021

본 연구는 만성질환 노인의 약물이행을 측정하기 위한 도구(Medication Adherence Scale in Elderly, MAS-E)를 개발하고 신뢰도와 타당도를 검증하는 방법론적 연구이다. MAS-E는 혼종모형을 이용한 내용 분석에 의해 개념적 기틀을 구성하고 이를 기반으로 문항을 구성하고 내용타당도를 검증하여 예비문항을 구성하였고 문항을 검토한 후 예비 조사를 실시하여 총 26문항을 최종 확정하여 본 조사를 실시하였다. 설문조사 자료는 일대일 인터뷰를 통해 지역사회에 거주하는 만성질환 노인 345 명으로부터 수집되었다. 도구평가를 위해 신뢰도와 타당도를 검증하고 검증결과를 기반으로 최종 문항을 확정하여 만성질환 노인의 약물이행 도구(MAS-E)를 개발하였다. 타당도 검증에서 문항분석, 요인분석, 총점-요인 간 상관관계를 통해 4개 요인과 18문항이 도출되었으며-약물사용 기억하기(2문항), 약물효과에 대한 기대(5문항), 처방과 지시에 따른 약물사용 실천(8문항), 의료인과의 소통(3문항), 전체 18문항은 분산의 69.7 %를 설명하는 것으로 나타났다. 최종 도구의 총점-요인 간 상관관계는 모두 유의한 상관관계를 나타냈다. 준거타당도 검증 결과, 개발된 도구는 Morisky Medication Adherence Scale (MMAS-8)과 유의하게 양의 상관관계(r = .72, p <.001)를 나타냈다. 신뢰도 검증에서 문항내적 일관성 신뢰도 Cronbach'α는 .906, Guttman 반분검사 신뢰도는 .804, 검사-재검사 신뢰도는 .912로 나타나 개발된 도구는 안정적이고 일관성을 확보하였다. 본 연구를 통해 개발된 MAS-E는 타당도와 신뢰도가 모두 검증된 도구로서 만성질환 노인의 약물이행 정도를 평가하고 약물이행 개선을 위한 중재연구의 효과 평가에 활용될 수 있을 것이다

• 한국산학기술학회논문지
• /
• 제21권4호
• /
• pp.236-247
• /
• 2020

본 연구는 S 대학이 추구하는 인재상과 교육 목표에 적합한 핵심역량을 선정하고 이를 측정하는 검사 도구를 개발하려는 취지에서 연구를 진행하였다. 따라서 본 연구는 첫째, S대학의 인재상과 교육목표에 부합하는 핵심역량 요인을 정의하고 둘째, 핵심역량을 측정하기 위한 검사 도구를 개발하여 셋째, 향후 교육정책 및 교육과정 편성의 방향을 제시하고 합리적인 운영을 위한 자료를 확보하는 것을 목적으로 하였다. 핵심역량지표를 바탕으로 문항을 개발하였으며, 문항구성은 7개 역량의 영역, 16개의 소영역(하위능력), 46문항으로 구성하여 응답자의 동의수준을 측정하는 자기보고식 문항형식으로 개발하였다. 예비조사(pilot-test)는 220명의 설문결과를 바탕으로 문항분석을 하였으며, 문항의 내용 타당도를 검증하기 위해 교내 교수 및 교육학 분야 전문 교수를 대상으로 자문을 실시하였다. 전문가 타당도 검증에서는 개발한 문항들이 각 역량의 의미를 잘 반영하고 있는지, 적절히 진술되었는지를 중심으로 의견을 수렴하였으며, 전문가 의견과 문항분석결과, 신뢰도, 타당도 등 통계적 분석결과를 종합하여 문항을 수정, 보완하였다. 이러한 분석결과를 바탕으로 문항을 수정하여 본조사 문항을 개발하였으며, 본조사(Main-test)는 2,486명의 설문결과를 바탕으로 문항 분석을 실시하여 확인적 요인분석과 신뢰도 분석을 실시하여 검사의 타당성을 확보하였다. 개발된 S 대학의 핵심역량 진단도구는 S 대학교에서 진행되는 교육과정과 프로그램의 효과성을 검증하고 재학생들에게 적합한 역량을 향상시키는 핵심역량인증제의 합리적인 운영을 위한 1단계 자료로써 본 연구의 의의가 있다.

• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.253-269
• /
• 2020

본 연구는 2015 개정 과학과 교육과정에 제시된 성취기준에 기초하여 현대물리 개념지식에 대한 예비 물리교사의 이해를 진단할 수 있는 개념 진단지를 개발하고 타당도와 신뢰도를 확인하였다. Messick(1995)의 분류에 따른 5가지 타당도 중 검사내용에 기초한 타당도는 일련의 전문가 내용타당도 검사로 진행하여 확인한 후 24문항의 설문용 현대물리 개념 진단지를 구성하였다. 국내 15개 사범대학의 467명의 예비 물리교사에게 개발된 현대물리 개념 진단지를 적용하여 문항의 신뢰도와 Messick(1995)의 나머지 4가지 타당도를 확인하였다. 실제에 기초한 타당도는 Rasch 모형이 적용된 통계분석방법으로 문항적합도(MNSQ)를 확인한 결과, 23문항이 적합한 수준으로 나타났다. 이중 오타가 발생한 문항을 제외한 22문항에 대하여 내적구조에 기초한 타당도 분석을 하여 개발된 현대물리 개념 진단지의 일차원성을 확인하였다. 일반화에 기초한 타당도 확인 결과에 따르면 개발된 개념 진단지가 집단특성에 대해 독립적이라고 판단된다. 양자역학 수강 여부에 따른 검사점수의 t-검증 결과, 유의미한 차이가 나타났으며, 이를 외적준거에 기초한 타당도 확인으로 활용하였다. Cronbach alpha 및 Rasch 모형 분석에서의 피험자 신뢰도와 문항신뢰도 값은 검사자료가 적합한 수준의 신뢰도를 갖는다는 보여주었다. 또한 고전검사이론에 의한 문항분석 결과, 양호한 문항난이도를 보여주었으며 문항변별도는 두 문항이 준거값을 벗어났으나 다른 나머지 문항들은 양호한 값을 보여주었다. 양류상관계수는 한 문항을 제외한 나머지에 대해서 양호한 값을 나타내었다. KR-20과 Ferguson's delta 값 역시 검사지가 양호하다는 것을 보여주었다. 마지막으로 문항반응 이론에 의한 문항난이도(추정치)를 Rasch 모형 분석으로 추정하였으며, 이 값들은 피험자 집단 특성에 영향을 받지 않을 것으로 판단된다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 하계학술대회
• /
• pp.103-106
• /
• 2018

2015 개정 교육과정에서 컴퓨팅 사고력의 함양을 강조하고 있지만 컴퓨팅 사고력을 평가하기 위한 도구에 대한 개발이 미흡하다. 비버 챌린지 문항은 전 세계 60여개국의 정보 교육 전문가 집단이 약 1년 동안 공동 출제 및 검토를 통해 개발되는 문항이므로 문항의 타당도가 높다고 볼 수 있다. 다만 초기의 개발 목적이 평가도구로써 사용하기 위함이 아니었기 때문에 과연 컴퓨팅 사고력의 평가 도구로 사용할 수 있는 신뢰도를 가진 문항인가를 검증하기 위해 본 연구에서는 비버 챌린지 2017 그룹 III의 문항을 대상으로 문항내 적일관성신뢰도를 통계적으로 검증하였으며 그 결과 Cronbach ${\alpha}=.784$로 신뢰도가 높게 나타났다.

• 컴퓨터교육학회논문지
• /
• 제10권3호
• /
• pp.1-8
• /
• 2007

본 논문은 연관규칙 마이닝을 이용하여 성취도 평가 결과인 문항 응답 데이터를 대상으로 의미있는 문항간 관련성을 찾아낼 수 있는 도구를 개발하는데 연구의 목적이 있다. 제안된 도구는 의미없는 데이터들을 제거하여 보다 더 흥미(interestingness)있는 연관규칙을 생성하도록 하며, 이러한 결과는 교수-학습 방법이나 문제은행의 질을 향상시키는데 필요한 많은 정보를 제공할 수 있을 것이다. 이를 위하여 임의의 문항 응답 실험 데이터 집합을 생성하고 정보이론(Information Theory) 기반의 surprisal 이라는 도구를 개발하여 의미 없는 데이트를 제거한 후, 연관규칙을 추출하였다. 실험 데이터는 특정 문항간 관계가 의도적으로 빈발 생성되도록 만들어지며, 추출된 연관규칙이 그러한 문항간 관계를 적절히 반영하고 있는지의 여부를 평가하고, 원본 데이터와 지지도(support) 기반으로 추출된 연관규칙과 비교함으로써 surprisal 도구의 타당성을 증명하였다.