• 시큐리티연구
• /
• 제42호
• /
• pp.37-57
• /
• 2015

본 연구의 목적은 무도수련만족 척도를 경호무도 수련자에게 적용할 수 있도록 Many-Facets Rasch 모형에 의한 문항적합성을 검증하는데 있다. 이를 위해 경호무도를 수련하고 있는 255명의 자료를 분석에 사용하였다. 또한 단일차원성 검증을 위해 AMOS 20.0 프로그램을 사용하였으며, 문항적합도 검증을 위해 Facets 3.61 프로그램을 활용하였다. 이에 따른 구체적인 연구 결과는 다음과 같다. 첫째, 단일차원성 검증결과 모형적합도, 신뢰도 및 표준화 ${\beta}$값 모두 적합한 것으로 나타났다. 둘째, 문항적합도를 분석한 결과 문항 1,2,3은 부적합, 문항 4,8,11,13,14번은 과적합문항인 것으로 나타났다. 또한 문항곤란도 분석결과 문항 1번이 가장 높은 곤란도를 보유한 것으로 나타났으며, 문항 7번이 가장 낮은 곤란도를 보유한 것으로 나타났다. 셋째, 국면에 따른 문항곤란도 및 반응차이검증 결과 여성 집단이 남성 집단에 비해 높은 곤란도를 나타내었으며, 문항적합도는 모두 적합한 것으로 나타났다. 경호무도 수련경력에 따른 문항곤란도 및 반응차이검증결과 수련경력에 따른 반응차이는 없는 것으로 나타났으나 4년이상~5년미만 수련자와 5년이상~6년미만 수련자에서 과적합 특징을 나타내었다. 학년에 따른 문항곤란도 및 반응차이검증 결과 1학년이 문항곤란도를 가장 높게 인식하고 있었으며 4학년은 문항곤란도를 가장 낮게 인식하고 있었다. 넷째, 응답범주분석 결과 6점 응답 범주는 적절하지 않은 것으로 나타났다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제30권2호
• /
• pp.159-192
• /
• 2024

본 연구는 반응적-주도적 공격성 측정 도구인 RPQ (The reactive-proactive aggression questionnaire)를 국내에 타당화하는 것을 목적으로 한다. 원저자와의 상호협력을 통해 정확한 번안 과정을 거쳐 국내 일반인 510명을 대상으로 탐색적 요인분석, 탐색적 구조방정식 모형, 평정척도모형, 차별기능문항, 수렴타당도를 분석하였다. 본 연구 결과 첫째, RPQ의 요인구조는 이중적재가 나타난 한 문항을 삭제한 후 반응적 공격성과 주도적 공격성의 2요인으로 상정하였다. 둘째, Rasch 모형에 기반한 평정척도 분석 결과, 본 척도의 3점 리커트 척도는 적절한 것으로 나타났고, 문항적합도 검증을 통해 모든 문항이 적합도 기준을 충족하는 것으로 나타났다. 분리지수 및 분리 신뢰도는 주도적 공격성 요인이 다소 낮은 수준을 보였으나 전체적으로 피험자와 문항이 적절하게 변별되는 것으로 나타났다. 피험자x문항 분포 탐색 결과 반응적 공격성은 피험자의 능력수준과 문항난이도가 적절하게 대응하였으나, 주도적 공격성은 문항 난이도가 다소 높은 것으로 나타났다. 성별에 따라 다르게 기능할 수 있는 문항은 총 3문항으로 나타났으며, 수렴타당도 검증 결과 충동성 측정 도구인 한국판 BIS-11-R과는 낮은-중간 수준의 정적 상관관계를 보였다. 본 연구는 서구권과는 다른 한국의 문화적 특성을 고려한 타당화를 통해 공격성 척도인 RPQ가 국내에도 적합함을 입증하였으며 국내 일반인을 대상으로 반응적 공격성과 주도적 공격성 개념을 도입한 것에 의의를 지닌다.

• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.253-269
• /
• 2020

본 연구는 2015 개정 과학과 교육과정에 제시된 성취기준에 기초하여 현대물리 개념지식에 대한 예비 물리교사의 이해를 진단할 수 있는 개념 진단지를 개발하고 타당도와 신뢰도를 확인하였다. Messick(1995)의 분류에 따른 5가지 타당도 중 검사내용에 기초한 타당도는 일련의 전문가 내용타당도 검사로 진행하여 확인한 후 24문항의 설문용 현대물리 개념 진단지를 구성하였다. 국내 15개 사범대학의 467명의 예비 물리교사에게 개발된 현대물리 개념 진단지를 적용하여 문항의 신뢰도와 Messick(1995)의 나머지 4가지 타당도를 확인하였다. 실제에 기초한 타당도는 Rasch 모형이 적용된 통계분석방법으로 문항적합도(MNSQ)를 확인한 결과, 23문항이 적합한 수준으로 나타났다. 이중 오타가 발생한 문항을 제외한 22문항에 대하여 내적구조에 기초한 타당도 분석을 하여 개발된 현대물리 개념 진단지의 일차원성을 확인하였다. 일반화에 기초한 타당도 확인 결과에 따르면 개발된 개념 진단지가 집단특성에 대해 독립적이라고 판단된다. 양자역학 수강 여부에 따른 검사점수의 t-검증 결과, 유의미한 차이가 나타났으며, 이를 외적준거에 기초한 타당도 확인으로 활용하였다. Cronbach alpha 및 Rasch 모형 분석에서의 피험자 신뢰도와 문항신뢰도 값은 검사자료가 적합한 수준의 신뢰도를 갖는다는 보여주었다. 또한 고전검사이론에 의한 문항분석 결과, 양호한 문항난이도를 보여주었으며 문항변별도는 두 문항이 준거값을 벗어났으나 다른 나머지 문항들은 양호한 값을 보여주었다. 양류상관계수는 한 문항을 제외한 나머지에 대해서 양호한 값을 나타내었다. KR-20과 Ferguson's delta 값 역시 검사지가 양호하다는 것을 보여주었다. 마지막으로 문항반응 이론에 의한 문항난이도(추정치)를 Rasch 모형 분석으로 추정하였으며, 이 값들은 피험자 집단 특성에 영향을 받지 않을 것으로 판단된다.

• 인지과학
• /
• 제19권3호
• /
• pp.223-255
• /
• 2008

본 논문에서 우리는 문장의 문법성과 텍스트의 어휘 응집성 측정을 위주로 하는 영어 작문 자동평가시스템을 소개하려고 한다. 문법 검사를 위해서는 링크 파서를 사용하고 어휘 연쇄를 측정하기 위해서는 로제 시소러스를 사용한다. 자동 평가 시스템의 채점 신뢰도를 측정하기 위해서 자동 채점과 수동 채점의 결과를 통계적으로 비교한다. 카파 통계와 다국면 Rasch 모형에 따른 분석 결과 자동 채점은 수동 채점과 유사성이 크며 수동 채점과 비교해서 신뢰성에 특별한 문제가 없다는 결론을 내리게 된다. 본 연구의 가장 큰 의의는 다양한 종류의 기술과 도구를 바탕으로 신뢰할 만한 수준의 영작문 자동 평가 시스템을 개발했다는 것이다. 평가 대상이 문장 단위를 넘어 선 텍스트 단위이며, 단어나 문법 등의 형식적 측면만 검사하는 것이 아니라 내용적 측면도 평가한다.

• 한국과학교육학회지
• /
• 제42권2호
• /
• pp.239-252
• /
• 2022

이 연구는 초등학생 과학 탐구과제에서 관찰되는 수행의 특징을 분석하여 채점기준을 개발하기 위하여 수행되었다. 이를 위하여 초등학교 5학년 학생 75명의 과학 탐구활동보고서의 특징을 분석하고, 그 특징을 과학탐구 과정 요소와 역량 요소에 대한 이론 및 개념과 연계하여 체크리스트형 채점기준을 개발하였다. 개발된 채점기준을 활용하여 채점자 11인이 350여 개 과제를 교차채점하여 데이터를 생성하였으며, 그 결과는 다음과 같다. 첫째, 채점데이터는 피험자, 채점자, 채점항목의 3개 국면을 고려한 다국면 Rasch모형에 적합하였으며, 22개 채점항목들의 적합도가 양호하였다. 둘째, 낮은 수행수준에서 관찰가능한 특성은 과제에서 명시적으로 요구하는 질문에 답하거나, 사전에 학습한 과학적 개념을 활용하여 대상 혹은 현상을 관찰하는 것인 반면, 높은 수행수준에서는 주어진 자료 이외의 추가자료를 탐색하거나 자신의 실험과정을 성찰하는 것이었다. 학생 수행 특성 분석에 근거한 채점기준표의 유용성과 활용을 위한 향후 과제가 논의되었다.

• 영재교육연구
• /
• 제17권1호
• /
• pp.1-26
• /
• 2007

본 연구의 목적은 중학교 수학 영재를 수학 창의적 문제해결력 검사로 판별할 때, 유창성만을 기준으로 수학 창의적 문제해결력을 채점하는 방식의 신뢰도와 타당도를 검증하는데 있다. 이를 위해서 수학영역에서의 직관적 통찰능력, 정보의 조직화 능력, 추론능력, 일반화 및 적용능력, 추상화능력, 공간화/시각화 능력, 반성적 사고력을 요구하는 문항들로 구성된 검사를 개발했다. 고급한 수학적 사고력을 요구하며 정답이 하나인 폐쇄적인 수학문항 10개와 다양한 답이 가능한 개방적인 수학 문항 5개를 영재교육기관의 교육대상자 선발과정에 지원한 중학교 1학년 1,032명에게 실시했다. 교사들은 각 문제에 대해 타당한 답을 제시한 빈도로 유창성을 채점했다. 학생들의 반응을 Rasch의 1모수 문항반응모형을 기반으로 한 BIGSTEPS로 분석했다. 문항반응 분석결과, 유창성만으로 측정한 창의성을 기준으로 한 영재교육대상자 선발의 신뢰도, 타당도, 난이도, 변별도가 모두 양호한 것으로 나타났다. 특히 덜 정의되고, 덜 구조화되고, 신선한 문제일수록 영재교육대상자 선발과정에 지원한 학생들의 수학 창의적 문제해결력을 평가하는데 양호한 문제임이 확인되었다. 이 검사는 영재교육원 지원생들이 영재학급 지원생들보다 창의적 문제해결력에서 더 우수함을 확인해주었다. 이로써 유창성만을 기준으로 수학 창의적 문제해결력을 채점하는 방식이 효율적이며, 타당하고 신뢰로울 수 있음을 확인해 주었다.

• 중환자간호학회지
• /
• 제15권3호
• /
• pp.37-50
• /
• 2022

Purpose : This study aimed to examine the item characteristics of the Korean version of the intensive care experience questionnaire (K-ICEQ) using the Rasch analysis model of the item response theory. Methods : In this methodological study, the validity of the scale was examined, and a secondary analysis was conducted using cohort data of patients who were discharged from the intensive care units (ICU). Data from 891 patients who responded to the K-ICEQ upon ICU discharge were analyzed. The WINSTEP program was used to analyze item characteristics, including item difficulty, fit indices, appropriateness scale, and separation reliability. Results : The difficulty level of all 26 items of the K-ICEQ was appropriate, and the fit indices of the 25 items, except for item 18, were good. The 5-point scale of the K-ICEQ was not appropriate in the three subscales. The item separation reliability was good in all subscales, but did not meet the criteria in terms of respondents. Conclusion : The results of examining the item characteristics of the K-ICEQ revealed a good degree of difficulty, fitness, and item separation reliability. To increase the validity of the K-ICEQ, we suggest the rearrangement of the overall item order, modification of the item description of the "recall of experience" subscale, and reduction of the scale response level.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제18권2호
• /
• pp.239-250
• /
• 2004

수학적 힘의 함양과 문제해결력의 신장을 위한 수학교육에서 확률영역은 중요한 학습소재임에도 불구하고, 확률영역은 어려운 것으로 고착되었다. 이 연구에서는 학생들이 확률영역의 어떤 부분을 어려워하고 이해하기 힘들어하는지를 구체적 문항분석을 통하여 알아봄으로서 교수-학습의 기초자료를 제공하고자한다. 이를 위하여, 지난 10년간 출제되었던 대학수학능력시험의 확률영역 16문항을 고등학교 학생 220명에게 실시하고, 고전검사이론과 문항반응이론울 적용하여 그 결과를 분석하였다. 고전검사이론에서는 신뢰도와 변별도를 측정하였고, 문항반응이론에서는 Rasch 1-모수 문항반응모형에 근거한 BIGSTEP을 사용하여 내적타당도와 난이도를 측정하였다.

• 한국지구과학회지
• /
• 제39권3호
• /
• pp.260-274
• /
• 2018

이 연구에서는 학습 발달과정을 탐색을 통해 계절의 변화에 대한 교육과정과 교수 계열을 제안하고자 하였다. 학습 발달과정을 알아보기 위해 Wilson (2005)이 제안한 '구인 모델링 방식'의 4가지 단계(구인특화, 평가 문항 개발, 평가 결과 기술, 측정 모델)를 적용하였다. 구인특화 단계에서는 계절의 변화의 하부 구인으로 '계절에 따른 그림자의 길이', '계절에 따른 별자리의 위치', '남반구와 북반구의 계절', '계절에 따른 태양의 일주운동', '계절의 원인과 현상'을 설정하였으며, 선행 연구 결과를 바탕으로 각 하부 구인의 하위 정착점인 수준 1에서 상위 정착점인 수준 4까지를 나타낸 구인구성도를 작성하였다. 평가 문항 개발 단계에서는 구인구성도를 토대로 C-E (choose and explain) 형태의 문항 3개, CR (constructed response) 형태의 문항 2개로 구성된 총 5개의 평가 문항을 개발하였으며, 초, 중, 고등학교 학생 383명을 대상으로 적용하였다. 평가 결과 기술 단계에서는 평가 문항에 대한 학생 응답 결과를 구인구성도를 토대로 범주화하는 과정을 거쳤으며, 이 범주들을 학생 능력에 따라 4수준으로 분류하고 1-4점의 점수를 부여하였다. 측정 모델 단계에서는 Rasch 모델의 부분점수 모형을 적용하여 학생들의 응답 결과를 통해 작성한 학습 발달의 경로가 선행 연구를 기반으로 작성한 구인구성도와 일치하는지 비교하였다. 이를 통해 구인구성도를 수정함으로써 최종적으로 계절의 변화에 대한 가설적인 학습 발달과정을 작성하였다. 최종적으로, 연구 결과를 바탕으로 계절 변화에 대한 교육 과정 개정 방향과 효과적인 교수 계열을 제안하였다.

• 대한감각통합치료학회지
• /
• 제13권2호
• /
• pp.31-41
• /
• 2015

목적 : 본 연구의 목적은 만 3~5세 아동의 감각처리 문제를 선별할 수 있는 아동감각처리척도(Sensory Processing Scale for Children: SPS-C)를 개발하여 타당도를 검증하는 것이다. 연구방법 : 아동감각처리척도를 개발한 뒤, 만 3~5세 아동 138명의 보호자를 대상으로 평가를 시행하였다. 평가도구의 구성타당도를 검증하기 위해 수집된 자료를 대상으로 라쉬분석을 통해 단일차원모형의 적합성과 평정척도의 적합성을 분석하였다. 결과 : 라쉬분석 결과 총 56개 항목 중 6개 항목(10.7%)이 부적합한 것으로 나타났다. 또한 평정척도 분석 결과 5점 척도보다 3점 척도가 더 적합한 것으로 나타났다. 결론 : 본 연구를 통해 아동감각처리척도의 구성타당도를 검증하였으며, 추후 연구에서는 최종적으로 수정 보완된 한국형 감각처리척도를 대상으로 신뢰도와 기타 타당도 검증을 하여야 할 것이다.