• 제목/요약/키워드: 변별타당도

검색결과 108건 처리시간 0.029초

지구과학 창의력 평가 문항 개발 방법에 관한 연구 (A Method for Developing Items to Assess Earth Science Creativity)

  • 이항로
    • 한국지구과학회지
    • /
    • 제24권3호
    • /
    • pp.150-159
    • /
    • 2003
  • 본 연구에서는 지구과학 지식과 창의력을 동시에 적용해야 해결할 수 있는 지구과학 창의력을 평가할 수 있는 문항의 개발 방법을 제시하고자 하였다. R&D과정을 거친 본 연구의 결과는 첫째, 조작적 정의를 통해 창의력과 과학창의력간의 인지능력 차이를 명료화하였고 둘째, 과학창의력을 구성하는 하위 요소들 중에서 문항 개발이 가능하다고 판단된 유창성, 융통성, 정교성, 독창성을 선정하여 각각에 대한 조작적 정의를 내린 후 각 요소들에 대한 평가와 채점의 준거를 제시하였다. 셋째, 평가도구의 구비 조건인 타당도, 신뢰도, 변별도, 난이도를 검증하기 위하여 3번의 현장검증을 실시하였으며, 본 연구에서 개발한 지구과학창의력 평가도구는 각 하위 요소별로 2문항씩 총 8문항으로 구성되어 있다. 넷째, 문항합치도 지수 평균은 .99, 문항 내적 합치도 지수인 Cronbach ${\alpha}$값은 .79, 각 문항별 평가자간 신뢰도는 0.78,각 하위 요소별 평가자간 신뢰도는 0.75, 변별도 지수인 점이연상관 지수는 .19, 문항 난이도 지수는 .00이었다. 이와 같이 평가도구의 구비조건들이 허용 범위 내에 있는 것으로 볼 때 본 연구에서 개발한 지구과학 창의력 평가도구는 유용한 것으로 판단할 수 있다.

사회적 구성주의 관점을 고려한 과학에 대한 태도 측정과 활용에 대한 탐색 (An Exploration in the Measurement and Application of Attitude Towards Science based on Social Constructivism)

  • 조선미;구자옥
    • 한국과학교육학회지
    • /
    • 제33권2호
    • /
    • pp.466-477
    • /
    • 2013
  • 본 연구의 목적은 사회적 구성주의 관점에서 개발된 과학에 대한 태도 척도의 타당성 검증과 척도의 활용 가능성을 살펴보는데 있다. 설문지를 통해 833명의 중학교 2학년 학생들의 자료가 수집되었다. 먼저 요인분석을 통해 사회적 구성주의 관점을 고려한 Krogh와 Thomsen(2005)의 문화적 경계넘기 중 평판 척도(reputation in culture border crossings: R-CBC)의 타당성을 살펴보았는데 요인분석 결과 타당성이 검증되었다. 다음으로 상관관계를 통해 수렴 타당도와 변별타당도를 살펴보았는데 사회적 구성주의에 기반을 둔 R-CBC 척도와 Simpson-Troost Attitude Questionnaire(STAQ) 척도는 높은 정적상관을 보였다. 사회적 구성주의에 기반한 STAQ 척도와 개인적 구성주의에 기반한 Test of Science-Related Attitudes(TOSRA) 척도는 낮은 상관성을 보였고 R-CBC 척도는 TOSRA 척도와 상관성이 거의 없는 것으로 나타났다. 마지막으로 희망 진학 고등학교별 과학에 대한 태도를 3개 척도를 통해 비교 분석하였는데 R-CBC 척도와 STAQ 척도로 측정된 학생들의 과학에 대한 태도는 학교유형별(과학고, 인문고, 실업고) 차이를 보였다. 이는 사회적 구성주의 관점에 기반을 둔 척도가 중학생의 과학고 진학 희망을 예측할 수 있는 평가 도구임을 보여주는 것이다.

한국인 인간관계의 문화적 특성과 척도개발 - 온정적 인간관계 (Cultural characteristics of Korean interpersonal relationships and scale development - affective relationships)

  • 박윤;심형인;이숙종
    • 한국심리학회지 : 문화 및 사회문제
    • /
    • 제20권4호
    • /
    • pp.415-441
    • /
    • 2014
  • 본 연구는 한국적 인간관계의 문화적 특성을 발견하기 위하여 수행되었다. 연구1에서는 한국인·한국사회의 특성에 관한 전문서적 21권과 한국인 인간관계의 문화적 특성에 관한 선행연구를 검토하여 한국적 인간관계의 특성을 이해하고 이를 대표할 수 있는 예비문항 45개를 선별하였다. 이를 활용하여 국내 대학생을 대상으로 설문조사를 실시하였고 문항-총점 간상관관계를 분석하여 5개의 예비문항을 삭제하고 40개의 예비문항으로 탐색적 요인분석을 실시하였다. 탐색적 요인분석 결과 6개 하위요인(32개 문항)으로 분석되었고, 측정문항의 내용타당도를 검토하는 과정에서 의미가 중복되는 문항을 통합·수정하여 총 20개로 재구성하였다. 연구2에서는 연구1에서 재구성한 20개의 예비문항을 활용하여 국내 일반인을 대상으로 설문조사를 실시하였고, 탐색적 요인분석 결과 '우호적 관계, 정, 조화, 관계유지중시'의 4개 하위요인을 발견하였다. 확인적 요인분석을 통해 측정모형의 타당도를 검토하고 개념타당도를 검토하는 과정에서 3개의 측정문항을 삭제하여 17개 측정문항을 온정적 인간관계 척도로 확정하였다. 이후 온정적 인간관계 척도와 유사 개념 간의 상관관계를 분석함으로써 변별타당도를 분석하였다. 또한 본 연구의 결과를 토대로 본 척도의 4개 하위요인을 한국의 문화적 특성 관점에서 해석하고 본 척도가 갖는 의의와 한계점을 논의하였다.

  • PDF

그 말은 진실일까?: CBCA의 진실 탐지 효용성에 대한 메타분석적 고찰 (Is it true?: A Meta-analysis on the Efficacy of CBCA in Detecting Truths)

  • 김혜진;이상민;허태균;최승혁
    • 한국심리학회지:법
    • /
    • 제12권2호
    • /
    • pp.121-149
    • /
    • 2021
  • 진술의 진실성을 평가하는 절차인 진술타당도분석(Statement Validity Analysis: SVA)은 국내외 범죄 수사와 법정 상황에서 활용되고 있다. SVA 절차 중 내용분석 단계에서는 준거기반내용분석(Criteria-Based Content Analysis: CBCA) 준거를 사용하여 진술에서 실제 경험에 기반하였을 때 나타나는 특징들이 현출되는지를 평가한다. CBCA 준거의 변별력과 효과크기에 대한 국내 연구는 다양한 패러다임으로 이루어졌지만, 그 연구 결과들의 일관성은 여전히 검증되지 않았다. 이에 본 연구에서는 국내에서 관련 연구가 시작된 2004년부터 2020년까지 수행된 CBCA 준거 관련 연구들(14개의 연구자료)에 대한 메타분석을 실시하였다. 연구결과, CBCA 총점이 진실과 작화를 성공적으로 변별해내고 있었다. 준거별로는, 네 개의 준거(3번, 4번, 10번, 12번; 모두 인지적 준거)에서 정적(+)인 효과크기가 유의미했다. 그러나 18번 준거(동기적 준거)는 CBCA의 기본 가정과는 반대로, 효과크기가 부적(-)으로 유의미한 것으로 나타났다. 또한, 조절효과분석이 가능한 열한 개의 준거(2번~9번, 12번, 13번, 15번) 각각에 대해 잠재적 조절변인의 영향을 살펴본 결과, 일부 준거들에 대하여 진술인의 성별 및 신분, 연구 유형 및 설계, 사건 유형, 평가자 수, 출판 여부의 조절효과가 유의미한 것으로 나타났다. 따라서 본 연구결과는 진실여부를 타당하게 판단하기 위해서는 CBCA 총점보다는 세부 준거, 특히 인지적 준거에 초점을 맞추는 것이 중요하며, 잠재적 조절변인의 영향 가능성 또한 중요하게 고려해야 함을 시사한다. 관련하여 본 연구의 의의, 제한점 및 추후 연구 방향에 대해 논하였다.

대학적응력 검사도구 척도 개발과 양호도 검증 (The Development of Scales on Rating College Students' Adaptability and the Analysis of Technical Quality)

  • 김수연
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.295-303
    • /
    • 2016
  • 본 연구는 대학생의 대학적응력에 영향을 미치는 요인을 구성하고, 이를 진단하기 위한 대학적응력 척도 개발의 절차를 소개하며 검사도구의 양호도를 검증하였다. 이 도구는 3단계의 척도 추출 과정 및 6단계의 문항 추출 과정을 거쳐 제작하였다. 추출 결과, 학문적 통합성, 사회적 통합성, 정서적 안정성, 진로정체성, 학업여건 안정성, 교수와의 관계, 교육서비스 만족도, 대학교육 만족도 등 8개 척도, 142개 문항 구성을 통해 대학적응력을 측정하였다. 4개 대학 1,959명의 대학생을 대상으로 검사를 실시한 도구의 양호도 분석 결과는 다음과 같다. 첫째, 문항내적 일관성 전체 신뢰도 계수 Cronbach's ${\alpha}$는 .965, 범위는 .742~.937로써 신뢰도가 매우 높다. 둘째, 개별 문항의 양호도를 평가하기 위하여 각 척도 및 하위요인별로 문항 점수와 총점 간 상관계수에 의한 문항 변별도를 구했으며, 평균은 .147~.841이다. 셋째, 확인적 요인분석에 따른 구인타당도 검증 결과, CFA모델의 RMSEA = .08~.09이고, 모든 부합도지수가 기준에 양호하게 부합함으로써 각 척도에 속하는 문항들이 측정하고자 하는 특성을 타당하게 측정하고 있는 것으로 나타났다. 넷째, 척도별 대학적응경향성과 중도탈락경향성 점수 차이에 기초한 공인타당도 검증 결과, 학업여건 안정성을 제외한 모든 척도에서 유의수준 .05수준에서 통계적으로 유의한 차이가 있음이 확인되었다. 연구결과, 대학적응력 진단 도구는 대학생의 대학적응경향성과 중도탈락경향성을 타당하게 예측하는 도구로 확인되었다.

동료 유아교사 평가 척도 개발 및 분석 (Development of a Scale and Analysis of Peer-assesment Questions of the Preschool Teachers)

  • 임은정;이성균;정미림
    • 한국콘텐츠학회논문지
    • /
    • 제10권7호
    • /
    • pp.438-448
    • /
    • 2010
  • 본 연구는 유아교사의 동료장학과 교사발달을 위한 동료 평가 척도개발을 목적으로 실시되었다. 선행연구에서 유아교사 평가척도에 대한 연구는 많이 논의되어 왔으나, 평가자는 주로 원장 또는 상급자에 의해 일시적인 평가나 자기평가로 이뤄져왔다. 본 연구에서는 주변 동료교사를 통해 유아교사 평가가 이뤄질 수 있도록 문항을 개발하였다. 동료교사를 통한 평가는 교사의 지속적인 모습을 평가할 수 있기 때문에 교사에 대해 보다 세밀하게 평가가 이뤄질 수 있다는 점에서 장점이 있다고 볼 수 있다. 본 논문에서는 51개 문항을 가지고 동료 평가를 실시하였는데, 9개 영역으로 분리하여 150명을 대상으로 설문조사를 실시하였다. 이를 위해 척도의 적절성(내용타당도, 구인타당도, 문항내적합치도)과 문항의 적절성(문항변별도)을 분석하였다. 분석 결과 동료 유아교사 평가 문항으로서 적절한 척도임을 알 수 있었다.

길포드의 지능구조모형에 의한 정보활용능력 검사도구 개발 및 타당성 연구 (A Study on the Development and Validation of the Information Literacy Test by Guilford's Structure of Intellect Model)

  • 이병기
    • 한국문헌정보학회지
    • /
    • 제47권2호
    • /
    • pp.181-200
    • /
    • 2013
  • 정보활용교육을 효과적으로 전개하기 위해서는 피교육자의 능력을 진단, 측정하고 교육목표의 도달 여부를 판단할 수 있는 검사도구가 필수적이다. 그럼에도 불구하고 초 중등 학생들의 정보활용능력을 종합적으로 측정할 수 있는 검사도구가 미흡한 실정이다. 이에 본 연구에서는 중학생의 정보활용능력 측정을 위한 웹기반의 표준화된 검사도구를 개발하고, 검사도구의 신뢰도와 타당성을 검증하였다. 검사도구의 개발을 위해서 우선 정보활용능력의 구성요인을 추출하고, 길포드의 지능구조모형과 메이커의 학습능력 측정도구를 바탕으로 정보활용능력 검사도구의 프레임을 개발하였다. 본 연구를 통해 개발한 검사도구는 웹 기반의 선다형 30문항으로 구성되어 있으며, 794명의 중학생들을 대상으로 검사를 시행하여 문항의 난이도, 신뢰도, 변별력 지수, 타당도 등을 분석하였다. 또한, 검사도구를 이용하여 학생들의 정보활용능력을 진단하고, 평가하기 위한 표준 점수를 제시하였다.

애니메이션캐릭터에 대한 불신의 자발적 유예 : 탐색적 연구 (The Willing Suspension of Disbelief in Animated Spokes-Characters : An Exploratory Study)

  • 김운한;조병량
    • 만화애니메이션 연구
    • /
    • 통권13호
    • /
    • pp.67-82
    • /
    • 2008
  • 본 연구는 불신의 자발적 유예가 광고에 등장하는 애니메이션 캐릭터의 수용 과정을 설명하는 데에 어떻게 기여할 수 있는가를 살펴본 탐색적 연구이다. 그 동안 불신의 자발적 유예는 문학을 비롯하여 영화, 드라마, 광고에 이르기까지 창작작품의 허구성을 수용하는 과정에 적용되어 연구되어 왔으며 픽션에 대한 감정이입과 인지적, 감정적 반응에 개입된 개념으로 제안되어 왔다. 이러한 이론적 근거를 토대로 판별함수의 타당도를 분석한 결과, 불신의 유예에 관한 세 가지 문항들이 자발적인 집단과 비자발적인 집단을 잘 변별해주는 것으로 나타났으며, 불신의 유예의 강도가 자발적인 집단과 비자발적인 집단 사이에 통계적으로 유의미한 차이가 있는 것으로 나타났다.

  • PDF

그래프를 이용한 과학 탐구 능력 검사 도구의 개발 (The Development of an Instrument for the Measurement of Science Process Skills Using Line Graphs)

  • 문충식
    • 한국과학교육학회지
    • /
    • 제18권4호
    • /
    • pp.545-555
    • /
    • 1998
  • 과학 탐구 능력의 향상은 과학 교육의 중요한 목표가 되어왔다. 이 목표를 달성하기 위하여 과학 교육 과정, 탐구 수업 방법, 교육 환경의 개선이 중요하다. 또 다른 중요한 요인은 과학 탐구 능력을 측정할 수 있는 도구를 개발하는 것이다. 그 동안 과학 탐구 능력 검사 도구는 우리 나라에서 뿐만 아니라 외국에서도 많이 개발되었다. 그러나 대부분은 문장으로 주어진 상황에서 각 탐구 요소를 측정하도록 되어 있어서 각 검사 도구에서의 독특한 특징을 발견할 수가 없다. 본 연구의 목적은 선 그래프를 이용하여 신뢰롭고 타당한 과학 탐구 능력 검사 도구를 개발하는 것이다. 선행 연구 등을 통하여 선 그래프를 이용하여 측정할 수 있는 과학 탐구 요소 6가지(가설 설정, 변인 통제, 자료 변환, 예상, 추리, 결론 도출)를 선정하고, 예비 검사와 현장 검사를 통하여 문항을 수정 보완하고, 최종적으로 4지 선다형의 19문항을 개발하였다. 본 검사 도구의 내용 타당도는 78%, 신뢰도 (KR-20)는 0.82, 평균 변별도 지수는 0.57, 그리고 평균 난이도 지수는 0.47이었다. 이 결과는 좋은 검사 문항의 기준에 합당하므로 본 검사 도구는 과학 탐구 능력을 측정할 수 있는 신뢰롭고 타당한 검사 도구라고 할 수 있다.

  • PDF

초중등학생 정보 교과 역량 검사 도구 개발 (Development of Information Competency Test Tool for Elementary and High School Students)

  • 홍지연;박정호
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.605-611
    • /
    • 2022
  • 4차 산업 혁명의 영향으로 미래 사회에 대비한 인재를 육성하기 위해 컴퓨팅 사고력을 기반으로 하는 역량 증진이 지속적으로 강조되고 있고 이에 우리나라에서도 2018년부터 SW교육을 의무로 실시하고 있다. 이에 따라 2017년부터 SW교육 역량 정의 및 진단 도구개발에 관한 연구가 진행되었으며 이때 개발된 중학생용 진단 도구를 2018년 한차례 수정 보완하여 지금까지 사용하고 있다. 이에 중학생만을 대상으로 하는 정보 교과 역량 검사를 초등학생과 고등학생을 대상까지 확대하고자 하는 현장의 요청에 의해 2019년 SW교육 선도학교 효과성 연구의 하나로 본 연구가 시작되었다. 본 연구에서는 중학생용 진단 도구를 기준으로 초등학생과 고등학생을 위한 진단 도구를 개발하고, 전문가 타당도 검증 및 예비검사를 실시한다. 예비검사를 통해 문항의 신뢰도, 변별도, 난이도 등을 분석하여 향후 초등학생과 고등학생을 대상으로 하는 검사 도구로서 가능성을 살펴볼 수 있을 것으로 기대한다.