• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2013년도 제47차 동계학술대회논문집 21권1호
• /
• pp.149-152
• /
• 2013

이 연구는 스마트교육환경에서의 교육용 앱을 평가하기 위한 신뢰롭고 타당한 도구를 개발하는데 있다. 기존 선행연구에 기초해서 교육용 앱의 평가를 위한 평가모형을 도출했으며, 이 모형은 4개의 평가영역(교수 학습측면, 화면디자인측면, 기술측면, 경제 윤리측면)과 13개 평가요소들로 구성되었다. 이 잠재모형의 통계적 타당성 검증을 위한 자료수집을 하고자, 경기도 소재 중학교 1곳과 고등학교 2곳의 학생 156명을 대상으로 교육용 앱을 평가하는데 있어서 각 평가문항이 갖는 중요도를 평가하였다. 수집된 자료를 탐색적 요인분석한 결과, 교육용 앱을 평가하는 영역으로 교수 학습(흥미성 자기주도성 실용성, 인지발달성), 화면디자인(디자인의 적합성, 어휘의 정확성), 기술(호환성, 안정성), 경제 윤리(경제성, 윤리성) 등 4개 영역이 제안되었다. 또한 문항내적일관성을 확인하고자 신뢰도 분석한 결과, 각 평가영역 별 Cronbach ${\alpha}$는 .88, .85, .82, .80으로 모두 적합한 수준을 보였다. 따라서, 이 연구를 통해 도출된 교육용 앱 평가도구는 통계적으로나 타당성과 신뢰성 측면에서 의미 있는 것으로 판단할 수 있다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제16권
• /
• pp.201-215
• /
• 2003

이 연구에서는 창의적인 문제해결능력을 검사하는 도구로 널리 알려진 개방형 문항 5 문제를 수정 또는 번역하여 중학교 2학년 학생들에게 적용하고 그 결과를 분석하였다. 검사도구에 대한 양호도 분석 결과는 다음과 같다. 첫째, 문항 내적 일관성 신뢰도(Cronbach ${\alpha}$)의 계수는 0.8이다. 둘째, 문항반응이론에 근거한 문항의 적합도 지수는 모두 1.2미만으로서 분석모형에 적합한 문항이라고 볼 수 있다. 또한, 문항간의 난이도의 차이는 로짓트 점수가 0.6을 넘지 않은 범위에서 골고루 분포되어 있다. 셋째, 문항 신뢰도 지수가 모두 0.80보다 높은 것으로 나타나 사용된 문항들은 서로 잘 분리되어 창의적 문제해결력을 추정하고 변별하는데 무리가 없다. 학생들의 반응에 대한 분석 결과는 다음과 같다. 문항1에서 곡선을 이용한 반응은 영재학생들에서만 발견할 수 있었다. 문항2에 대한 각 반응의 독창성 점수는 모두 0이다 이것은 문항2가 널리 알려진 문제에 기인한 것으로 해석된다. 문항3은 영재학생들이 더 많은 반응을 보인 것으로 모든 반응이 독창성 점수를 부여받았다. 문항4에 대하여 일반학생들은 거의 반응을 하지 못하였다. 문항5는 대부분의 학생이 반응을 하였으며 반응의 종류도 가장 다양하였다.

• 치위생과학회지
• /
• 제3권2호
• /
• pp.83-88
• /
• 2003

치과의료기관의 질관리를 위한 환자만족도 조사의 측정도구를 개발하고 평가하기 위하여 3회의 설문조사를 실시하였다. 51개소의 치과의료기관이 조사에 참아하였으며, 1017명이 응답하였고, 의료기관의 유형과 자료수집 방법에 따라 5개의 표본 집단으로 분류되었다. 표본 집단과 응답자의 특성에 따른 측정값, 신뢰도, 응답편견의 차이와 효과를 비교하기 위하여 정규성검정, t 검정, 분산분석, 카이스케어 검정, Kruscal-Wallis 검정을 실시하였다. 응답 편견과 균형척도에 의한 신뢰도, 타당도, 척도판별력의 저하효과가 추정되었다. 1. 측정 도구 문제를 평가하기 위한 독립 표본의 신뢰도를 비교한 결과 4개의 표본 집단의 내적 일관성의 신뢰도는 비슷한 수준을 보이고 있다. 2. 두 항목의 균형 척도에 대한 긍정 응답 편견률은 20%이며, 교육 수준에 따라 유의한 차이가 나타났다(P<0.05). 3. 환자 관점의 질 평가 척도의 측정값은 독립 표본 사이에 유의한 차이가 나타나지 않았으며, 연령에 따라 20대와 60대 사이에 유의한 차이가 나타나고 있다(P<0.01). 4. Likert 5점 척도로 구성된 총화평정척도의 평균은 4.16으로 좌측으로 편이되고 중앙값에 집중된 높은 첨도의 분포를 보였다. 5. 하위척도 사이의 평균차, 삼사분위값 대 일사분위값의 평균차가 95%의 신뢰구간에 포함되어 측정도구의 판별력은 매우 낮았다.

• 영재교육연구
• /
• 제25권2호
• /
• pp.237-259
• /
• 2015

이 연구는 음악(국악)영재 담당교사가 지녀야 할 자격 조건을 수렴하고, 수렴된 조건을 바탕으로 평가문항을 제작한 후, 그 문항에 대한 구인타당화를 도모함으로써 음악(국악)영재의 선발 및 교육과정 운영을 위한 토대를 마련하고 궁극적으로는 예술영재교육의 내실화 및 체계화를 도모하기 위하여 수행되었다. 음악(국악)영재 담당교사 평가문항의 문항분석을 위하여 탐색 및 확인적 요인분석을 실시하였고, 내적일관성 신뢰도를 추정하였다. 요인분석 결과 최종 41문항을 수렴하였고, 전통음악을 포함한 음악영재 담당교사가 지녀야 할 심리학적 구인을 확인할 수 있었다. 또한 평가문항에 대한 내적일관성 신뢰도 추정 결과 높은 신뢰도 수준(r=.974)을 확보할 수 있었다. 이 연구의 결과는 음악(국악)영재 담당교사 평가문항이 영재교육 현장에 즉시 투입 가능한 교사 평가도구임을 반영해준다.

• 한국콘텐츠학회논문지
• /
• 제16권6호
• /
• pp.225-235
• /
• 2016

본 연구의 목적은 우리나라의 65세 이상 노인 집단에 총점으로 사용할 수 있는 단축형 회상기능척도(RFS-S)를 개발하고 정상노인 집단과 경도인지장애 집단에게 RFS-S를 시행하여 RFS-S의 내적신뢰도 및 준거타당도 검증과 인구학적 특성이 회상기능에 영향을 미치는 요인을 알아보고자 하였다. 연구 대상자는 65세 이상 정상대조군 60명, 경도인지자애군 58명으로 두 집단 간 일반적 특성은 유의한 차이가 없었다. 문항 간 내적신뢰도는 0.63이었고, RFS-S와 이야기회상검사, 치매임상평가척도 박스총점과의 수렴타당도는 각 0.20(p<.05), -0.25(p<.001)로 모두 유의한 상관관계를 보였다. ROC 곡선 아래의 면적을 분석한 준거타당도 결과 0.68(p<.001)로 덜 정확한(less accurate) 검사로 최적 절단점은 17점이었고 이에 따른 민감도는 0.59, 특이도는 0.72였다. 인구학적 변인에 따른 회상기능은 모두 유의한 차이를 보이지 않았다. RFS-S는 정상과 경도인지장애 차이를 판별하는 신뢰도와 타당도가 높은 진단 보조 도구이자 회상치료의 효과를 평가하는 유용한 도구임을 나타낸다.

• 영재교육연구
• /
• 제23권1호
• /
• pp.1-24
• /
• 2013

국내 영재교육 판별에 교사관찰추천제가 적용되고 있다. 교사관찰 결과의 타당성을 확보하기 위해서는 추정 영재성을 가려낼 수 있는 양적 질적 판별방법에 대한 연구가 선행 조건이다. 이 연구는 음악(국악)영재성 선별을 위한 양적 검사도구로서의 교사관찰정보지(2차, OSTG-2) 문항을 수렴하고 그 타당성을 검증하기 위하여 수행되었다. 이를 위하여 탐색적 요인분석 및 확인적 요인분석을 실행하였고, 내적일관성 신뢰도를 추정하였다. 그 결과, OSTG-2의 최종 22 문항을 수렴할 수 있었고, 교사관찰 시 평가준거로 설정 가능한 음악(국악)영재성의 심리학적 구인을 확인할 수 있었다. 또한 OSTG-2에 대한 내적일관성 신뢰도 추정 결과, 높은 신뢰도 수준(음악성 문항 r=.852, 창의성 문항 r=.894, 과제집착력 문항 r=.924)을 확보할 수 있었다. 이 연구의 타당화 결과는 교사관찰정보지(2차, OSTG-2)가 영재판별 현장에 즉시 투입 가능한 음악(국악)영재성 선별용 검사도구임을 반영해준다.

• 한국지구과학회지
• /
• 제24권3호
• /
• pp.150-159
• /
• 2003

본 연구에서는 지구과학 지식과 창의력을 동시에 적용해야 해결할 수 있는 지구과학 창의력을 평가할 수 있는 문항의 개발 방법을 제시하고자 하였다. R&D과정을 거친 본 연구의 결과는 첫째, 조작적 정의를 통해 창의력과 과학창의력간의 인지능력 차이를 명료화하였고 둘째, 과학창의력을 구성하는 하위 요소들 중에서 문항 개발이 가능하다고 판단된 유창성, 융통성, 정교성, 독창성을 선정하여 각각에 대한 조작적 정의를 내린 후 각 요소들에 대한 평가와 채점의 준거를 제시하였다. 셋째, 평가도구의 구비 조건인 타당도, 신뢰도, 변별도, 난이도를 검증하기 위하여 3번의 현장검증을 실시하였으며, 본 연구에서 개발한 지구과학창의력 평가도구는 각 하위 요소별로 2문항씩 총 8문항으로 구성되어 있다. 넷째, 문항합치도 지수 평균은 .99, 문항 내적 합치도 지수인 Cronbach ${\alpha}$값은 .79, 각 문항별 평가자간 신뢰도는 0.78,각 하위 요소별 평가자간 신뢰도는 0.75, 변별도 지수인 점이연상관 지수는 .19, 문항 난이도 지수는 .00이었다. 이와 같이 평가도구의 구비조건들이 허용 범위 내에 있는 것으로 볼 때 본 연구에서 개발한 지구과학 창의력 평가도구는 유용한 것으로 판단할 수 있다.

• 한국심리학회지:학교
• /
• 제17권2호
• /
• pp.145-164
• /
• 2020

본 연구는 진로적응모형의 진로적응반응을 측정하기 위해 개발된 학생 진로구성척도를 한국어로 번안하고 국내 대학생을 대상으로 타당화하고자 하였다. 이를 위해 진로구성척도의 요인구조를 확인하고 대학생과 대학원생 집단의 측정동일성을 검증하였으며, 내적일치도 및 재검사 신뢰도를 평가하고 진로관련 척도들과의 준거관련 타당도를 살펴보았다. 총 294명의 연구참여자는 번안된 진로구성척도(Student Career Construction Inventory)와 진로적응성 척도(Career Adaptability Scale) 및 진로정체성 척도를 온라인 설문으로 작성하였다. 재검사 신뢰도 검증을 위해 125명의 참여자가 3개월 후 진로구성척도 설문에 같은 방식으로 참여하였다. 검사 결과 원척도와 동일한 18문항 4요인 구조가 지지되었으며, 대학생과 대학원생의 측정동일성이 지지되었다. 내적 일치도 및 재검사 신뢰도 역시 적절한 수준으로 나타났다. 진로구성척도는 진로적응성과 정적인 상관을 보였으며, 다차원적 진로정체성의 탐색 및 몰입 차원과는 정적상관을, 재고 차원과는 부적 상관을 나타내었다. 단일차원의 진로정체성과도 정적인 상관이 나타났다. 본 결과는 한국판 학생 진로구성척도가 원척도와 유사한 심리측정적 속성을 가지고 있으며 대학생과 대학원생 모두에게 사용될 수 있음을 시사한다.

• 재활치료과학
• /
• 제11권3호
• /
• pp.65-80
• /
• 2022

목적 : 본 연구는 라쉬 분석을 이용하여 12개 항목의 스트레스 대처 척도의 항목 심리측정 속성을 조사하고자 하였다. 연구방법 : 본 연구는 ICPSR(Inter-university Consortium for Political and Social Research)에서 제공하는 공공 자료를 활용하여 로스엔젤레스에 거주하는 노인 480명을 대상으로 조사하였다. 주성분 분석을 사용하여 척도의 일반적 요인을 조사하였다, 라쉬 분석의 내·외적합 지수의 제곱평균(Mean Square)과 표준값(ZSTD)를 통해 항목 적합도를 알아보고, 척도의 신뢰도와 쉬운 항목과 어려운 항목을 식별하기 위해 항목-난이도 계층을 조사하였다. 마지막으로 성별과 연령 그룹에 대해 차등 항목 기능을 조사하였다, 결과 : 주성분 분석을 통해 스트레스 태처 척도의 12개 항목이 하나의 요인으로 구성되었음을 가정하였다. 라쉬 분석을 통하여 항목 2번이 부적합한 결과로 제거되었다(내적합 제곱평균=1.33, 내적합 표준값=5.05, 외적합 제곱평균=1.56, 외적합 표준값=7.15). 항목 2번을 제외한 11개 항목의 평가자 층(Person Strata)은 3.10으로 신뢰도 지수 0.81에 해당하는 값을 보였다. 차등 항목 기능을 조사한 결과 성별과 연령 그룹에 대한 차등 항목 기능은 없었다. 결론 : 라쉬 분석을 통해 개정된 COPE-11은 항목 간 심리측정 속성이 적절하여 측정 시 시간 단축과 정확한 측정이 가능할 것으로 사료된다.

• 대한토목학회논문집
• /
• 제34권6호
• /
• pp.1837-1844
• /
• 2014

철도외의 다른 산업분야에서 안전문화 측정에 대한 연구가 활발히 진행된 것과 달리, 국내 철도분야의 안전문화 성숙에 대한 연구는 아주 초보적인 단계에 머물러 있다. 본 연구는 철도안전문화 평가의 신뢰성을 높이기 위해 설문문항 구성 시 어떻게 평가요인을 구성하고, 설문문항 그룹이 해당 요인을 얼마나 잘 대변하고 있는지, 그리고 그룹을 정의한 기준이 다른 공통 속성을 갖는지 여부를 분석하기 위해 내적 신뢰도 및 요인 분석을 실시하였다. 요인분석 결과 기존 5개에서 7개 요소로 도출되었고, 그에 따른 설문문항의 그룹화 및 요소의 이름이 재부여 되었다. 이는 문항간에 내제된 공통 속성을 잘 파악하는 것이 설문자와 피 설문자 간의 견해 차이를 줄이는 데 중요함을 의미한다. 또한 새로운 요인 분류에 대한 문항들의 내부 신뢰도 확인결과 여전히 이전과 비교하였을 때 높게 관측되어 그 분류가 적절함을 확인하였다. 본 연구는 철도안전문화 평가의 신뢰성을 높이는데 통계적인 방법을 활용하여 기존 설문조사 결과를 검증하고 어떻게 접근해야 하는지 다루고 있어 관련분야에서 많이 활용될 것으로 기대된다.