• 영재교육연구
• /
• 제23권5호
• /
• pp.671-695
• /
• 2013

이 연구는 관찰 추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 활용하여 측정상황에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 이를 바탕으로 채점 영역 내의 문항 수의 조건을 변화시킴으로써 일반화가능도계수를 최대화할 수 있는 효율적인 측정 조건을 탐색하는 방법을 제시하였다. 이를 위해 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원 수학분야에 지원한 90명의 자기소개서와 교사추천서를 2명의 교사가 분석적 방법으로 채점한 자료에 대해 다변량 일반화가능도 분석을 적용하였다. 이 연구 결과 산출된 최적의 측정 조건은 특정 영재교육원에서 제작한 루브릭을 바탕으로 수학영재를 선발하기 위해 사용된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시 도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 제작한 선발도구에 측정학적 특성을 바탕으로 최적의 측정 조건을 탐색하는 데 적용 가능하다.

• Journal of the Korean Data and Information Science Society
• /
• 제27권2호
• /
• pp.395-407
• /
• 2016

본 연구는 G-Theory를 적용하여 태권도 품새 평가항목에 대한 채점자 간 평가점수의 신뢰도를 추정하기 위해 G-연구로 경기일 수, 채점자 수를 다중오차원으로 선정하고 이들 변인간의 상호작용으로 인한 오차변량의 상대적 크기에 의해 오차원을 분석하고, G-연구의 결과를 토대로 D-연구를 수행하여 최적의 측정조건을 결정하는 데 목적이 있다. 결과를 요약하면 다음과 같다. G-Theory를 적용하여 태권도 품새 평가항목 중 정확성에 대해 분산성분 추정치를 추정한 결과, 오차의 영향력은 채점자국면에서 가장 크게 나타났으며, 각 설계에 따른 상호효과 (피험자 내), 피험자 간 순서였으며, 표현성 평가항목에 대한 분산성분 추정치 오차의 영향력은 상호효과 (피험자 내)국면에서 가장 크게 나타났으며, 각 설계에 따른 피험자 간, 채점자 국면 순으로 나타났다. 마지막으로 D-연구를 통하여 일반화가능도계수를 추정한 결과, 채점자 수에 따른 최적수준의 측정조건은 정확성 평가항목에서 8명의 채점자일 때 안정적인 신뢰도를 얻을 수 있으며, 표현성 평가항목에서는 7명의 채점자일 때 안정적인 신뢰도를 얻었다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제57권1호
• /
• pp.55-74
• /
• 2018

The purpose of this study is first to examine the relative influence of each error source and to investigate the optimal measurement conditions to ensure satisfactory multiple reliability coefficients based on the teaching aptitude and personality test for pre-service teachers. Participants were 33 students enrolled in mathematics education in a graduate school of education located in the Seoul metropolitan area from 2013 to 2017. The main results were as follows. First, the estimated variance due to residual was highest, followed by nesting of items within domains, graduate students, interactions of graduate students with domains, and domains. Second, total 96 items, with 12 domains containing 8 items in each domain, with cut score of 598, and original 210 items, with 14 domains containing 15 items in each domain, with cut scores of 615 or 716 were optimal measurement conditions to reach acceptable reliability levels based on the joint consideration of dependability coefficients, cut score dependability coefficients, adjusted dependability coefficients, and standard errors of measurement. Third, larger deviations between the arithmetic mean and the cut score indicated higher reliability coefficients of the test results. Finally, this study suggests ways for practitioners to consider how to apply generalizability theory for criterion-referenced tests and how to develop future research based on limitations.

• 품질경영학회지
• /
• 제51권4호
• /
• pp.643-662
• /
• 2023

Purpose: The purpose of this study was to understand an individuals' COVID-19 vaccine acceptance intention during the peak of the pandemic by utilizing the coping theory and technology threat avoidance theory (TTAT) as a framework. Specifically, we focused on understanding how inward and outward emotion-focused coping (EFC), such as psychological distancing and emotional support seeking, affect problem-focused behavior (PFC), which is vaccine acceptance. Furthermore, we investigate how the individuals' cognitive appraisal to- ward COVID-19, consisted of perceived threat and perceived avoidability act as an antecedent of EFC. Methods: A PLS-SEM analysis was conducted to find the causal relation between the variables. An online survey was conducted targeting vaccination recipients on April, 2021. Participants were asked about their perception toward the virus, their coping strategy, and vaccine acceptance intention. A total of 186 valid samples were collected and used for the analysis. Furthermore, to analyze the out-of-sample predictive power of the research model and ensure the generalizability of the results, a PLSpredict analysis was conducted. Results: The results of the PLS-SEM analysis show that perceived threat toward COVID-19 significantly affect an individuals' EFC strategy. Furthermore, both types of inward EFC (psychological distancing, wishful thinking) negatively affected vaccine acceptance intention. On the other hand, emotional support seeking, which is a type of outward EFC, positively affected vaccine acceptance. The result of the PLSpredict analysis confirms the generalizability of the PLS-SEM result. Conclusion: The results of our study could be utilized to decrease vaccine hesitancy and prevent global pandemics by accelerating and increasing vaccination. Our study provides several meaningful implications to researchers and practitioners regarding vaccine acceptance and threat coping behavior.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제26권3호
• /
• pp.251-271
• /
• 2012

이 연구는 관찰 추천 수학영재선발 시 사용되는 자기소개서와 교사추천서 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 교사추천서와 자기소개서를 총체적 채점과 분석적 채점으로 실시했을 때 채점 방법에 따른 일반화가능도계수의 최적화 측정 조건을 탐색하고, 이를 전통적인 신뢰도 추정방법과 비교하였다. 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원에서 관찰-추천 영재 선발에 지원한 90명의 자기소개서와 교사추천서에 대해 총체적 채점과 분석적 채점으로 2명의 교사가 각각 점수를 부여하였다. 연구결과는 다음과 같다. 첫째, 교사추천서와 자기소개서의 평가에 있어 채점방법에 따른 공통점은 피험자 관련 분산이 크게 나타났으며, 차이점은 총체적 채점이 분석적 채점보다 채점자의 영향이 더 큰 것으로 나타났다. 둘째, 적정수준의 일반화가능도계수를 얻기 위해서 채점자를 2명으로 고정하는 경우 교사추천서와 자기소개서에서 총체적 채점은 각각 내용영역이 5개, 10개 이상이 요구되어졌으며, 분석적 채점은 각각 내용영역을 4개로 고정한 경우 문항이 3개 이상, 내용영역을 6개로 고정한 경우 문항이 8개 이상이 요구되어졌다. 셋째, 교사추천서와 자기소개서 모두 채점 방법과 상관없이 문항만을 오차요인으로 보는 Cronbach ${\alpha}$가 신뢰도를 과대 추정하는 것으로 나타났다. 따라서 적정수준의 신뢰도를 확보하기 위해서는 채점자, 내용영역, 문항수와 같이 다양한 오차요인을 반영하는 일반화가능도 계수를 고려하는 것이 바람직할 것이다.

• 과학교육연구지
• /
• 제47권2호
• /
• pp.211-224
• /
• 2023

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도이론을 예시 자료에 적용하여 분석하였다. G-연구분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내용 영역에 따라 난이도는 거의 변화가 없는 것으로 나타났다. D-연구 분석 결과, 원자료는 적정수준 이상의 신뢰도를 확보하였으며, 수와 연산, 기하, 확률 및 통계 영역의 문항 수를 줄이거나 문자와 식과 함수 영역의 가중치를 높게 반영함으로써 원자료보다 높은 신뢰도를 산출할 수 있는 것으로 나타났다. 본 연구에서 제시한 효율적인 측정 조건은 예시 평가 자료에 제한되지만 본 연구에서 활용한 방법은 자동문항생성 기반의 다양한 평가 상황에서 측정학적 특성을 바탕으로 신뢰도를 산출하고, 효율적인 측정 조건을 탐색하는 데 적용 가능하다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제57권2호
• /
• pp.179-196
• /
• 2018

The purpose of this study was to investigate the measurement equivalence and to suggest application ways in teaching aptitude and personality test results for pre-service mathematics teachers between a graduate school of education and a college of education. This study analyzed the scores of the teaching aptitude and personality test of 36 pre-service mathematics teachers enrolled in a graduate school of education and 111 pre-service mathematics teachers in a college of education by performing a multivariate generalizability analysis. The main results were as follows. First, graduate's pre-service mathematics teachers had a higher level of teaching aptitude and personality than that of college's pre-service mathematics teachers based on the total scores. In addition, graduate's pre-service mathematics teachers had higher levels of teaching aptitude and personality than those of college's pre-service mathematics teachers except for a creativity application domain based on the sub-domain scores. Second, cognitive domains were measured more precisely but affective domains were measured less precisely for graduate's pre-service mathematics teachers than for college's pre-service mathematics teachers. Third, regardless of school levels, Cronbach's ${\alpha}$ values, which might be overestimated by applying the classical test theory, were higher than dependability coefficients. Fourth, this study showed a somewhat negative result in ensuring the measurement equivalence for a problem solving exploration domain. However, regardless of school levels, this study indicated that the overall measurement was generally reliable on composite scores. Based on these results, it was confirmed that multivariate generalizability methodologies' approach can be useful for exploring the measurement equivalence issues. Finally, this study suggests how to utilize the results of the test, how to apply a multivariate generalizability analysis for detecting the measurement equivalence, and how to develop future research based on limitations.

• Journal of the Korean Data and Information Science Society
• /
• 제21권1호
• /
• pp.87-98
• /
• 2010

본 논문은 강의평가의 타당성과 신뢰성을 측정하는 방법을 소개하고 실제자료를 이용하여 타당성과 신뢰성을 평가하였다. 기존의 강의평가 관련논문이 강의평가에 미치는 외생적인 영향을 통제하는 데 주력한 데 반해, 교원의 신분에 직접적인 영향을 미칠 수 있는 중대한 강의평가가 과연 믿을 만한 평가인가에 관한 근원적인 질문에 답하려 하였다. 전주대학교의 강의평가 결과를 실증 분석한 결과 타당성과 신뢰성 면에서 어느 정도 만족할 만한 수준임을 확인할 수 있었다. 본 논문에서는 기존에 간편하게 사용되던 신뢰성 측도가 아닌 일반화가능도 계수를 이용하여 신뢰성을 평가하는 방법을 자세히 소개하고 그 장점을 설명하였다.

• 대한한의학회지
• /
• 제45권1호
• /
• pp.1-16
• /
• 2024

Introduction: The importance of clinical skills training in traditional Korean medicine education is increasingly emphasized. Since the clinical skills tests are high-stakes tests that determine success in national licensing exams, it is essential to develop reliable multifaceted analysis methods for clinical skills tests in actual education settings. In this study, we applied the multifaceted validity evaluation methods to the evaluation results of the cardiopulmonary resuscitation module to confirm the applicability and effectiveness of the methods. Methods: In this study, we used internal consistency, factor analysis, generalizability theory G-study and D-study, ANOVA, Kendall's tau, descriptive statistics, and other statistical methods to analyze the multidimensional validity of a cardiopulmonary resuscitation test in clinical education settings over the past three years. Results: The factor analysis and internal consistency analysis showed that the evaluation rubric had an unstable structure and low concordance. The G-study showed that the error of the clinical skills assessment was large due to the evaluator and unexpected errors. The D-study showed that the variance error of the evaluator should be significantly reduced to validate the evaluation. The ANOVA and Kendall's tau confirmed that evaluator heterogeneity was a problem. Discussion and Conclusion: Clinical skills tests should be continuously evaluated and managed for validity in two steps of pre-production and actual implementation. This study has presented specific methods for analyzing the validity of clinical skills training and testing in actual education settings. This study would contribute to the foundation for competency-based evidence-based education in practical clinical training.

• 아태비즈니스연구
• /
• 제9권1호
• /
• pp.91-106
• /
• 2018

An appreciable number of Chinese firms have successfully expanded their businesses into foreign economics although they have limited resources. Advocating that home country government supports can mitigate firms' resource-disadvantages in international expansions, we attempted to investigate whether and how the Chinese government's support enables Chinese firms to compete in foreign markets. Based heavily on the knowledge-based theory of the firm and the resource-based theory of the firm, we developed a model that explain and predicts the effects of home-country government-supports on superior financial performance. The model was empirically tested using a accounting dataset regarding Chinese firms' 323 international expansion events from 2008 to 2015. Empirical evidence presents that the Chinese government's support has a positive effect on Chinese firms' international success and that these firms' marketing, technological, and managerial resources positively moderate the effect of the government support on the firms' international success. Nonetheless, because we employed an event-study method, the limitations of the method can be applied to the current research. In addition, because of the empirical context, the results of the research might lack generalizability. We, however, provided an understanding how firms from emerging countries can succeed in international expansions specifically when they have lack of resources for international competition.