• 한국지구과학회지
• /
• 제44권4호
• /
• pp.318-330
• /
• 2023

This study aimed to verify the validity of a measurement tool for Vietnamese high school students' systems thinking abilities. Two quantitative assessment tools, the Systems Thinking Measuring Instrument (Lee et al., 2013) and the Systems Thinking Scale (Dolansky et al., 2020), were used to measure students' systems thinking after translation into Vietnamese. As a result, it was revealed that Cronbach-α for each tool (i.e., STMI and STS) was .917 and .950, respectively, indicating high reliability for both. To validate the construct validity of the translated questionnaire, exploratory factor analysis was performed using SPSS 26.0, and confirmatory factor analysis was performed using AMOS 21.0. For concurrent validity, correlation analysis using structural equation modeling was performed to validate the translated questionnaire. Exploratory factor analysis revealed that 10 items from the STMI and 12 items from the STS loaded on the intended factors and appropriate factor loading values were obtained. For confirmatory factor analysis, a structural equation model organized with 10 items from the STMI and 12 items from the STS was used. The result of this showed that the convergent validity values of the model were all appropriate, and the model fit indices were analyzed to be χ²/df of 1.892, CFI of .928, TLI of .919, SRMR of .047, and RMSEA of .063, indicating that the model consisting of the 22 items of the two questionnaires was appropriate. Analysis of the concurrent validity of the two tools indicated a high correlation coefficient (.903) and high correlation (.571-.846) among the subfactors. In conclusion, both the STMI and STS are valid quantitative measures of systems thinking, and it can be inferred that the systems thinking of Vietnamese high-school students can be quantitatively measured using the 22 items identified in our analysis. Using the tool validated in this study with other tools (e.g., qualitative assessment) can help accurately measure Vietnamese high school students' systems thinking abilities. Furthermore, these tools can be used to collect evidence and support effective education in ODA projects and volunteer programs.

• 한국지구과학회지
• /
• 제45권2호
• /
• pp.157-171
• /
• 2024

이 연구의 목적은 1) 베트남 고등학생들을 대상으로 Lee et al. (2024)에서 보고한 개정 시스템 사고 검사 도구의 타당도를 재검증하고, 2) 연구에 참여한 우리나라 고등학생과 베트남 고등학생 간 시스템 사고 능력에 대한 차이를 알아보는 것이다. 이를 위하여 베트남 고등학생 234명이 베트남어로 번역된 개정 시스템 사고 검사 도구 20문항과 STS 척도 20문항에 응답한 자료를 활용하였다. 타당도 분석은 문항 반응 분석(Item Reliability, Item Map, Infit and Outfit MNSQ, 남녀 집단의 DIF)과 탐색적 요인 분석(프로맥스를 활용한 주축 요인 분석)을 통해 검증하고, 나아가 우리나라 고등학생 475명의 데이터를 함께 활용하여 구조 방정식 모형을 이용한 잠재평균비교를 통해 검증하였다. 연구 결과는 다음과 같다. 첫째, 베트남어로 번역된 Re_ STMI 20문항의 문항 반응 분석 결과 Item Reliability는 .97, Infit MNSQ는 .67-1.38으로 나타났으며 Item Map과 DIF 분석에서도 선행 연구에서 보고된 결과와 일치하는 결과가 도출되었다. 탐색적 요인 분석에서는 모든 문항들이 의도한 하위 요인에 적재되었으며, 요인별 신뢰도는 .662-.833, 전체 신뢰도는 .876으로 분석되었다. 우리나라 고등학생과 잠재평균비교를 위한 확인적 요인 분석에서 도출된 모형 적합도 수치는 모두 수용 가능한 값으로 분석되었다(χ²/df: 2.830, CFI: .931, TLI: .918, SRMR: .043, RMSEA: .051). 마지막으로 연구에 참여한 우리나라 고등학생과 베트남 고등학생 간 잠재평균비교에서는 시스템 분석, 정신 모델, 팀 학습, 공유비전 요인에서 작은 효과 크기가, 개인 숙련 요인에선 중간 이상의 효과 크기를 보이며, 베트남 고등학생들이 시스템 사고 능력에서 유의미하게 높은 결과를 보여주었다. 이를 통해 개정 시스템 사고 검사 도구 문항은 안정적인 신뢰도와 타당도를 가지고 있음을 확인할 수 있었다. 앞으로 학생들의 시스템 사고 연구와 관련하여 베트남어 및 영어 등으로 번역한 문항을 활용하여 시스템 사고의 국제 비교 연구도 진행할 필요성이 있을 것이다.