• 한국지구과학회지
• /
• 제26권6호
• /
• pp.511-523
• /
• 2005

본 연구에서는 한국 지구과학 올림피아드 문항의 질 향상 방안을 모색하고자 1회와 2회 예선 및 본선 문항을 다양한 측면에서 분석하였다. 문항 분석을 위해 내적 및 외적 문항 분류틀을 구안하여 적용하였다. 고전 검사이론을 적용하여 문항의 난이도와 변별도, 상관계수, 그리고 신뢰도를, 일반화가능도 이론을 적용하여 일반화가능 도를 각각 추정하였다. 문항 분류틀 적용 결과는 다음과 같다: (1) 내용 차원에서는 지질 영역과 천문 영역에, 지식 및 탐구과정 차원에서는 자료 분석 및 해석에 집중되는 경향을 보였다. 또한 맥락 차원에서는 거의 대부분의 문항이 교과서적인 상황을 토대로 한 것이었다. (2) 요구 사고 수준에서 예선과 본선간의 차이를 발견할 수 없었다. (3) 문항 표현 범주에서는 그림의 사용 비율이 가장 높았고, 문항 유형 범주에서는 예선은 선다형과 단답형의 비율이, 본선은 서술형의 비율이 높았다. 또한 문항 형식 범주에서는 중학부와 예선은 단독형의 비율이 높고, 고교부와 본선은 복합형의 비율이 높았다. 문항을 분석한 결과는 다음과 같다: (1) 중학부는 대체로 난이도가 낮고, 변별도는 적절하였다. 그러나 고교부는 일반고와 과학고간에 상당한 차이가 있었다. (2) 중학부는 대기 영역과 총점과의 상관이, 고교부는 천문 영역과 총점과의 상관이 가장 높았다. (3) 양호한 문항이 가장 많은 일반고부의 문항 내적 일관성신뢰도와 일반화가능도가 가장 높았다. (4) 일반 고는 출제된 문항 수로 적정 수준의 일반화가능 도에 도달되나, 중학부나 과학고는 출제된 문항보다 2배 이상 많은 문항수가 필요한 것으로 나타났다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제26권3호
• /
• pp.251-271
• /
• 2012

이 연구는 관찰 추천 수학영재선발 시 사용되는 자기소개서와 교사추천서 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 교사추천서와 자기소개서를 총체적 채점과 분석적 채점으로 실시했을 때 채점 방법에 따른 일반화가능도계수의 최적화 측정 조건을 탐색하고, 이를 전통적인 신뢰도 추정방법과 비교하였다. 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원에서 관찰-추천 영재 선발에 지원한 90명의 자기소개서와 교사추천서에 대해 총체적 채점과 분석적 채점으로 2명의 교사가 각각 점수를 부여하였다. 연구결과는 다음과 같다. 첫째, 교사추천서와 자기소개서의 평가에 있어 채점방법에 따른 공통점은 피험자 관련 분산이 크게 나타났으며, 차이점은 총체적 채점이 분석적 채점보다 채점자의 영향이 더 큰 것으로 나타났다. 둘째, 적정수준의 일반화가능도계수를 얻기 위해서 채점자를 2명으로 고정하는 경우 교사추천서와 자기소개서에서 총체적 채점은 각각 내용영역이 5개, 10개 이상이 요구되어졌으며, 분석적 채점은 각각 내용영역을 4개로 고정한 경우 문항이 3개 이상, 내용영역을 6개로 고정한 경우 문항이 8개 이상이 요구되어졌다. 셋째, 교사추천서와 자기소개서 모두 채점 방법과 상관없이 문항만을 오차요인으로 보는 Cronbach ${\alpha}$가 신뢰도를 과대 추정하는 것으로 나타났다. 따라서 적정수준의 신뢰도를 확보하기 위해서는 채점자, 내용영역, 문항수와 같이 다양한 오차요인을 반영하는 일반화가능도 계수를 고려하는 것이 바람직할 것이다.

• 영재교육연구
• /
• 제23권5호
• /
• pp.671-695
• /
• 2013

이 연구는 관찰 추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 활용하여 측정상황에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 이를 바탕으로 채점 영역 내의 문항 수의 조건을 변화시킴으로써 일반화가능도계수를 최대화할 수 있는 효율적인 측정 조건을 탐색하는 방법을 제시하였다. 이를 위해 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원 수학분야에 지원한 90명의 자기소개서와 교사추천서를 2명의 교사가 분석적 방법으로 채점한 자료에 대해 다변량 일반화가능도 분석을 적용하였다. 이 연구 결과 산출된 최적의 측정 조건은 특정 영재교육원에서 제작한 루브릭을 바탕으로 수학영재를 선발하기 위해 사용된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시 도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 제작한 선발도구에 측정학적 특성을 바탕으로 최적의 측정 조건을 탐색하는 데 적용 가능하다.

• 한국과학교육학회지
• /
• 제25권2호
• /
• pp.173-183
• /
• 2005

본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

• 디지털융복합연구
• /
• 제19권7호
• /
• pp.33-39
• /
• 2021

본 연구는 구약 성경 코퍼스와 신약 성경 코퍼스, 그리고 구약과 신약 성경을 통합한 코퍼스에서 추출된 키워드 목록의 어휘적 특징을 분석하고, 또 사용빈도 기반의 키워드 분석보다 분포도 기반 키워드 분석이 더 우수한 분석 방식임을 밝히고자 하였다. 이를 위해 Bible Hub의 NLT 웹사이트에서 성경 파일을 다운받아 약 57만 어절의 구약 성경 코퍼스와 약 20만 어절의 신약 성경 코퍼스를 구축하였다. 목표 코퍼스와 참조 코퍼스의 비교를 통한 키워드 목록을 추출하기 위해서 Scott(2020)의 WordSmith 8.0 프로그램을 사용하였다. 그 결과, 분포도 기반 키워드 분석이 사용빈도 기반의 키워드 분석보다 키워드 목록의 어휘적 특징을 보다 더 잘 나타낼 수 있었고, 또 코퍼스 내용의 대표성과 변별성을 충분히 충족시킬 수 있는 최적의 키워드 목록을 추출하기 위해서는 분포도 기반 키워드 분석이 더 우수한 방식임을 밝혔다.

• 과학교육연구지
• /
• 제47권2호
• /
• pp.211-224
• /
• 2023

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도이론을 예시 자료에 적용하여 분석하였다. G-연구분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내용 영역에 따라 난이도는 거의 변화가 없는 것으로 나타났다. D-연구 분석 결과, 원자료는 적정수준 이상의 신뢰도를 확보하였으며, 수와 연산, 기하, 확률 및 통계 영역의 문항 수를 줄이거나 문자와 식과 함수 영역의 가중치를 높게 반영함으로써 원자료보다 높은 신뢰도를 산출할 수 있는 것으로 나타났다. 본 연구에서 제시한 효율적인 측정 조건은 예시 평가 자료에 제한되지만 본 연구에서 활용한 방법은 자동문항생성 기반의 다양한 평가 상황에서 측정학적 특성을 바탕으로 신뢰도를 산출하고, 효율적인 측정 조건을 탐색하는 데 적용 가능하다.

• International journal of advanced smart convergence
• /
• 제11권4호
• /
• pp.104-119
• /
• 2022

Life safety awareness level diagnosis is necessary for customized safety education and continuous safety awareness. As the starting stage of safety education for each life cycle, a scale that has verified the reliability and validity of high school students' life safety awareness has not yet been developed. In this context, the purpose of this study is to develop and validate the life safety awareness scale of high school students and to analyze interindividual differences. Questionnaire data was collected from April to June 2022 from 834 students in the first, second, and third grades of high schools in △△ city in Jeollabuk-do. A final 25-item scale was developed using the preliminary survey, preliminary test, the main test, descriptive statistical analysis, and exploratory and confirmatory factor analysis. This scale consists of four sub-factors: 'safety prevention', 'safety knowledge', 'safety preparation', and 'safety protection'. Good reliability and validity were verified by analysis of content validity and construct validity. The generalizability of the scale was verified by crossover validation between the search group and the crossover group. Based on the interindividual differences analysis, although there was a difference between genders in life safety awareness, there was no difference by grade level and academic achievement. This study is significant in developing the first valid scale that can measure high school students' life safety awareness and providing the necessity and rationale for life safety education by life cycle considering individual gender differences.

• 한국조리학회지
• /
• 제6권1호
• /
• pp.225-252
• /
• 2000

This study aims to examine theoretical frame work of franchise restaurant, the characteristics of store manager's job and the level of their job satisfaction through an empirical investigation. Job satisfaction survey study shows that store managers consider important all work to be attended to as part of their duty with service management on top. It is also found that the majority of store managers consider their aptitude as most important job satisfaction factor and those, who are satisfied with their job content, advancement and the prospect, are more proactive in delivering qualify service and more than willing to commit themselves to their duties. Regrading demographical variables, store managers with scholarly competence and higher pay level are more likely to be satisfied with their job but married men are not satisfied with the work environment in general. Ergo, Businesses should correspond by capitalizing on those store managers content with their duty thus collecting additional information and providing opportunities to further contribute to the business. For those dissatisfied individuals, however, businesses should determine their demands and by educational training supply a motive therefore making possible the conversion of such individuals to satisfied store managers and their active participation in business management. But, as with any study, this one has a number of limitation which constraints the generalizability of the empirical findings. It has not been for long since franchise restaurants established in domestic market and has been few studies regarding this topic there. Furthermore, managers are not willing to release operation related data. Therefore, further study are urged to overcome this limitation and should examine other dimensions of job satisfaction such as relations between revenue and profit with the level of store manager's job satisfaction remain to be investigated.

• 의학교육논단
• /
• 제23권3호
• /
• pp.185-193
• /
• 2021

Students must be familiar with clinical skills before starting clinical practice to ensure patients' safety and enable efficient learning. However, performance is mainly tested in the third or fourth years of medical school, and studies using the validity framework have not been reported in Korea. We analyzed the validity of a performance test conducted among second-year students classified into content, response process, internal structure, relationships with other variables, and consequences according to Messick's framework. As results of the analysis, content validity was secured by developing cases according to a pre-determined blueprint. The quality of the response process was controlled by training and calibrating raters. The internal structure showed that (1) reliability by generalizability theory was acceptable (coefficients of 0.724 and 0.786, respectively, for day 1 and day 2), and (2) the relevant domains had proper correlations, while the clinical performance examination (CPX) and objective structured clinical examination (OSCE) showed weaker relationships. OSCE/CPX scores were correlated with other variables, especially grade point average and oral structured exam scores. The consequences of this assessment were (1) making students learn clinical skills and study themselves, while causing too much stress for students due to lack of motivation; (2) reminding educators of the need to apply practical teaching methods and to give feedback on the test results; and (3) providing an opportunity for faculty to consider developing support programs. It is necessary to develop the blueprint more precisely according to students' level and to verify the validity of the response process with statistical methods.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.75-86
• /
• 2016

이공계 진로동기는 지속가능한 과학기술 인력의 양성에 있어 핵심적 역할을 하며, 과학학습동기에도 큰 영향을 미친다고 알려져 왔다. 이 연구의 목적은 학생들의 이공계 진로동기를 측정할 수 있는 검사 도구를 개발 및 타당화하는데 있다. 검사도구 개발의 첫 번째 절차로 사회인지진로이론(SCCT)에 기초하여 고등학생들의 이공계 진로동기의 7개의 구인인 교육, 직업가치, 이공계 교과 자아효능감, 이공계진로 자아효능감, 이공계 진로에 대한 흥미, 부모의지지, 이공계 진로 동기로 설정하였다. 각 구인들을 측정할 수 있는 예비문항의 개발 후 고등학교 1학년 학생 767명에게 투입하였다. 학생들의 응답 자료를 바탕으로 라쉬모델 분석, 탐색적 요인분석과 구조방정식 분석을 바탕으로 한 확인적 요인분석과 다중집단 요인분석을 수행하였다. 결과적으로 Messick(1995)이 제안한 6가지 측면의 타당도 중 내용 타당도, 실제적 타당도, 구조적 타당도, 일반화 타당도가 검증되었다. 또한 구조방정식 분석을 통해 이공계 진로동기의 구인간의 연결 구조를 확인하였다. 개발된 이공계 진로동기 검사도구는 고등학교 1학년 직업진로지도에 유용한 도구로 사용될 것으로 전망된다.