Browse > Article
http://dx.doi.org/10.9722/JGTE.2013.23.5.671

An Application of Multivariate Generalizability Theory to Teacher Recommendation Letters and Self-introduction Letters Used in Selection of Mathematically Gifted Students by Observation and Nomination  

Kim, Sung Yeun (Vanderbilt University)
Han, Ki Soon (Incheon National University)
Publication Information
Journal of Gifted/Talented Education / v.23, no.5, 2013 , pp. 671-695 More about this Journal
Abstract
This study provides an illustrative example of using the multivariate generalizability theory. Specifically, it investigates relative effects of each error source, and finds optimal measurement conditions for the number of items within each content domain that maximizes the reliability-like coefficients, such as a generalizability coefficient and an index of dependability. The method is based on teacher recommendation letters and self-introduction letters, using an analytic scoring method in the context of selection of mathematically gifted students by observation and nomination. This study analyzed data from the 2011 academic year in the science education institute for the gifted, which is attached to the university located in the Seoul metropolitan area. It should be noted that the optimal scoring structures of this study are not generalizable to other selection instruments. However, the methodology applied in this study can be utilized to find optimal measurement conditions for the number of raters, the number of content domains, and the number of items in other selection instruments self-developed by many institutions including: the education institutes for the gifted at provincial offices of education, gifted classes, and the science education institutes for the gifted attached to universities in general. In addition, the methodology will provide bases for making informed decisions in selection instruments of the gifted based on measurement traits.
Keywords
Selection of mathematically gifted students; Multivariate generalizability theory; Teacher recommendation letters; Self-Introduction letters;
Citations & Related Records
Times Cited By KSCI : 4  (Citation Analysis)
연도 인용수 순위
1 교육부 (2010). 올해부터 시험 없이 과학영재 발굴. 교육과학기술부.
2 교육부 (2013). "영재교육 최적화를 통한 창조적 인재육성"을 위한 제 3차 영재교육진흥종합계획. 교육부(창의인재정책관).
3 김미숙 (2007). 한국의 영재 선발 현황과 개선 방향. 영재선발의 세계적인 동향과 개선 방향을 위한 국제 심포지엄. 연구자료 RM 2007-45. 교육인적자원부.
4 김미숙, 이정규, 이희권, 김언주, 맹희주, 이상천, 정경아, 최호진, 한수연 (2007). 제1차 영재교육진흥종합계획 평가 및 중장기 전망에 관한 연구. 한국교육개발원.
5 김성숙, 김양분 (2001). 일반화가능도이론. 파주: 교육과학사.
6 김성숙, 송미영, 박인용 (2012). 다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건탐색, 교육평가연구, 25(4), 679-700.
7 김성찬, 김성연, 한기순 (2012). 관찰, 추천에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서 평가에 대한 일반화가능도 이론의 활용. 수학교육논문집, 26(3), 251-271.
8 김숙영 (2012). 관찰 . 추천제를 통한 수학 영재의 선발 과정에 관한 연구. 석사학위논문. 숙명여자대학교.
9 남윤모 (2012). GED 기반 수학영재 관찰 . 추천 선발 방식의 타당성 분석. 석사학위논문. 대구교육대학교.
10 류지영, 정현철 (2010). 영재학급 대상자 선발을 위한 관찰․추천 영재판별모형 개발 연구, 영재교육연구, 20(1), 257-287.   과학기술학회마을
11 미래창조과학부 (2013). 창조경제를 견인할 창의인재 육성 방안. 미래창조과학부.
12 박혜정 (2010). 관찰․추천 영재 선발 시 사용되는 자기소개서와 교사추천서의 평가자간 신뢰도분석. 석사학위논문. 인천대학교.
13 성태제 (2010). 현대교육평가(3판). 서울: 학지사.
14 신윤주 (2011). 관찰 추천에서 나타난 과학영재행동특성의 경향: 교사추천서와 학생 자기 소개서 분석을 중심으로. 박사학위논문. 서울대학교.
15 우미란, 김선자, 박종욱 (2012). 관찰 . 추천 전형으로 선발된 학생들의 교사추천서와 프로그램 수행의 관련성 분석. 영재교육연구, 22(1), 173-196.   과학기술학회마을   DOI   ScienceOn
16 유미현, 강윤희, 예흥진 (2011). 과학영재교육원 관찰 . 추천 방식의 영재선발 분석. 과학영재교육, 3(2), 27-38.
17 이현숙 (2012). 혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석, 교육평가연구, 25(1), 95-116.
18 윤은정, 박윤배 (2012). 관찰 . 추천제에 의한 영재교육대상자 선발에서 심사결과의 신뢰도 및 타당도 분석. 영재교육연구, 22(4), 929-942.
19 이영식, 신상근 (2004). 다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구. Foreign Language Education, 11(2), 249-265.
20 이인호, 한기순 (2009). 영재교육 대상자 선발에서 교사 추천서의 효용성 분석. 영재교육연구, 19(2), 381-404.
21 최은주 (2012). 과학영재 관찰, 추천 선발에 사용되는 교사추천서와 자기소개서 분석 및 실제 교육 결과의 관계. 석사학위논문. 아주대학교.
22 Baum, S. M. (1994). Meeting the need of gifted/learning disables students. The Journal of Secondary Gifted Education, 3(5), 6-16.
23 Brennan, R. L. (2001a). Generalizability Theory. New York: Springer.
24 Brennan, R. L. (2001b). Manual for mGENOVA Version 2.1. Iowa City, IA: Center for Advanced Studies in Measurement and Assessment, The University of Iowa.
25 Crick, J. E., & Brennan, R. L. (1983). Manual for GENOVA: A GENeralized Analysis Of Variance System. ACT Technical Bulletin, 43, The American College Testing Program.
26 Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York: Wiley.
27 Dunbar, S. B., Koretz, D. M., & Hoover, H. D. (1992). Quality control in the development and use of performance assessment. Applied Measurement in Education, 4, 289-303.
28 Gronlund, N. E., & Waugh, C. K. (2009). Assessment of student achievement, 9th ed. Upper Saddle River, NJ: Pearson.
29 Keeves, J. P. (1988). Educational research, methodology, and measurement: An international handbook. Oxford: Pergamon.
30 Jiang, Y. H., Smith, P., & Nichols, P. (1997). Error sources influencing performance assessment reliability or generalizability: A meta-analysis. Paper presented at the annual meeting of the American Educational Research Association, Chicago.
31 Pfeiffer, S., & Blei, S. (2008). Gifted identification beyond the IQ test. In Pfeiffer, S. (Ed.), Handbook of giftedness in children (pp. 177-196). NY: Springer Science and Business Media, LLC.
32 Pfeiffer, S., & Jarosewich, T. (2003). Gifted rating scales. TX: Psych Corp.
33 Renzulli, J. S., & Reis, S. M. (1986). The enrichment triad/revolving door model: A school wide paln for the development of creative productivity. In Renzulli, J. S. (Ed.), Systems and models for developing programs for the gifted and talented. TX: Prufrock press.
34 Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30, 215-235.   DOI   ScienceOn
35 VanTassel-Baska, J., Johnson, D., & Avery, L. D. (2002). Using performance tasks in the identification of economically disadvantaged and minority gifted learners: Finding from project STAR. Gifted Child Quarterly, 46(2), 110-123.   DOI   ScienceOn
36 Webb, N. M., Shavelson, R. J., & Maddahian, E. (1983). Multivariate generalizability theory. In L. J. Pyans, Jr. (Ed.), Generalizability theory: Inferences and practical applications (pp. 49-66). San Francisco, CA: Jossey-Bass.