Browse > Article
http://dx.doi.org/10.5392/JKCA.2020.20.05.344

Analysis of Correlation Between Cohesion and Item Difficulty in English Reading Section of CSAT  

Hwang, Leesu (전주대학교 영어교육과)
Lee, Je-Young (전주대학교 영어교육과)
Publication Information
The Journal of the Korea Contents Association / v.20, no.5, 2020 , pp. 344-350 More about this Journal
Abstract
The purpose of this study was to investigate the cohesion-related text factors that affected the correct answer rate of the English reading section in the Korean CSAT. To this end, reading passages of the 2014-2018 CSAT and CSAT mock test were collected and analyzed in terms of cohesion. And then, correlation analysis was implemented between the results regarding cohesion and item difficulty. The conclusions were as follows. First, the correct answer rate tended to increase as the linguistic burden of learners was reduced, when specific arguments between sentences were repeated. Second, there was no statistically significant correlation between the 8 sub-area of latent semantic analysis and the correct answer rate. Finally, the pedagogical implications of this study and suggestions for further study were discussed.
Keywords
CSAT; Coh-Metrix; Referential Cohesion; Latent Semantic Analysis; Item Analysis;
Citations & Related Records
Times Cited By KSCI : 4  (Citation Analysis)
연도 인용수 순위
1 I. Kirsch, The international adult literacy survey: Understanding what was measured (RR-01-25), Educational Testing Service, 2001.
2 T. K. Landaucer, LSA as a theory of meaning. n T. Landaucer, D. McNamara, S. Dennis and W. Kintsch (Eds.), Handbook of latent semantic analysis (pp.3-34), Erlbaum, 2007.
3 이경남, "잠재적 의미 분석(LSA)을 활용한 독해 과정에서 추론 양상 분석," 독서연구, 제42호, pp.107-131, 2017.
4 I. Aldabe and M. Maritxalar, "Automatic distractor generation for domain specific texts," NLP 2010: Advances in Natural Language Processing, pp.27-38, 2010.
5 N. LaVoie, J. Parker, P. J. Legree, S. Ardison, and R. N. Kilcullen, "Using latent semantic analysis to score short answer constructed responses: Automated scoring of the consequences test," Educational and Psychological Measurement, Vol.80, No.2, pp.399-414, 2019.   DOI
6 G. Jones, "Lexical cohesion as a predictor of item difficulty," Paper presented European Association for Language Testing and Assessment, University of Turku, 4-7 June. 2009.
7 고나은, 신정아, "Coh-Metrix를 이용한 수능 영어읽기 영역 지문 난이도 비교: EBS-수능 연계 정책 전후," 중등영어교육, 제10권, 제4호, pp.3-24, 2017.
8 http://www.suneung.re.kr/sub/info.do?m=0401&s=suneung
9 조성준, "성취평가중심 영어수업 활성화를 위한 고등학교 성취평가 현황 분석 연구," 한국콘텐츠학회논문지, 제18권, 제4호, pp.550-566, 2018.   DOI
10 이종승, 김성훈, 김재철, 손형정, 박문환, 장경숙, "대학수학능력시험 문항난이도 추정모형 개발: 언어 영역, 수리 영역, 영어 영역을 중심으로," 교육평가연구, 제16권, 제2호, pp.1-24, 2003.
11 박희진, 장경애, 이윤호, 김우제, 강필성, "텍스트마이닝을 이용한 대학수학능력시험 영어영역 정답률 예측," 대한산업공학회 춘계공동학술대회 논문집, pp.2277-2288, 2015.
12 이혜진, 이제영, "한.중.일 대학 입학시험 영어 지문의 이독성 비교 분석," 인문사회21, 제9권, 제5호, pp.441-453, 2018.
13 최민주, 김정렬, "수능 영어 문항 유형간 응집력과 어휘정보 분석," 한국콘텐츠학회논문지, 제17권, 제12호, pp.378-385, 2017.   DOI
14 황이수, 이제영, "수학능력시험 영어 지문의 텍스트 요인과 문항 난이도의 상관관계 분석: 통사적 복잡성을 중심으로," 영어영문학연구, 제46권, 제1호, pp.265-283, 2020.
15 지슬기, 김해동, "문항 유형과 지문 친숙도가 영어 읽기 평가 결과에 미치는 영향력 비교," 외국어교육, 제21권, 제1호, pp.215-239, 2014.
16 이경숙, "문제 수, 지문길이, 지문 친숙도가 영어 청해와 독해시험에 미치는 영향," 영어교육, 제54권, 제4호, pp.327-351, 1999.
17 전문기, 임인재, "코메트릭스(Coh-Metrix)를 이용한 중학교 1학년 개정 영어 교과서의 코퍼스 언어학적 비교 분석," 영어교육연구, 제21권, 제4호, pp.265-292, 2009.
18 김정렬, 양지윤, "Coh-Metrix를 통한 초중등 영어교과서 연계성 분석," 영어교육, 제67권, 제2호, pp.319-341, 2012.
19 신유선, 정영경, "코메트릭스(Coh-Metrix)를 활용한 공무원 7급과 9급 영어 시험 지문 분석: 어휘 다양성, 통사적 복잡성, 응집성과 이독성 지수를 중심으로," 영미어문학, 제129호, pp.143-161, 2018.
20 배지영, "중학교 1.2학년 2015 개정 영어교과서 읽기 자료의 가독성 분석과 아동문학 선정 연구," 영어교과교육, 제18권, 제2호, pp.117-141, 2019.
21 송해성, "고등학교 영어 교과서 듣기 과업의 학년별 연계성 연구," 영어어문교육, 제19권, 제4호, pp.279-305, 2013.
22 이승환, "코메트릭스(Coh-Metrix)를 이용한 고등학교 영어1과 영어2 교과서 문어 텍스트의 코퍼스 언어학적 난이도 분석," 외국어교육연구, 제27권, 제2호, pp.131-148, 2013.
23 함미영, 이정원, "영어 텍스트 수정이 텍스트 난이도와 응집성에 미치는 영향," 영어어문교육, 제19권, 제2호, pp.335-355, 2013.
24 D. S. McNamara, A. C. Graesser, P. M. McCarthy, and Z. Cai, Automated evaluation of text and discourse with Coh-Metrix, Cambridge University Press, 2014.
25 안수진, "한국인 대학생과 영어 원어민 대학생의 영어 설명문, 논설문의 코메트릭스 분석을 통한 비교," 새한영어영문학, 제60권, 제3호, pp.177-205, 2018.   DOI
26 H. J. Kim and J. Lee, "Investigating linguistic differences in adult EFL learners' writing test performance," Journal of British and America Studies, No.35, pp.205-234, 2015.
27 J. Lee, "A Coh-Metrix analysis of lexical, syntactic and discourse aspects in the newspaper articles of Korean and British university students," Modern English Education, Vol.19, No.4, pp.17-26, 2018.   DOI
28 이슬기, "토픽 모델링에 따른 고등학교 논설문의 응결성과 응집성의 상관분석," 국어교육학연구, 제52권, 제3호, pp.136-173, 2017.
29 S. A. Crossley and D. S. McNamara, "Predicting second language writing proficiency: The role of cohesion, readability, and lexical difficulty," Journal of Research in Reading, No.35, pp.115-135, 2012.
30 이동욱, 백서현, 박민지, 박진희, 정혜욱, 이지형, "LSA를 이용한 문장 상호 추천과 문장 성향 분석을 통한 문서 요약," 한국지능시스템학회논문지, 제22권, 제5호, pp.656-662, 2012.   DOI
31 Y. H. Choi, H. Ahn, and J. Lee, "Anaphora resolution strategies in L2 reading," Korean Journal of English Language and Linguistics, Vol.18, No.4, pp.395-422, 2018.   DOI
32 S. Haviland and H. Clark, "What's new? Acquiring new information as a process in comprehension," Journal of Verbal Learning and Verbal Behavior, Vol.13, No.5, pp.512-521, 1974.   DOI
33 L. Manelis and F. Yekovich, "Repetitions of propositional argument in sentence," Journal of Verbal Learning and Verbal Behavior, Vol.15, No.3, pp.301-312, 1976.   DOI