• Proceedings of the KHMA Conference
• /
• 2013.11a
• /
• pp.218-218
• /
• 2013

• Communications of Mathematical Education
• /
• v.29 no.3
• /
• pp.553-571
• /
• 2015

Mathematical, verbal, and spatial abilities are known as three important indicators for the success in the STEM disciplines. In this study, Purdue Spatial Visualization Test-Rotation, College Entrance Scholastic Aptitude Test- Math and Verbal score of engineering freshmen students have been used to find the relationships among these areas. In addition, gender differences in spatial visualization, verbal achievement and mathematical achievement have been investigated, too. In this research, I found that gender difference was highest in spatial visualization ability, followed by verbal achievement and smallest in mathematical achievement. Substantial number of male students possess high level of spatial abilities, but only half of female students were at the same level where their male colleagues were. The correlation between spatial ability and mathematical ability was negligible, contrary to former researches on elementary and middle school students. But the correlation was stronger for female students than male students. The correlation between mathematical achievement and verbal achievement was negative. It reflects the fact that when one section of SAT score is low, score of other sections should be higher to get admitted to college. Gender difference in mathematics was smallest for high achieving spatial ability group. For low spatial ability group gender difference in mathematics achievement has been observed, too. To find the combined contribution of spatial and verbal abilities to mathematics achievement, students were divided into 4 ability groups. Mathematics achievement decreased in the order of (1) high spatial -low verbal group, (2) low spatial - low verbal group, (3) high spatial - high verbal group, (4) low spatial - high verbal group.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.162-167
• /
• 2023

본 논문은 거대언어모델에 대한 한국어 상식추론 기반의 새로운 평가 방식을 제안한다. 제안하는 평가 방식은 한국어의 일반 상식을 기초로 삼으며, 이는 거대언어모델이 주어진 정보를 얼마나 잘 이해하고, 그에 부합하는 결과물을 생성할 수 있는지를 판단하기 위함이다. 기존의 한국어 상식추론 능력 평가로 사용하던 Korean-CommonGEN에서 언어 모델은 이미 높은 수준의 성능을 보이며, GPT-3와 같은 거대언어모델은 사람의 상한선을 넘어선 성능을 기록한다. 따라서, 기존의 평가 방식으로는 거대언어모델의 발전된 상식추론 능력을 정교하게 평가하기 어렵다. 더 나아가, 상식 추론 능력을 평가하는 과정에서 사회적 편견이나 환각 현상을 충분히 고려하지 못하고 있다. 본 연구의 평가 방법은 거대언어모델이 야기하는 문제점을 반영하여, 다가오는 거대언어모델 시대에 한국어 자연어 처리 연구가 지속적으로 발전할 수 있도록 하는 상식추론 벤치마크 구성 방식을 새롭게 제시한다.

• 대한공업교육학회지
• /
• v.34 no.1
• /
• pp.210-237
• /
• 2009

The aim of this thesis is to develop a robot C programming curriculum with the subject of the students in the middle & High School and to prove the effect of the programming on creativity and programming ability. The content of the robot C programming curriculum consists of the introduction, basic knowledge and assembling of the robot (usage of kits and the theory of mechanism); the learning of the robot c programming; the assigned robot making; the original robot making, which is ultimately designed to improve the creative robot programming ability of students. The subjects are divided into two groups(38); one groups(11) taking the course of C++programming and the other(27) taking the robot C programming as well as C++programming. Then each group's improvement of creativity and programming ability is measured in both pretest and posttest. The students taking the robot C programming curriculum gain the product of the assigned robot and the original robot. Besides, it turns out that the curriculum have a meaningful effect in that students acquire the enhanced creativity according to the result of TTCT Creativity Test. Self evaluation also indicates the improvement of C++programming ability.

• Journal of the Korea Convergence Society
• /
• v.11 no.12
• /
• pp.383-390
• /
• 2020

The present study was conducted to examine the differences and correlations between verbal fluency and story comprehension according to the working memory(WM) capacity, and to find out what WM factors influence the linguistic competence in Alzheimer's disease(AD) and vascular dementia(VaD) groups each consisting of 15 patients. The results of their performance produced firstly significant differences in phonemic fluency, story comprehension, delayed recall and recognition task between the two groups. Further analysis shows that VaD group had significant correlations between the scores of story comprehension and the recognition test scores additionally. These findings suggest that it is possible to differentiate the two groups even by story comprehension tasks and WM. In conclusion, the clinical application of the results is likely to contribute to appropriate treatment plans and effective interventions for elderly with AD and VaD as well as to improve the classification criteria for both types of dementia.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.25-30
• /
• 2023

초거대 언어모델은 과연 수수께끼 문제에 재치있는 답변을 할 수 있을까? 최근 초거대 언어모델(Large language model, LLM)은 강력한 성능 및 유저 만족도를 보이며 세계의 이목을 집중시키고 있다. 여러 태스크들에 대한 정량 평가를 넘어서 최근에는 LLM의 창의력 및 고도화된 언어능력을 평가하는 연구들이 등장하고 있다. 본 논문에서는 이러한 연구 흐름에 따라 LLM의 재치에 관해 고찰해본다. 이때 재치를 평가하기 위한 태스크로 이를 요구하는 말놀이인 수수께끼를 활용한다. 본 논문은 LLM이 수수께끼를 잘 수행하는지를 모델 추론을 통해 평가하며, 모델 추론 시 활용되는 프롬프트들의 성격에 따른 성능 변화를 관찰한다. 또한 수수께끼의 종류에 따른 모델의 능력을 비교 분석하며 LLM의 추론 결과에 대한 오류 분석을 수행한다. 본 논문은 실험을 통해 GPT-4가 가장 높은 성능을 보이며, 설명글이나 데이터 예시를 추가할 시 성능을 한층 더 향상시킬 수 있음을 확인한다. 또한 단어 기반보다는 특성 기반의 수수께끼에 더욱 강력한 성능을 보이며, 오류 유형 분석을 통해 LLM이 환각(hallucination) 문제와 창의력을 동시에 가지고 있다고 분석한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.443-447
• /
• 2023

검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.

• Journal of Korean language education
• /
• v.28 no.2
• /
• pp.265-289
• /
• 2017

외국어를 학습하는 데 있어서 해당 외국어의 의사소통 능력을 향상시키고 평가한다는 것은 상당히 큰 중요성을 가진다. 교실에서 학습자의 듣기, 말하기, 읽기, 쓰기 능력을 통해 학습자의 언어 능력을 함양하고 평가하기 위해 어떠한 연습문제나 시험 혹은 평가방법을 사용하느냐 하는 것은 학습자의 학습동기에 지대한 영향을 미친다. 왜냐하면, 보통 학습자들은 교수자가 무엇을 가르치고 기대하며 평가하느냐에 따라 자신들의 학습방법을 맞춰 나가기 때문이다. 이러한 맥락에서 본 연구는 보다 적극적인 학습자들의 참여를 유도하고 유연성 있는 학습자 중심의 학습법을 고양시키며 다양한 언어능력을 고취시키기 위하여, 효과적인 외국어 학습법의 하나로 알려진 paraphrasing을 학습에 활용하고자 한다. 특히 paraphrasing은 일상생활 속에서도 의사소통을 원활히 하기 위한 수단으로서 글 바꿔 쓰기 혹은 말 바꿔 말하기로 활용되기도 하나, 본 소논문에서는 paraphrasing이 학습을 목적으로 하는 학습현장에서 활용되었다는 것을 감안하여 의역을 통한 학습 혹은 의역학습법을 소개하고자 한다. 실제로 paraphrasing은 언어 및 외국어 학습자들에게 상당히 효과가 있는 것으로 알려진 것에 비해 실제로 한국어 교육현장에서 사용한 연구들은 거의 찾아 볼 수가 없다고 해도 과언이 아니다. 따라서, 의역학습법을 학습현장에서 도입했을 때 경험한 여러 시행착오를 바탕으로 실질적으로 교실에서 사용된 예시들을 소개하고, 한국어를 가르치는 교수자들과 한국어를 배우는 외국인 학습자들에게 paraphrasing을 사용한 새로운 한국어 교수방법과 평가 도구를 제안하고자 한다. 이를 통해, paraphrasing이 한국어를 가르치는 교수자들과 한국어를 배우고자 하는 외국 학습자들에게 효과적인 언어학습 도구로서 실질적으로 교육현장에서 널리 사용될 수 있는 계기가 되었으면 한다.

• Journal of Science Education
• /
• v.37 no.2
• /
• pp.310-322
• /
• 2013

The college of education should support pre-service science teachers to develop various abilities as a teacher, in which the teaching ability is the most fundamental one. This study is the result of a longitudinal research project following the processes that pre-service science teachers develop their teaching ability in a college of education. The data gathered include movie clips of seminar presentation, teaching demonstration, secondary school science experiment, and classes in the practicum. In order to analyze the teaching abilities in various context, a framework was developed. The framework consists of 'content,' 'progress,' and 'verbal/nonverbal' with which the movie clips of 5 pre-service science teachers were analyzed. The teaching abilities of pre-service science teachers showed overall development, that include the understanding of learners and curriculum in the 'content,' the time-management and the interaction with learners in the 'progress,' and the nonverbal behavior in the 'verbal/nonverbal.' The implications were discussed on the education in the college of education, such as the increase of teaching opportunities for pre-service science teachers and the support for those opportunities.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.9-13
• /
• 2023

본 논문에서는 대규모 언어모델의 검색 기반 답변 생성능력을 평가하는 새로운 한국어 벤치마크, KFREB(Korean Fictional Retrieval Evaluation Benchmark)를 제안한다. KFREB는 모델이 사전학습 되지 않은 허구의 정보를 바탕으로 검색 기반 답변 생성 능력을 평가함으로써, 기존의 대규모 언어모델이 사전학습에서 보았던 사실을 반영하여 생성하는 답변이 실제 검색 기반 답변 시스템에서의 능력을 제대로 평가할 수 없다는 문제를 해결하고자 한다. 제안된 KFREB는 검색기반 대규모 언어모델의 실제 서비스 케이스를 고려하여 장문 문서, 두 개의 정답을 포함한 골드 문서, 한 개의 골드 문서와 유사 방해 문서 키워드 유무, 그리고 문서 간 상호 참조를 요구하는 상호참조 멀티홉 리즈닝 경우 등에 대한 평가 케이스를 제공하며, 이를 통해 대규모 언어모델의 적절한 선택과 실제 서비스 활용에 대한 인사이트를 제공할 수 있을 것이다.