• 한국가정관리학회:학술대회논문집
• /
• 한국가정관리학회 2013년도 제54차 추계학술대회
• /
• pp.218-218
• /
• 2013

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제29권3호
• /
• pp.553-571
• /
• 2015

본 연구는 공간능력이 수학 성취도 및 STEM 분야의 성공에서 중요한 역할을 한다는 사실에 기초하여, 공과 대학생들의 공간능력, 수학 성취도, 그리고 언어 성취도 사이의 관계와 각 영역에서 성별 차이를 파악하는데 목적을 두었다. 그와 함께 수학 성취도에서의 성별 차이가 공간능력에서의 차이에 의해서 매개되는 지도 확인하고자 하였다. 이를 위하여 서울 소재 공과대학 신입생들에게 공간 시각화-회전(PSVT-R)검사를 실시한 후에 대학수학능력 시험의 수학 및 언어 영역과의 상관관계를 성별로 조사하였다. 연구 결과, 성별 차이는 공간 시각화 능력에서 가장 크게 나타났고, 다음이 언어 성취도, 그리고 수학 성취도의 순서로 낮아졌다. 남학생의 공간 시각화 능력이 여학생보다 0.8d(effect size) 정도 우수하였으며 남학생의 67%가 도달한 수준에 여학생은 34%가 속해있었다. 영역별 상관계수를 살펴보면 수학과 언어 성취도 사이에는 음의 상관관계가 존재하였다, 그러나 예측과는 다르게 수학 성취도와 공간 시각화 능력 사이의 상관관계는 작았다. 공간 시각화 능력과 언어 성취도 사이에도 상관관계는 존재하지 않았다. 그렇지만 공간 시각화 능력은 남학생보다는 여학생의 수학 성취도에 좀 더 강한 영향을 주는 것으로 나타났다. 그 이유는 남학생에서는 공간능력이 보편적인 현상이기 때문에 남학생 내에서는 공간능력이 수학 성취도에 별다른 영향을 미치지 않았던 것으로 파악된다. 그 외에도 공간능력이 낮은 집단에서도 수학 성취도에서는 성별차이가 나타나는 것을 확인하였다. 이것은 현 연구 집단에서는 공간능력이 수학 성취도를 결정하는 주된 요인은 아니라는 점을 보여준다. 언어 성취도가 수학 성취도와 음의 상관관계를 갖는 이유는 입시전형에 합격하기 위해서는 한 영역에서 낮은 점수를 받은 경우에 다른 영역의 점수는 상위권인 학생들이 지원한 결과로 해석된다. 마지막으로 공간 시각화와 언어 능력이 결합하여 수학 성취도에 미치는 영향을 살펴보았다. 언어 성취도와 공간 시각화 점수를 상위권과 하위권으로 구분한 다음 네 그룹으로 나누어서 수학 성취도를 비교하였다. 이 때 수학 성취도는 남학생, 여학생 모두에서 (1) 공간 상위권- 언어 하위권인 그룹, (2) 공간 하위권 - 언어 하위권인 그룹, (3) 공간 상위권 - 언어 상위권 그룹, (4) 공간 하위권 - 언어 상위권 그룹의 순서로 낮아졌다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.162-167
• /
• 2023

본 논문은 거대언어모델에 대한 한국어 상식추론 기반의 새로운 평가 방식을 제안한다. 제안하는 평가 방식은 한국어의 일반 상식을 기초로 삼으며, 이는 거대언어모델이 주어진 정보를 얼마나 잘 이해하고, 그에 부합하는 결과물을 생성할 수 있는지를 판단하기 위함이다. 기존의 한국어 상식추론 능력 평가로 사용하던 Korean-CommonGEN에서 언어 모델은 이미 높은 수준의 성능을 보이며, GPT-3와 같은 거대언어모델은 사람의 상한선을 넘어선 성능을 기록한다. 따라서, 기존의 평가 방식으로는 거대언어모델의 발전된 상식추론 능력을 정교하게 평가하기 어렵다. 더 나아가, 상식 추론 능력을 평가하는 과정에서 사회적 편견이나 환각 현상을 충분히 고려하지 못하고 있다. 본 연구의 평가 방법은 거대언어모델이 야기하는 문제점을 반영하여, 다가오는 거대언어모델 시대에 한국어 자연어 처리 연구가 지속적으로 발전할 수 있도록 하는 상식추론 벤치마크 구성 방식을 새롭게 제시한다.

• 대한공업교육학회지
• /
• 제34권1호
• /
• pp.210-237
• /
• 2009

본 연구의 목적은 중 고등학교 학생들을 대상으로 로봇C언어 교육프로그램을 개발하고 로봇C언어 교육프로그램이 창의력과 프로그래밍 능력 향상에 미치는 효과를 검증하는 것이다. 로봇C언어 교육프로그램의 내용은 로봇의 이해, 로봇의 기초와 조립(교육용 키트의 사용법 및 기구학) 및 로봇C언어 프로그래밍 학습, 과제 로봇 만들기, 창작 로봇 만들기로 구성하였으며 최종적으로 창의적으로 로봇 프로그래밍을 할 수 있도록 개발하였다. C과학 고등학교 1학년 학생(38명) 중에서 로봇C언어 교육프로그램과 C++프로그래밍 과정을 이수한 실험집단(11명)과 C++프로그래밍 과정만을 이수한 비교집단(27명)의 창의력과 프로그래밍 능력 향상 정도를 사전 사후 검사로 비교하였다. 로봇C언어 교육프로그램을 이수한 학생들은 과제 로봇과 창작 로봇의 산출물을 얻었으며, 또한, 이수한 학생들은 TTCT 창의력 검사(도형)결과 창의력 향상에 유의미한 효과가 나타났으며, 자체 평가 결과 C++언어 프로그래밍 능력도 향상되는 것으로 나타났다.

• 한국융합학회논문지
• /
• 제11권12호
• /
• pp.383-390
• /
• 2020

본 연구는 알츠하이머와 혈관성 치매 환자를 대상으로 구어유창성과 이야기이해 과제 수행능력의 차이 및 작업기억 처리수준과의 상관 그리고 언어능력 관련 요인선별을 위해 시행되었다. 전반적인 인지능력에서 차이를 보이지 않는 각기 15명의 환자를 대상으로 구어유창성 내 음소유창성 및 이야기이해 그리고 작업기억 하위과제인 지연회상과 재인과제에서 두 그룹 간 유의한 수행능력의 차이를 보였다. 상관 및 회귀분석에서는 알츠하이머 그룹이 작업기억 내역행 숫자기억 과제와 이야기이해 과제에서만 유의한 상관을 보인 반면, 혈관성 치매 그룹은 추가적으로 재인 점수에서도 이야기이해 능력과의 유의한 상관이 나타났다. 한편, 회귀분석에서는 혈관성 치매 그룹에서만 언어적 작업기억 능력이 이야기이해 능력의 예측 요인임을 확인하였다. 결론적으로 두 유형의 치매를 구분하는 데 있어 음소유창성 과제 외에 이야기이해 및 작업기억 과제가 유의한 도구임이 확인되었는데, 이를 통해 두 유형의 치매에 대한 분류기준을 제고함은 물론 적절한 치료계획 및 효율적인 중재에 부가적인 기여를 할 것으로 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.25-30
• /
• 2023

초거대 언어모델은 과연 수수께끼 문제에 재치있는 답변을 할 수 있을까? 최근 초거대 언어모델(Large language model, LLM)은 강력한 성능 및 유저 만족도를 보이며 세계의 이목을 집중시키고 있다. 여러 태스크들에 대한 정량 평가를 넘어서 최근에는 LLM의 창의력 및 고도화된 언어능력을 평가하는 연구들이 등장하고 있다. 본 논문에서는 이러한 연구 흐름에 따라 LLM의 재치에 관해 고찰해본다. 이때 재치를 평가하기 위한 태스크로 이를 요구하는 말놀이인 수수께끼를 활용한다. 본 논문은 LLM이 수수께끼를 잘 수행하는지를 모델 추론을 통해 평가하며, 모델 추론 시 활용되는 프롬프트들의 성격에 따른 성능 변화를 관찰한다. 또한 수수께끼의 종류에 따른 모델의 능력을 비교 분석하며 LLM의 추론 결과에 대한 오류 분석을 수행한다. 본 논문은 실험을 통해 GPT-4가 가장 높은 성능을 보이며, 설명글이나 데이터 예시를 추가할 시 성능을 한층 더 향상시킬 수 있음을 확인한다. 또한 단어 기반보다는 특성 기반의 수수께끼에 더욱 강력한 성능을 보이며, 오류 유형 분석을 통해 LLM이 환각(hallucination) 문제와 창의력을 동시에 가지고 있다고 분석한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.443-447
• /
• 2023

검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.

• 한국어교육
• /
• 제28권2호
• /
• pp.265-289
• /
• 2017

외국어를 학습하는 데 있어서 해당 외국어의 의사소통 능력을 향상시키고 평가한다는 것은 상당히 큰 중요성을 가진다. 교실에서 학습자의 듣기, 말하기, 읽기, 쓰기 능력을 통해 학습자의 언어 능력을 함양하고 평가하기 위해 어떠한 연습문제나 시험 혹은 평가방법을 사용하느냐 하는 것은 학습자의 학습동기에 지대한 영향을 미친다. 왜냐하면, 보통 학습자들은 교수자가 무엇을 가르치고 기대하며 평가하느냐에 따라 자신들의 학습방법을 맞춰 나가기 때문이다. 이러한 맥락에서 본 연구는 보다 적극적인 학습자들의 참여를 유도하고 유연성 있는 학습자 중심의 학습법을 고양시키며 다양한 언어능력을 고취시키기 위하여, 효과적인 외국어 학습법의 하나로 알려진 paraphrasing을 학습에 활용하고자 한다. 특히 paraphrasing은 일상생활 속에서도 의사소통을 원활히 하기 위한 수단으로서 글 바꿔 쓰기 혹은 말 바꿔 말하기로 활용되기도 하나, 본 소논문에서는 paraphrasing이 학습을 목적으로 하는 학습현장에서 활용되었다는 것을 감안하여 의역을 통한 학습 혹은 의역학습법을 소개하고자 한다. 실제로 paraphrasing은 언어 및 외국어 학습자들에게 상당히 효과가 있는 것으로 알려진 것에 비해 실제로 한국어 교육현장에서 사용한 연구들은 거의 찾아 볼 수가 없다고 해도 과언이 아니다. 따라서, 의역학습법을 학습현장에서 도입했을 때 경험한 여러 시행착오를 바탕으로 실질적으로 교실에서 사용된 예시들을 소개하고, 한국어를 가르치는 교수자들과 한국어를 배우는 외국인 학습자들에게 paraphrasing을 사용한 새로운 한국어 교수방법과 평가 도구를 제안하고자 한다. 이를 통해, paraphrasing이 한국어를 가르치는 교수자들과 한국어를 배우고자 하는 외국 학습자들에게 효과적인 언어학습 도구로서 실질적으로 교육현장에서 널리 사용될 수 있는 계기가 되었으면 한다.

• 과학교육연구지
• /
• 제37권2호
• /
• pp.310-322
• /
• 2013

사범대학에서는 예비 과학 교사가 교사로서 다양한 능력을 개발해 나가도록 지원해 주어야 하며, 수업 능력은 개발해야 할 능력 중 가장 기본이 된다. 이 연구는 예비 과학 교사가 사범대학에서 수업 능력을 발달시켜 가는 과정을 추적하는 종단적 연구 프로젝트의 결과물이다. 예비 과학 교사가 세미나 강좌에서 한 발표, 화학교육 관련 강의에서 한 수업 시연 및 중등 실험 수업, 교육실습에서의 수업 등의 동영상 자료를 수집하였다. 서로 다른 상황에서 이루어지는 수업을 분석하여 예비 과학 교사의 수업 능력을 평가하고 비교할 수 있는 틀을 개발하였다. 내용, 진행, 언어 비언어 측면의 분석틀에 따라 5명의 예비 과학 교사의 수업을 분석하였다. 예비 과학 교사의 수업 능력은 전반적으로 향상되고 있었으며, 내용 측면에서는 학습자와 교육과정에 대한 이해, 진행 측면에서는 수업 시간 조절 및 학습자와의 상호작용, 언어 비언어 측면에서는 비언어적인 행동 부분에서 변화의 유무를 확인할 수 있었다. 예비 과학 교사의 수업 기회 확대와 지원 등 사범대학 교육에의 시사점을 논의하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.9-13
• /
• 2023

본 논문에서는 대규모 언어모델의 검색 기반 답변 생성능력을 평가하는 새로운 한국어 벤치마크, KFREB(Korean Fictional Retrieval Evaluation Benchmark)를 제안한다. KFREB는 모델이 사전학습 되지 않은 허구의 정보를 바탕으로 검색 기반 답변 생성 능력을 평가함으로써, 기존의 대규모 언어모델이 사전학습에서 보았던 사실을 반영하여 생성하는 답변이 실제 검색 기반 답변 시스템에서의 능력을 제대로 평가할 수 없다는 문제를 해결하고자 한다. 제안된 KFREB는 검색기반 대규모 언어모델의 실제 서비스 케이스를 고려하여 장문 문서, 두 개의 정답을 포함한 골드 문서, 한 개의 골드 문서와 유사 방해 문서 키워드 유무, 그리고 문서 간 상호 참조를 요구하는 상호참조 멀티홉 리즈닝 경우 등에 대한 평가 케이스를 제공하며, 이를 통해 대규모 언어모델의 적절한 선택과 실제 서비스 활용에 대한 인사이트를 제공할 수 있을 것이다.