• Title/Summary/Keyword: 언어과제

Search Result 467, Processing Time 0.023 seconds

Enhancing LoRA Fine-tuning Performance Using Curriculum Learning

  • Daegeon Kim;Namgyu Kim
    • Journal of the Korea Society of Computer and Information
    • /
    • v.29 no.3
    • /
    • pp.43-54
    • /
    • 2024
  • Recently, there has been a lot of research on utilizing Language Models, and Large Language Models have achieved innovative results in various tasks. However, the practical application faces limitations due to the constrained resources and costs required to utilize Large Language Models. Consequently, there has been recent attention towards methods to effectively utilize models within given resources. Curriculum Learning, a methodology that categorizes training data according to difficulty and learns sequentially, has been attracting attention, but it has the limitation that the method of measuring difficulty is complex or not universal. Therefore, in this study, we propose a methodology based on data heterogeneity-based Curriculum Learning that measures the difficulty of data using reliable prior information and facilitates easy utilization across various tasks. To evaluate the performance of the proposed methodology, experiments were conducted using 5,000 specialized documents in the field of information communication technology and 4,917 documents in the field of healthcare. The results confirm that the proposed methodology outperforms traditional fine-tuning in terms of classification accuracy in both LoRA fine-tuning and full fine-tuning.

An Analysis on Teaching and Learning Strategies of Inquiry Tasks in the Elementary Moral Textbooks by Multiple Intelligence (다중지능을 이용한 초등학교 도덕 교과서 탐구 과제의 교수·학습 전략 분석)

  • Noh, Jeong-Im;Song, Gi-Ho;Yu, Jong-Youl
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.51 no.2
    • /
    • pp.5-22
    • /
    • 2017
  • The purpose of this study is to analyze the teaching and learning strategies included in the inquiry tasks of elementary moral textbooks with multiple intelligences (M.I), and to propose educational information services of teacher librarians. It was found that the tasks were mainly designed by the linguistic intelligence, logical & mathematical intelligence and spatial intelligence. In terms of the information literacy process, linguistic intelligence and spatial intelligence are mainly applied to the analysis-understanding stage. Logical & mathematical intelligence is applied to the stage of comprehensive-application and linguistic intelligence is applied to expression-delivery step. In order to cultivate the insufficient M.I in inquiry activities, teacher librarians should improve room and teaching materials of their school library and provide workbooks using the graphic organizer after analyzing the linkage of the inquiry tasks between the subjects.

Syntax Process in English Sentence Types : Comparison between Korean-English Bilinguals and Korean Non-bilinguals (이중언어자와 한국 대학생의 문장 유형별 영어 통사처리 특성 조사)

  • Park, Jin-Han;Oh, Chang-Young;Yum, Eun-Young;Chung, Chan-Sup
    • Annual Conference on Human and Language Technology
    • /
    • 1996.10a
    • /
    • pp.123-127
    • /
    • 1996
  • 영어와 한국어의 통사구조의 차이로 인하여, 이중언어자와 비이중언어자인 한국 대학생의 영어 문장 유형에 따른 통사 처리에 있어 차이가 있을 것이다. 네가지 영어 문장 유형, 수동태, 관계사절, 물주구문, 가정법 구문 등으로 문장 완성 과제를 실험하여 이중언어자와 비이중언어자의 문장완성 시간과 오류율을 측정하였다. 실험 결과 비이중언어자인 한국 대학생은 다른 문장 유형에 비하여 물주구문에서의 통사처리 수행에 있어 이중언어자와 유의한 차이를 보였다. 이로부터 이중언어자와 한국 대학생의 영어 문장의 통사 정보처리의 자동화 및 어순효과 정보와 생물 주어(word animacy)구문 단서, 즉 대부분의 주어는 살아있는 사물의 명사로 이루어져 있다는 단서(Gass, l987)의 사용에 대하여 논의하였다.

  • PDF

Do language models know the distinctions between men and women? An insight into the relationships between gender and profession Through "Fill-Mask" task (언어모델도 남녀유별을 아는가? - 'Fill-Mask' 태스크로 보는 성별과 직업의 관계)

  • Fei Li;Choi Jaehyeon;Kim Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.3-9
    • /
    • 2022
  • 본연구는 한국어 언어모델 트레이닝 단계에서 자주 사용되는 Fill-Mask 태스크와 직업 관련 키워드로 구성되는 각종 성별 유추 템플릿을 이용해 한국어 언어모델에서 발생하는 성별 편향 현상을 정량적으로 검증하고 해석한다. 결과를 봤을 때 현재 직업 키워드에서 드러나는 성별 편향은 각종 한국어 언어모델에서 이미 학습된 상태이며 이를 해소하거나 차단하는 방법을 마련하는 것이 시급한 과제이다.

  • PDF

Brain activation areas associated with L1 and L2 vocabulary retrieval and language switching (모국어와 외국어 어휘 산출과 언어 switch 에 따른 뇌 활성화 영역)

  • 남기춘;이동훈;김동휘;문양호
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2002.05a
    • /
    • pp.203-207
    • /
    • 2002
  • 본 연구에서는 한국사람이 모국어인 한국어 단어를 산출할 때와 외국어인 영어 단어를 산출할 때 관여하는 대뇌 영역을 fMRI 를 통해 조사하였다. 또한, 단일 언어를 산출할 때와 두 언어를 수시로 바꾸어서 인출할 때 관련되는 뇌 영역이 어디인지를 조사하였다. 실험에 참가한 피험자는 외국어를 공식적인 교육을 통해 12 세 근처에서 배우기 시작한 대학생이었다. 흔히 분류하는 방식으로 late learner로 구분되는 학생들이었다. 한 피험자가 세 종류의 실험 모두에 참여하였다. 피험자의 실험과제는 그림을 보고 그림에 해당되는 이름을 인출하여 말하는 과제였다. 실험 1, 2, 3 모두에서 사건관련 fMRI(event-related fMRI) 기법을 사용하였다. 실험 1에서는 그림을 보고 그림 이름에 해당되는 한국어 어휘와 외래어 어휘를 산출하게 하였다. 언어관련 뇌영역인 Wernicke 영역, Broca 영역, SMA 영역, SMG 영역 등에서 유의미한 활성화가 있었다. 실험 2 에서는 실험 1 에서 사용하지 않았던 그림을 사용하여 그림의 영어 이름과 외래어 이름을 인출하게 하였다. 외국어인 영어 단어를 산출할 때에도 모국어 단어를 산출할 때와 유사한 영역이 활성화되었다. 특히 외래어 산출 시에는 뇌 활성화 영역이 모국어와 영어 단어 산출할 때와 모국어 산출할 때 활성화되는 공통 영역이 활성화되었다. 모국어 산출과 영어 단어 산출의 차이점은 외국어 산출 시에 활성화 영역이 전반적으로 더 컸다는 것과 외국어 단어 산출 시에 Broca 영역보다 조금 밑쪽에서 그리고 모국어 단어 산출시에는 전전두엽 영역에서 더 많은 활성화가 있었다. 실험 3 에서도 실험 1 과 실험 2 에 사용하지 않았던 그림을 사용하였다. 실험 3 의 특이한 결과는 언어 switching 이 있는 경우에 전통적인 언어 영역 활성화 외에 전전두엽의 활성화가 컸다는 것이다. 아마도 언어를 바꾸어 가면서 단어를 산출하는 것이 전전두엽의 정보선택과정에 많은 영향을 주었던 것으로 해석된다. 전체적으로 어휘 산출시에 모국어 어휘, 외국어 어휘, 외래어 등을 산출할 때 공통되는 언어 영역과 언어 특성적 영역이 활성화된다고 결론지을 수 있을 것 같다.

  • PDF

The Effect of a Robot C Programming Curriculum on Improving Creativity and Programming Ability - Case of a Science high School- (로봇C언어 교육프로그램이 창의력과 프로그래밍 능력 향상에 미치는 효과 - 과학 고등학교 사례-)

  • Suh, Hyeong-Eob
    • 대한공업교육학회지
    • /
    • v.34 no.1
    • /
    • pp.210-237
    • /
    • 2009
  • The aim of this thesis is to develop a robot C programming curriculum with the subject of the students in the middle & High School and to prove the effect of the programming on creativity and programming ability. The content of the robot C programming curriculum consists of the introduction, basic knowledge and assembling of the robot (usage of kits and the theory of mechanism); the learning of the robot c programming; the assigned robot making; the original robot making, which is ultimately designed to improve the creative robot programming ability of students. The subjects are divided into two groups(38); one groups(11) taking the course of C++programming and the other(27) taking the robot C programming as well as C++programming. Then each group's improvement of creativity and programming ability is measured in both pretest and posttest. The students taking the robot C programming curriculum gain the product of the assigned robot and the original robot. Besides, it turns out that the curriculum have a meaningful effect in that students acquire the enhanced creativity according to the result of TTCT Creativity Test. Self evaluation also indicates the improvement of C++programming ability.

Stack-Pointer Network for Korean Dependency Parsing (Stack-Pointer Network를 이용한 한국어 의존 구문 분석)

  • Cha, Da-Eun;Lee, Dong-Yub;Lim, Heui-Seok
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.685-688
    • /
    • 2018
  • 의존 구문 분석은 자연어 문장에 포함된 단어들 간의 의존 관계를 분석하는 과제로 다양한 자연어 이해 과제에 요구되는 핵심 기술 중 하나이다. 본 연구에서는 단어와 문자 자질을 적용한 기존 Stack-Pointer Network의 인코더의 입력 단어 표상을 확장하여, 한국어를 비롯한 형태적으로 복잡한 언어(morphologically rich language)에 적합하도록 음절-태그 단위, 형태소 단위, 형태소 품사 정보 자질을 보강한 의존 구문 분석 모델을 제안한다. 실험 결과 제안하는 모델은 의존 구조로 변환된 세종 구문 분석 말뭉치에서 UAS 90.58%, LAS 88.35%의 성능을, 2018 국어 정보 처리 시스템 경진 대회 평가 데이터에서 UAS 84.69%, LAS 82.02%의 성능을 보였다. 더불어 제안하는 모델은 포함된 문장의 전체 길이가 긴 의존 관계, 의존소와 지배소의 거리가 먼 의존 관계, 의존소를 구성하는 형태소의 개수가 많은 의존 관계에서 기존 Stack-Pointer Network보다 향상된 성능을 보였다.

  • PDF

KorSciQA: A Dataset for Machine Comprehension of Korean Scientific Paper (KorSciQA: 한국어 논문의 기계독해 데이터셋)

  • Hahm, Younggyun;Jeong, Youngbin;Jeong, Heeseok;Hwang, Hyekyong;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.207-212
    • /
    • 2019
  • 본 논문에서는 한국어로 쓰여진 과학기술 논문에 대한 기계독해 과제(일명 KorSciQA)를 제안하고자 하며, 그와 수반하는 데이터 구축 및 평가를 보고한다. 다양한 제약조건이 부가된 크라우드소싱 디자인을 통하여, 498개의 논문 초록에 대해 일관성 있는 품질의 2,490개의 질의응답으로 구성된 기계독해 데이터셋을 구축하였다. 이 데이터셋은 어느 논문에서나 나타나는 논박 요소들인 논의하는 문제, 푸는 방법, 관련 데이터, 모델 등과 밀접한 질문으로 구성되고, 각 논박 요소의 의미, 목적, 이유 파악 및 다양한 추론을 하여 답을 할 수 있는 것이다. 구축된 KorSciQA 데이터셋은 실험을 통하여 기존의 기계독해 모델의 독해력으로는 풀기 어려운 도전과제로 평가되었다.

  • PDF

National IT Ontology Construction (국가 IT 온톨로지 구축)

  • Kim, Jae-Ho;Shin, Ji-Ae;Choi, Key-Sun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10b
    • /
    • pp.16-19
    • /
    • 2006
  • 본 논문은 2006년부터 시작된 "국가 IT 온톨로지 인프라 기술개발" 과제의 온톨로지 구축 부분을 소개한다. 이 과제는 2006년부터 2011년까지의 5년 과제로 산학연이 참여하여, 국가 IT 분야에 범용적으로 활용이 가능한 IT 온톨로지를 구축하고 인터넷, 인트라넷, 유비쿼터스 환경에서 제공되는 각종 IT 서비스에 적용하여 seamless 서비스를 제공하는 것을 목표로 하고 있다. 이 온톨로지는 한-영 2개의 언어로 제작되며, 국제표준 언어인 OWL을 사용하여 국내외적으로 널리 사용될 수 있는 대용량 IT 온톨로지를 목표로 한다.

  • PDF

The Effects of Task Solving Conditions and Task Types on Children's Private Speech and Performance (과제해결조건 및 과제 유형이 유아의 혼잣말과 과제수행력에 미치는 영향)

  • Lee, Jeong Hwa
    • Korean Journal of Child Studies
    • /
    • v.22 no.2
    • /
    • pp.375-390
    • /
    • 2001
  • 본 연구는 혼잣말이 유아들의 인지적 과정에 중요한 역할을 한다는 비고츠키의 이론을 검증하는데 그 목적이 있다. 비고츠키의 혼잣말에 관한 이론을 확인하고자 하는 선행연구들은 일관된 결과를 보이지 못해 왔다. 이에 본 연구에서는 두 가지 과제해결조건, 즉 혼잣말을 억제하는 경우와 혼잣말을 격려하는 조건하에서 두 종류의 과제를 수행할 경우, 유아들의 혼잣말의 발생 빈도와 과제수행력은 어떠한 양상으로 나타나는지를 알아봄으로써 혼잣말의 인지적 기능을 확인하고자 한다. 30명의 5세 유아들을 대상으로 하여 이루어진 본 연구의 결과는 다음과 같았다. 유아들이 자발적으로 사용하는 혼잣말은 혼잣말이 적극 격려되는 조건일 때 그리고 언어적 과제유형보다는 공간-지각적 과제유형에서 더 높은 빈도로 관찰되었으며 높게 나타난 혼잣말은 공간-지각적 과제의 수행력에 긍정적인 영향을 보였다. 이는 비고츠키의 주장대로, 유아들의 혼잣말에 인지적 자기조절 기능이 있음을 지지하는 결과로 해석된다.

  • PDF