• 제목/요약/키워드: language training

검색결과 685건 처리시간 0.03초

품사 사전 자동 학습을 통한 중국어 단어 분할 및 품사 태깅 (Chinese Segmentation and POS-Tagging by Automat ic POS Dictionary Training)

  • 하주홍;정옥;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.33-39
    • /
    • 2002
  • 중국어의 품사 태깅(part-of-speech tagging)을 위해서는 중국어 문장들은 내부 단어간의 명확한 분리가 없기 때문에 단어 분할(word segmentation)과 품사 태깅을 동시에 처리해야 한다. 본 논문은 규칙 기반(rule base)과 사전 기반(dictionary base) 기법을 혼합하여 구현한 단어 분할 시스템을 사용하여 입력 문장을 단어 단위로 분할하고, HMM(hidden Markov model) 기반 통계적 품사 태깅 기법을 사용한다. 특히, 본 논문에서는 주어진 말뭉치(corpus)로부터 자동 학습(automatic training)을 통해 품사 사전을 구축하여 구현된 시스템과 말뭉치간의 독립성을 유지한다. 말뭉치는 중국어 간체와 번체 모두를 대상으로 하고, 각 말뭉치로부터 자동 학습을 통해 얻어진 품사 사전으로 단어 분할과 품사 태깅을 한다. 실험결과들은 간체, 번체 각각의 단어 분할 성능과 품사 태깅 성능을 보여준다.

  • PDF

KoNLPy와 이미지 객체 분석을 통한 그림 식별 방법 (Figure Identification Method By KoNLPy And Image Object Analysis)

  • 김지혜;문미경
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.697-698
    • /
    • 2023
  • 최근 딥 러닝 분야의 기술이 발달하면서 Chat GPT, Google Bard와 같은 자연어 처리 기술이 확대되고 있고 이미지 객체를 분석하는 CLIP, BLIP와 같은 기술도 발전되고 있다. 그러나 전시회와 같은 예술 분야는 딥 러닝 기술 기반의 이미지 데이터 활용이 제한적이다. 본 논문은 전시회장에서의 그림 내부의 객체 데이터를 분석하기 위해 이미지 객체 분석 기술을 사용하고 자연어 처리 기반으로 관람객이 특정 그림에 대한 질문을 입력하면 해당 그림을 식별하는 방법을 제시한다. 이를 통해 관람객이 원하는 그림을 선별하여 관람할 수 있도록 한다.

  • PDF

스팬 기반 개체 추출을 위한 자질, 모델, 학습 방법 비교 (Comparing Features, Models and Training for Span-based Entity Extraction)

  • 이승우
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.388-392
    • /
    • 2023
  • 개체 추출은 정보추출의 기초를 구성하는 태스크로, 관계 추출, 이벤트 추출 등 다양한 정보추출 태스크의 기반으로 중요하다. 최근에는 다중 레이블 개체와 중첩 개체를 다루기 위해 스팬기반의 개체추출이 주류로 연구되고 있다. 본 논문에서는 스팬을 표현하는 다양한 매핑과 자질들을 살펴보고 개체추출의 성능에 어떤 영향을 주는지를 분석하여 최적의 매핑 및 자질 조합을 제시하였다. 또한, 모델 구조에 있어서, 사전 학습 언어모델(PLM) 위에 BiLSTM 블록의 추가 여부에 따른 성능 변화를 분석하고, 모델의 학습에 있어서, 미세조정(finetuing) 이전에 예열학습(warmup training)을 사용하는 것이 효과적인지를 실험을 통해 비교 분석하여 제시하였다.

  • PDF

Deep Learning-based Target Masking Scheme for Understanding Meaning of Newly Coined Words

  • Nam, Gun-Min;Kim, Namgyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권10호
    • /
    • pp.157-165
    • /
    • 2021
  • 최근 대량의 텍스트 분석을 위해 딥 러닝(Deep Learning)을 활용하는 연구들이 활발히 수행되고 있으며, 특히 대량의 텍스트에 대한 학습 결과를 특정 도메인 텍스트의 분석에 적용하는 사전 학습 언어 모델(Pre-trained Language Model)이 주목받고 있다. 다양한 사전 학습 언어 모델 중 BERT(Bidirectional Encoder Representations from Transformers) 기반 모델이 가장 널리 활용되고 있으며, 최근에는 BERT의 MLM(Masked Language Model)을 활용한 추가 사전 학습(Further Pre-training)을 통해 분석 성능을 향상시키기 위한 방안이 모색되고 있다. 하지만 전통적인 MLM 방식은 신조어와 같이 새로운 단어가 포함된 문장의 의미를 충분히 명확하게 파악하기 어렵다는 한계를 갖는다. 이에 본 연구에서는 기존의 MLM을 보완하여 신조어에 대해서만 집중적으로 마스킹을 수행하는 신조어 표적 마스킹(NTM: Newly Coined Words Target Masking)을 새롭게 제안한다. 제안 방법론을 적용하여 포털 'N'사의 영화 리뷰 약 70만 건을 분석한 결과, 제안하는 신조어 표적 마스킹이 기존의 무작위 마스킹에 비해 감성 분석의 정확도 측면에서 우수한 성능을 보였다.

Enhancing LoRA Fine-tuning Performance Using Curriculum Learning

  • Daegeon Kim;Namgyu Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.43-54
    • /
    • 2024
  • 최근 언어모델을 활용하기 위한 연구가 활발히 이루어지며, 큰 규모의 언어모델이 다양한 과제에서 혁신적인 성과를 달성하고 있다. 하지만 실제 현장은 거대 언어모델 활용에 필요한 자원과 비용이 한정적이라는 한계를 접하면서, 최근에는 주어진 자원 내에서 모델을 효과적으로 활용할 수 있는 방법에 주목하고 있다. 대표적으로 학습 데이터를 난이도에 따라 구분한 뒤 순차적으로 학습하는 방법론인 커리큘럼 러닝이 주목받고 있지만, 난이도를 측정하는 방법이 복잡하거나 범용적이지 않다는 한계를 지닌다. 따라서, 본 연구에서는 신뢰할 수 있는 사전 정보를 통해 데이터의 학습 난이도를 측정하고, 이를 다양한 과제에 쉽게 활용할 수 있는 데이터 이질성 기반 커리큘럼 러닝 방법론을 제안한다. 제안방법론의 성능 평가를 위해 국가 R&D 과제 전문 문서 중 정보통신 분야 전문 문서 5,000건, 보건의료전문 문서 데이터 4,917건을 적용하여 실험을 수행한 결과, 제안 방법론이 LoRA 미세조정과 전체 미세조정 모두에서 전통적인 미세조정에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인했다.

외국인 농업연수생의 근로조건과 직무만족도 (A Study on Working Conditions and Job Satisfaction of Foreigner Agricultural Trainee)

  • 황대용;강경하
    • 농촌지도와개발
    • /
    • 제13권1호
    • /
    • pp.195-208
    • /
    • 2006
  • This study was carried out to analyze the working conditions and Job Satisfaction of foreigner agricultural trainees. Foreigner training program is governmental project to decrease the shortage of labor resources in farm household and increase of income for trainees, to transfer the agricultural technology to sending country. For this purpose, data were gathered from 110 foreigner agricultural trainees consisted of 91 Uzbekistanian and 19 Mongolian by interview with questionnaire. The results are as follows: 1) the trainee answered to increase the income and technical training regardless of nationality, age, wedding, and types of agriculture. 2) the trainee felt crucial difficulties in language usage and homesick during the training program, 3) Training program should be concretized in working schedule.

  • PDF

An Analysis of the Relative Importance of Modules for Vessel Traffic Services Operator Training

  • Jung, Cho-Young
    • 한국항해항만학회지
    • /
    • 제40권5호
    • /
    • pp.249-256
    • /
    • 2016
  • The International Association of Marine Aids to Navigation and Lighthouse Authorities(IALA) model course recommends specific aspects of basic curriculums for Vessel Traffic Services(VTS) operator education such as modules, course hours, contents, etc. Most domestic training programs for newly appointed VTS operators comply with such recommendations. The objective of this study is to determine whether such modules for VTS operator training recommended by the current IALA model course correspond to the actual opinions of VTS operators who are currently working in the field. To this end, the relative importance of basic modules for vessel traffic services operator training was analyzed using the Analytic Hierarchy Process(AHP) method. A questionnaire was designed to include 8 modules recommended by the IALA model course, and the survey results of 52 individuals working at 5 VTS centers were analyzed. The result showed that, unlike the assumption by the IALA, domestic VTS operators viewed Nautical Knowledge as the most important modules, followed by Emergency Situations, Traffic Management, Language, Equipment, VHF Radio, Communication Co-ordination, and Personal Attributes, in that order.

초.중등 영어교사를 위한 맞춤형 심화 연수 모형 개발 연구 (A study on the development of customized intensive in-service teacher training program models for elementary/secondary school teachers of English)

  • 이문복;이노신;조민철
    • 영어어문교육
    • /
    • 제16권3호
    • /
    • pp.269-289
    • /
    • 2010
  • The present study reports on a study of the development of customized intensive in-service English teachers training programs (IIETTP) reflecting on the demands of elementary/secondary school English teachers. For the purpose of study, a survey was conducted with 1,033 English teachers at elementary/secondary schools across the country. The results showed by and large no significant differences by school level, albeit some slight differences were revealed such as in training times, training methods, the percentages of teaching English in English (TEE), and other things. Since the two IIETTP models are presented as basic formats, they can be modified and applied according to the contexts of schools and the demands of trainees.

  • PDF

Necessity of Intercultural Training Program in MET

  • 최진철
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2015년도 추계학술대회
    • /
    • pp.224-226
    • /
    • 2015
  • Outwardly, the people in the shipping industry are aware that multicultural working environments and conditions could have a strong influence on the operation of ships. With a lack of cultural awareness and foreign language skill of crew members on ships, there are lots of misunderstandings and miscommunications among (cross-cultural) crews. More and more maritime accidents are caused by human error in the world's oceans. Nevertheless the research on cultural diversity and human interaction on ships is still in its infancy. Due to the rapid change of the demographic make-up of crews, not only teaching and training technical skills for the crews, but also education in nontechnical skills such as cultural awareness, cultural sensitivity, intercultural competence is urgently needed. This study will deal with intercultural issues on ships. It aims to emphasize the necessity of intercultural training in MET.

  • PDF

A Comparative Study of Peer-driven and Task-driven on Reading Training

  • Luo, Derong
    • International Journal of Advanced Culture Technology
    • /
    • 제8권2호
    • /
    • pp.101-108
    • /
    • 2020
  • One difficulty in language learning is the training of reading ability. The improvement on this ability directly affects the process and effect of language learning. At the same time, there are numerous difficulties in actual learning and teaching. Depending on current research, there is two ideas that can utilize to enhance the reading efficiency of learners. One is to amend objective factors; the other is to change subjective factors. Compared with the two ideas, idiosyncratic factors are more manipulable and controllable, so it is more valuable to conduct researches on this. But among the many subjective factors, the degree of their effectiveness is not the same, so this article attempts to compare and analyze the driving effects of two important subjective factors (peer-driven and task-driven) on reading performance. The results show that both factors can have a positive impact on reading comprehension, but different in driving effects. The task-driven has obvious short-term effectiveness; while peer-driven needs to establish its long-term effect on the basis of early coordination and cooperation among team members. Therefore, in order to maximize the achievement of learning, it is necessary to combine strengths and avoid weaknesses according to the characteristics of two factors, so as to help learners improve reading ability most efficiently.