• Title/Summary/Keyword: 지도대조학습

Search Result 17, Processing Time 0.02 seconds

Two-Stage Contrastive Learning for Representation Learning of Korean Review Opinion (두 단계 대조 학습 기반 한국어 리뷰 의견 표현벡터 학습)

  • Jisu Seo;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.262-267
    • /
    • 2022
  • 이커머스 리뷰와 같은 특정 도메인의 경우, 텍스트 표현벡터 학습을 위한 양질의 오픈 학습 데이터를 구하기 어렵다. 또한 사람이 수동으로 검수하며 학습데이터를 만드는 경우, 많은 시간과 비용을 소모하게 된다. 따라서 본 논문에서는 수동으로 검수된 데이터없이 양질의 텍스트 표현벡터를 만들 수 있도록 두 단계의 대조 학습 시스템을 제안한다. 이 두 단계 대조 학습 시스템은 레이블링 된 학습데이터가 필요하지 않은 자기지도 학습 단계와 리뷰의 특성을 고려한 자동 레이블링 기반의 지도 학습 단계로 구성된다. 또한 노이즈에 강한 오류함수와 한국어에 유효한 데이터 증강 기법을 적용한다. 그 결과 스피어먼 상관 계수 기반의 성능 평가를 통해, 베이스 모델과 비교하여 성능을 14.03 향상하였다.

  • PDF

Novel Intent Category Discovery using Contrastive Learning (대조학습을 활용한 새로운 의도 카테고리 발견)

  • Seungyeon Seo;Gary Geunbae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.107-112
    • /
    • 2023
  • 라벨 데이터 수집의 어려움에 따라 라벨이 없는 데이터로 학습하는 준지도학습, 비지도학습에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 그의 일환으로 Novel Intent Category Discovery(NICD) 문제를 제안하고 NICD 연구의 베이스라인이 될 모델을 소개한다. NICD 문제는 라벨이 있는 데이터와 라벨이 없는 데이터의 클래스 셋이 겹치지 않는다는 점에서 기존 준지도학습의 문제들과 차이가 있다. 제안 모델은 RoBERTa를 기반으로 두 개의 분류기를 추가하여 구성되며 라벨이 있는 데이터셋과 라벨이 없는 데이터셋에서 각각 다른 분류기를 사용하여 라벨을 예측한다. 학습방법은 2단계로 먼저 라벨이 있는 데이터셋으로 요인표현을 학습한다. 두 번째 단계에서는 교차 엔트로피, 이항교차 엔트로피, 평균제곱오차, 지도 대조 손실함수를 NICD 문제에 맞게 변형하여 학습에 사용한다. 논문에서 제안된 모델은 라벨이 없는 데이터셋에 대해 이미지 최고성능 모델보다 24.74 더 높은 정확도를 기록했다.

  • PDF

Contrastive Learning of Sentence Embeddings utilizing Semantic Search through Re-Ranker of Cross-Encoder (문장 임베딩을 위한 Cross-Encoder의 Re-Ranker를 적용한 의미 검색 기반 대조적 학습)

  • Dongsuk Oh;Suwan Kim;Kinam Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.473-476
    • /
    • 2022
  • 문장 임베딩은 문장의 의미를 고려하여 모델이 적절하게 의미적인 벡터 공간에 표상하는 것이다. 문장 임베딩을 위해 다양한 방법들이 제안되었지만, 최근 가장 높은 성능을 보이는 방법은 대조적 학습 방법이다. 대조적 학습을 이용한 문장 임베딩은 문장의 의미가 의미적으로 유사하면 가까운 공간에 배치하고, 그렇지 않으면 멀게 배치하도록 학습하는 방법이다. 이러한 대조적 학습은 비지도와 지도 학습 방법이 존재하는데, 본 논문에서는 효과적인 비지도 학습방법을 제안한다. 기존의 비지도 학습 방법은 문장 표현을 학습하는 언어모델이 자체적인 정보를 활용하여 문장의 의미를 구별한다. 그러나, 하나의 모델이 판단하는 정보로만 문장 표현을 학습하는 것은 편향적으로 학습될 수 있기 때문에 한계가 존재한다. 따라서 본 논문에서는 Cross-Encoder의 Re-Ranker를 통한 의미 검색으로부터 추천된 문장 쌍을 학습하여 기존 모델의 성능을 개선한다. 결과적으로, STS 테스크에서 베이스라인보다 2% 정도 더 높은 성능을 보여준다.

  • PDF

A Study on Baseball Players' Type Analysis and Prediction of Batting Result by using Tensorflow (Tensorflow를 활용한 야구선수 유형 분석 및 타격 결과 예측에 관한 연구)

  • Park, Chaewon;Park, Jibeom;Joo, Yeongjun;Kim, Hyunseok;Lee, Namyong;Kim, Youngjong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.562-563
    • /
    • 2019
  • 본 연구는 한국 프로 야구 선수 개인의 수치화된 데이터를 바탕으로 타석의 결과를 예측하고자 하는데 목적을 두고 있다. 연구의 방법은 2015시즌부터 2018시즌에 활약한 한국 프로 야구 소속의 투수와 타자의 유형을 군집화 하여 지도학습 모델을 만든다. 지도학습 모델과 현재까지 진행된 2019시즌의 결과를 비교·대조한다. 본 연구결과는 한국 프로 야구 10개 구단의 감독의 선수 선발 결정에 기여할 것으로 판단된다.

Effectiveness of Education Program for Core Fundamental Nursing Skills using Recording Video with Smartphone and Formative Feedback (스마트폰 동영상과 형성적 피드백을 활용한 핵심기본간호술 교육의 효과)

  • Chae, Yeo-Joo;Ha, Yeong-Mi
    • Journal of Digital Convergence
    • /
    • v.14 no.6
    • /
    • pp.285-294
    • /
    • 2016
  • The purpose of this study was to examine the effectiveness(knowledge of core fundamental nursing skills, clinical competency, self-efficacy and learning motivation) of education program for core fundamental nursing skills focusing on endotracheal suctioning using recording video with smartphone and formative feedback for nursing school students. Subjects consisted of 54 sophomore nursing students, an experimental group(n=27) and a control group(n=27). The education for core fundamental nursing skills using recording video to smartphone and individual formative feedback was provided to students in an experimental group. The traditional method with self-directed practice for 4 hours was offered to a control group. The education program for core fundamental nursing skills using recording video with smartphone and formative feedback was effective in promoting knowledge of core fundamental nursing skills, clinical competency, self-efficacy and learning motivation. Based on our results, this program can be recommended as an effective educational program for the nursing students to improve their core fundamental nursing skills.

The Effect of Evaluation for Female teachers' Role-Performance on Their Appearance - according to clothing attitude of students and their parents - (학생과 학부모의 의복태도가 여교사의 외모관리에 따른 역할수행능력평가에 미치는 효과)

  • Yoo, Kyung-Ok;Chung, Myung-Sun;Wee, Eun-Hah
    • Journal of Korean Home Economics Education Association
    • /
    • v.19 no.3
    • /
    • pp.133-147
    • /
    • 2007
  • The purpose of this study was to identify the effect on the evaluation of a female teachers' role-performance based on appearance according to the clothing attitude of students and their parents. Based on the results of this study a female teachers' role-performance evaluation can be broken down into four ability areas: leaning guidance, living guidance, human relations, and learning management. Likewise the clothing attitudes of students and their parents can be divided into three groups, the clothing oriented group, the trend-individuality group, and the chastity oriented group. The trend-individuality group of students felt that female teachers' appearances have a significant effect on learning guidance and human relations ability while parents thought that there was little relationship or that it has a moderate effect on the role of learning guidance. Because the concerns of students and parents about female teachers' clothing has an effect on female teachers' role performance evaluation, when directing a student group with a high concern for clothing, female teachers need to be sensitive about their appearances and it's affect on learning guidance, human relations, and class management. Based on these results, students and parents felt that female teachers' appearances have an effect on their role performance according to their clothing attitudes.

  • PDF

PCA 알고리즘과 개선된 퍼지 신경망을 이용한 여권 인식 및 얼굴 인증

  • Jung Byung-Hee;Park Choong-Shik;Kim Kwang-Baek
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2006.06a
    • /
    • pp.336-343
    • /
    • 2006
  • 본 논문에서는 여권 영 상에서 PCA 알고리즘을 이용한 얼굴 인증과 개선된 퍼지 신경망을 이용한 여권 코드 인식 방법을 제안한다. 본 논문에서는 여권영상에 대해 소벨 연산자를 이용하여 에지를 추출하고 에지가 추출된 영상을 수평 스미어링하여 여권코드 영역을 추출한다. 추출된 여권 코드 영역의 기울기를 검사하여 기울기 보정을 하고, 여권 코드 영역을 이진화 한다. 이진화된 여권 코드 영역에 대하여 8방향윤곽선 추적 알고리즘을 적용하여 여권 코드를 추출한다. 추출된 여권 코드는 퍼지 신경망을 개선하여 여권 코드 인식에 적용한다. 개선된 퍼지 신경 망은 입력층과 중간층 사이의 학습 구조로는 FCM 클러스터링 알고리즘을 적용하고 중간층과 출력층 사이의 학습은 일반화된 델타학습 방법을 적용한다. 그리고 학습 성능을 개선하기 위하여 중간층과 출력층의 가중치 조정에 적용되는 학습률을 동적으로 조정하기 위해 퍼지 제어 시스템을 적용한다. 제안된 퍼지 신경망은 목표값과 출력값의 차이에 대한 절대값이 ${\epsilon}$ 보다 적거나 같으면 정확으로 분류하고 크면 부정확으로 분류하여 정확의 총 개수를 퍼지 제어 시스템에 적용하여 학습률과 모멘텀을 동적으로 조정한다. 여권의 주어진 규격에 근거하여 사진 영역을 추출하고 추출된 사진 영역에 대하여 YCbCr와 RGB 정보를 이용하여 얼굴영역을 추출한다. 추출된 얼굴 영역을 PCA 알고리즘과 스냅샷(Snap-Shot) 방법을 적용하여 얼굴 영역의 위조를 판별한다. 제안된 방법의 여권 코드 인식과 얼굴 인증의 성능을 평가하기 위하여 실제 여권 영상에 적용한 결과, 기존의 방법보다 여권 코드 인식과 얼굴 인증에 있어서 효율적인 것을 확인하였다.s, whereas AVs provide much better security.크는 기준년도부터 2031년까지 5년 단위로 계획된 장래도로를 반영하여 구축된다. 교통주제도 및 교통분석용 네트워크는 국가교통DB구축사업을 통해 구축된 자료로서 교통체계효율화법 제9조의4에 따라 공공기관이 교통정책 및 계획수립 등에 활용할 수 있도록 제공하고 있다. 건설교통부의 승인절차를 거쳐 제공하며 활용 후에는 갱신자료 및 활용결과를 통보하는 과정을 거치도록 되어있다. 교통주제도는 국가의 교통정책결정과 관련분야의 기초자료로서 다양하게 활용되고 있으며, 특히 ITS 노드/링크 기본지도로 활용되는 등 교통 분야의 중요한 지리정보로서 구축되고 있다..20{\pm}0.37L$, 72시간에 $1.33{\pm}0.33L$로 유의한 차이를 보였으므로(F=6.153, P=0.004), 술 후 폐환기능 회복에 효과가 있다. 4) 실험군과 대조군의 수술 후 노력성 폐활량은 수술 후 72시간에서 실험군이 $1.90{\pm}0.61L$, 대조군이 $1.51{\pm}0.38L$로 유의한 차이를 보였다(t=2.620, P=0.013). 5) 실험군과 대조군의 수술 후 일초 노력성 호기량은 수술 후 24시간에서 $1.33{\pm}0.56L,\;1.00{\ge}0.28L$로 유의한 차이를 보였고(t=2.530, P=0.017), 술 후 72시간에서 $1.72{\pm}0.65L,\;1.33{\pm}0.3L$로 유의한 차이를 보였다(t=2.540, P=0.016). 6) 대상자의 술 후 폐환기능에 영향을 미치는 요인은 성별로 나타났다. 이에 따

  • PDF

The acquisition effect by measurement periods of adult learners learned through English pattern practice (영어 패턴 연습을 활용한 성인 학습자의 측정 시기별 습득 효과)

  • Choi, Kyung-Mi
    • Journal of the Korea Convergence Society
    • /
    • v.11 no.5
    • /
    • pp.183-189
    • /
    • 2020
  • This study was carried out to find out the acquisition effect by measurement periods of adult learners learning through English pattern practice. The subjects of this study were divided into adult learner groups including the learners in their 40s and those who were over 65 and the child group who were 8 years old as a comparative group. After the subjects had a pre-test at first, person agreement and tense were instructed though English pattern practice and right after that, they had a post-test. Then 4 weeks later, they had a delayed test. As a result, the acquisition result of adult learners learning though English pattern practice showed the largest rise by those in their 40s and the learners of those over 65. However the adult learners aged over 65 showed the largest drop in delayed test of the reading comprehension. Based on these results, it is necessary to develop teaching method for adult learners in consideration of their characters and weak points.

Multimodal Supervised Contrastive Learning for Crop Disease Diagnosis (멀티 모달 지도 대조 학습을 이용한 농작물 병해 진단 예측 방법)

  • Hyunseok Lee;Doyeob Yeo;Gyu-Sung Ham;Kanghan Oh
    • IEMEK Journal of Embedded Systems and Applications
    • /
    • v.18 no.6
    • /
    • pp.285-292
    • /
    • 2023
  • With the wide spread of smart farms and the advancements in IoT technology, it is easy to obtain additional data in addition to crop images. Consequently, deep learning-based crop disease diagnosis research utilizing multimodal data has become important. This study proposes a crop disease diagnosis method using multimodal supervised contrastive learning by expanding upon the multimodal self-supervised learning. RandAugment method was used to augment crop image and time series of environment data. These augmented data passed through encoder and projection head for each modality, yielding low-dimensional features. Subsequently, the proposed multimodal supervised contrastive loss helped features from the same class get closer while pushing apart those from different classes. Following this, the pretrained model was fine-tuned for crop disease diagnosis. The visualization of t-SNE result and comparative assessments of crop disease diagnosis performance substantiate that the proposed method has superior performance than multimodal self-supervised learning.

Development and Effectiveness of Learning Programs on Visualization of Data for Gifted Students in Elementary School Science - Focusing on Using the Tableau Program - (초등학교 과학영재 학생을 대상으로 한 데이터 시각화 학습 프로그램 개발 및 효과 - Tableau 프로그램 활용을 중심으로 -)

  • Kim, Hyunguk
    • Journal of Korean Elementary Science Education
    • /
    • v.43 no.1
    • /
    • pp.18-34
    • /
    • 2024
  • This study aimed to examine the effects of a science-learning program based on data visualization on the science inquiry and creative problem-solving abilities of elementary school science-gifted students. Accordingly, this research developed a data visualization science-learning program using Tableau, which had twelve sessions. The subjects encompassed 61 students in three gifted classes taught by the researcher. The scientific inquiry ability test and creative problem-solving ability test modified to suit the environment and situation were given to the subjects before and after the treatment. The results confirmed that science learning based on data visualization had no significant impact on basic science inquiry skills. Among the subdomains, significant results were obtained only in the reasoning subdomain. Moreover, integrative inquiry ability was significantly affected, unlike basic inquiry abilities. Among the five subdomains, significant differences were observed in three subdomains (data conversion, data interpretation, and variable control). However, concerning the generation of hypotheses and the control of variables, students exhibited confusion regarding the process of variable control and the exact concept of hypothesis development. This study also evaluated the effects of the program's application on creative problem-solving abilities and found a significant impact. Additionally, it was significantly different in all four subdomains. The results were interpreted to be owing to the students' mastery of Tableau's features, collaborative learning through discussion and debate, and the thematic impact of the data visualization program emphasizing procedural thinking. Finally, this study presented implications for science learning based on data visualization and the future direction of education.