• 제목/요약/키워드: 학습 데이터

검색결과 6,271건 처리시간 0.035초

관계추출 모델 학습을 위한 반자동 패턴 마이닝 (Semiautomatic Pattern Mining for Training a Relation Extraction Model)

  • 최규현;남상하;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-262
    • /
    • 2016
  • 본 논문은 비구조적인 자연어 문장으로부터 두 개체 사이의 관계를 표현하는 구조적인 트리플을 밝히는 관계추출에 관한 연구를 기술한다. 사람이 직접 언어적 분석을 통해 트리플이 표현되는 형식을 입력하여 관계를 추출하는 규칙 기반 접근법에 비해 기계가 데이터로부터 표현 형식을 학습하는 기계학습 기반 접근법은 더 다양한 표현 형식을 확보할 수 있다. 기계학습을 이용하려면 모델을 훈련하기 위한 학습 데이터가 필요한데 학습 데이터가 수집되는 방식에 따라 지도 학습, 원격지도 학습 등으로 구분할 수 있다. 지도 학습은 사람이 학습 데이터를 만들어야하므로 사람의 노력이 많이 필요한 단점이 있지만 양질의 데이터를 사용하는 만큼 고성능의 관계추출 모델을 만들기 용이하다. 원격지도 학습은 사람의 노력을 필요로 하지 않고 학습 데이터를 만들 수 있지만 데이터의 질이 떨어지는 만큼 높은 관계추출 모델의 성능을 기대하기 어렵다. 본 연구는 기계학습을 통해 관계추출 모델을 훈련하는데 있어 지도 학습과 원격지도 학습이 가지는 단점을 서로 보완하여 타협점을 제시하는 학습 방법을 제안한다.

  • PDF

NoN-IID MNIST 데이터의 연합학습 연구 (A Study on Federated Learning of Non-IID MNIST Data)

  • 이주원;방준일;백종우;김화종
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.533-534
    • /
    • 2023
  • 본 논문에서는 불균형하게 분포된(Non-IID) 데이터를 소유하고 있는 데이터 소유자(클라이언트)들을 가정하고, 데이터 소유자들 간 원본 데이터의 직접적인 이동 없이도 딥러닝 학습이 가능하도록 연합학습을 적용하였다. 실험 환경 구성을 위하여 MNIST 손글씨 데이터 세트를 하나의 숫자만 다량 보유하도록 분할하고 각 클라이언트에게 배포하였다. 연합학습을 적용하여 손글씨 분류 모델을 학습하였을 때 정확도는 85.5%, 중앙집중식 학습모델의 정확도는 90.2%로 연합학습 모델이 중앙집중식 모델 대비 약 95% 수준의 성능을 보여 연합학습 시 성능 하락이 크지 않으며 특수한 상황에서 중앙집중식 학습을 대체할 수 있음을 보였다.

  • PDF

KMSVDD: K-means Clustering을 이용한 Support Vector Data Description (KMSVOD: Support Vector Data Description using K-means Clustering)

  • 김표재;장형진;송동성;최진영
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2006년도 심포지엄 논문집 정보 및 제어부문
    • /
    • pp.90-92
    • /
    • 2006
  • 기존의 Support Vector Data Description (SVDD) 방법은 학습 데이터의 개수가 증가함에 따라 학습 시간이 지수 함수적으로 증가하므로, 대량의 데이터를 학습하는 데에는 한계가 있었다. 본 논문에서는 학습 속도를 빠르게 하기 위해 K-means clustering 알고리즘을 이용하는 SVDD 알고리즘을 제안하고자 한다. 제안된 알고리즘은 기존의 decomposition 방법과 유사하게 K-means clustering 알고리즘을 이용하여 학습 데이터 영역을 sub-grouping한 후 각각의 sub-group들을 개별적으로 학습함으로써 계산량 감소 효과를 얻는다. 이러한 sub-grouping 과정은 hypersphere를 이용하여 학습 데이터를 둘러싸는 SVDD의 학습 특성을 훼손시키지 않으면서 중심점으로 모여진 작은 영역의 학습 데이터를 학습하도록 함으로써, 기존의 SVDD와 비교하여 학습 정확도의 차이 없이 빠른 학습을 가능하게 한다. 다양한 데이터들을 이용한 모의실험을 통하여 그 효과를 검증하도록 한다.

  • PDF

두 단계 대조 학습 기반 한국어 리뷰 의견 표현벡터 학습 (Two-Stage Contrastive Learning for Representation Learning of Korean Review Opinion)

  • 서지수;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.262-267
    • /
    • 2022
  • 이커머스 리뷰와 같은 특정 도메인의 경우, 텍스트 표현벡터 학습을 위한 양질의 오픈 학습 데이터를 구하기 어렵다. 또한 사람이 수동으로 검수하며 학습데이터를 만드는 경우, 많은 시간과 비용을 소모하게 된다. 따라서 본 논문에서는 수동으로 검수된 데이터없이 양질의 텍스트 표현벡터를 만들 수 있도록 두 단계의 대조 학습 시스템을 제안한다. 이 두 단계 대조 학습 시스템은 레이블링 된 학습데이터가 필요하지 않은 자기지도 학습 단계와 리뷰의 특성을 고려한 자동 레이블링 기반의 지도 학습 단계로 구성된다. 또한 노이즈에 강한 오류함수와 한국어에 유효한 데이터 증강 기법을 적용한다. 그 결과 스피어먼 상관 계수 기반의 성능 평가를 통해, 베이스 모델과 비교하여 성능을 14.03 향상하였다.

  • PDF

데이터 증강을 통한 기계학습 능력 개선 방법 연구 (Study on the Improvement of Machine Learning Ability through Data Augmentation)

  • 김태우;신광성
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.346-347
    • /
    • 2021
  • 기계학습을 위한 패턴인식을 위해서는 학습데이터의 양이 많을수록 그 성능이 향상된다. 하지만 일상에서 검출해내야하는 패턴의 종류 및 정보가 항상 많은 양의 학습데이터를 확보할 수는 없다. 따라서 일반적인 기계학습을 위해 적은데이터셋을 의미있게 부풀릴 필요가 있다. 본 연구에서는 기계학습을 수행할 수 있도록 데이터를 증강시키는 기법에 관해 연구한다. 적은데이터셋을 이용하여 기계학습을 수행하는 대표적인 방법이 전이학습(transfer learning) 기법이다. 전이학습은 범용데이터셋으로 기본적인 학습을 수행한 후 목표데이터셋을 최종 단계에 대입함으로써 결과를 얻어내는 방법이다. 본 연구에서는 ImageNet과 같은 범용데이터셋으로 학습시킨 학습모델을 증강된 데이터를 이용하여 특징추출셋으로 사용하여 원하는 패턴에 대한 검출을 수행한다.

  • PDF

준 지도학습 알고리즘을 이용한 뇌파 감정 분석을 위한 학습데이터 선택 방법에 관한 연구 (A Study on Training Data Selection Method for EEG Emotion Analysis using Semi-supervised Learning Algorithm)

  • 윤종섭;김진헌
    • 전기전자학회논문지
    • /
    • 제22권3호
    • /
    • pp.816-821
    • /
    • 2018
  • 최근 감정 분석 및 질병 진단을 위한 뇌파 연구 분야에서 인공 신경망을 기반으로 한 기계학습 알고리즘이 분류기로 널리 사용되기 시작했다. 뇌파 데이터 분류를 위해 기계학습 모델을 사용하는 경우 유사한 특성을 가지는 데이터만으로 학습데이터가 구성되면 다른 그룹의 데이터에 적용했을 때 분류 성능이 떨어질 수 있다. 본 논문에서는 이러한 문제점을 개선하기 위해 준 지도학습 알고리즘을 사용해 여러 그룹의 데이터를 선택하여 학습데이터 세트를 구성하는 방법을 제안한다. 이후 제안하는 방법을 사용하여 구성한 학습데이터 세트와 유사한 특성을 가지는 데이터로 구성된 학습데이터 세트로 모델을 학습하여 두 모델의 성능을 비교하였다.

금융데이터의 성능 비교를 통한 연합학습 기법의 효용성 분석 (Utility Analysis of Federated Learning Techniques through Comparison of Financial Data Performance)

  • 장진혁;안윤수;최대선
    • 정보보호학회논문지
    • /
    • 제32권2호
    • /
    • pp.405-416
    • /
    • 2022
  • AI기술은 데이터 기반의 기계학습을 이용하여 삶의 질을 높여주고 있다. 기계학습을 이용시, 분산된 데이터를 전송해 한곳에 모으는 작업은 프라이버시 침해가 발생할 위험성이 있어 비식별화 과정을 거친다. 비식별화 데이터는 정보의 손상, 누락이 있어 기계학 습과정의 성능을 저하시키며 전처리과정을 복잡하게한다. 이에 구글이 2017년에 데이터의 비식별화와 데이터를 한 서버로 모으는 과정없이 학습하는 방법인 연합학습을 발표했다. 본 논문은 실제 금융데이터를 이용하여, K익명성, 차분프라이버시 재현데이터의 비식별과정을 거친 데이터의 학습성능과 연합학습의 성능간의 차이를 비교하여 효용성을 분석하였으며, 이를 통해 연합학습의 우수성을 보여주고자 한다. 실험결과 원본데이터 학습의 정확도는 91% K-익명성을 거친 데이터학습은 k=2일 때 정확도 79%, k=5일 때76%, k=7일 때 62%, 차분프라이버시를 사용한 데이터학습은 𝜖=2일 때 정확도 52%, 𝜖=1일 때 50%, 𝜖=0.1일 때 36% 재현데이터는 정확도 82%가 나왔으며 연합학습의 정확도는 86%로 두번째로 높은 성능을 보여 주었다.

효율적인 기계학습을 위한 데이터 전처리 (Data preprocessing for efficient machine learning)

  • 김동현;유승언;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.49-50
    • /
    • 2019
  • 데이터를 기반으로 한 기계학습은 데이터의 양, 학습 모델, 그리고 데이터의 특징 등 다양한 환경에 민감한 특징을 지니고 있어, 보다 효율적인 기계학습을 위해 데이터의 전처리 과정을 필요로 한다. 데이터의 전처리 과정이란 특징 선택(Feature selection), 노이즈 데이터의 제거, 차원 감소(Demension reduction), 클러스터링(Clustering) 등 보다 효율적인 기계학습을 위한 방법이다. 따라서 본 논문에서는 다양한 환경에서 보다 효율적인 기계학습을 위한 데이터 전처리 기술의 종류 및 간단한 특징에 대해 서술한다.

  • PDF

컴퓨터 비전 정확도 향상을 위한 시뮬레이션 기반 가상 데이터 생성기법 (Virtual Data Generation Method based on Simulation to Improve Accuracy of Computer Vision)

  • 강지수;최창범;장한얼
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.390-392
    • /
    • 2022
  • 기계학습 분야에서 모델을 학습시키려면 많은 양의 데이터가 필요하다. 최근에는 컴퓨터 비전 분야에서 데이터가 적은 환경에서 모델을 학습하는 다양한 방법들이 소개되고 있다. 하지만 대부분의 방법을 사용하기 위해서는 어느 정도 최소한의 학습 데이터가 필요하기 때문에 극심하게 데이터가 부족한 환경에서는 사용하기 어렵다. 본 논문에서는 컴퓨터 비전 분야에서 기계학습을 사용할 때 극심하게 데이터가 부족한 환경에서 시뮬레이션 도구를 활용한 인조 데이터 생성 방법을 제안한다. 실험 결과를 통해 시뮬레이션 도구를 활용하여 생성한 인조 데이터로 학습한 모델이 실제 데이터만을 학습한 모델을 대체할 수 있음을 확인하였고, F-1 점수와 정확도가 향상함을 실험적으로 확인하였다.

RDF 기반의 학습 메타데이터 관리 (Management of Learning Metadata based on RDF)

  • 이영석;서영배;박정환;김수민;최병욱;조정원
    • 정보처리학회논문지A
    • /
    • 제13A권1호
    • /
    • pp.87-94
    • /
    • 2006
  • 웹이 보편화되고 웹 기반 학습을 관리하고 제공해 주는 학습관리시스템이 늘어남에 따라 이제 학습자는 시공간에 제약을 받지 않는 학습 환경을 체험 할 수 있게 되었다. 하지만 기존의 학습 관리 시스템들은 적합한 학습을 제공하기 위해 유용하고 적합한 메타데이터를 사용하고 있지 않다 이러한 문제점을 해결하기 위해서 학습관리 시스템에서는 학습자에게 다양한 학습 체험과 향상된 검색 능력을 제공할 수 있도록 학습자의 특성이나 많은 자원에 관한 학습 메타데이터를 자유롭게 정의하고 관리해야 할 필요가 있다. 본 논문에서는 학습관리시스템에서 부가적인 학습 메타데이터를 사용할 수 있도록 하기 위하여 시맨틱 웹의 기반이 되는 언어인 RDF(Resource Description Framework)를 이용한 검색 방법과 학습 메타데이터 제작하고 관리할 수 있는 방법을 두 가지 형태로 제안하였다. 차세대 메타데이터 관리 방법을 통해 교수자는 빠르고 편리하게 차세대 학습 메타데이터를 작성하고 저장할 뿐 아니라 학습자에게 정확하고 확장된 검색방법을 제공한다.