• 제목/요약/키워드: 기계학습 구조

검색결과 314건 처리시간 0.035초

자질 가중치 학습을 이용한 한국어 의존파싱 (Korean Dependency Parsing Based on Learning Weights of Features)

  • 김영태;나동열;임수종
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.63-67
    • /
    • 2010
  • 본 논문에서는 자질(feature)의 가중치를 학습하여 이용하는 기계학습 기반 한국어 의존 파싱 기법을 소개한다. 이를 위하여 모든 가능한 의존관계에 대하여 각 의존관계마다 일정한 수의 자질을 생성한다. 자질마다 가중치에 의하여 그 중요도를 나타낸다. 자질의 가중치 값은 의존관계가 태깅된 구문구조 학습 말뭉치를 이용하여 학습한다. 이를 위해 본 논문에서는 간단한 가중치 기계학습 기법을 제시한다. 실험을 위한 언어 자원으로는 구구조부착 세종말뭉치를 변환하여 구한 의존관계 부착 말뭉치를 사용하였다. 실험 결과 약 86.5%의 정확률을 가지는 의존파싱이 가능함을 관찰하였다.

  • PDF

자율주행 대응 기계학습 데이터를 관리하고 분석하는 소프트웨어의 개발 (Development of Data Management and Analysis Software for Autonomous Vehicle Driving Environment)

  • 박종빈;이한덕;김경원;정종진
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.87-88
    • /
    • 2019
  • 최근 기계학습 기술의 급속한 발전에 힘입어 자율주행을 위한 객체 인식 및 처리 기술 역시 비약적으로 발전하고 있다. 그러나 이러한 기계학습의 성능은 모델의 구조와 학습용 데이터의 품질에 영향을 받는다. 특히 주행환경을 잘 표현하는 학습데이터가 중요한데 전혀 새로운 도로, 주행환경, 장애물, 정적 혹은 동적 객체 등을 마주하면 정확도와 안정성에서 부정적인 영향을 받을 수 있는 것이다. 해외의 주행 데이터들에 크게 의존하고 있는 우리나라의 현실에 비춰 볼 때 국내 환경에 맞는 학습데이터를 쉽고 효율적으로 확보/관리/분석할 수 있게 하는 환경의 구축이 시급하다. 따라서 본 논문에서는 자율주행을 위한 기계학습 데이터를 효과적으로 관리하고 분석하기 위한 소프트웨어를 설계하고 개발하였다. 구체적으로는 수집된 영상들을 관리하는 기능, 영상에 존재하는 노이즈 제거 및 화질 개선 처리 기능, 학습 및 검증을 위한 메타 정보 태깅 기능, 태깅 정보의 통계적 분석 기능들을 포함한다. 개발한 소프트웨어는 우리나라에서 자체 촬영한 자율주행 학습 영상들에 대해 딥러닝 모델들을 학습하고 검증하는데 활용할 예정이다.

  • PDF

도메인 변화에 강건한 사전학습 표 언어모형 (Domain-agnostic Pre-trained Language Model for Tabular Data)

  • 조상현;최제훈;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.346-349
    • /
    • 2021
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

텍스트 기반 119 신고전화 상황 분류 (A text-based emergency situation classification method)

  • 곽세민;임윤섭;최종석
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2016년 정기학술대회
    • /
    • pp.304-306
    • /
    • 2016
  • 본 논문에서는 기계학습 방법에 기반을 둔 119 긴급 신고 전화 전사 데이터에 대한 구급, 구조, 화재 상황 분류 알고리즘을 개발하였다. 신고전화에서 빈번하게 발생하는 비정형 발화 패턴을 효율적으로 정규화하고 자연어 문장 처리 기법에서 일반적으로 사용하는 방법을 적용하여 신고전화 텍스트 데이터를 기계학습에서 사용할 수 있는 특징 벡터로 재구성하였다. 2743개의 신고전화에 대해 선형 서포트 벡터 머신을 이용하여 상황 분류를 수행한 결과, 92% 의 정확도를 얻을 수 있었다.

  • PDF

기계학습을 활용한 이종망에서의 Wi-Fi 성능 개선 연구 동향 분석 (Research Trends in Wi-Fi Performance Improvement in Coexistence Networks with Machine Learning)

  • 강영명
    • Journal of Platform Technology
    • /
    • 제10권3호
    • /
    • pp.51-59
    • /
    • 2022
  • 최근 혁신적으로 발전하고 있는 기계학습은 다양한 최적화 문제를 해결할 수 있는 중요한 기술이 되었다. 본 논문에서는 기계학습을 활용하여 이종망의 채널 공용화 문제를 해결하는 최신 연구 논문들을 소개하고 주된 기술의 특성을 분석하여 향후 연구 방향에 대해 가이드를 제시한다. 기존 연구들은 대체로 온라인 및 오프라인으로 빠른 학습이 가능한 Q-learning을 활용하는 경우가 많았다. 반면 다양한 공존 시나리오를 고려하지 않거나 망 성능에 큰 영향을 줄 수 있는 기계학습 컨트롤러의 위치에 대한 고려는 제한적이었다. 이런 단점을 극복할 수 있는 유력한 방안으로는 ITU에서 제안한 기계학습용 논리적 망구조를 기반으로 망 환경 변화에 따라 기계학습 알고리즘을 선택적으로 사용할 수 있는 방법이 있다.

기계학습 기반의 Long Short-Term Memory 네트워크를 활용한 수문인자 예측기술 개발 (Development of Hydrological Variables Forecast Technology Using Machine Learning based Long Short-Term Memory Network)

  • 김태정;정민규;황규남;권현한
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.340-340
    • /
    • 2019
  • 지구온난화로 유발되는 기후변동성이 증가함에 따라서 정확한 수문인자의 예측은 전 세계적으로 주요 관심사항이 되고 있다. 최근에는 고성능 컴퓨터 자원의 증가로 수문기상학 연구에서 동일한 학습량에 비하여 정확도의 향상이 뚜렷한 기계학습 구조를 활용하여 위성영상 기반의 대기예측, 태풍위치 추적 및 강수량 예측 등의 연구가 활발하게 진행되고 있다. 본 연구에는 기계학습 중 시계열 분석에 널리 활용되고 있는 순환신경망(Recurrent Neural Network, RNN) 기법의 대표적인 LSTM(Long Short-Term Memory) 네트워크를 이용하여 수문인자를 예측하였다. LSTM 네트워크는 가중치 및 메모리 요소에 대한 추가정보를 셀 상태에 저장하고 시계열의 길이 조정하여 모형의 탄력적 활용이 가능하다. LSTM 네트워크를 이용한 다양한 수문인자 예측결과 RMSE의 개선을 확인하였다. 따라서 본 연구를 통하여 개발된 기계학습을 통한 수문인자 예측기술은 권역별 수계별 홍수 및 가뭄대응 계획을 능동적으로 수립하는데 활용될 것으로 판단된다. 향후 연구에서는 LSTM의 입력영역을 Bayesian 추론기법을 활용하여 구성함으로 학습과정의 불확실성을 정량적으로 제어하고자 한다.

  • PDF

한국어 사전학습 모델을 활용한 자연어 처리 모델 자동 산출 시스템 설계 (An Automated Production System Design for Natural Language Processing Models Using Korean Pre-trained Model)

  • 장지형;최호윤;이건우;최명석;홍참길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.613-618
    • /
    • 2022
  • 효과적인 자연어 처리를 위해 제안된 Transformer 구조의 등장 이후, 이를 활용한 대규모 언어 모델이자 사전학습 모델인 BERT, GPT, OPT 등이 공개되었고, 이들을 한국어에 보다 특화한 KoBERT, KoGPT 등의 사전학습 모델이 공개되었다. 자연어 처리 모델의 확보를 위한 학습 자원이 늘어나고 있지만, 사전학습 모델을 각종 응용작업에 적용하기 위해서는 데이터 준비, 코드 작성, 파인 튜닝 및 저장과 같은 복잡한 절차를 수행해야 하며, 이는 다수의 응용 사용자에게 여전히 도전적인 과정으로, 올바른 결과를 도출하는 것은 쉽지 않다. 이러한 어려움을 완화시키고, 다양한 기계 학습 모델을 사용자 데이터에 보다 쉽게 적용할 수 있도록 AutoML으로 통칭되는 자동 하이퍼파라미터 탐색, 모델 구조 탐색 등의 기법이 고안되고 있다. 본 연구에서는 한국어 사전학습 모델과 한국어 텍스트 데이터를 사용한 자연어 처리 모델 산출 과정을 정형화 및 절차화하여, 궁극적으로 목표로 하는 예측 모델을 자동으로 산출하는 시스템의 설계를 소개한다.

  • PDF

심층학습 모델 커스터마이징과 추론을 위한 웹 서비스 플랫폼 (Web Service Platform for Customizing and Inference of Deep Learning Model)

  • 노재원;조상영;임승호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.934-936
    • /
    • 2020
  • 기계학습 모델의 전체 구조를 쉽게 파악하고 추론할 수 있으며, 추론 과정 중에 멈춰서 중간결과를 확인할 수 있는 디버깅, 그리고 customizing 까지 지원하여 기계학습에 더 익숙해지고 더 나아가, 실제로 활용해보는 GUI Platform 구현

블록체인을 활용한 양질의 기계학습용 데이터 수집 방안 연구 (High-quality data collection for machine learning using block chain)

  • 김영랑;우정훈;이재환;신지선
    • 한국정보통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.13-19
    • /
    • 2019
  • 기계학습의 정확도는 학습용 데이터의 양과 데이터의 품질에 많은 영향을 받는다. 기존의 웹을 기반으로 학습용 데이터를 수집하는 것은 실제 학습과 무관한 데이터가 수집 될 수 있는 위험성이 있으며 데이터의 투명성을 보장할 수가 없다. 본 논문에서는 블록체인구조에서 블록들이 직접 병렬적으로 데이터를 수집하게 하고 각 블록들이 수집한 데이터를 타 블록의 데이터와 비교하여 양질의 데이터만을 선별하는 방안을 제안한다. 제안하는 시스템은 각 블록들은 데이터를 서로 블록체인을 통해 공유하며 All-reduce 구조의 Parallel-SGD를 활용하여 다른 블록들의 데이터와 비교를 통해 양질의 데이터만을 선별하여 학습용 데이터셋을 구성할 수가 있다. 또한 본 논문에서는 제안한 구조의 성능을 확인하기 위해 실험을 통해 기존의 벤치마크용 데이터셋의 이미지를 활용하여 변조된 이미지 사이에서 원본 이미지만을 양질의 데이터로 판별함을 확인하였다.

기계학습 분산 환경을 위한 부하 분산 기법 (Load Balancing Scheme for Machine Learning Distributed Environment)

  • 김영관;이주석;김아정;홍지만
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.25-31
    • /
    • 2021
  • 기계학습이 보편화되면서 기계학습을 활용한 응용 개발 또한 활발하게 이루어지고 있다. 또한 이러한 응용 개발을 지원하기 위한 기계학습 플랫폼 연구도 활발하게 진행되고 있다. 그러나 기계학습 플랫폼 연구가 활발하게 진행되고 있음에도 불구하고 기계학습 플랫폼에 적절한 부하 분산에 관한 연구는 아직 부족하다. 따라서 본 논문에서는 기계학습 분산 환경을 위한 부하 분산 기법을 제안한다. 제안하는 기법은 분산 서버를 레벨 해시 테이블 구조로 구성하고 각 서버의 성능을 고려하여 기계학습 작업을 서버에 할당한다. 이후 분산 서버를 구현하여 실험하고 기존 해싱 기법과 성능을 비교하였다. 제안하는 기법을 기존 해싱 기법과 비교하였을 때 평균 약 26%의 속도 향상을 보였고, 서버에 할당되지 못하고 대기하는 작업의 수가 약 38% 이상 감소함을 보였다.