• 제목/요약/키워드: Supervised learning

검색결과 747건 처리시간 0.026초

딥러닝 기반의 도메인 적응 기술: 서베이 (Deep Learning based Domain Adaptation: A Survey)

  • 나재민;황원준
    • 방송공학회논문지
    • /
    • 제27권4호
    • /
    • pp.511-518
    • /
    • 2022
  • 딥러닝 기반의 지도학습은 다양한 응용 분야에서 비약적인 발전을 이루었다. 그러나 많은 지도 학습 방법들은 학습 및 테스트 데이터가 동일한 분포에서 추출된다는 공통된 가정 하에 이루어진다. 이 제약 조건에서 벗어나는 경우, 학습 도메인에서 훈련된 딥러닝 네트워크는 도메인 간의 분포 차이로 인하여 테스트 도메인에서의 성능이 급격하게 저하될 가능성이 높다. 도메인 적응 기술은 레이블이 풍부한 학습 도메인 (소스 도메인)의 학습된 지식을 기반으로 레이블이 불충분한 테스트 도메인 (타겟 도메인) 에서 성공적인 추론을 할 수 있도록 딥러닝 네트워크를 훈련하는 전이 학습의 한 방법론이다. 특히 비지도 도메인 적응 기술은 타겟 도메인에 레이블이 전혀 없는 이미지 데이터에만 접근할 수 있는 상황을 가정하여 도메인 적응 문제를 다룬다. 본 논문에서는 이러한 비지도 학습 기반의 도메인 적응 기술들에 대해 탐구한다.

그래프 기반 준지도 학습 방법을 이용한 특정분야 감성사전 구축 (The Construction of a Domain-Specific Sentiment Dictionary Using Graph-based Semi-supervised Learning Method)

  • 김정호;오연주;채수환
    • 감성과학
    • /
    • 제18권1호
    • /
    • pp.103-110
    • /
    • 2015
  • 감성어휘는 텍스트로 감성을 표현하거나, 반대로 텍스트로부터 감성을 인식하기 위한 특징으로써 감성분류 연구에 필수요소이다. 본 연구는 감성어휘의 집합인 감성사전을 자동으로 구축하는 그래프 기반 준지도 학습 방법을 제안한다. 특히 감성어휘가 사용되어지는 분야에 따라 그 감성이 변하는 중의성 문제를 고려하여 분야 별 감성사전을 구축하고자 한다. 제안하는 방법은 어휘와 어휘들 간의 밀접도를 토대로 그래프를 구성하고, 사전에 학습 된 일부 소량의 감성어휘들의 감성을 구성된 그래프 전체에 전파하는 방식으로 모든 어휘의 감성을 추론한다. 감성어휘는 대표적으로 감성단어와 감성구문이 있으며, 본 연구에서는 이들 각각에 대한 그래프를 구성하고 감성을 추론하여 전체 감성사전을 구축하였다. 제안하는 방법의 성능을 검증하기 위해 영화평 분야의 감성사전을 구축하고, 이를 이용한 영화평 감성분류 실험을 수행하였다. 그 결과 기존 범용 감성사전의 어휘들을 이용한 감성분류보다 더 높은 분류 성능을 확인하였다.

세종 전자사전과 준지도식 학습 방법을 이용한 용언의 어의 중의성 해소 (Word Sense Disambiguation of Predicate using Semi-supervised Learning and Sejong Electronic Dictionary)

  • 강상욱;김민호;권혁철;오주현
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.107-112
    • /
    • 2016
  • 국립국어원의 주관으로 10년에 걸쳐 구축된 21세기 세종 계획의 결과물들은 한국어를 대상으로 한 대부분의 자연언어 처리 시스템 및 연구에 널리 이용되고 있다. 21세기 세종 계획의 결과물 중, 세종 전자사전은 한국어 어휘의 내재정보에 대한 체계적인 분석 정보를 담고 있어 세종 전자사전 내의 상세 정보를 이용하여 어의 중의성 해소(Word Sense Disambiguation) 규칙을 구축하는 데 이용할 수 있다. 하지만 한국어의 특성상 다양한 문형과 논항이 출현할 수 있으므로 문형과 논항에 대한 모든 정보를 담을 수 없는 단점이 존재한다. 본 연구에서는 세종 전자사전의 용언 하위범주화 정보와 한국어 어휘의미망(Korean Lexico-semantic Network)을 이용하여 구축한 어의 중의성 해소 규칙을 준지도 학습 방법을 이용하여 논항의 선택제약 정보를 확장 및 일반화한다.

마코프 논리 기반의 시맨틱 문서 검색 (Semantic Document-Retrieval Based on Markov Logic)

  • 황규백;봉성용;구현서;백은옥
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권6호
    • /
    • pp.663-667
    • /
    • 2010
  • 본 논문은 질의 문서와 의미가 유사한 문서를 검색하는 문제를 다룬다. 이 문제에 대한 기본적인 접근법은 각 문서를 bag-of-words 형태로 표현한 후, 코사인 유사도 등의 거리 기준에 기반하여 유사 문서를 판별하는 것이다. 그러나, 이처럼 문서에 출현하는 단어에만 의존하는 검색 방법은 의미적 유사성을 제대로 반영하기 어렵다는 단점을 가진다. 본 논문에서는 이러한 문제를 극복하기 위해 데이터 기반의 감독 학습(supervised learning) 기법과 관련 온톨로지 정보를 마코프 논리(Markov logic)에 기반하여 결합한다. 구체적으로, 단어들 사이에 존재하는 관계를 표현한 온톨로지와 유사도가 태깅된 문서 데이터에서 마코프 논리 망(Markov logic network)을 학습하며, 학습된 마코프 논리 망과 문서 데이터 및 새로 주어진 질의 문서에 대한 추론을 통해 질의 문서와 의미적으로 유사한 문서를 검색하는 기법을 제안한다. 제안하는 접근법은 서울시의 민원서비스 홈페이지에서 수집된 실제 민원 데이터에 적용되었으며, 적용 결과, 단순한 문서 간 거리에 기반한 유사 문서 검색 기법에 비해 월등히 높은 정확도를 보였다.

수도 레이블을 활용한 준지도 학습 기반의 도로노면 파손 탐지 (Road Surface Damage Detection Based on Semi-supervised Learning Using Pseudo Labels)

  • 전찬준;류승기
    • 한국ITS학회 논문지
    • /
    • 제18권4호
    • /
    • pp.71-79
    • /
    • 2019
  • 의미론적 분할 형태로 합성곱 신경망을 구성하여 도로노면의 파손을 탐지하는 연구가 진행되고 있다. 이러한 합성곱 신경망 형태의 모델을 생성하기 위해서는 입력 이미지와 이에 상응한 레이블된 이미지 데이터셋으로 수집해야 하고, 이러한 과정에서는 굉장히 많은 시간과 비용이 발생하게 된다. 본 논문에서는 이러한 작업을 완화하기 위하여 수도 레이블링을 활용한 준지도 학습 기반의 도로노면 파손 탐지 기술을 제안하고자 한다. 레이블된 데이터셋과 레이블되지 않은 데이터셋을 적절하게 혼합하여 도로노면 파손을 탐지하는 모델을 업데이트하고, 이를 레이블된 데이터셋만을 활용한 기존 모델과 성능을 비교한다. 주관적인 성능결과, 민감도 부분에서는 조금 저하된 성능을 보였지만, 정밀도 부분에서는 대폭 성능 향상이 있었으며, 최종적으로 $F_1-score$ 또한 높은 수치로 평가되었다.

지도학습 머신러닝 기반 카테고리 목록 분류 및 추천 시스템 구현 (Development of Supervised Machine Learning based Catalog Entry Classification and Recommendation System)

  • 이형우
    • 인터넷정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.57-65
    • /
    • 2019
  • 200 만명 이상의 회원을 보유하고 있는 "도매꾹" B2B 온라인 쇼핑몰인 경우70% 이상의 시장 점유율로 하루에 80만개 이상의 아이템이 판매되고 있다. 하지만, 동일하거나 유사한 물품이 서로 다른 카탈로그 엔트리에 저장 및 등록되어 있기 때문에 구매자가 아이템을 검색하는 과정에서 어려움을 느끼며 B2B 대형 쇼핑몰 관리에도 문제점이 발생하고 있다. 따라서 이에 대한 해결 방안으로 본 연구에서는 대단위 쇼핑몰 구매 정보를 기반으로 지도-학습 머신러닝 기법을 적용하여 상품에 대한 카탈로그 목록 자동 분류 및 추천 시스템을 개발하였다. 구체적으로 판매자가 자연어 형태로 물품 등록 정보를 입력하면 KoNLPy 형태소 분석 과정을 수행하였으며, Naïve Bayes 분류 방식을 응용하여 물품에 가장 적합한 카탈로그 정보를 자동으로 추천해주는 시스템을 구현하였다. 정확도가 향상된 카테고리 목록을 구축하여 결과적으로 검색 속도와 쇼핑몰 매출을 향상시키는 효과가 있었다.

퍼지 소속도 함수와 가중치 평균을 이용한 지도 학습 기반 분류기 설계 (Design of a Classifier Based on Supervised Learning Using Fuzzy Membership Function and Weighted Average)

  • 우영운
    • 한국정보통신학회논문지
    • /
    • 제25권4호
    • /
    • pp.508-514
    • /
    • 2021
  • 본 논문에서는 지도 학습 기반의 분류기 제안을 위해, 분류 데이터의 각 특징별 소속도를 결정하는 3가지 종류의 퍼지 소속도 함수를 제안하였다. 또한 각 특징별 소속도들의 평균값을 이용하여 분류 결과를 도출하는 과정에 사용되는 평균값 산출 기법을 단순 산술평균이 아닌 다양한 가중치를 활용한 가중치 평균을 이용함으로써 분류기 성능을 향상시킬 수 있는 가능성을 제시하였다. 제안한 기법들의 실험을 위해 Iris, Ecoli, Yeast의 3가지 표준 데이터 세트를 사용하였다. 실험 결과, 서로 다른 특성의 데이터 세트들에 대해서도 고르게 우수한 분류 성능이 얻어질 수 있음을 확인하였고, 기존에 발표된 다른 기법들에 의한 해당 데이터 세트들의 분류 성능과 비교했을 때, 퍼지 소속도 함수의 개선과 가중치 평균 기법의 개선을 통해 더욱 우수한 분류 성능이 가능함을 확인할 수 있었다.

시추효율매개변수를 이용한 굴진율 예측 지도학습 모델 비교 연구 (Comparative Study of the Supervised Learning Model for Rate of Penetration Prediction Using Drilling Efficiency Parameters)

  • 한동권;성유정;양윤정;권순일
    • 한국정보통신학회논문지
    • /
    • 제25권8호
    • /
    • pp.1032-1038
    • /
    • 2021
  • 굴진율은 시추작업에서 효율성을 극대화하기 위한 중요한 변수 중 하나이다. 시추효율을 극대화하기 위해서는 시추속도를 향상시키는 것이 필요한데 시추 엔지니어에게 시추 중 문제를 확인할 수 있는 실시간 굴진율 예측이 중요하다. 굴진율은 시추스트링 회전속도, 비트하중, 시추이수 유량과 높은 상관성을 가지고 있다. 이 논문에서는 시추효율매개변수 자료를 통해 학습한 데이터기반 지도학습 모델을 이용하여 굴진율을 예측하였다. 회귀모델의 성능 평가 지표를 통해 비교한 결과 RF 모델의 RMSE가 4.20, MAPE는 9.08%로 예측성능이 가장 우수한 것으로 확인되었다. 제안한 방법은 실시간 시추운전가이드 시스템 구축 시 굴진율 예측 기반 모델로 활용될 수 있다.

효율적인 HWP 악성코드 탐지를 위한 데이터 유용성 검증 및 확보 기반 준지도학습 기법 (Efficient Hangul Word Processor (HWP) Malware Detection Using Semi-Supervised Learning with Augmented Data Utility Valuation)

  • 손진혁;고기혁;조호묵;김영국
    • 정보보호학회논문지
    • /
    • 제34권1호
    • /
    • pp.71-82
    • /
    • 2024
  • 정보통신기술(ICT) 고도화에 따라 PDF, MS Office, HWP 파일로 대표되는 전자 문서형 파일의 활용이 많아졌고, 공격자들은 이 상황을 놓치지 않고 문서형 악성코드를 이메일과 메신저를 통해 전달하여 감염시키는 피해사례가 많아졌다. 이러한 피해를 막고자 AI를 사용한 악성코드 탐지 연구가 진행되고 있으나, PDF나 MS-Office와 같이 전 세계적으로 활용성이 높은 전자 문서형 파일에 비해 주로 국내에서만 활용되는 HWP(한글 워드 프로세서) 문서 파일은 양질의 정상 또는 악성 데이터가 부족하여 지속되는 공격에 강건한 모델 생성에 한계점이 존재한다. 이러한 한계점을 해결하기 위해 기존 수집된 데이터를 변형하여 학습 데이터 규모를 늘리는 데이터 증강 방식이 제안 되었으나, 증강된 데이터의 유용성을 평가하지 않아 불확실한 데이터를 모델 학습에 활용할 가능성이 있다. 본 논문에서는 HWP 악성코드 탐지에 있어 데이터의 유용성을 정량화하고 이에 기반하여 학습에 유용한 증강 데이터만을 활용하여 기존보다 우수한 성능의 AI 모델을 학습하는 준지도학습 기법을 제안한다.

교통사고 데이터의 마이닝을 위한 연관규칙 학습기법과 서브그룹 발견기법의 비교 (Comparison of Association Rule Learning and Subgroup Discovery for Mining Traffic Accident Data)

  • 김정민;류광렬
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.1-16
    • /
    • 2015
  • 교통사고의 원인을 규명하고 미래의 사고를 방지하기 위한 노력의 일환으로 데이터 마이닝 기법을 이용한 교통 데이터 분석의 연구가 이루어지고 있다. 하지만 기존의 교통 데이터를 이용한 마이닝 연구들은 학습된 결과를 사람이 이해하기 어려워 분석에 많은 노력이 필요하다는 문제가 있었다. 본 논문에서는 많은 속성들로 표현된 교통사고 데이터로부터 유용한 패턴을 발견하기 위해 규칙 학습 기반의 데이터 마이닝 기법인 연관규칙 학습기법과 서브그룹 발견기법을 적용하였다. 연관규칙 학습기법은 비지도 학습 기법의 하나로 데이터 내에서 동시에 많이 등장하는 아이템(item)들을 찾아 규칙의 형태로 가공해 주며, 서브그룹 발견기법은 사용자가 지정한 대상 속성이 결론부에 나타나는 규칙을 학습하는 지도학습 기반 기법으로 일반성과 흥미도가 높은 규칙을 학습한다. 규칙 학습 시 사용자의 의도를 반영하기 위해서는 하나 이상의 관심 속성들을 조합한 합성 속성을 만들어 규칙을 학습할 수 있다. 규칙이 도출되고 나면 후처리 과정을 통해 중복된 규칙을 제거하고 유사한 규칙을 일반화하여 규칙들을 더 단순하고 이해하기 쉬운 형태로 가공한다. 교통사고 데이터를 대상으로 두 기법을 적용한 결과 대상 속성을 지정하지 않고 연관규칙 학습기법을 적용하는 경우 사용자가 쉽게 알기 어려운 속성 사이의 숨겨진 관계를 발견할 수 있었으며, 대상 속성을 지정하여 연관규칙 학습기법과 서브그룹 발견기법을 적용하는 경우 파라미터 조정에 많은 노력을 기울여야 하는 연관규칙 학습기법에 비해 서브그룹 발견기법이 흥미로운 규칙들을 더 쉽게 찾을 수 있음을 확인하였다.