• 제목/요약/키워드: 지지벡터기계학습

검색결과 64건 처리시간 0.02초

기계 학습을 이용한 바이오 분야 학술 문헌에서의 관계 추출에 대한 실험적 연구 (An Experimental Study on the Relation Extraction from Biomedical Abstracts using Machine Learning)

  • 최성필
    • 한국문헌정보학회지
    • /
    • 제50권2호
    • /
    • pp.309-336
    • /
    • 2016
  • 본 논문에서는 지지벡터기계(Support Vector Machines, SVM) 기반의 기계 학습 모듈을 활용하여 특정 문장 내에서의 두 개체 간의 관계를 자동으로 식별하고 분류하는 바이오 분야 관계 추출 시스템을 제안한다. 제안된 시스템의 특징은 개체를 포함하고 있는 문장 내에서 풍부한 언어 자질을 추출하여 학습에 활용함으로써 그 성능을 극대화할 수 있는 다양한 기능들을 포함하고 있다는 점이다. 제안된 시스템의 성능 측정을 위해서 전 세계적으로 많이 활용되고 있는 바이오 분야 관계 추출 표준 컬렉션 3가지를 활용하여 심층적인 실험을 수행한 결과 모든 컬렉션에서 높은 성능을 획득하여 그 우수성을 입증하였다. 결론적으로, 본 논문에서 수행한 바이오 분야 관계 추출에 대한 광범위하고 심층적인 실험 연구가 향후 기계학습 기반의 바이오 분야 텍스트 분석 연구에 많은 시사점을 제공할 것으로 보인다.

기계학습을 이용한 택배 고객의 소리 분류 (Classification of V.O.C in The Door-to-Door Delivery Service Using Machine Learning Techniques)

  • 홍성윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.329-332
    • /
    • 2012
  • 국내 택배시장 규모는 매출 3조원 이상, 물량 13 억 상자 이상을 처리하고 있다. 2000년 6천억원에서 불과 10년 사이에 500% 이상 확대되었다. 그에 반해 소비자들의 불만 역시 증가하였다. 따라서 현재의 수작업 VOC 분류 방식으로는 적정한 대응에 한계가 있을 수 밖에 없다. 이 논문에서는 효율적인 택배불만 처리를 위해서 불만의 종류와 정도를 기계학습을 이용하여 자동분류 하는 과정 및 결과를 기술한다. 약 93,000건의 VOC(voice of customer)를 대상으로 학습 데이터를 구축하고 여러 자질 선택 기법을 비교하였으며, 기존의 다양한 문서 자동 분류 방법들을 적용해 보았다. 실험결과 지지벡터기계가 가장 좋은 성능을 보였고, 각각의 F-measure 값은 불만의 정도는 83.1%, 불만의 종류는 75.9% 로 측정되었다.

Levenshtein 거리를 이용한 영화평 감성 분류 (Sentiment Classification of Movie Reviews using Levenshtein Distance)

  • 안광모;김윤석;김영훈;서영훈
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권4호
    • /
    • pp.581-587
    • /
    • 2013
  • 본 논문에서는 레빈쉬타인 거리(Levenshtein distance)를 이용한 감성 분류 방법을 제안한다. 감성 자질에 레빈쉬타인 거리를 적용하여 BOW(Back-Of-Word)를 생성하고 이를 학습 자질로 사용한다. 학습 모델은 지지벡터기계(support vector machines, SVMs)와 나이브 베이즈(Naive Bayes)를 이용하였다. 실험 데이터로는 다음 영화 사이트로부터 영화평을 수집하였으며, 수집한 영화평은 총 2,385건이다. 수집된 영화평으로부터 감성 어휘를 수작업을 통해 수집하였으며 총 778개 어휘가 선별되었다. 실험에서는 감성 어휘에 레빈쉬타인 거리를 적용한 BOW를 이용하여 기계학습을 수행하였으며, 10-fold-cross validation 방식으로 분류기의 성능을 평가하였다. 평가 결과는 레빈쉬타인 거리가 3일 때 다항 나이브 베이즈(Muitinomial Naive Bayes) 분류기에서 85.46%의 가장 높은 정확도를 보였다. 실험을 통하여 본 논문에서 제안하는 방법이 문서 내의 철자 오류에 대해서도 분류 성능에 영향을 적게 받음을 알 수 있었다.

빅 데이터 분석을 위한 지지벡터기계 (Support vector machines for big data analysis)

  • 최호식;박혜원;박창이
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권5호
    • /
    • pp.989-998
    • /
    • 2013
  • 최근 산/학계에서 주목받고 있는 빅 데이터는 정의상 한꺼번에 자료를 메모리에 올려 분석할 수 없기 때문에 기존의 데이터마이닝 시대에 개발된 일괄처리 (batch processing) 방식의 알고리즘을 적용할 수 없게 된다. 따라서 가장 시급히 해결해야 하는 문제는 기존의 여러 가지 기계학습방법을 빅 데이터에 적용할 수 있도록 분산처리 (distributed processing)를 수행하는 적절한 알고리즘을 개발하는 것이라 볼 수 있다. 본 논문에서는 분류문제에서 각광받는 지지벡터기계 (support vector machines)의 여러 알고리즘을 살펴보고자 한다. 특히 빅 데이터 분류문제에 유용할 것으로 예상되는 온라인 타입 알고리즘과 병렬처리 알고리즘에 대하여 소개하고, 이러한 알고리즘들의 성능 및 장단점을 선형분류에 대한 모의실험을 통해서 살펴본다.

데일리 렌즈 데이터를 사용한 데이터마이닝 기법 비교 (Comparison of data mining methods with daily lens data)

  • 석경하;이태우
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권6호
    • /
    • pp.1341-1348
    • /
    • 2013
  • 데이터베이스 마케팅과 시장예측 등의 분야에서 분류문제를 해결하기 위해 다양한 데이터마이닝 기법들이 적용되고 있다. 본 연구에서는 데일리 렌즈 고객들의 거래 데이터를 기반으로 의사결정나무, 로지스틱 회귀모형과 같은 기존의 통계적 분류기법과 최근에 개발된 배깅, 부스팅, 라소, 랜덤 포리스트 그리고 지지벡터기계의 분류 성능을 비교하고자 한다. 비교 실험을 위해 데이터 정제, 탐색, 파생변수 생성, 그리고 변수 선택과정을 거쳤다. 실험결과 정분류율 측면에서는 지지벡터기계가 다른 모형보다 근소하게 높았지만 표준편차가 크게 나왔다. 정분류율과 표준편차의 관점에서는 랜덤 포리스트가 가장 좋은 결과를 보였다. 그러나 모형의 해석, 간명성 그리고 학습에 걸리는 시간을 고려하였을 때 라소모형이 적합하다는 결론을 내렸다.

접사 구조 분석과 기계 학습에 기반한 한국어 의미 역 결정 (Korean Semantic Role Labeling Based on Suffix Structure Analysis and Machine Learning)

  • 석미란;김유섭
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.555-562
    • /
    • 2016
  • 의미 역 결정은 한 문장에서 술어와 그것의 논항간의 의미 관계를 결정해주는 것을 말한다. 한편 한국어 의미 역 결정은 영어와는 다른 한국어 고유의 특이한 언어 구조 때문에 많은 어려움을 가지고 있는데, 이러한 어려움 때문에 지금까지 제안된 다양한 방법들을 곧바로 적용하기에 어려움이 있었다. 다시 말하자면, 지금까지 제안된 방법들은 영어나 중국어에 적용했을 때에 비해서 한국어에 적용하면 낮은 성능을 보여주었던 것이다. 이러한 어려움을 해결하기 위하여 본 연구에서는 조사나 어미와 같은 접사구조를 분석하는 것에 초점을 맞추었다. 한국어는 일본어와 같은 교착어의 하나인데, 이들 교착어에서는 매우 잘 정리되어 있는 접사구조가 어휘에 반영되어 있다. 교착어는 바로 이들 잘 정의된 접사 구조 때문에 매우 자유로운 어순이 가능하다. 또한 본 연구에서는 단일 형태소로 이루어진 논항은 기초 통계량을 기준으로 의미 역 결정을 하였다. 또한 지지 벡터 기계(Support Vector Machine: SVM)과 조건부 무작위장(Conditional Random Fields: CRFs)와 갗은 기계 학습 알고리즘을 사용하여 앞에서 결정되지 못한 논항들의 의미 역을 결정하였다. 본 논문에서 제시된 방법은 기계 학습 접근 방식이 처리해야 하는 논항의 범위를 줄여주는 역할을 하는데, 이는 기계 학습 접근은 상대적으로 불확실하고 부정확한 의미 역 결정을 하기 때문이다. 실험에서는 본 연구는 15,224 논항을 사용하였는데, 약 83.24%의 f1 점수를 얻을 수 있었는데, 이는 한국어 의미 역 결정 연구에 있어서 해외에서 발표된 연구 중 가장 높은 성능으로 알려진 것에 비해 약 4.85%의 향상을 보여준 것이다.

위키피디아를 이용한 반자동 학습 기반의 cQA 서비스 주제 분류 시스템 (A Topic Classification System in cQA Services Based on Semi-Automatic Learning Using Wikipedia)

  • 김태현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.139-141
    • /
    • 2015
  • 본 논문은 커뮤니티 기반의 질의-응답 서비스에서 사용자 질의의 주제를 분류하는 시스템을 소개한다. 커뮤니티 기반의 질의-응답 서비스는 분야에 따라 다양한 주제를 가질 수 있으며 오늘 날 사용자 질의의 주제 분류에는 통계 기반의 분류 방법이 많이 이용되고 있다. 통계 기반의 분류 방법으로 사용자 질의를 분류하기 위해서는 주제에 적합한 대량의 학습 말뭉치가 필요하다. 주제에 적합한 대량의 학습 말뭉치를 사람이 직접 구축하는 것은 많은 시간과 비용이 든다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 위키피디아 문서를 Supervised K-means Clustering 기법으로 주제별로 분류함으로써 학습 말뭉치를 반자동으로 구축하는 방법을 제안한다. 그 다음, 생성된 학습 말뭉치로 지지 벡터 기계를 학습하여 사용자 질의의 주제를 분류하게 된다. 위키피디아 문서와 사용자 질의는 다른 도메인의 문서임에도 불구하고 본 논문의 시스템으로 사용자 질의의 주제를 분류한 결과 77.33%의 정확도를 보였다.

  • PDF

인공 신경망과 지지 벡터 회귀분석을 이용한 대학 캠퍼스 건물의 전력 사용량 예측 기법 (An Electric Load Forecasting Scheme for University Campus Buildings Using Artificial Neural Network and Support Vector Regression)

  • 문지훈;전상훈;박진웅;최영환;황인준
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권10호
    • /
    • pp.293-302
    • /
    • 2016
  • 전기는 생산과 소비가 동시에 이루어지므로 필요한 전력 사용량을 예측하고, 이를 충족시킬 수 있는 충분한 공급능력을 확보해야만 안정적인 전력 공급이 가능하다. 특히, 대학 캠퍼스는 전력 사용이 많은 곳으로 시간과 환경에 따라 전력 변화폭이 다양하다. 이러한 이유로, 효율적인 전력 공급 및 관리를 위해서는 전력 사용량을 실시간으로 예측할 수 있는 모델이 요구된다. 국내외 대학 건물에 대해서는 전력 사용 패턴과 사례 분석을 통해 전력 사용에 영향을 주는 요인들을 파악하기 위한 다양한 연구가 진행되었으나, 전력 사용량의 정량적 예측을 위해서는 더 많은 연구가 필요한 상황이다. 본 논문에서는, 기계 학습 기법을 이용하여 대학 캠퍼스의 전력 사용량 예측 모델을 구성하고 평가한다. 이를 위해, 대학 캠퍼스의 주요 건물 클러스터에 대해 전력 사용량을 15분마다 1년 이상 수집한 데이터 셋을 사용한다. 수집된 전력 사용량 데이터는 수열 형태의 시계열 데이터로 기계 학습 모델에 적용 시 주기성 정보를 반영할 수 없으므로, 2차원 공간의 연속적인 데이터로 증강함으로써 주기성을 반영하였다. 이 데이터와 교육기관의 특성을 반영하기 위한 요일과 공휴일로 구성된 8차원 특성 벡터에 대해 주성분 분석(Principal Component Analysis) 알고리즘을 적용한다. 이어, 인공 신경망(Artificial Neural Network)과 지지 벡터 회귀분석(Support Vector Regression)을 이용하여 전력 사용량 예측 모델을 학습시키고, 5겹 교차검증(5-fold Cross Validation)을 통하여 적용된 기법의 성능을 평가하여, 실제 전력 사용량과 예측 결과를 비교한다.

온라인게임 채팅에서의 비속어 차단시스템 (A Swearword Filter System for Online Game Chatting)

  • 이성욱
    • 한국정보통신학회논문지
    • /
    • 제15권7호
    • /
    • pp.1531-1536
    • /
    • 2011
  • 온라인 게임의 활성화로 온라인 게임의 폐해도 증가하고 있는데 온라인 게임의 대표적인 폐해 중 하나인 언어 폭력 문제가 심각한 사회문제를 야기하고 있다. 본 논문은 온라인 게임의 채팅에 나타나는 비속어를 자동으로 차단하는 시스템을 제안한다. 우리는 온라인 게임의 채팅창에 나타나는 문장을 수집하였고 비속어 포함 문장과 정상 문장으로 수동으로 분류하였다. 음절 n-gram과 어휘-품사 쌍을 자질로 사용하며 카이제곱 통계량을 이용하여 자질을 선택한다. 선택된 자질들을 이진가중치로 표현하여 지지벡터기계(SVM)를 학습한 후, SVM 분류기로 각 문장의 차단 여부를 결정하였다. 실험 결과, 수집된 데이터에 대해 약 90.4%의 F1 정확률을 얻었다.

트래픽 데이터의 통계적 기반 특징과 앙상블 학습을 이용한 토르 네트워크 웹사이트 핑거프린팅 (Tor Network Website Fingerprinting Using Statistical-Based Feature and Ensemble Learning of Traffic Data)

  • 김준호;김원겸;황두성
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권6호
    • /
    • pp.187-194
    • /
    • 2020
  • 본 논문은 클라이언트의 익명성과 개인 정보를 보장하는 토르 네트워크에서 앙상블 학습을 이용한 웹사이트 핑거프린팅 방법을 제안한다. 토르네트워크에서 수집된 트래픽 패킷들로부터 웹사이트 핑거프린팅을 위한 훈련 문제를 구성하며, 트리 기반 앙상블 모델을 적용한 웹사이트 핑거프린팅 시스템의 성능을 비교한다. 훈련 특징 벡터는 트래픽 시퀀스에서 추출된 범용 정보, 버스트, 셀 시퀀스 길이, 그리고 셀 순서로부터 준비하며, 각 웹사이트의 특징은 고정 길이로 표현된다. 실험 평가를 위해 웹사이트 핑거프린팅의 사용에 따른 4가지 학습 문제(Wang14, BW, CWT, CWH)를 정의하고, CUMUL 특징 벡터를 사용한 지지 벡터 기계 모델과 성능을 비교한다. 실험 평가에서, BW 경우를 제외하고 제안하는 통계 기반 훈련 특징 표현이 CUMUL 특징 표현보다 우수하다.