Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2017.11a
  • /
  • Pages.59-62
  • /
  • 2017
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

News Article Big Data Analysis based on Machine Learning in Distributed Processing Environments

분산 처리 환경에서의 기계학습 기반의 뉴스 기사 빅 데이터 분석

  • Oh, Hee-bin (Dept. of Computer Engineering, Chung-Nam National University) ;
  • Lee, Jeong-cheol (Dept. of Computer Engineering, Chung-Nam National University) ;
  • Kim, Kyungsup (Dept. of Computer Engineering, Chung-Nam National University)
  • 오희빈 (충남대학교 컴퓨터공학과) ;
  • 이정청 (충남대학교 컴퓨터공학과) ;
  • 김경섭 (충남대학교 컴퓨터공학과)
  • Published : 2017.11.01
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 텍스트 형태의 빅 데이터를 분산처리 환경에서 기계학습을 이용하여 분석하고 유의미한 데이터를 만들어내는 시스템에 대해 다루었다. 빅 데이터의 한 종류인 뉴스 기사 빅 데이터를 분산 시스템 환경(Spark) 내에서 기계 학습(Word2Vec)을 이용하여 뉴스 기사의 키워드 간의 연관도를 분석하는 분산 처리 시스템을 설계 및 구현하였고, 사용자가 입력한 검색어와 연관된 키워드들을 한눈에 파악하기 쉽게 만드는 시각화 시스템을 설계하였다.

Keywords