Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2023.05a
  • /
  • Pages.592-594
  • /
  • 2023
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Proposal for building an open source-based data platform for entry-level data engineers

초급 데이터 엔지니어를 위한 오픈 소스 기반 데이터 플랫폼 구축 제안

  • Doo-il Kwak (Dept. of AI Techno Convergence, Soongsil University) ;
  • Kwang-Young Park (Dept. of AI Techno Convergence, Soongsil University)
  • 곽두일 (숭실대학교 AI테크노융합학과) ;
  • 박광영 (숭실대학교 AI테크노융합학과)
  • Published : 2023.05.18
Download PDF
⟨ Previous Next ⟩

Abstract

빅데이터 및 머신러닝 플랫폼을 구축하기 위해선 많은 하드웨어와 소프트웨어, 데이터 엔지니어가 필수인데, 초급 엔지니어들은 경험 부족으로 인해 기업의 수요를 충족시키지 못하고 있다. 본 논문에서는 초급 데이터 엔지니어가 쉽게 접근 가능한 오픈소스를 활용한 빅데이터 플랫폼과 머신러닝 플랫폼을 통합한 7개층으로 이루어진 '데이터 플랫폼'을 제안한다. 향후 제안하는 플랫폼의 현실적인 검증을 위해 계층간 연계가 얼마나 용이한지에 대해 후속연구가 필요하다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성사업의 연구결과로 수행되었음 (IITP-2023-RS-2022-00156360)