한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)
- 한국정보처리학회 2023년도 춘계학술발표대회
- /
- Pages.33-34
- /
- 2023
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경 대용량 이미지 머신러닝 시스템
Image Machine Learning System using Apache Spark and OpenCV on Distributed Cluster
- 김하윤 (숭실사이버대학교 ICT공학과) ;
- 김원집 (한국폴리텍대학 서울강서캠퍼스 빅데이터과) ;
- 이협건 (한국폴리텍대학 서울강서캠퍼스 빅데이터과) ;
- 김영운 (한국폴리텍대학 서울강서캠퍼스 빅데이터과)
- Hayoon Kim (Dept. of ICT Engineering, Korea Soongsil Cyber University) ;
- Wonjib Kim (Dept. of Big Data, Seoul Gangseo Campus of Korea Polytechnic) ;
- Hyeopgeon Lee (Dept. of Big Data, Seoul Gangseo Campus of Korea Polytechnic) ;
- Young Woon Kim (Dept. of Big Data, Seoul Gangseo Campus of Korea Polytechnic)
- 발행 : 2023.05.18
초록
성장하는 빅 데이터 시장과 빅 데이터 수의 기하급수적인 증가는 기존 컴퓨팅 환경에서 데이터 처리의 어려움을 야기한다. 특히 이미지 데이터 처리 속도는 데이터양이 많을수록 현저하게 느려진다. 이에 본 논문에서는 Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경의 대용량 이미지 머신러닝 시스템을 제안한다. 제안하는 시스템은 Apache Spark를 통해 분산 클러스터를 구성하며, OpenCV의 이미지 처리 알고리즘과 Spark MLlib의 머신러닝 알고리즘을 활용하여 작업을 수행한다. 제안하는 시스템을 통해 본 논문은 대용량 이미지 데이터 처리 및 머신러닝 작업 속도 향상 방법을 제시한다.
키워드