Browse > Article
http://dx.doi.org/10.15813/kmr.2018.19.1.007

Designing Cost Effective Open Source System for Bigdata Analysis  

Lee, Jong-Hwa (부경대학교 경영학부)
Lee, Hyun-Kyu (부경대학교 경영학부)
Publication Information
Knowledge Management Research / v.19, no.1, 2018 , pp. 119-132 More about this Journal
Abstract
Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large data analysis computing platform using open source with low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.
Keywords
Big Data; Raspberry Pi; Real-time Processing; Web Mining; Text Mining;
Citations & Related Records
Times Cited By KSCI : 6  (Citation Analysis)
연도 인용수 순위
1 Lee, J. H., Le, H. S., and Lee, H. K., 2016, "Research on Methods for Processing Nonstandard Korean Words on Social Network Services," Journal of the Korea Industrial Information Systems Research, (21:3), pp. 35-46.   DOI
2 Chen, H., Chiang, R.H. and Storey, V.C., 2012. "Business intelligence and analytics: from big data to big impact.," MIS quarterly, pp. 1165-1188.
3 Fayyad, U., Piatetsky-Shapiro, G. and Smyth, P., 1996, "From data mining to knowledge discovery in databases," AI magazine, (17:3), pp. 37-54.
4 Liu, B., 2013, Web Data Mining, 2nd edition, Springer.
5 Sivakumar, P., 2015, "Effectual Web Content Mining using Noise Removal from Web Pages," Wireless Personal Communications, (84:1), pp. 99-121.   DOI
6 Witten, I. H., Frank, E., Hall, M. A. and Pal, C. J., 2016, Data Mining: Practical machine learning tools and techniques, Morgan Kaufmann.
7 Wu, X., Zhu, X., Wu, G.Q. and Ding, W., 2014. Data mining with big data. IEEE transactions on knowledge and data engineering, (26:1), pp. 97-107.   DOI
8 Zhang, Q. and Segall, R. S., 2008, "Web mining: a sur vey of current research, techniques, and software," International Journal of Information Technology & Decision Making, (7:4), pp. 683-720.   DOI
9 김세민, 최숙영, 2017, "공업계 특성화 고등학생을 위한 라즈베리파이를 활용한 프로그래밍 수업 방안," 한국정보통신학회논문지, (21:1), pp. 165-172.   DOI
10 김영근, 김승현, 조민희, 김원중, 2014, "학습 시스템을 위한 빅데이터 처리 환경 구축," 한국전자통신학회 논문지, (9:7), pp. 791-797.
11 김영근, 조민희, 김원중, 2016, "라즈베리파이 보드 기반의 빅데이터 분석을 위한 학습 시스템," 한국전자통신학회 논문지, (11:4), pp. 433-439.
12 김은우, 금득규, 2014, "빅데이터 분석: Social BigDate 서비스 분석플랫폼 구축기술 소개," 정보처리학회지, (21:3), pp. 35-42.
13 조성룡, 2012, "데이터 환경의 변화와 분산 데이터 베이스 시스템," 정보과학회지, (30:5), pp. 21-28.
14 김윤경, 2017, "제 4 차 산업혁명 시대의 국내환경점검과 정책 방향," 한국경제연구원, pp. 1-16.
15 김정선, 권은주, 송태민, 2014, "분석지의 확장을 위한 소셜 빅데이터 활용연구-국내" 빅데이터" 수요공급 예측," 지식경영연구, (15:3), pp. 169-188.
16 박성원, 2017, "새로운 과학기술이 일하는 방식에 미치는 영향," 과학기술정책, (27:7), pp. 26-31.
17 서병조, 나성욱. 2017, "지능정보화 시대에 대비한 네트워크 발전전략 연구," 한국통신학회지(정보와 통신), (34:8), pp. 30-37.
18 서새남, 2017, "4 차 산업혁명 주요기술에 대한 법적 고찰-한국 및 중국을 중심으로," 문화. 미디어. 엔터테인먼트 법, (11:1), pp. 141-172.
19 안정국, 김희웅, 2015, "Building a Korean Sentiment Lexicon Using Collective Intelligence," 지능정보연구, (21:2), pp. 49-67.   DOI
20 이종화, 이현규, 2017, "해시태그를 이용한 실시간 연관 규칙 분석 연구," 인터넷전자상거래연구, (17:4), pp. 105-117.
21 이철성, 최동희, 김성순, 강재우, 2013, "한글 마이크로블로그 텍스트의 감정 분류 및 분석," 정보과학회논문지: 데이터베이스, (40:3), pp. 159-167.
22 임좌상, 김진만, 2014, "한국어 트위터의 감정 분류를 위한 기계학습의 실증적 비교," 멀티미디어학회논문지, (17:2), pp. 232-239.
23 정민영, 2016, "포털사이트 실시간 검색키워드의 주간 핵심 이슈 선정 및 차이 분석," 디지털융복합연구, (14:12), pp. 237-243.   DOI
24 조재희, 2004. "OLAP 과 데이터마이닝을 이용한 조직내 분석지 생성에 관한 사례연구," 지식경영연구, (5:1), pp. 69-82.
25 Lee, J. H. and Lee, H. K., 2015, "A Study on Unstructured Text Mining Algorithm through R Programming based on Data Dictionary," Journal of the Korea Society Industrial Information System, (20:2), pp. 113-124.   DOI
26 황보람, 김성규, 2016, "라즈베리파이를 이용한 빅 데이터 처리 학습 환경 구축," 디지털융복합연구, (14:4), pp. 251-258.   DOI