Knowledge Management Research (지식경영연구)

The Knowledge Management Society of Korea (한국지식경영학회)
권호 표지
DOI QR코드

DOI QR Code

Designing Cost Effective Open Source System for Bigdata Analysis

빅데이터 분석을 위한 비용효과적 오픈 소스 시스템 설계

  • Received : 2017.12.29
  • Accepted : 2018.02.20
  • Published : 2018.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large data analysis computing platform using open source with low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.

Keywords

References

  1. 김세민, 최숙영, 2017, "공업계 특성화 고등학생을 위한 라즈베리파이를 활용한 프로그래밍 수업 방안," 한국정보통신학회논문지, (21:1), pp. 165-172. https://doi.org/10.6109/jkiice.2017.21.1.165
  2. 김영근, 김승현, 조민희, 김원중, 2014, "학습 시스템을 위한 빅데이터 처리 환경 구축," 한국전자통신학회 논문지, (9:7), pp. 791-797.
  3. 김영근, 조민희, 김원중, 2016, "라즈베리파이 보드 기반의 빅데이터 분석을 위한 학습 시스템," 한국전자통신학회 논문지, (11:4), pp. 433-439.
  4. 김은우, 금득규, 2014, "빅데이터 분석: Social BigDate 서비스 분석플랫폼 구축기술 소개," 정보처리학회지, (21:3), pp. 35-42.
  5. 김윤경, 2017, "제 4 차 산업혁명 시대의 국내환경점검과 정책 방향," 한국경제연구원, pp. 1-16.
  6. 김정선, 권은주, 송태민, 2014, "분석지의 확장을 위한 소셜 빅데이터 활용연구-국내" 빅데이터" 수요공급 예측," 지식경영연구, (15:3), pp. 169-188.
  7. 박성원, 2017, "새로운 과학기술이 일하는 방식에 미치는 영향," 과학기술정책, (27:7), pp. 26-31.
  8. 서병조, 나성욱. 2017, "지능정보화 시대에 대비한 네트워크 발전전략 연구," 한국통신학회지(정보와 통신), (34:8), pp. 30-37.
  9. 서새남, 2017, "4 차 산업혁명 주요기술에 대한 법적 고찰-한국 및 중국을 중심으로," 문화. 미디어. 엔터테인먼트 법, (11:1), pp. 141-172.
  10. 조성룡, 2012, "데이터 환경의 변화와 분산 데이터 베이스 시스템," 정보과학회지, (30:5), pp. 21-28.
  11. 안정국, 김희웅, 2015, "Building a Korean Sentiment Lexicon Using Collective Intelligence," 지능정보연구, (21:2), pp. 49-67. https://doi.org/10.13088/jiis.2015.21.2.49
  12. 이종화, 이현규, 2017, "해시태그를 이용한 실시간 연관 규칙 분석 연구," 인터넷전자상거래연구, (17:4), pp. 105-117.
  13. 이철성, 최동희, 김성순, 강재우, 2013, "한글 마이크로블로그 텍스트의 감정 분류 및 분석," 정보과학회논문지: 데이터베이스, (40:3), pp. 159-167.
  14. 임좌상, 김진만, 2014, "한국어 트위터의 감정 분류를 위한 기계학습의 실증적 비교," 멀티미디어학회논문지, (17:2), pp. 232-239.
  15. 정민영, 2016, "포털사이트 실시간 검색키워드의 주간 핵심 이슈 선정 및 차이 분석," 디지털융복합연구, (14:12), pp. 237-243. https://doi.org/10.14400/JDC.2016.14.12.237
  16. 조재희, 2004. "OLAP 과 데이터마이닝을 이용한 조직내 분석지 생성에 관한 사례연구," 지식경영연구, (5:1), pp. 69-82.
  17. 황보람, 김성규, 2016, "라즈베리파이를 이용한 빅 데이터 처리 학습 환경 구축," 디지털융복합연구, (14:4), pp. 251-258. https://doi.org/10.14400/JDC.2016.14.4.251
  18. Lee, J. H. and Lee, H. K., 2015, "A Study on Unstructured Text Mining Algorithm through R Programming based on Data Dictionary," Journal of the Korea Society Industrial Information System, (20:2), pp. 113-124. https://doi.org/10.9723/jksiis.2015.20.2.113
  19. Lee, J. H., Le, H. S., and Lee, H. K., 2016, "Research on Methods for Processing Nonstandard Korean Words on Social Network Services," Journal of the Korea Industrial Information Systems Research, (21:3), pp. 35-46. https://doi.org/10.9723/jksiis.2016.21.3.035
  20. Chen, H., Chiang, R.H. and Storey, V.C., 2012. "Business intelligence and analytics: from big data to big impact.," MIS quarterly, pp. 1165-1188.
  21. Fayyad, U., Piatetsky-Shapiro, G. and Smyth, P., 1996, "From data mining to knowledge discovery in databases," AI magazine, (17:3), pp. 37-54.
  22. Liu, B., 2013, Web Data Mining, 2nd edition, Springer.
  23. Sivakumar, P., 2015, "Effectual Web Content Mining using Noise Removal from Web Pages," Wireless Personal Communications, (84:1), pp. 99-121. https://doi.org/10.1007/s11277-015-2596-7
  24. Witten, I. H., Frank, E., Hall, M. A. and Pal, C. J., 2016, Data Mining: Practical machine learning tools and techniques, Morgan Kaufmann.
  25. Wu, X., Zhu, X., Wu, G.Q. and Ding, W., 2014. Data mining with big data. IEEE transactions on knowledge and data engineering, (26:1), pp. 97-107. https://doi.org/10.1109/TKDE.2013.109
  26. Zhang, Q. and Segall, R. S., 2008, "Web mining: a sur vey of current research, techniques, and software," International Journal of Information Technology & Decision Making, (7:4), pp. 683-720. https://doi.org/10.1142/S0219622008003150

Cited by

  1. 4차산업시대에 상담코칭전문가의 인식에 관한 현상학적 연구 vol.19, pp.3, 2018, https://doi.org/10.15813/kmr.2018.19.3.010