Mobile-based Big Data Processing and Monitoring Technology in IoT Environment

IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 기술

Abstract

In the fourth industrial revolution, which has become an issue now, we have been able to receive instant analysis results faster than the existing slow speed through various Big Data technologies, and to conduct real-time monitoring on mobile and web. First, various irregular sensor Data is generated using IoT device, Raspberry Pi. Sensor Data is collected in real time, and the collected data is distributed and stored using several nodes. Then, the stored Sensor Data is processed and refined. Visualize and output the analysis result after analysis. By using these methods, we can train the human resources required for Big Data and mobile related fields using IoT, and process data efficiently and quickly. We also provide information that can confirm the reliability of research results through real time monitoring.

현재 이슈가 되고 있는 4차 산업혁명에서 다양한 빅데이터 기술들을 통하여 기존의 느린 속도 보다 빠른 분석 결과를 즉각적으로 받아 볼 수 있고, 모바일과 웹에서 실시간 모니터링을 하는 연구를 진행하였다. 먼저 IoT 기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터를 생성하고 센서 데이터를 실시간 수집하고, 수집한 데이터를 여러 개의 노드를 이용해 분산 저장한 뒤 저장된 센서 데이터를 가공, 정제 처리하여 분석 모델 및 알고리즘을 통해 분석 결과를 시각화하여 출력한다. 이러한 방법들을 이용한 진행은 IoT를 이용한 빅데이터 및 모바일 관련 분야에서 필요한 고급 인력을 양성 및 데이터를 효율적이고 빠르게 처리할 수 있다. 또한, 실시간 모니터링을 통하여 연구결과의 신뢰성을 확인할 수 있는 정보를 제공하고자 한다.

그림 1. IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 시스템 개념도 Fig. 1. Mobile-based Big Data Processing and Monitoring System Conceptual Diagram in IoT Environment

그림 2. Flume을 이용한 로그 수집 과정 Fig. 2. Log collection process using Flume

그림 3. RaspBerry Pi 코드 Fig. 3. Raspberry Pi cord

그림 4. data.csv 파일 확인 경로 Fig. 4. Data.csv File Verification Path

그림 5. RaspBerry Pi의 Flume 설정 명령어 Fig. 5. Flume setting command of RaspBerry Pi

그림 6. RaspBerry Pi의 Flume 실행 Fig. 6. Run Flume on RaspBerry Pi

그림 7. NameNode 의 Flume 설정 명령어 Fig. 7. NameNode Flume Setup Command

그림 8. NameNode 의 Flume 설정 명령어 Fig. 8. NameNode Flume Setup Command

그림 9. Flume을 통한 데이터 저장 과정 Fig. 9. Process of storing data through Flume

그림 10. 분산 저장된 데이터 저장 확인 Fig. 10. Confirming Saved Data Saved

그림 11. 데이터 처리 쿼리를 발생할 테이블 생성 Fig. 11. Create a table that will cause Data processing queries

그림 12. 생성된 테이블에 대한 데이터 처리 쿼리 발생 Fig. 12. Generate Data processing query for generated table

그림 13. HDFS내 /lab3에 저장된 결과파일 확인 Fig. 13. Check the results file stored in HDFS / lab3

그림 14. Hive처리 프로세스 반복 쉘 스크립트 Fig. 14. Hive processing process iterative shell script

그림 15. 처리쿼리를 발생시킬 lab.hive Fig. 15. Invoke the processing query with lab.hive

그림 16. 실시간 온도와 습도 그래프 Fig. 16. Real-time temperature and humidity graph

그림 17. 어플리케이션 메인화면 Fig. 17. Application main screen

그림 18. 실시간 정보 페이지 Fig. 18. Real-time information page