Big Data Processing and Monitoring System based on Vehicle Data

차량 데이터 기반 빅데이터 처리 및 모니터링 시스템

Abstract

As the Industrial Revolution progressed, Big Data technologies were used to develop a system that instantly identified the consequences of older vehicles using mobile devices. First, data from the vehicle was collected using the OBD2 sensor, and the data collected was stored in the raspberry pie, giving it the same situation that the raspberry pie was driving. In the event that vehicle data is generated, the data is collected in real time, stored in multiple nodes, and visualized and printed based on the processed, refined, processed and processed data. We can use Big Data in this process and quickly process vehicle data to identify it effectively through mobile devices.

4차 산업혁명의 발전에 따라 빅데이터의 기술들을 이용하여 연식이 오래된 차량들에서 확인할 수 없는 결과들을 모바일을 이용하여 즉각적으로 확인할 수 있는 시스템을 개발하였다. 먼저 OBD2 센서를 이용하여 차량의 데이터를 수집하였고 수집된 데이터를 라즈베리파이에 저장하여 라즈베리파이가 차량이 주행하는 것과 같은 상황을 두었다. 이후 차량의 데이터가 발생되면 데이터를 실시간으로 수집하고, 수집된 데이터를 여러 개의 노드를 이용해 분산저장한 뒤 시각화 하고자 하는 데이터를 가공, 정제, 처리하고 처리된 결과를 바탕으로 시각화하여 출력한다. 우리는 이와 같은 진행에 빅데이터를 이용하고 차량데이터를 빠르게 처리하여 모바일 기기를 통하여 효과적으로 확인할 수 있다.

Ⅰ. 서론

현재 우리는 4차 산업혁명의 시대에 살고 있다. 정보 통신 기술을 기반으로 새로운 산업 시대를 대표하는 용어인 4차 산업혁명이 발전하면서 “빅데이터”는 다양한 기술과 접목하여 함께 발전하고 있다. 빅데이터는 데이터 수집–저장-처리-분석-시각화 전반에 걸쳐 광범위한 기술을 모두 포함하는 개념이며, 최근 5V의 특징으로 불린다. 첫 번째, 양(Volume)으로 기존 시스템 안에서 다루지 못할 만큼 많은 양의 데이터를 말한다. 두 번째, 속도(Velocity)로 데이터가 만들어지는 속도와 처리되는 속도가 빨라야 한다. 세 번째, 다양성(Variety)로 다양한 형태의 데이터가 모여 빅데이터가 형성된다. 네 번째, 정확성(Veracity)으로 모호한 데이터 속에서 신뢰할 수 있는 데이터를 발견해야한다. 다섯 번째, 가치(Value)로 빅데이터에 존재하는 많은 데이터 속에서 유의미한 가치를 얻을 수 있는 데이터를 분별하는 것을 말한다. 빅데이터의 특징은 빅데이터의 분야가 더 발전하면서 추가적인 특징이 더해질 수 있기 때문에 온전히 정립된 특징이라고 보지 않는다^[1].

우리가 생활하며 사용하는 모든 것들이 데이터가 된다. 차량을 운전하고, 웹서핑을 하며, 메시지를 통해 실시간으로 대화를 하는 모든 것들이 데이터를 통해 이루어지고 저장된다. 시간마다 생성되는 데이터 속에서 데이터를 저장, 관리, 분석하기 위해서 빅데이터 기술이 중요해지고, 최근 장비들은 빅데이터의 기술을 이용하여 서비스를 제공하는 경우가 많다. 그 사례로 스마트 에어컨, 커넥티드 카 등 생성되는 데이터에 따라 실시간적으로 처리, 분석, 시각화하여 사용자에게 사용방향을 알려주거나 사용 결과물을 보여준다. 하지만 그에 반해 오래된 장비들은 그러한 기능을 제공하지 못하고 있다. 그 사례로 연식이 오래된 차량에서는 연비는 확인할 수 없고 아날로그 계기판으로 정확한 수치가 아닌 어림잡아 연료잔량, 속도 등을 알 수 있다.

하지만 본 연구에서는 오래된 장비에서도 빅데이터 기술을 사용할 수 있다는 것을 증명하기 위하여 라즈베리파이를 이용하여서 실시간으로 차량데이터를 생성하고 빅데이터 기술을 이용해 처리, 분석 할 수 있는 방법을 제안한다.

제안하는 방법은 총 5단계로 1) OBD2 센서를 이용하여 차량의 데이터를 수집하고 라즈베리파이를 이용하여 차량이 주행하는 것과 같이 데이터 발생, 2) 발생되는 차량 데이터 수집, 3) 여러 개의 노드를 이용한 데이터 분산 저장, 4) 저장된 차량 데이터 처리, 정제, 5) 처리, 정제 결과 시각화를 수행한다. 제안 사항들을 통해 실시간적으로 차량의 정보를 확인할 수 있으며, 동시에 다른 차량과 비교하여 상관관계를 분석할 수 있는 그래프를 제공하여 빅데이터 수행 5단계의 방법의 유효성을 입증시킨다. 본 논문은 다음과 같이 구성된다. 2장에서는 관련 기술, 3장에서는 관련 연구, 4장에서는 본론, 5장에서는 결론을 기술한다.

Ⅱ. 관련 기술

1. 하둡 분산 파일 시스템(HDFS)

HDFS는 Hadoop Distributed File System의 약자로 여러 기계에 대용량 데이터를 나누어서 분산, 저장, 관리할 수 있는 시스템이다. 대용량 데이터는 기본적으로 설정되어있는 64MB 크기의 블록으로 나누어 저장된다.

HDFS는 하나의 NameNode와 다수의 DataNode로 구성되어 있으며 NameNode는 HDFS내의 모든 메타데이터를 관리하고, DataNode는 데이터를 블록 단위로 저장하는 데이터 서버로 NameNode와 클라이언트의 데이터 입출력 요청을 처리한다^[2].

2. Flume

Flume은 빅데이터의 데이터 수집 도구로서 많은 양의 로그 데이터를 효과적으로 수집하기 위한 분산형 소프트웨어이다. 단순하고 유연한 아키텍처를 갖추고 있으며, 사용자의 요구에 맞게 설정하여 사용할 수 있으며 기능에 따라서 전송간의 오류에 대한 대처 방법도 설정할 수 있다^[3].

3. Pig

Pig는 야후 연구소에서 개발된 빅데이터 처리 도구로서 대용량 데이터 집합을 분석하는 기능이다. Pig는 하둡을 기반으로 맵리듀스 사용에 특화된 도구이며, 목적에 맞게 필요한 함수를 구현하여 더욱 고차원적으로 데이터를 처리할 수 있는 특징이 있다^[3].

4. Hive

Hive는 Apache사에서 만든 빅데이터 처리 도구로서 하둡을 기반으로 동작하며 데이터를 요약하고, 질의 및 분석을 할 수 있는 기능을 제공한다. HiveQL이라 불리는 SQL과 같은 언어를 지원하며 맵리듀스의 기능을 제공한다^[4].

Ⅲ. 관련 연구

1. OBD2를 이용한 자동차 정보 표시 장치 개발

본 관련 연구는 차량 제어를 위해 널리 사용되는 전자 제어 장치들의 데이터를 수집하여 현재 상태를 판단하고 고장 유무 진단 및 차량 정보를 표시해주는 시스템을 개발하는 것에 목표를 둔 연구이다. 최근에 차량에 사용되는 많은 전자 제어 장치들은 장치들 간 네트워크를 통해 서로 상호작용하며 전체 시스템을 제어하고 있다. 이 제어 장치들이 사용하는 많은 데이터들이 곧 차량의 상태들을 나타내는 정보들이다. 따라서 첫 부분과 같이 이 데이터들을 추출하여 보다 많은 정보들을 제공하는 것을 목표로 하는데 기존의 연구와는 다르게 차량의 정비소와 같은 전문적인 장소뿐만 아니라 일반 사용자들이 이용하고 있는 모바일 기기를 활용하여 정보를 제공함을 최종 목표로 둔 연구이다. 본 연구를 참조하여 본 졸업 작품 과제도 차량의 데이터 수집을 위해 모바일 어플리케이션을 활용하여 실제 차량의 데이터를 수집할 수 있게 되었다^[5-7].

2. 차량정보 실시간 모니터링 기술-차량 및 운전자 정보관리 시스템

본 연구는 한국전자통신연구원에서 2007년부터 연구, 개발한 연구로서 차량과 가장 연관성이 있는 물류, 보험, 택시 등의 산업과 본 연구를 연동시켰을 때 가장 시너지가 높다고 판단하여 차량으로부터 오는 정보를 효율적으로 관리해줌으로써 차량의 상태를 용이하게 점검하고, 운전자의 운전 패턴에 따라 안전운전, 경제운전, 환경운전을 유도하는 기술에 대한 업계의 요구들을 충족시키기 위한 연구이다. 위 연구와 동일하게 OBD-II 포트를 사용하여 차량과 직접 연결한 후 차량으로부터 차량 속도, 연료 소모량, 배출가스, 급가속, 급감속등의 차량상태 관련 정보를 실시간으로 수집한 뒤 수집된 정보는 VDMS 운행정보단말에 전송되고 수집된 정보를 이용하여 안전 지수, 경제지수, 친환경 지수 등의 운전자 성향 관련 정보, 연비, CO2 배출량을 계산하여 운전자에게 시각적으로 표시해준다. 본 연구를 참조하여 본 졸업 작품에서도 속력과 연비 등의 데이터를 미리 구축해둔 서버에 전송하고 그 데이터들을 기반으로 실시간 그래프를 생성시켜 시각적으로 보여주는 기능을 삽입하게 되었다^[8-10].

Ⅳ. 본론

본 논문의 목적은 빅데이터의 분산저장시스템을 활용하여 차량의 데이터를 실시간으로 처리하는 시스템을 구축하는 것이다. 구축된 시스템을 통해 차량의 소유자는 언제 어디서든 웹, 모바일 어플리케이션을 이용하여 차량의 실시간적인 상태를 모니터링할 수 시스템을 개발하는 것이다.

차량의 데이터는 OBD2 센서를 이용하여 csv 형식의 데이터로 사전에 수집을 하였고, 수집된 차량 데이터는 라즈베리파이를 이용하여 실제 자동차가 주행할 때 데이터를 발생하는 것처럼 데이터를 발생시켜준다.

표 1은 라즈베리파이에 미리 수집한 차량의 데이터를 저장한 후 해당데이터를 차량과 같은 방식으로 발생시키기 위하여 자바의 파일 입출력을 이용한 코드이다. 해당 코드를 이용하면 차량이 주행하는 것과 같이 데이터가 1초마다 발생된다.

표 1 라즈베리파이 차량 데이터 생성코드

Table 1. Raspberry Pi vehicle data generation code

그림 1은 차량의 데이터가 라즈베리파이에서 발생되고, 발생된 데이터를 NameNode에 저장하기 위한 과정을 표현한 것으로 라즈베리파이에서 발생된 차량데이터는 빅데이터의 데이터수집 도구로 사용되는 Flume을 사용하여 NameNode와 통신하고 NameNode에서 설정한 위치로 데이터를 저장한다. Flume을 사용해 통신하는 것은 Step 1: 라즈베리파이 모듈, Step 2: NameNode 모듈 두 가지로 구성된다.

그림 1. Flume을 이용한 데이터 수집 과정

Fig. 1. Process of data collection using Flume

Step 1: 라즈베리파이 모듈

차량의 데이터를 발생시킬 수 있는 각각의 라즈베리파이에 Flume을 설치한 후 Flume을 수행할 때 참조하는 파일인 conf 파일을 조건에 맞도록 설정하여준다.

표 2는 라즈베리파이에서 Flume을 실행하기 위해 작성한 car.conf 파일이다. 먼저 Flume은 Source, Channel, Sink의 단계로 구성된다. 이 구성에서 Source는 외부에서 이벤트를 입력받는 부분으로 각각의 라즈베리파이에서 생성되는 데이터는 데이터가 발생할 때마다 데이터가 정해진 문서에 추가되기 때문에 차량의 데이터가 저장되는 경로인 /home/risingsunz/Downloads/data.txt를 리눅스의 tail 명령어를 통하여 수집하고 한번에 Source에 전달할 이벤트의 크기를 10으로 설정하였다. Channel은 이벤트를 임시로 저장하여 Sink로 전달하는 역할을 하며 채널은 빠르고 고성능인 메모리로 설정하였다. 데이터의 전송과정에서 여러 파일이 생기는 것을 막기 위하여 이벤트 크기는 100000개로 지정하고 트랜잭션의 크기는 10000개로 설정하였다. 마지막으로 Sinks는 이벤트를 외부로 출력하는 부분으로 NameNode로 전송되는 부분이기 전송받는 NameNode의 IP주소인 192.168.109.101과 임의의 Port 주소 33333을 한 번에 받을 수 있는 이벤트의 수를 1000개로 정의하였다.

표 2. 라즈베리파이의 Flume 설정 명령어

Table 2. Flume setup command for a raspberry pi

표 3는 표 2에서 Flume을 실행하기 위해 설정한 파일의 상위 디렉토리 위치에서 car.conf를 실행하여 NameNode로 전송해 주는 명령어이다.

표 3. 라즈베리파이의 Flume 실행

Table 3. Run Flume on RaspBerry Pi

표 4는 NameNode에서 Flume을 사용하기 위해 작성한 master.conf 파일이다. 라즈베리파이의 Sink에서 출력되는 이벤트는 NameNode Flume 구조에서 Source 부분이 받게 된다. 이벤트를 수신받을 NameNode의 IP와 Port를 지정해주고 사용하는 Channel은 라즈베리 파이와 동일하게 메모리로 구현하였다. Sink는 NameNode에서 분산저장하기 위해 HDFS로 type을 지정해주었고 파일이 저장될 위치를 설정해주었다. HDFS내에 쌓이게 되는 차량의 데이터의 형식은 Text, 이벤트 수의 제한은 1000개, 파일을 나누는 기준은 30분으로 설정하였다.

표 4. NameNode 의 Flume 설정 명령어

Table 4. NameNode Flume Setup Command

표 5은 NameNode에서 Flume을 실행하기 위해 표 4에서 설정한 master.conf파일이 저장된 상위 디렉토리에서 Flume을 실행하여 분산 저장 시스템인 HDFS내로 차량 데이터를 실시간으로 분산저장 하는 명령어다.

표 5. NameNode 의 Flume 실행

Table 5. Run Flume on NameNode

그림 2와 같이 라즈베리파이와 NameNode가 Flume을 이용하여 통신에 성공한다면 Creating, Closing, Renaming 단계를 거치게 되며 HDFS의 지정된 위치에 데이터가 수집되는 것을 확인할 수 있다. Creating 단계에서는 데이터가 수집되는 과정에서 생기는 임시파일 즉 .tmp 파일을 생성하고 Flume의 이벤트 설정에 맞게 데이터의 수집이 완료되면 Closing 단계를 거쳐 Renaming 단계에서 .tmp 파일이 아닌 표 3에서 지정한 타입 text로 데이터가 저장된다.

그림 2. Flume을 통한 데이터 저장 과정

Fig. 2. Process of storing data through Flume

그림 3. 분산 저장된 데이터 확인

Fig. 3. Verifying Distributed Saved Data

그림 7에서는 차량 데이터가 수집되어 분산저장 된 것을 확인할 수 있으며, NameNode 하둡 경로인 마스터 노드의 바로 아래 /sensor 에 데이터가 수집된 것을 확인할 수 있다.

그림 7. CAR2 실시간 그래프_2

Fig. 7. CAR2 Real-Time Graphs_2

표 6은 수집된 로그 데이터를 hadoop –fs cat /sensor/* 명령어로 확인한 표이다. 수집된 차량데이터는 GPS Time, 위도, 경도, 연료소모량 등 52가지의 컬럼으로 이루어져 있으며, 실시간으로 수집되는 차량 데이터는 처리 프로세스 단계를 거쳐 다양한 데이터 중에서 의미 있는 데이터, 필요한 데이터만을 처리하여 시각화 단계를 진행할 것이다.

표 6. 분산 저장된 데이터

Table 6. Distributed stored data

표 7은 Pig 스크립트로, 수집된 데이터를 처리하는 단계이다. 차량데이터 52개의 컬럼에서 처리하여 시각화에 사용될 1번, 4번, 35번 53번 컬럼을 추출하는 작업을 진행한다.

표 7. 데이터 처리를 위한 Pig 스크립트 실행

Table 7. Running a Pig Script to Process Data

표 8 에서는 HiveQL을 이용하여 HDFS의 /result1 디렉토리에 저장된 데이터를 ‘,’ 단위로 분할하여 불러온다. 이후 create table명령어를 사용하여 표 9에서 Pig를 이용하여 추출한 컬럼을 알맞은 자료형에 맞춰 테이블을 생성한다. 이후 추출한 컬럼중에서 연비를 계산하기 위해 거리와 연료소모량을 연비계산법을 이용하여 연산하고 result2에 저장하여준다.

표 8. Hive 사용을 위한 테이블 생성 및 처리

Table 8. Creating and processing tables for Hive use

표 9. HDFS내 /result2에 저장된 결과파일 확인

Table 9. Check the results file stored in HDFS /result2

표 8까지 모든 처리과정을 완료하고 HDFS내 /result2 디렉토리를 확인하면 결과 파일이 생성된 것을 표 9에서 확인할 수 있다. hadoop –fs cat /result2/* 명령어를 이용하여 파일을 열어보면 Hive에서 쿼리를 실행했던 것과 같이 순서, 연비, 주행속도, 연료잔량의 연산된 결과가 표 9와 같이 출력되는 것을 확인할 수 있다.

Flume은 사용자가 실시간으로 데이터가 HDFS에 저장되기 때문에 데이터가 저장되는 대로 Pig와 Hive의 처리도 지속적으로 이루어져야 한다. 따라서 표 10과 같이 Pig와 Hive의 처리 프로세스를 쉘 스크립트의 반복문을 사용하여 지속적으로 데이터를 처리되도록 구성하였다.

표 10. 반복 처리 쉘 스크립트

Table 10. Repetitive Processing Shell Script

지금까지 수행하였던 단계를 각 라즈베리파이마다 구성을 해주면 라즈베리파이 한 대가 차량 한 대 와 같은 역할을 수행할 수 있다. 본 논문에서는 라즈베리파이를 두 대로 구성하여 차량 두 대를 가지고 연구를 진행하였다. 처리 및 정제가 완료된 차량 데이터는 Web과 Mobile Application 환경에서 실시간으로 시각화하여 나타낸다.

Web을 배포하기 위해서 Apache Tomcat 서버와 Eclips를 연동하여 서버구축을 하였고, 구축된 서버는 이용하여 HTML과 JavaScript를 사용해 시각화한다. 시각화한 결과물은 Web, Mobile Application에서 확인할 수 있도록 배포한다. 시각화는 Step 1: Web , Step 2: Mobile Application 두 가지로 구성된다.

Step 1: Web

Web은 Eclipse에서 Tomcat을 이용하여 JSP서버를 생성하고 HTML코드와 CSS를 이용하여 홈페이지 UI들을 구성하였다. 그래프의 실시간 처리를 진행하기 위하여 비동기적으로 서버와 클라이언트가 통신할 수 있는 Ajax를 사용하였다. 각 라즈베리파이를 기준으로 연비, 주행 속도, 연료 잔량 3가지 그래프를 각 한 페이지에 구성하였으며 데이터가 갱신되는 순간에 그래프가 refresh되도록 설정하였다. 마지막 페이지에는 각 페이지마다 표시된 서로 다른 차량의 그래프들을 오버레이형식으로 시각화하여 다른 운전자들과 비교할 수 있는 페이지를 구성하였다.

그림 4와 5는 라즈베리파이(CAR1)에서 생성되는 차량데이터를 기준으로 처리된 연비, 연료 잔량, 주행속도를 실시간 그래프로 나타낸 것으로 X축은 데이터의 발생 순서가 되고 Y축은 각 데이터 값을 기준으로 범주가 나타나게 된다.

그림 4. CAR1 실시간 그래프_1

Fig. 4. CAR1 Real-Time Graphs_1

그림 5. CAR1 실시간 그래프_2

Fig 5. CAR1 Real-Time Graphs_2

그림 6과 7은 다른 라즈베리파이(CAR2)에서 생성되는 데이터를 기반으로 앞서 설명한 내용과 같이 연비, 연료잔량, 주행속도를 실시간 그래프로 나타낸 모습이다.

그림 6. CAR2 실시간 그래프_1

Fig. 6. CAR2 Real-Time Graphs_1

그림 4, 5와 그림 6, 7에서 표현하였던 그래프들의 상관관계를 한 번에 확인할 수 있도록 그림 8에서 나타나는 것과 같이 두 개의 차량 그래프를 한 화면에 출력하여 서로를 비교할 수 있도록 구성하였다.

 

그림 8. OverLay 실시간 그래프

Fig. 8. Overlay Real-Time Graphs

Step 2: Mobile Application

어플리케이션은 Android Studio를 사용하여 제작하였다. Step 1에서 구현된 웹 홈페이지를 웹 뷰 형식으로 제작하였고 웹 홈페이지를 제작하는 단계에서 그래프의 크기를 사용자가 사용하는 기기의 화면 크기에 맞게 자동으로 변화하도록 설정하여 그래프의 크기는 스마트폰 화면에 맞춰져 있어 따로 설정하지 않았다.

그림 9는 어플리케이션의 메인 화면으로 실시간 정보를 확인하기 위하여 해당 차량의 버튼을 누르면 그림 8의 화면으로 전환된다. 그림 10에서는 시간에 따라 실시간으로 그래프가 변화하는 것을 확인할 수 있다.

그림 9. 어플리케이션 메인화면

Fig. 9. Application main screen

그림 10. 실시간 정보 페이지

Fig. 10. Real-time information page

Ⅴ.  결론

본 논문에서는 실제 차량에서 발생하는 데이터를 수집하였고, 라즈베리파이를 이용하여 차량이 주행하는 것과 같은 상황을 만들어 데이터를 발생시켰다. 이후 발생된 데이터를 실시간으로 수집, 저장, 처리, 시각화를 하는 과정을 제시하였다. 이러한 제안사항을 통하여 신형 차량에 서는 계기판을 통하여 주행 연비, 연료잔량 등이 시각적으로 잘 표시가 되지만 연식이 오래된 차량의 경우에는 아날로그적 계기판으로 실질적으로 주행 연비가 얼마나 나오는지 연료의 잔량의 수치가 얼마인지 알기가 힘들다는 점을 해결할 수 있고, 나와 같은 차량을 운전하는 사람들을 비교하고 더 나아가 이상 탐지를 하여 빅데이터를 이용한 서비스를 제공할 수 있다. 하지만 본 논문에서 개선해야 할 점은 차량의 정보를 나타내는 그래프의 개수가 3개인 것과, 차량의 대수가 2대인 것으로 차량의 대수와 시각화하고자하는 데이터가 증가할수록 데이터를 수집하고 처리하는 과정에서 컴퓨터의 과부하가 발생하였다. 이러한 방법은 빅데이터를 전문적으로 처리할 수 있는 고 사양컴퓨터를 사용한다면 2-3개의 항목이 아닌 더 많은 항목과 더 많은 차량을 비교할 수 있다. 이러한 문제가 개선된다면 빅데이터의 분석을 조금 더 효율적으로 진행할 수 있다.