The Journal of Bigdata (한국빅데이터학회지)

Korea Bigdata Society (한국빅데이터학회)
권호 표지

Design and Implementation of Efficient Storage and Retrieval Technology of Traffic Big Data

교통 빅데이터의 효율적 저장 및 검색 기술의 설계와 구현

  • Received : 2019.12.06
  • Accepted : 2019.12.31
  • Published : 2019.12.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recent developments in information and communication technology has enabled the deployment of sensor based data to provide real-time services. In Korea, The Korea Transportation Safety Authority is collecting driving information of all commercial vehicles through a fitted digital tachograph (DTG). This information gathered using DTG can be utilized in various ways in the field of transportation. Notably in autonomous driving, the real-time analysis of this information can be used to prevent or respond to dangerous driving behavior. However, there is a limit to processing a large amount of data at a level suitable for real-time services using a traditional database system. In particular, due to a such technical problem, the processing of large quantity of traffic big data for real-time commercial vehicle operation information analysis has never been attempted in Korea. In order to solve this problem, this study optimized the new database server system and confirmed that a real-time service is possible. It is expected that the constructed database system will be used to secure base data needed to establish digital twin and autonomous driving environments.

최근 정보통신기술의 발달은 센서를 바탕으로 수많은 데이터를 구축하고 이를 이용하여 실시간 서비스를 제공할 수 있게 한다. 교통안전공단에서는 디지털 운행기록계를 통해 전국의 상용차의 운행 정보를 수집하고 있다. 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다. 특히 국내에서는 이와 같은 기술적인 문제로 상용차 운행정보의 실시간 분석을 위한 대규모 교통 빅데이터의 처리가 이전에 시도된 적이 없다. 이런 문제를 해결하기 위해 본 연구에서는 새로운 방식의 데이터베이스 서버 시스템 최적화를 진행하였고 실시간 서비스가 가능한 수준임을 확인하였다. 구축된 데이터베이스 시스템을 이용하여 디지털 트윈, 자율주행환경을 마련하기 위한 기반 데이터를 확보할 수 있을 것으로 기대된다.

Keywords

References

  1. 권오수, 홍동권, "실시간 검색을 위한 다중 사용자용 주기억장치 자료저장 시스템 개발", 한국정보처리학회지, 제10D권, 제2호, pp.187-194, 2003.
  2. 김수재, 주재홍, 추상호, 이향숙, "고속버스 DTG 자료를 활용한 버스 위험운전 행태 분석", 한국ITS학회지, 제17권, 제2호, pp.87-97, 2018.
  3. 안상하, 신용은, "DTG자료 기반 택시 이용자 통행패턴 분석: 부산시 택시 사례", 대한토목학회논문지, 제38권, 제6호, pp.907-916, 2018.
  4. 유재곤, 유재영, 김종배, "운전 습관 개선을 위한 위험 운전 분석 어플리케이션의 설계 및 구현", 한국정보통신학회: 학술대회논문집, pp.301-303, 2015.
  5. 임준범, 유수재, "DTG자료를 활용한 화물 자동차 운전행태 분석과 개선방향 연구", 대한교통학회지, 제12권, 제5호, pp.28-33, 2015.
  6. 정은비, 오철, 강경표, 강연수, "V2X 환경에서 위험운전이벤트 검지 및 분석을 통한 교통안전 모니터링기법 개발", 한국ITS학회 논문지, 제11권, 제6호, pp.1-14, 2012. https://doi.org/10.12815/kits.2012.11.6.001
  7. 조종석, 이현석, 이재영, 김덕녕, "화물차 DTG 데이터를 활용한 고속도로 졸음운전 위험구간 분석", 대한교통학회지, 제35권, 제2호, pp.160-168, 2017. https://doi.org/10.7470/jkst.2017.35.2.160
  8. 청주시, 청주시 교통정보 빅데이터 분석 시스템 구축, 2015.
  9. De Waard,D. and Rooijers,T. "An experimental study to evaluate the effectiveness of different methods and intensities of law enforcement on driving speed on motorways" Accident Analysis & Prevention, Vol.26, No.6, pp.751-765, 1994. https://doi.org/10.1016/0001-4575(94)90052-3
  10. K.Shvachko, H.Kuang, S.Radia, and R.Chansler, "The hadoop distributed file system", Mass Storage Systems and Technologies (MSST), pp.1-10, 2010.
  11. K.Zvarevashe and T.T.Gotora, "A Random Walk through the Dark Side of NoSQL Databases in Big Data Analytics", International Journal of Science and Research, Vol.3, pp.506-509, 2014.
  12. Konstantin V.Shvachko, "HDFS Scalability: The Limits to Growth", ;login:: the magazine of USENIX & SAGE, Vol.35, No.2, pp.6-16, 2010.
  13. Liao,H., Han,J., and Fang,J., "Multi-dimensional Index on Hadoop Distributed File System", 2010 IEEE Fifth International Conference on Networking, Architecture, and Storage, 2010.
  14. S. Amini, I. Gerostathopoulos and C. Prehofer, "Big data analytics architecture for real-time traffic control", 2017 5th IEEE International Conference on Models and Technologies for Intelligent Transportation Systems (MT-ITS), pp. 710-715, 2017.
  15. Schwab, Klaus, The Fourth Industrial Revolution: what it means, how to respond, 2016.
  16. Toledo,T., Musicant,O., and Lotan,T., "In-vehicle data recorders for monitoring and feedback on drivers' behavior", Transportation Research Part C: Emerging Technologies, Vol.16, No.3, pp.320-331, 2008. https://doi.org/10.1016/j.trc.2008.01.001
  17. Wouters, P.I.J. and Bos, J.M.J., "Traffic accident reduction by monitoring driver behaviour with in-car data recorders", Accident Analysis & Prevention, Vol.32, No.5, pp.643-650, 2000. https://doi.org/10.1016/S0001-4575(99)00095-0
  18. Wouters, P.I.J. and Bos, J.M.J., The impact of driver monitoring with vehicle data recorders on accident occurrence : methodology and results of a field trial in Belgium and The Netherlands, SWOV Institute for Road Safety Research (Leidschendam, Netherland), 1997.
  19. Y.Zhong, J.Han, T.Zhang, Z.Li, J.Fang, and G.Chen, "Towards parallel spatial query processing for big spatial data", Parallel and Distributed Processing Symposium Workshops & PhD Forum (IPDPSW), pp.2085-2094, 2012.
  20. Zeng, G. "Application of Big Data in Intelligent Traffic System", IOSR Journal of Computer Engineering, Vol.17, No.1, pp.01-04, 2015.
  21. http://www.bigdata.go.kr/intro.html.
  22. http://hadoop.apache.org/.
  23. http://hbase.apache.org/.
  24. http://spark.apache.org/.
  25. http://zeppelin.apache.org/.
  26. https://nifi.apache.org/.
  27. https://www.intel.com/content/dam/www/public/us/en/documents/case-studies/big-data-xeon-e5-trustway-case-study.pdf.
  28. https://www.scylladb.com/2019/05/23/workloadprioritization-running-oltp-and-olap-traffic-on-the-same-superhighway/.