Journal of Internet Computing and Services (인터넷정보학회논문지)

Korean Society for Internet Information (한국인터넷정보학회)
권호 표지
DOI QR코드

DOI QR Code

Real-Time IoT Big-data Processing for Stream Reasoning

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리

  • Yun, Chang Ho (School of Electrical and Computer Engineering, University of Seoul) ;
  • Park, Jong Won (School of Electrical and Computer Engineering, University of Seoul) ;
  • Jung, Hae Sun (School of Electrical and Computer Engineering, University of Seoul) ;
  • Lee, Yong Woo (School of Electrical and Computer Engineering, University of Seoul)
  • Received : 2016.11.04
  • Accepted : 2017.04.17
  • Published : 2017.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Smart Cities intelligently manage numerous infrastructures, including Smart-City IoT devices, and provide a variety of smart-city applications to citizen. In order to provide various information needed for smart-city applications, Smart Cities require a function to intelligently process large-scale streamed big data that are constantly generated from a large number of IoT devices. To provide smart services in Smart-City, the Smart-City Consortium uses stream reasoning. Our stream reasoning requires real-time processing of big data. However, there are limitations associated with real-time processing of large-scale streamed big data in Smart Cities. In this paper, we introduce one of our researches on cloud computing based real-time distributed-parallel-processing to be used in stream-reasoning of IoT big data in Smart Cities. The Smart-City Consortium introduced its previously developed smart-city middleware. In the research for this paper, we made cloud computing based real-time distributed-parallel-processing available in the cloud computing platform of the smart-city middleware developed in the previous research, so that we can perform real-time distributed-parallel-processing with them. This paper introduces a real-time distributed-parallel-processing method and system for stream reasoning with IoT big data transmitted from various sensors of Smart Cities and evaluate the performance of real-time distributed-parallel-processing of the system where the method is implemented.

스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

Keywords

References

  1. Y. W. Lee, "Smart-city", European Union Parliament Seminar, May 2013, [Online], Retrieved June 2016 from http://www.europarl.europa.eu/document/activities/cont/201305/20130514ATT66084/20130514ATT66084EN.pdf.
  2. E. D. Valle, S. Ceri, F. v. Harmelen, D. Fensel, "It's a Streaming World! Reasoning upon Rapidly Changing Information", IEEE Intelligent Systems, Vol. 24, pp. 83-89, 2009. http://dx.doi.org/10.1109/MIS.2009.125
  3. Apache Storm, [Online], Retrieved Jun. 2016 from http://storm.apache.org/.
  4. Apache S4, [Online], Retrieved June 2016 from http://incubator.apache.org/s4/.
  5. Apache Samza, [Online], Retrieved Jun. 2016 from http://samza.incubator.apache.org/.
  6. Apache Spark, [Online], Retrieved Jun. 2016 from http://spark.apache.org/.
  7. J. Hoeksema, S. Kotoulas, "High-performance Distributed Stream Reasoning using S4", Proc. The First International Workshop on Ordering and Reasoning (OrdRing 2011), pp. 1-12, 2011. https://goo.gl/z9Mu35
  8. X. Chen, H. Chen, N. Zhang, J. Huang, W. Zhang, "Large-Scale Real-Time Semantic Processing Framework for Internet of Things", International Journal of Distributed Sensor Networks, Vol. 11, No. 10, pp. 1-11, 2015. http://dx.doi.org/10.1155/2015/365372
  9. A. I. Maarala, X. Su, J. Riekki, "Semantic Reasoning for Context-aware Internet of Things Applications", IEEE Internet of Things Journal, Vol. 3, No. 4, pp. 1-13, 2016. http://dx.doi.org/10.1109/JIOT.2016.2587060
  10. H. S. Jung, C. S. Jeong, Y. W. Lee, P. D. Hong, "An Intelligent Ubiquitous Middleware for U-City: SmartUM", Journal of Information Science and Engineering, Vol. 25, pp. 375-388, 2009. http://dx.doi.org/10.1.1.423.772
  11. OpenNebula Homepage, [online], Retrieved Jun. 2016 from http://opennebula.org/.
  12. B. Sotomayor, R. S. Montero, I. M. Llorente, I. Foster, "Virtual Infrastructure Management in Private and Hybrid Clouds", IEEE Internet Computing, Vol. 13, Issue 5, pp. 14-22, 2009. http://dx.doi.org/10.1109/MIC.2009.119
  13. J. Kreps, N. Narkhede, J. Rao, "Kafka: a Distributed Messaging System for Log Processing", Proc. NetDB workshop (NetDB 2011), 2011. http://dx.doi.org/10.1.1.233.1726
  14. Apache Jena, [online], Retrieved Jun. 2016 from https://jena.apache.org/.
  15. Evren Sirin, Bijan Parsia, Bernardo Cuenca Grau, Aditya Kalyanpur, Yarden Katz, "Pellet: A practical OWL-DL reasoner", Web Semantics: Science, Services and Agents on the World Wide Web, Vol. 5, Issue 2, pp. 51-53, 2007. http://dx.doi.org/10.1016/j.websem.2007.03.004
  16. Storm Distributed RPC, [online], Retrieved Jun. 2016 from http://storm.apache.org/releases/current/Distributed-RPC.html.

Cited by

  1. 스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론 vol.19, pp.4, 2018, https://doi.org/10.7472/jksii.2018.19.4.1
  2. 청정환기장치 최적제어를 위한 IoT 기반 실시간 공기질 모니터링 플랫폼 구현 vol.21, pp.6, 2017, https://doi.org/10.7472/jksii.2020.21.6.95