• 제목/요약/키워드: Stream Data

검색결과 2,521건 처리시간 0.034초

Scalable Big Data Pipeline for Video Stream Analytics Over Commodity Hardware

  • Ayub, Umer;Ahsan, Syed M.;Qureshi, Shavez M.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권4호
    • /
    • pp.1146-1165
    • /
    • 2022
  • A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.

포항지역 제3기층내 지하수와 지표수의 산성화 및 해수혼합, 그리고 액상화 유출수 기원에 관한 연구 (Groundwater and Stream Water Acidification and Mixing with Seawater, and Origin of Liquefaction-Expelled Water in a Tertiary Formation in the Pohang Area)

  • 정찬호;오송민;이유진;이용천;김영석;강태섭
    • 지질공학
    • /
    • 제32권4호
    • /
    • pp.559-569
    • /
    • 2022
  • 이 연구는 포항시 흥해지역 지하수, 하천수, 저수지의 해수 혼합과 산성화, 그리고 포항지진(2017년 11월 15일)으로 인한 액상화 유출수의 기원에 대해서 알아보았다. 연구지역은 제3기 퇴적암층 지질로 구성된다. 지하수 6점, 저수지 5점, 하천수 4점, 액상화 유출수 2점, 해수 1점의 시료를 채취하여 화학성분과 산소 및 수소 동위원소를 분석하였다. 연구지역 중심을 동서로 관통하는 곡강천은 서쪽에서 동해쪽으로 흐른다. 하천 하부지역의 지하수와 저수지는 pH 4 이하의 산성수로 황산염이 부화된 Ca(Mg)-SO4의 수질화학적 유형을 보인다. 제 3기 지층에서 확인되는 황철석의 산화에 의해 기원한 것으로 보이는 Al, Mn, Fe 성분이 특징적으로 높은 농도를 보인다. 하천 상부지역은 하천을 따라서 유입된 염수가 혼합되어 지하수는 Ca(Na)-HCO3(Cl) 유형의 화학적 특성을 보인다. 𝛿D와 𝛿18O 동위원소 분석 결과 모든 물은 GMWL을 따라서 분포하며, 저수지는 증발작용으로 부화된 특성을 보인다. 화학성분과 동위원소 조성으로 볼 때 액상화 유출수 2점은 충적층으로 확산된 인접한 하천수, 그리고 염수화가 일부 진행된 심부와 천부 지하수가 용출된 것으로 보인다.

빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법 (In-Memory Based Incremental Processing Method for Stream Query Processing in Big Data Environments)

  • 복경수;육미선;노연우;한지은;김연우;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제16권2호
    • /
    • pp.163-173
    • /
    • 2016
  • 최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산 환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

CORBA/JMF 기반 오디오/비디오 스트림 시스템의 설계 및 구현 (Design and Implementation of a CORBA/JMF-based Audio/Video Stream System)

  • 김만수;정목동
    • 한국멀티미디어학회논문지
    • /
    • 제4권4호
    • /
    • pp.297-305
    • /
    • 2001
  • 분산 컴퓨팅 기술의 발전과 네트워크의 고성능화는 대용량의 멀티미디어 데이터를 송.수신 하여 처리 할 수 있게 되었다. 그러나 실시간 및 이기종간의 데이터 전송에는 네트워크 전송지연과 프로그램 구현의 어려움 등과 같이 극복해야 하는 문제점들이 많이 있다. 이 문제들을 해결하기 위하여 본 논문에서는 객체지향형 분산처리 환경 하에서 OMG가 제시한 멀티미디어 서비스 설계를 확장하는 방안을 제시한다. 이를 위해서 CORBA와 JMF Jaya Media API 기반으로 Smart Explorer라 불리는 효율적인 실시간오디오/비디오 멀티미디어 소프트웨어 기반 구조를 제시하고 있다. 제어 데이터와 미디어 데이터의 전송 경로를 분리하고 효율적인 실시간 오디오/비디오 전송을 위해서 RTP/RTCP 프로토콜을 사용한다. 또한 제안하는 소프트웨어 기반 구조를 이용하여 오디오/비디오 스트링 시스템을 분산객체 환경에 맞게 구현한 결과도 제시한다. 향후 이 시스템은 방송, 원격 교육, 화상회의 등 실시간 통신 소프트웨어에 응용될 수 있을 것으로 기대된다.

  • PDF

마코프 체인 몬테카를로 및 앙상블 칼만필터와 연계된 추계학적 단순 수문분할모형 (Stochastic Simple Hydrologic Partitioning Model Associated with Markov Chain Monte Carlo and Ensemble Kalman Filter)

  • 최정현;이옥정;원정은;김상단
    • 한국물환경학회지
    • /
    • 제36권5호
    • /
    • pp.353-363
    • /
    • 2020
  • Hydrologic models can be classified into two types: those for understanding physical processes and those for predicting hydrologic quantities. This study deals with how to use the model to predict today's stream flow based on the system's knowledge of yesterday's state and the model parameters. In this regard, for the model to generate accurate predictions, the uncertainty of the parameters and appropriate estimates of the state variables are required. In this study, a relatively simple hydrologic partitioning model is proposed that can explicitly implement the hydrologic partitioning process, and the posterior distribution of the parameters of the proposed model is estimated using the Markov chain Monte Carlo approach. Further, the application method of the ensemble Kalman filter is proposed for updating the normalized soil moisture, which is the state variable of the model, by linking the information on the posterior distribution of the parameters and by assimilating the observed steam flow data. The stochastically and recursively estimated stream flows using the data assimilation technique revealed better representation of the observed data than the stream flows predicted using the deterministic model. Therefore, the ensemble Kalman filter in conjunction with the Markov chain Monte Carlo approach could be a reliable and effective method for forecasting daily stream flow, and it could also be a suitable method for routinely updating and monitoring the watershed-averaged soil moisture.

SWAT2000 모형을 이용한 갑천수계의 소유역별 유출량 추정 (Streamflow Estimation for Subbasins of Gap Stream Watershed by Using SWAT2000 Model)

  • 문종필;김태철
    • 한국농공학회논문집
    • /
    • 제48권5호
    • /
    • pp.29-38
    • /
    • 2006
  • Geographic Information System has extended to higher assessment of water resources. GIS linking with hydrological model becomes a trend in water resource assessment modeling. One of the most popular models is SWAT2000 which have effectiveness in multi-purpose processes for predicting the impact of land management practices on water, sediments and chemicals yields in large complex watershed with varying soils, land uses, and management conditions over long period of time. In this study, SWAT2000 model was applied to Gap stream watershed in Daejeon city where TMDL (Total Maximum Daily Load) Regulation would be implanted. The Gap Stream watershed was partitioned into 8 subbasins, however, only 3 out of 8 subbaisns were observed for having practical gauged data on the basis of streamflow from the year of 2002 to 2005. Gauged streamflow data of Indong, Boksu and Hoeduck stations were used for calibration and validation of the SWAT Streamflow simulation. Estimation Efficiency Analysis (COE), Regression Analysis ($R^{2}$), Relative Error (R.E.) were used for comparing observed streamflow data of the 3 subbasins on the daily and monthly basis with estimated streamflow data in order to fix optimized parameters for the best fitted results. COE value for the daily and monthly streamflow was ranged from 0.45 to 0.96. $R^{2}$ values for daily and monthly streamflow ranged from 0.51 to 0.97. R.E. values for total streamflow volume ranged from 3 % to 22.5 %. The accuracy of the model results shows that the SWAT2000 model can be applicable to Korean watersheds like the Gap Stream watershed that needs to be partitioned into a number of subbasins for TMDL regulation.

도시하천 수문특성변화에 따른 수문모니터링 분석 (Hydrologic Monitoring Analysis due to Hydrologic Characteristic Variation at Urban Stream)

  • 서규우;김대곤;김남길;심봉주;원창희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.746-751
    • /
    • 2006
  • The geumjunggu of the onchunchun which is the upper stream have been maintained as a too much picture to become a concrete lining about existing low flow channel and the reservoir water protecting banks for the reason of the flow of an upper stream steep slope and back of the shortage of the channel area in a suitableness interval. This research made a rating-curve to decide since to ensure against risks to the flood control through the undo of the rivers. And we found the speed of current of a nature undo interval and existing concrete interval and water level change out. A result from this natural disposition we must apply as a data for the research about the plan to be established in the rivers maintenance basis plan of onchunchun.

  • PDF

효과적인 유역자료 추출을 위한 DEM 전처리 방법의 비교 (Comparison of DEM Preprocessing Method for Efficient Watershed Data Extraction)

  • 정인균;김성준
    • 한국농공학회:학술대회논문집
    • /
    • 한국농공학회 2002년도 학술발표회 발표논문집
    • /
    • pp.273-276
    • /
    • 2002
  • Watershed boundary and stream network can be extracted from DEM(Digital Elevation Model) using GIS software such as ARC/INFO or ArcView Spatial Analyst. However, there exist many errors in the generated watershed boundary and stream network just by operating sink removal function of the present software. This paper present the error reducing method to delineate watershed boundary and generate stream network especially in plane areas by using stream burning techniques known as Fillburn and Agree bum. These preprocessing techniques of DEM dramatically decreased the errors comparing with the results by no-bum DEM.

  • PDF

Distributed Indexing Methods for Moving Objects based on Spark Stream

  • Lee, Yunsou;Song, Seokil
    • International Journal of Contents
    • /
    • 제11권1호
    • /
    • pp.69-72
    • /
    • 2015
  • Generally, existing parallel main-memory spatial index structures to avoid the trade-off between query freshness and CPU cost uses light-weight locking techniques. However, still, the lock based methods have some limits such as thrashing which is a well-known problem in lock based methods. In this paper, we propose a distributed index structure for moving objects exploiting the parallelism in multiple machines. The proposed index is a lock free multi-version concurrency technique based on the D-Stream model of Spark Stream. The proposed method exploits the multiversion nature of D-Stream of Spark Streaming.

고온고속류에서 기화를 고려한 연료액적의 분열(Breakup)기구 해석에 관한 연구 (A Study on Analysis of Breakup Mechanism of Vaporizing Fuel Droplet in High Temperature and Velocity Air Stream)

  • 김관철;황상순
    • 한국분무공학회지
    • /
    • 제3권3호
    • /
    • pp.1-13
    • /
    • 1998
  • In this study, an experimental study was performed to investigate the breakup mechanism of vaporizing droplet. A well-controlled experimental apparatus was used to study breakup mechanisms of a monodisperse stream of drops injected into a transverse high temperature and velocity air stream. The experiments gave information$ about the microscopic structure of the liquid drop breakup process, drop breakup regimes, and drop trajectories in high temperature flow region. The breakup time, drop acceleration and wavelength of surface instability wave were measured from a high-magnification and double spark photography. The two instability theories, i.e., Kelvin-Helmholtz instability and Rayleigh-Taylor instability, were estimated by comparing the calculated data with the measurements. The results showed that the breakup time in high temperature flow condition is shortened because the surface tension is decreased by the increase of gas temperature.

  • PDF