• Title/Summary/Keyword: Data Stream

검색결과 2,512건 처리시간 0.03초

실시간 공간 상황 분석을 위한 공간 데이터 스트림 처리 시스템 (A Spatial Data Stream Processing System for Spatial Context Analysis in Real-time)

  • 권오제;김재훈;이기준
    • Spatial Information Research
    • /
    • 제18권1호
    • /
    • pp.69-76
    • /
    • 2010
  • 센서로부터 획득되는 데이터 스트림들 중에 특히 이동 객체에 대한 공간 정보를 담은 데이터 스트림은 상황 인지의 여러 응용 분야에 매우 유용하다. 하지만, 실시간으로 공간 스트림을 처리하는 것과 공간 상황 인지를 위한 복잡한 연산 처리 사이에는 중요한 기능적인 격차가 존재하는데, 이는 공간 스트림 처리와 상황 인지를 통합하는데 매우 큰 어려움을 준다. 본 논문에서는, 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해결하기 위한 공간 데이터 스트림 처리 시스템인 SCONSTREAM(Spatial CONtext STREAm Management)를 제안한다. 본 논문에서 제안하는 시스템은 불필요한 공간 데이터 스트림을 전처리하고 상황 인지에 용이한 형태로 가공한다. 실험을 통해, 본 시스템이 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해소할 수 있음을 보인다.

센서 네트워크를 위한 PCA 기반의 데이터 스트림 감소 기법 (A PCA-based Data Stream Reduction Scheme for Sensor Networks)

  • 알렉산더 페도시브;최영환;황인준
    • 인터넷정보학회논문지
    • /
    • 제10권4호
    • /
    • pp.35-44
    • /
    • 2009
  • 데이터 스트림이란 새로운 개념과 기존의 단순 데이터 사이에 존재하는 개념적 차이를 극복하기 위해서는 많은 연구가 필요하다. 대표적인 예로써 센서 네크워크에서의 데이터 스트림 처리를 들 수 있는 데, 이를 위해서는 대역폭이나 에너지, 메모리와 같은 자원적 한계에서 부터 연속 질의를 포함하는 질의처리의 특수성까지 고려해야 할 대상이 광범위하다. 본 논문에서는 데이터 스트림 처리에서의 물리적 제약사항에 해당하는 한정된 메모리 문제를 해결하기 위해 PCA 기법을 기반으로 하는 데이터 스트림 축소 방안을 제안하다. PCA는 상호 관련된 다수의 변수들을 관련이 없는 적은 수의 변수로 변환해준다. 본 논문에서는 질의 처리 엔진의 협력을 가정하고서 센서 네크워크의 스트림 데이터 처리를 위해 PCA 기법을 적용하며, 다른 센서로부터 얻어진 많은 측정값 사이에 시공간적 관련성을 이용한다. 최종적으로 그러한 데이터 처리를 위한 프레임워크를 제시하고 다양한 실험을 통하여 기법의 성능을 분석한다.

  • PDF

수질오염총량관리를 위한 4대강수계 장기유황곡선 작성방안 (Development of Long Term Flow Duration Curves in 4 River Basins for the Management of Total Maximum Daily Loads)

  • 박준대;오승영
    • 한국물환경학회지
    • /
    • 제29권3호
    • /
    • pp.343-353
    • /
    • 2013
  • Flow duration curve (FDC) can be developed by linking the daily flow data of stream flow monitoring network to 8-day interval flow data of the unit watersheds for the management of Total Maximum Daily Loads. This study investigated the applicable method for the development of long term FDC with the selection of the stream flow reference sites, and suggested the development of the FDC in 4 river basins. Out of 142 unit watersheds in 4 river basins, 107 unit watersheds were shown to estimate daily flow data for the unit watersheds from 2006 to 2010. Short term FDC could be developed in 64 unit watersheds (45%) and long term FDC in 43 unit watersheds (30%), while other 35 unit watersheds (25%) were revealed to have difficulties in the development of FDC itself. Limits in the development of the long term FDC includes no stream monitoring sites in certain unit watersheds, short duration of stream flow data set and missing data by abnormal water level measurements on the stream flow monitoring sites. To improve these limits, it is necessary to install new monitoring sites in the required areas, to keep up continuous monitoring and make normal water level observations on the stream flow monitoring sites, and to build up a special management system to enhance data reliability. The development of long term FDC for the unit watersheds can be established appropriately with the normal and durable measurement on the selected reference sites in the stream flow monitoring network.

대용량 자료와 순차적 자료를 위한 부스팅 알고리즘 (Boosting Algorithms for Large-Scale Data and Data Batch Stream)

  • 윤영주
    • 응용통계연구
    • /
    • 제23권1호
    • /
    • pp.197-206
    • /
    • 2010
  • 본 논문에서는 대용량 자료 혹은 시간에 따라 순차적으로 들어오는 자료의 분류를 위한 부스팅(boosting) 알고리즘을 제안한다. 대용량 자료나 순차적 자료의 경우 분석시 모든 훈련 자료(training data)들을 한번에 이용하기 어려우므로 보통의 부스팅 알고리즘은 적절하지 못하다. 이러한 상황을 극복하기 위해 AdaBoost와 Arc-x4와 같은 부스팅 알고리즘을 수정하여 제안한다. 모의 실험과 실제 자료 분석을 통해 대용량 자료나 순차적 자료에 제안된 알고리즘이 잘 적용됨을 보였다.

슬라이딩 윈도우 기반 다변량 스트림 데이타 분류 기법 (A Sliding Window-based Multivariate Stream Data Classification)

  • 서성보;강재우;남광우;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권2호
    • /
    • pp.163-174
    • /
    • 2006
  • 분산 센서 네트워크에서 대용량 스트림 데이타를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이타를 전송하고 분석하는 것은 어렵고 바람직하지 않다. 그러므로 연속적으로 입력되는 데이타를 사전에 분류하여 특성에 따라 선택적으로 데이타를 처리하는 데이타 분류 기법이 요구된다. 이 논문에서는 다차원 센서에서 주기적으로 수집되는 스트림 데이타를 슬라이딩 윈도우 단위로 데이타를 분류하는 기법을 제안한다. 제안된 기법은 전처리 단계와 분류단계로 구성된다. 전처리 단계는 다변량 스트림 데이타를 포함한 각 슬라이딩 윈도우 입력에 대해 데이타의 변화 특성에 따라 문자 기호를 이용하여 다양한 이산적 문자열 데이타 집합으로 변환한다. 분류단계는 각 윈도우마다 생성된 이산적 문자열 데이타를 분류하기 위해 표준 문서 분류 알고리즘을 이용하였다. 실험을 위해 우리는 Supervised 학습(베이지안 분류기, SVM)과 Unsupervised 학습(Jaccard, TFIDF, Jaro, Jaro Winkler) 알고리즘을 비교하고 평가하였다. 실험결과 SVM과 TFIDF 기법이 우수한 결과를 보였으며, 특히 속성간의 상관 정도와 인접한 각 문자 기호를 연결한 n-gram방식을 함께 고려하였을 때 높은 정확도를 보였다.

농촌하천 건천화 특성조사 및 분석 -경기 진위천 중심- (Analysis of Drying Stream Characteristics in the Rural Area)

  • 박기욱;윤여정;주욱종
    • 한국농공학회:학술대회논문집
    • /
    • 한국농공학회 2005년도 학술발표논문집
    • /
    • pp.68-73
    • /
    • 2005
  • The purpose of this study are to insure flow rate for rural stream in the rural area. The analysis of drying stream characteristics for two streams(Bong-mu, Wang-jang stream) from field survey data. Also, a study area has been determined, and criteria of estimation has been established : criteria such as, available hydrological data, the size of stream lengths and basin areas and regional characteristics. The spacial analysis is applied to stream slopes for upstream and downstream at weirs, stream networks and ground water pump stations, sinuosity of drying stream. As a result of drying streams survey analysis, drying stream characteristics are followed; levee types are earth and natural, cross sectional shapes are trapezoid, stream bed materials are gravels and sands, facilities in streams are weirs. The cause of the reduction analyzed by investigation of the current status of facilities for agricultural water use. Agricultural reservoirs block up the stream and water does not flow over the reservoirs except by storm. They also discharge water through diversion channels and the water diverted does not flow through the natural stream. Farmers directly take water from the stream by weirs.

  • PDF

이동체 데이터 스트림의 실시간 관리를 위한 시공간 DSMS의 개발 (Development of a Spatio-Temporal DSMS for the Real-time Management of Moving Objects Data Stream)

  • 신인수;김장우;김정준;한기준
    • 대한공간정보학회지
    • /
    • 제20권1호
    • /
    • pp.21-31
    • /
    • 2012
  • 오늘날 유비쿼터스 컴퓨팅 기술이 발달함에 따라, 다양한 분야에서 이동체 위치 데이터에 대한 효율적인 관리의 중요성이 급속히 증가하고 있다. 그러나 이러한 용도로 사용되는 MODBMS나 DSMS는 이동체의 시공간 스트림 데이터에 대한 실시간 관리를 효율적으로 지원하지 못하고 있다. 따라서, 본 논문에서는 이동체의 시공간 데이터 스트림의 효율적인 실시간 관리를 위해 시공간 DSMS를 설계 및 구현하였다. 본 논문에서는 시공간 DSMS를 개발하기 위해서 OGC의 공간 데이터 타입과 공간 연산자를 지원하는 GEOS을 사용하여 스탠포드 대학에서 개발한 STREAM(STanford stREam dAta Manager)를 확장하였다. 마지막으로 본 논문에서 구현한 시공간 DSMS를 이동체의 시공간 스트림 데이터에 대한 실시간 관리가 필요한 실시간 모니터링 분야에 적용해 봄으로써 본 시스템의 효용성을 검증하였다.

TIM: A Trapdoor Hash Function-based Authentication Mechanism for Streaming Applications

  • Seo, Seog Chung;Youn, Taek-Young
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권6호
    • /
    • pp.2922-2945
    • /
    • 2018
  • Achieving efficient authentication is a crucial issue for stream data commonly seen in content delivery, peer-to-peer, and multicast/broadcast networks. Stream authentication mechanisms need to be operated efficiently at both sender-side and receiver-side at the same time because of the properties of stream data such as real-time and delay-sensitivity. Until now, many stream authentication mechanisms have been proposed, but they are not efficient enough to be used in stream applications where the efficiency for sender and receiver sides are required simultaneously since most of them could achieve one of either sender-side and receiver-side efficiency. In this paper, we propose an efficient stream authentication mechanism, so called TIM, by integrating Trapdoor Hash Function and Merkle Hash Tree. Our construction can support efficient streaming data processing at both sender-side and receiver-side at the same time differently from previously proposed other schemes. Through theoretical and experimental analysis, we show that TIM can provide enhanced performance at both sender and receiver sides compared with existing mechanisms. Furthermore, TIM provides an important feature for streaming authentication, the resilience against transmission loss, since each data block can be verified with authentication information contained in itself.

GIS를 이용한 안양천 유역의 오염부하량 산정 (Estimation of Pollution Load in Anyang Stream Basin Using GIS)

  • 최종욱;유병태;이민환;김건흥
    • 환경위생공학
    • /
    • 제14권3호
    • /
    • pp.1-9
    • /
    • 1999
  • In the estimation of pollution load in water basin, a data information has generally used from surveyed data. A Geographic Information System(GIS) was adopted to evaluate the amount of pollution load in Anyang stream basin which is one of the major tributaries in the Han river flows through urban area. The digital maps of administrative boundary, stream network, sub-basin, soil type, and land-use for spatial data as well as attribute data were generated. And the database of sub-basins and pollution source was structured to estimate pollution load in Anyang stream basin by an Arc/Info GIS.As the results of this investigation, the pollution load of Mokgam-chun sub-basin was the highest amount. And that of Hagi-chun sub-basin and the fourth main stream sub-basin were also high amount in Anyang stream basin. In general, it was found that the pollution load generated from the upstream area in Kyunggi province was higher than that from downstream area in Seoul. Because the point and non-point source pollution load played very significant role in the deterioration of the water quality of the Anyang stream, an integrated approach to water quality management should be required for the sub-basins of high pollution load amount.

  • PDF

유역모형을 이용한 금강상류 유역의 유사이송율 산정 (Estimation of Sediment Delivery Ratio in Upper Geum River Basin Using Watershed Model)

  • 김태근;김민주
    • 환경영향평가
    • /
    • 제22권6호
    • /
    • pp.695-703
    • /
    • 2013
  • Soil erosion and sediment delivery ratio(SDR) were estimated by using HSPF model in 3 tributaries of upper stream of Geum river-basin. Meteorological data and other input data were constructed from 2006 to 2011 year by the HSPF model. Flow and suspended solid results were relatively matched with the measurement data through the calibration and validation of the model. Soil erosion was proportional to the amount of rainfall and the area of watershed based on the results of model calibration and validation. SDR in Moojunamdea stream was the highest and one in Cho stream was the lowest. This was effected by the geographical characteristic. SDR was 17.6% Moojunamdea stream, 9.1% Cho stream and 13.2 % Bocheong stream. As the SDR was effected by watershed area and shape factor in this study area.