• 제목/요약/키워드: Stream Processing System

검색결과 293건 처리시간 0.03초

Efficient Data Management in RFID Applications

  • Cho, Yong-Jun;Bok, Kyoung-Soo;Park, Yong-Hun;Park, Hyeong-Soon;Park, Jun-Ho;Kang, Tae-Ho;Kim, Hak-Yong;Yoo, Jae-Soo
    • International Journal of Contents
    • /
    • 제5권1호
    • /
    • pp.46-50
    • /
    • 2009
  • Logistics is in the limelight as one of a variety of RFID applications. The RFID technology is actively being applied to improve the competitiveness power of companies through the synthetic management of products and information. The RFID system generates large volume of stream data. It has problems which occur waste of storage and long processing time when storing large data and processing queries. Recently, many studies have been done to solve the problems which are generated in RFID system. In this thesis, we propose an efficient data management scheme for path queries and containment queries which are occurred frequently. The proposed data management scheme considers a change of the containment of products during a transport and supports a path of changed products by representing a path of various containments. Also, the compression utilizing the structure of supply chain reduces the stored data volumes. In order to show the superiority of our approach, we compare it with the existing schemes. As a result, our experimental results show that our scheme outperforms the existing scheme in terms of storage efficiency and query processing time.

데이터 스트림 저장을 위한 순환버퍼 기법 (Circular Buffer Technique for Storing Data Stream)

  • 신재진;유병섭;어상훈;이동욱;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.20-23
    • /
    • 2007
  • 본 논문은 데이터 스트림의 저장을 위한 순환버퍼 기법을 제안한다. 빠르고 많은 입력을 가지는 데이터 스트림의 처리를 위해 DSMS(Data Stream Management System)란 새로운 시스템에 대한 연구가 활발히 진행되고 있다. 현재 입력되고 있는 데이터 스트림과 과거에 발생했던 데이터 스트림을 동시에 검색하는 하이브리드 질의를 위해서는 데이터 스트림이 디스크에 저장되어야 한다. 그러나 데이터 스트림의 빠른 입력 속도와 메모리와 디스크 공간의 한계 때문에 저장된 데이터 스트림에 대한 질의보다는, 현재 입력되고 있는 데이터 스트림에 대한 질의에 대한 연구들이 주로 이루어졌다. 본 논문에서는 제안하는 순환버퍼는 데이터 스트림의 입력과 출력을 비동기적으로 빠르게 실행할 수 있다. 또한 입력되는 네트워크 패킷의 감소와 출력 시 디스크 I/O의 감소를 위하여 순환버퍼에서는 데이터 스트림의 묶음 단위로 입출력이 진행된다. 실험을 통하여 기술이 대량으로 입력되는 데이터 스트림을 빠르게 저장시킬 수 있다는 것을 보인다.

  • PDF

반려견에 초점을 맞춰 추출하는 영상 기반의 행동 탐지 시스템 (Dog Activities Recognition System using Dog-centered Cropped Images)

  • 오스만;이종욱;박대희;정용화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.615-617
    • /
    • 2023
  • In recent years, the growing popularity of dogs due to the benefits they bring their owners has contributed to the increase of the number of dogs raised. For owners, it is their responsibility to ensure their dogs' health and safety. However, it is challenging for them to continuously monitor their dogs' activities, which are important to understand and guarantee their wellbeing. In this work, we introduce a camera-based monitoring system to help owners automatically monitor their dogs' activities. The system receives sequences of RGB images and uses YOLOv7 to detect the dog presence, and then applies post-processing to perform dog-centered image cropping on each input sequence. The optical flow is extracted from each sequence, and both sequences of RGB and flow are input to a two-stream EfficientNet to extract their respective features. Finally, the features are concatenated, and a bi-directional LSTM is utilized to retrieve temporal features and recognize the activity. The experiments prove that our system achieves a good performance with the F-1 score exceeding 0.90 for all activities and reaching 0.963 on average.

클러스터 환경에서 GeoSensor 스트림 데이터의 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법 (A Dual Processing Load Shedding to Improve The Accuracy of Aggregate Queries on Clustering Environment of GeoSensor Data Stream)

  • 지민섭;이연;김경배;배해영
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.31-40
    • /
    • 2012
  • 인간의 삶을 돕는 유비쿼터스 환경에서 GeoSensor의 다양한 센서 데이터들을 다루는 u-GIS DSMS의 연구가 진행되고 있고 그에 따른 고가용성 서비스를 제공하기 위한 클러스터 시스템이 대두되고 있다. GeoSensor에 의해 수집되는 데이터는 폭발적으로 발생되는 특징을 가지고 있다. 이러한 특징은 서버의 제한된 메모리로 인하여 주어진 메모리를 초과하는 현상과 데이터가 손실되어 질의 정확도가 떨어지는 현상이 발생한다. 이를 해결하기 위해 부하제한 기법들이 활발히 연구되고 있다. 하지만 기존의 기법들은 단일 서버환경에서의 기법들로써 필터링을 통해 부하가 발생한 큐의 튜플들을 특별한 기준에 의해 드롭하는 방식이다. 그렇기 때문에 집계질의와 같은 튜플 삭제에 민감한 질의의 정확도를 만족시키기 어렵다. 본 논문에서는 GeoSensor 스트림 데이터의 클러스터링 환경에서 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법을 제안한다. 본 기법은 두 노드가 고가용성을 위해 이중화 되어있는 스트림 데이터의 환경을 이용한다. 같은 스트림의 데이터를 공유하고 있는 특성을 이용해 두 노드에서 하나의 스트림의 데이터를 나누어 처리한다. 이때 슬라이딩 윈도우 단위로 두 노드 간 스트림 데이터를 동기화한다. 그리고 각 노드에서 처리된 결과를 다시 병합하는 방식이다. 성능평가를 통해 기존 기법들과 달리 튜플의 손실 없이 집계질의의 질의 정확도가 향상된 결과를 얻을 수 있었다.

멀티캐스트 기반의 VOD 시스템에서 MPEG의 특성을 고려한 VCR 기능의 설계 (Design of VCR Functions With MPEG Characteristics for VOD based on Multicast)

  • 이좌형;정인범
    • 정보처리학회논문지C
    • /
    • 제16C권4호
    • /
    • pp.487-494
    • /
    • 2009
  • VOD(Video On Demand) 시스템은 실시간으로 사용자의 요구를 받아들여 동영상 서비스를 제공하는 시스템으로서 크게 서비스를 제공하는 서버와 사용자의 요구를 처리하는 클라이언트로 구성된다. 하나의 서버에서 다수의 사용자에게 1:1로 서비스를 제공하기에는 네트워크 대역폭의 제약이 크기 때문에 이를 해결하기 위한 다양한 연구들이 진행되어왔다. 그 동안 제안된 다양한 멀티캐스트 기반의 VOD시스템들 중에서 Batching방식의 VOD시스템이 단순하면서 네트워크 부하가 적은 것으로 알려져 있다. 하지만 Batching방식에 의한 VOD시스템에서는 VCR(Video Cassette Recorder)기능을 제공하기 어렵기 때문에 VOD시스템의 On-Demand 특성을 제대로 제공하지 못하는 단점이 있다. 본 논문에서는 대표적인 동영상 압축표준인 MPEG의 특성을 이용하여 VCR기능을 제공하기 위해 필요한 대역폭을 최소화하는 기법을 제안한다. 제안하는 기법에서는 MPEG로 압축된 동영상에서 독립적 재생이 가능한 I픽쳐만 추출하여 빠른 재생을 위한 데이터를 별도로 구성한다. 이렇게 구성된 빠른 재생을 위한 데이터와 일반적인 재생을 위한 데이터 모두 Batching방식으로 멀티캐스팅으로 전송한다. 성능분석을 통하여 제안된 기법을 사용할 경우 클라이언트의 버퍼요구량과 네트워크 사용량을 줄이고 이와 더불어 CPU사용량도 줄어드는 것을 확인하였다.

디스플레이 소자 개발을 위한 다결정 실리콘 확산의 컴퓨터 모델링에 관한 연구 (Computer Modeling of Impurity Diffusion in Poly-silicon for Display Devices)

  • 이흥주;이준하
    • 한국산학기술학회논문지
    • /
    • 제5권3호
    • /
    • pp.210-217
    • /
    • 2004
  • 본 연구는 기존 반도체 단위공정의 실리콘 중심 CAD 환경을 다결정실리콘 중심의 환경으로 전환하는 방법론에 대해 제안하였다. 다결정실리콘 공정에서의 확산과 이온도핑에 의한 불순물 이동에 관련하여 결정립내부와 결정립계상에서의 확산을 동시에 고려하는 이중흐름(two-stream)모델을 채택하고, 이와 관련된 파라미터들의 민감도 분석을 통하여 다결정실리콘 컴퓨터 시뮬레이션 환경을 재구성하였다. 시뮬레이터의 캘리브레이션 과정을 거친 결과 다결정실리콘에 대한 SIMS 데이터와 전반적으로 잘 일치하였다.

  • PDF

센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계 (Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment)

  • 박준용;이광원;황윤철;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF

실시간 센서 네트워크에서 불완전 센서 스트림 데이터를 위한 질의 처리 시스템 (Query Processing System for Incomplete Sensor Stream Data of in Real-time Sensor Network)

  • 장유호;이상호;김용승;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.123-124
    • /
    • 2014
  • 무선 센서 네트워크는 센서들을 근거리 네트워크로 연결하여 사용자와 현장의 정보를 실시간으로 연결해 주는 매개체 역할을 한다. 이러한 무선 센서 네트워크는 기존의 컴퓨팅 시스템과는 달리 제한된 자원과 환경 속에서 동작을 해야 하고, 접근이 힘든 곳이나 지속적인 관리가 필요한 지역에서 효율적으로 사용된다. 본 논문에서는 무선 센서네트워크의 제한된 자원 속에서 불완전 스트림 데이터를 효율적으로 정제하고 처리하여 빠르고 정확한 질의어 처리가 가능한 질의 시스템을 제안하였다.

  • PDF

Video data output system design for CEU (camera electronic unit) of satellite

  • Park, Jong-Euk;Kong, Jong-Pil;Yong, Sang-Soon;Heo, Haeng-Pal;Kim, Young-Sun;Paik, Hong-Yul
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1118-1120
    • /
    • 2003
  • In MSC(Multi-spectral camera ), the incoming light is converted to electronic analog signals by the CCD(charge coupled device) detectors. The analog signals are amplified, biased and converted into digital signals (pixel data stream) in the FPE(Focal plane electronics ). The digital data is transmitted to the PMU for pre-processing to correct for nonuniformity, to partially reorder the pixel stream and to add header data for identification and synchronization In this paper, the video data streams is described in terms of hardware.

  • PDF

RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘 (A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer)

  • 한수;신승호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF