• 제목/요약/키워드: stream computing

검색결과 191건 처리시간 0.027초

분산 공간 데이터 스트림 처리에서 질의 영역의 겹침을 고려한 공간 연산 배치 기법 (Spatial Operation Allocation Scheme over Common Query Regions for Distributed Spatial Data Stream Processing)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제13권6호
    • /
    • pp.2713-2719
    • /
    • 2012
  • 위치를 기반으로 하는 서비스가 다양해짐에 따라 고가용성과 고확장성을 제공하기 위한 분산 데이터 스트림 처리 기법에 대한 연구가 널리 수행되고 있다. 기존 연구는 분산된 노드들에서 부하의 균형을 유지하기 위해 공간 데이터 스트림의 지리적인 특성을 고려하지 않고 있어 공간적으로 인접한 연산을 수행함에 있어 전체 시스템의 부하를 증가시키고 있다. 본 논문에서는 분산 환경의 공간 데이터 스트림을 처리하기 위해 공간 영역의 겹침을 고려한 연산배치 기법을 제안한다. 제안 기법에서는 인접한 공간 영역을 대상으로 하는 연산을 효율적으로 분리하기 위해 질의 영역이 겹치는 부분의 연산을 우선적으로 동일 노드에 분배하여 중복 영역에 대한 공유의 최대화를 보장한다.

Real-Time Communication using TMO(Time-Triggered and Message-Triggered Object) in Distributed Computing Systems

  • Kim, Gwang-Jun;Kim, Chun-Suk;Kim, Yong-Gin;Yoon, Chan-Ho;Kim, Moon-Hwan
    • Journal of information and communication convergence engineering
    • /
    • 제1권1호
    • /
    • pp.12-22
    • /
    • 2003
  • Real-time(RT) object-oriented(OO) distributed computing is a form of RT distributed computing realized with a distributed computer system structured in the form of an object network. Several approached proposed in recent years for extending the conventional object structuring scheme to suit RT applications, are briefly reviewed. Then the approach named the TMO (Time-triggered Message-triggered Object) structuring scheme was formulated with the goal of instigating a quantum productivity jump in the design of distributed time triggered simulation. The TMO scheme is intended to facilitate the pursuit of a new paradigm in designing distributed time triggered simulation which is to realize real-time computing with a common and general design style that does not alienate the main-stream computing industry and yet to allow system engineers to confidently produce certifiable distributed time triggered simulation for safety-critical applications. The TMO structuring scheme is a syntactically simple but semantically powerful extension of the conventional object structuring approached and as such, its support tools can be based on various well-established OO programming languages such as C++ and on ubiquitous commercial RT operating system kernels. The Scheme enables a great reduction of the designers efforts in guaranteeing timely service capabilities of application systems

DART: Fast and Efficient Distributed Stream Processing Framework for Internet of Things

  • Choi, Jang-Ho;Park, Junyong;Park, Hwin Dol;Min, Ok-gee
    • ETRI Journal
    • /
    • 제39권2호
    • /
    • pp.202-212
    • /
    • 2017
  • With the advent of the Internet-of-Things paradigm, the amount of data production has grown exponentially and the user demand for responsive consumption of data has increased significantly. Herein, we present DART, a fast and lightweight stream processing framework for the IoT environment. Because the DART framework targets a geospatially distributed environment of heterogeneous devices, the framework provides (1) an end-user tool for device registration and application authoring, (2) automatic worker node monitoring and task allocations, and (3) runtime management of user applications with fault tolerance. To maximize performance, the DART framework adopts an actor model in which applications are segmented into microtasks and assigned to an actor following a single responsibility. To prove the feasibility of the proposed framework, we implemented the DART system. We also conducted experiments to show that the system can significantly reduce computing burdens and alleviate network load by utilizing the idle resources of intermediate edge devices.

이동 클라이언트에서 효율적인 XML 질의 처리를 위한 XML 조각 스트림 구성 기법 (Techniques of XML Fragment Stream Organization for Efficient XML Query Processing in Mobile Clients)

  • 류정훈;강현철
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.75-94
    • /
    • 2009
  • XML이 웹에서 데이터 교환의 표준으로 부각된 이래 전자 거래의 핵심 요소로 자리 잡으며 유비쿼터스 컴퓨팅 환경에서도 XML 데이터에 대한 효율적인 질의 처리에 관한 연구가 발하게 이루어지고 있다. 최근에는 XML 문서를 XML 조각으로 분할하여 스트리밍하고 이동 클라이언트에서 이를 수신하면서 질의 처리하는 기법이 제안되었다. XML 조각 스트림에대한 질의 처리는 스트림을 구성하는 각 조각의 전송 순서에 따라 평균 접근 시간에서 큰 차이를 보인다. 따라서 질의 성능을 높이기 위한 효과적인 XML 조각 스트림 구성 방법이 요구되며, 튜닝 시간의 단축을 통해 에너지 효율적인 질의 처리를 가능하게 하는 인덱싱도 요구된다. 본 논문에서는 사용자 질의 빈도와 질의 처리 시 접근되는 XML 조각의 크기 및 중복에 기반을 둔 XML 조각 스트림 구성 및 능동 XML 형식의 인덱스 구성을 제안한다. 구현 및 성능 실험 결과 본 논문에서 제시한 기법이 다양한 사용자 질의 집합 및 빈도에 대해 기존의 XML 조각 스트림 구성 기법에 비해 접근 시간 및 튜닝 시간 양면에서 모두 우수함을 확인하였다.

  • PDF

이동체 데이터 스트림의 실시간 관리를 위한 시공간 DSMS의 개발 (Development of a Spatio-Temporal DSMS for the Real-time Management of Moving Objects Data Stream)

  • 신인수;김장우;김정준;한기준
    • 대한공간정보학회지
    • /
    • 제20권1호
    • /
    • pp.21-31
    • /
    • 2012
  • 오늘날 유비쿼터스 컴퓨팅 기술이 발달함에 따라, 다양한 분야에서 이동체 위치 데이터에 대한 효율적인 관리의 중요성이 급속히 증가하고 있다. 그러나 이러한 용도로 사용되는 MODBMS나 DSMS는 이동체의 시공간 스트림 데이터에 대한 실시간 관리를 효율적으로 지원하지 못하고 있다. 따라서, 본 논문에서는 이동체의 시공간 데이터 스트림의 효율적인 실시간 관리를 위해 시공간 DSMS를 설계 및 구현하였다. 본 논문에서는 시공간 DSMS를 개발하기 위해서 OGC의 공간 데이터 타입과 공간 연산자를 지원하는 GEOS을 사용하여 스탠포드 대학에서 개발한 STREAM(STanford stREam dAta Manager)를 확장하였다. 마지막으로 본 논문에서 구현한 시공간 DSMS를 이동체의 시공간 스트림 데이터에 대한 실시간 관리가 필요한 실시간 모니터링 분야에 적용해 봄으로써 본 시스템의 효용성을 검증하였다.

Human Activity Recognition in Smart Homes Based on a Difference of Convex Programming Problem

  • Ghasemi, Vahid;Pouyan, Ali A.;Sharifi, Mohsen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권1호
    • /
    • pp.321-344
    • /
    • 2017
  • Smart homes are the new generation of homes where pervasive computing is employed to make the lives of the residents more convenient. Human activity recognition (HAR) is a fundamental task in these environments. Since critical decisions will be made based on HAR results, accurate recognition of human activities with low uncertainty is of crucial importance. In this paper, a novel HAR method based on a difference of convex programming (DCP) problem is represented, which manages to handle uncertainty. For this purpose, given an input sensor data stream, a primary belief in each activity is calculated for the sensor events. Since the primary beliefs are calculated based on some abstractions, they naturally bear an amount of uncertainty. To mitigate the effect of the uncertainty, a DCP problem is defined and solved to yield secondary beliefs. In this procedure, the uncertainty stemming from a sensor event is alleviated by its neighboring sensor events in the input stream. The final activity inference is based on the secondary beliefs. The proposed method is evaluated using a well-known and publicly available dataset. It is compared to four HAR schemes, which are based on temporal probabilistic graphical models, and a convex optimization-based HAR procedure, as benchmarks. The proposed method outperforms the benchmarks, having an acceptable accuracy of 82.61%, and an average F-measure of 82.3%.

모바일 계산환경에서 거래 관리를 위한 동시성 제어 (Concurrency Control for Transaction Management in Mobile Computing)

  • Rhee, Hae-kyung
    • 전자공학회논문지CI
    • /
    • 제40권6호
    • /
    • pp.22-31
    • /
    • 2003
  • 데이터베이스 시스템에서 기존의 동시성 제어전략은 통신 중단이 빈번히 발생하는 모바익 컴퓨팅 환경 하에서는 부적절하다. 모바일 컴퓨팅에서는 거래들을 처리하기 위한 시간이 극히 제한적이다. 이러한 시간을 가장 효율적으로 활용하기 위해서는 단기거래위주의 처리가 바람직하다 통신 중단으로 인한 Service Handoff는 특히 단기거래인 경우 모바일 거래들의 성능을 저하시킬 수 있다. 이타적 잠금 기법은 lock/unlock연산 이외에 donate 연산을 사용하기 때문에 단기거래 들에 대해 효율적이다. 모바일 컴퓨팅에서 이타적 잠금 기법을 사용했을 경우 단기거래의 성능은 향상될 수 있다.

이동형 운영체제를 위한 적응적 스트림 처리기 설계 및 구현 (A Design and Implementation of an Adaptive Stream Controller for Mobile Operating System)

  • 박성근;오미경;임영환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.147-150
    • /
    • 2002
  • 본 논문에서는 이동 단말기 중 하나인 Windows CE 기반 PDA를 위한 적응적 멀티미디어 스트림 처리기를 설계 및 구현하였다. 제한된 시스템 환경을 갖고 있는 PDA 상에서 멀티미디어 데이터를 실시간으로 전송 및 저장할 때 생기는 메모리 문제를 효율적으로 해결하기 위하여 적응적 버퍼 관리 기법을 사용하였다. 단말기에 적합한 형태로 멀티미디어 데티터를 변환하여 전송하기 위하여 필터를 사용하였고, 필터 파이프라인을 구성하였다. 또한 다양한 형태의 미디움과 필터의 입출력을 일관성 있게 처리하기 위해서 DLM(Dynamic Linking Module) 구조를 사용하였다.

  • PDF

센서 네트워크를 위한 PCA 기반의 데이터 스트림 감소 기법 (A PCA-based Data Stream Reduction Scheme for Sensor Networks)

  • 알렉산더 페도시브;최영환;황인준
    • 인터넷정보학회논문지
    • /
    • 제10권4호
    • /
    • pp.35-44
    • /
    • 2009
  • 데이터 스트림이란 새로운 개념과 기존의 단순 데이터 사이에 존재하는 개념적 차이를 극복하기 위해서는 많은 연구가 필요하다. 대표적인 예로써 센서 네크워크에서의 데이터 스트림 처리를 들 수 있는 데, 이를 위해서는 대역폭이나 에너지, 메모리와 같은 자원적 한계에서 부터 연속 질의를 포함하는 질의처리의 특수성까지 고려해야 할 대상이 광범위하다. 본 논문에서는 데이터 스트림 처리에서의 물리적 제약사항에 해당하는 한정된 메모리 문제를 해결하기 위해 PCA 기법을 기반으로 하는 데이터 스트림 축소 방안을 제안하다. PCA는 상호 관련된 다수의 변수들을 관련이 없는 적은 수의 변수로 변환해준다. 본 논문에서는 질의 처리 엔진의 협력을 가정하고서 센서 네크워크의 스트림 데이터 처리를 위해 PCA 기법을 적용하며, 다른 센서로부터 얻어진 많은 측정값 사이에 시공간적 관련성을 이용한다. 최종적으로 그러한 데이터 처리를 위한 프레임워크를 제시하고 다양한 실험을 통하여 기법의 성능을 분석한다.

  • PDF

해양플랜트의 예지보전을 위한 실시간 데이터 스트림 처리 구현 (Implementation of Real-time Data Stream Processing for Predictive Maintenance of Offshore Plants)

  • 김성수;원종호
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.840-845
    • /
    • 2015
  • 최근 빅데이터는 전사적 자원관리 분야뿐만 아니라 해양플랜트내 생산 및 운영 작업 분야에서도 큰 관심을 받고 있다. 이력데이터를 기반으로 미래의 설비에 대한 성능을 예측하는 것은 설비들의 생산성을 향상 시킬 수 있다. 특히 해양플랜트의 주요설비 중 하나인 원심압축기는 고장 시 폭발 할 수 있는 위험한 설비이기 때문에 실시간으로 설비성능을 모니터링 해야 한다. 본 논문에서 원심압축기의 성능을 계산하기 위한 스트림 데이터 처리 구조를 제안한다. 제안하는 시스템은 크게 가상태그 스트림 생성기와 실시간 데이터 스트림 관리자와 같이 두 가지 컴포넌트로 구성된다. 시스템 성능 확장성을 제공하기 위해, 멀티 코어 CPU를 사용하여 대용량 스트림 데이터를 처리할 수 있는 병렬 프로그래밍 접근 방식을 이용하였다. 또한, 실험을 통해 원심압축기의 스트림 데이터 처리에 대한 성능 개선을 보여주었다.