• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권4호
• /
• pp.1146-1165
• /
• 2022

A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 춘계학술발표대회
• /
• pp.211-212
• /
• 2011

스트림 프로세싱 시스템은 실시간 데이터 수집 장치와 대규모 분산 컴퓨팅 환경이 결합되어 데이터 생성과 가공을 통하여 다수의 결과를 병렬적으로 도출하는 분산 프로그래밍 모델이다. 본 논문에서는 프로세스간에 필수적으로 요구되는 유입데이터 버퍼 관리에 초점을 두고 있다. 데이터의 유입률에 따라 동적으로 분석 프로세스를 확장시킴으로서 프로세스간 버퍼의 크기를 제어하는 기법을 제안하며 시뮬레이션을 통하여 성능 분석을 하였다.

• 융합신호처리학회논문지
• /
• 제3권3호
• /
• pp.14-20
• /
• 2002

본 논문에서는 현재의 인터넷 환경하에서 클라이언트가 가진 대역폭을 최대한 활용하여 최선의 서비스를 제공할 수 있는 웨이브릿 기반에서 SPIHT(set partitioning in hierarchical trees)를 이용한 비디오 데이터의 압축과 멀티스트림을 이용한 전송 기법을 제안한다. 실험 결과, 제안한 방법은 웨이브릿 기반 비디오 부호화기를 이용하였기 때문에 동일한 비트율에서 기존의 DCT(discrete consine transform) 기반 비디오 부호화보다 블록킹 현상이 없이 화질이 약 1.5dB가 상승하였으며, 점진적 전송이 가능하였다. 그리고, 고압축시 발생하는 에러 전파를 막기 위해 TCP(transmission control protocol)상에서 효율적인 전송과 네트워크의 지터에 강하며 클라이언트가 가진 대역폭을 최대한 활용할 수 있는 멀티스트림 전송을 통해 그 효용성을 확인하였다.

• 한국통신학회논문지
• /
• 제38C권11호
• /
• pp.972-981
• /
• 2013

미래전의 양상은 네트워크중심전(NCW: Network Centric Warfare)으로 바뀌고 있으며, 다양한 전력 요소가 유무선 네트워크와 상호 유기적인 연결을 통한 첨단 정보통신기술의 활용이 네트워크중심전의 구현에 핵심 요소라고 할 수 있다. 그리고 네트워크중심전에 사용되는 다양한 정보들은 기밀성과 무결성이 우수하면서 신뢰성 있는 실시간 처리만이 빠른 상황판단을 할 수 있고, 이는 전쟁 승리의 핵심이 된다. 본 논문에서는 네트워크중심전 구현에 핵심 기술 중 하나인 암호 알고리즘으로서 128비트 출력 스트림 암호를 개발했다. 개발한 스트림 암호는 AES를 기반으로 변형된 OFB모드를 적용하여 기밀성과 무결성 그리고 하드웨어로 구현하여 실시간처리와 안전성이 우수하다.

• 한국콘텐츠학회논문지
• /
• 제8권4호
• /
• pp.48-54
• /
• 2008

본 논문에서는 데이터 스트림 환경에서 윈도우 기반 연산자를 대상으로 메모리와 연산 비용의 상대적인 이해득실 관계를 분석한다. 이를 위하여 기본적인 연산자 네트워크 구성 요소를 식별하고, 윈도우 메모리의 재배치를 통한 메모리 소요량의 감소 효과와, 이로 인한 추가적인 연산 비용의 규모를 산정하는 비용 모델을 수립한다. 이러한 비용 모델을 통해 윈도우 메모리의 재배치의 효용성을 확인하고, 이러한 접근 방법을 데이터 스트림 질의의 실행 계획 개선을 위해 효과적으로 활용할 수 있는 방법을 모색한다. 이를 통해 데이터 스트림 환경에서 질의 처리 및 최적화의 적용 영역을 확장시키고, 윈도우 메모리 재배치를 통한 질의최적화를 위한 비용 산정 모델의 토대를 제공한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.332-335
• /
• 2008

In this paper, based on H-tree, which is proposed as the basic data cube structure for multi-dimensional data stream analysis, we have done some analysis. We find there are a lot of redundant nodes in H-tree, and the tree-build method can be improved for saving not only memory, but also time used for inserting tuples. Also, to facilitate more fast and large amount of data stream analysis, which is very important for stream research, H^*-tree is designed and developed. Our performance study compare the proposed H^*-tree and H-tree, identify that H^*-tree can save more memory and time during inserting data stream tuples.

• 로봇학회논문지
• /
• 제14권4호
• /
• pp.340-347
• /
• 2019

Due to advances in machine intelligence and increased demands for autonomous machines, the complexity of the underlying software platform is increasing at a rapid pace, overwhelming the developers with implementation details. We attempt to ease the burden that falls onto the developers by creating a graphical programming framework we named Splash. Splash is designed to provide an effective programming abstraction for autonomous machines that require stream processing. It also enables programmers to specify genuine, end-to-end timing constraints, which the Splash framework automatically monitors for violation. By utilizing the timing constraints, Splash provides three key language semantics: timing semantics, in-order delivery semantics, and rate-controlled data-driven stream processing semantics. These three semantics together collectively serve as a conceptual tool that can hide low-level details from programmers, allowing developers to focus on the main logic of their applications. In this paper, we introduce the three-language semantics in detail and explain their function in association with Splash's language constructs. Furthermore, we present the internal workings of the Splash programming framework and validate its effectiveness via a lane keeping assist system.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.413-416
• /
• 2008

In the presence of multiple continuous queries, multi-query optimizing is a new challenge to process multiple stream data in real-time. So, in this paper, we proposed an approach to optimize multi-query of sliding window on network traffic data streams and do some comparisons to traditional queries without optimizing. We also detail some method of scheduling on different data streams, while different scheduling made different results. We test the results on variety of multi-query processing schedule, and proofed the proposed method is effectively optimized the data stream similar multi-queries.

• 한국정보처리학회논문지
• /
• 제7권7호
• /
• pp.2050-2059
• /
• 2000

In a video-on-Demand(VOD) service, a server has to return to he normal playback quickly at a certain new frame position after interactive operations such as jump or last playback. In this paper, we propose an efficient scheme to write a transmission schedule for a playback restart of a video stream at a new frame position after interactive operations. The proposed scheme is based on convergence characteristics, that is transmission schedules with different playback startup frame position in a video stream meet each other at some frame position. The scheme applies a bandwidth smoothing from a new frame position to a convergence position without considering all remaining frames of a video stream. And then the scheme transmits video dta according to the new schedule from the new frame position to the convergence position, and then transmits the remaining video data according to the reference schedule from the convergence position, and then transmits the remaining video data according to the reference schedule from the convergence position to the last frame position. In this paper, we showed that there existed the convergence position corresponding to nay frame position in a video stream through many experiments based on MPEG-1 bit trace data. With the convergence we reduced the computational overhead of a bandwidth smoothing, which was applied to find a new transmission schedule after interactive operations. Also, storage overhead is greatly reduced by storing pre-calculated schedule information up to the convergence position for each I frame position of a video stream with video data off-line. By saving information on a transmission schedule off-line along with the video data and searching the schedule corresponding to the specified restarting frame position, we expect the possibility of normal playback of a video stream with small tolerable playback startup delay.

• 한국공간정보시스템학회 논문지
• /
• 제9권1호
• /
• pp.45-57
• /
• 2007

최근 센서 장치의 발달은 무선 센서 네트워크와 같은 진보된 기술에 대한 연구를 가속화시켰다. 뿐만 아니라, GPS(Global Positioning System) 기능을 보유한 공간 센서는 공간 정보와 비공간 정보를 동시에 사용하는 유비쿼터스 시대를 이끌어가고 있다. 이러한 새로운 시대에 있어서, 공간 센서 데이타에 대한 실시간 처리 시스템은 필수적이다. 이 때문에, DSMS(Data Stream Management System)라 불리는 새로운 개념의 데이타 처리 시스템이 많은 연구자들에 의해 연구되고 있다. 그러나 대부분의 DSMS들이 공간 센서 데이타 처리를 위한 공간 함수를 지원하지 않기 때문에 유비쿼터스 컴퓨팅에 적합하지 않다. 그러므로, 본 논문에서는 이러한 문제를 해결하고자 STREAM(STanford stREam datA Manager)을 확장한 공간 DSMS를 설계 및 구현하였다. 즉, Geometry 타입과 공간 함수를 공간 센서 데이타 처리를 위해 추가하였고, 또한 시스템에서 공유되는 공간 객체를 효율적으로 관리하기 위한 공간 객체 관리자를 추가하였다. 특히, 상호운용성을 위하여 OGC(Open Geospatial Consortium)에서 제시한 Simple Features Specification for SQL을 구현하였고, GEOS(Geometry Engine Open Source)의 알고리즘을 본 시스템에 적용하였다.