• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권7호
• /
• pp.2977-2997
• /
• 2018

In big data era, fresh data grows rapidly every day. More than 30,000 gigabytes of data are created every second and the rate is accelerating. Many organizations rely heavily on real time streaming, while big data stream computing helps them spot opportunities and risks from real time big data. Storm, one of the most common online stream computing platforms, has been used for big data stream computing, with response time ranging from milliseconds to sub-seconds. The performance of Storm plays a crucial role in different application scenarios, however, few studies were conducted to evaluate the performance of Storm. In this paper, we investigate the performance of Storm under different application scenarios. Our experimental results show that throughput and latency of Storm are greatly affected by the number of instances of each vertex in task topology, and the number of available resources in data center. The fault-tolerant mechanism of Storm works well in most big data stream computing environments. As a result, it is suggested that a dynamic topology, an elastic scheduling framework, and a memory based fault-tolerant mechanism are necessary for providing high throughput and low latency services on Storm platform.

• 한국IT서비스학회지
• /
• 제3권1호
• /
• pp.101-115
• /
• 2004

The phrase "Ubiquitous Computing" has become popular ever since Mark Weiser used it in an article. It is to realize a computerized environment in which small computers are embedded and cooperate with each other. This environment will support many activities of our daily life. In a Ubiquitous Computing environment, various devices will be connected to the network from houses and buildings. Therefore it is necessary to ensure network security and to protect private data from tapping, falsification and the disguising of identity by others. This study reviews the Ubiquitous Computing technologies in detail and outlines the design concept of the Stream Cipher Algorithm.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
• /
• pp.1166-1171
• /
• 2000

기존의 멀티미디어 연구의 실현에 있어 가장 큰 문제라 할 수 있던 성능의 문제가 하드웨어의 급속한 발달로 해결되어 감에 따라 멀티미디어 및 제반 관련기술도 함께 발전되었으며 이에 기반한 multimedia stream에서의 event를 검출하기 위한 다양한 연구들이 진행되어 왔다. 그러나 지금까지의 연구는 주로 전송 및 저장, 검색에 집중되어 연구되어 왔으며 영상인식 등의 Vision관련 연구에서는 멀티미디어 스트리밍 기술과의 연동을 고려하지 않은 연구를 수행함에 따라 검출 가능한 event가 있다고 하더라도 응용영역에 종속적인 인테페이스만을 고려함에 따라 사용자가 이를 기술(記述, description)하거나, 사용자에게 검출 가능한 event를 제시하기 위해 일반화된 방법이 제시되어 있지 않았다. 본 연구에서는 사용자가 검출을 원하는 event를 기술하는 방법과, 시스템에서 검출 가능한 event를 제시하기 위한 방법을 제안하고, 제시되는 방법이 응용영역에 독립적이기 위해 요구되는 사항들과 객체 단위인 이벤트/행위와 처리기 사이의 인터페이스에 관하여 정의한 후 기본적인 동작방식을 제안한다.

• 한국공간정보시스템학회 논문지
• /
• 제11권1호
• /
• pp.9-16
• /
• 2009

유비쿼터스 공간 컴퓨팅 환경에서 GeoSensor는 RFID, WSN, Web CAM, Digital Camera, CCTV, 텔레매틱스 단말 등에서 발생되는 다양한 데이터와 함께 직.간접적으로 지리적 정보를 포함하는 데이터 스트림을 발생하는 센서들로, 지리적 정보를 이용한 USN 기술과 공간적 특성에 기반을 둔 서비스의 활성화에 기여하고 있다. 이러한 GeoSensor를 기반으로 하는 다양한 u-GIS 서비스를 제공하기 위해서는 광역의 GeoSensor들로부터 발생하는 센서 데이터 스트림에 대한 효과적인 처리가 필수적이다. 본 연구에서는 위치 및 이동성을 갖는 GeoSensor들로부터 생성되는 실시간 데이터 스트림에 대한 효율적인 수집, 저장, 그리고 연속 질의 처리를 제공하여 사용자의 상황(Context)에 부합하는 다양한 u-GIS 응용 서비스의 효과적인 구축을 지원하는 GeoSensor 데이터 스트림 처리 시스템을 제안한다.

• 한국정보통신설비학회:학술대회논문집
• /
• 한국정보통신설비학회 2004년도 하계학술대회
• /
• pp.137-141
• /
• 2004

네트워크 사용자의 급속한 증가로 네트워크 내의 부하를 감당하기에는 많은 어려움을 가져왔다. 이와 같은 이유로 기존의 TCP/IP에서 세션을 통하여 노드들 간의 통신을 연결하는 방식에서 현재는 하나의 채널을 통해 고속의 I/O가 가능하도록 하는 기술이 많이 연구되고 있다. 그 대표적인 것으로 인피니밴드가 있다. 인피니밴드는 프로세싱 노드와 입출력 장치 사이의 통신, 프로세스간 통신에 대한 산업 표준이 되고 있고 프로세싱 노드와 입출력 장치를 연결하기 위해 스위치 기반의 상호 연결은 전통적인 버스 입출력을 대체하는 새로운 입출력 방식이 사용된다. 또한 인피니밴드에서는 현재 많은 이슈가 되고 있는 RDMA 방식을 이용해 원격지 서버들 간에 직접 메모리 접근 방식을 통해 CPU와 OS의 로드를 최소화하고 있다. 본 논문에서는 RDMA를 적용한 새로운 채널 기반 네트웍의 프로토콜인 SDP(Socket Direct Protocol)를 구현하여 SDP_STREAM의 패킷 처리량에 대한 성능을 평가한다. 그리고 이에 대한 성능 평가를 위해서 Netperf 툴을 이용했다. 특히 Zero-Copy방식을 사용하지 않는 일반적인 소켓 API을 이용한 TCP_STREAM과 Zero-Copy방식을 이용한 SDP_STREAM의 패킷 처리량을 비교했으며 성능 평가 결과는 기존의 TCP_STREAM 패킷 처리량에 비해 약 3배 이상 향상된 결과를 나타냈다.

• 한국물환경학회지
• /
• 제31권5호
• /
• pp.491-506
• /
• 2015

Distributed models represent watersheds using a network of numerous, uniform calculation units to provide spatially detailed and consistent evaluations across the watershed. However, these models have a disadvantage in general requiring a high computing cost. Semi-distributed models, on the other hand, delineate watersheds using a simplified network of non-uniform calculation units requiring a much lower computing cost than distributed models. Employing a simplified network of non-uniform units, however, semi-distributed models cannot but have limitations in spatially-consistent simulations of hydrogeochemical processes and are often not favoured for such a task as identifying critical source areas within a watershed. Aiming to overcome these shortcomings of both groups of models, a hybrid watershed model STREAM (Spatio-Temporal River-basin Ecohydrology Analysis Model) was developed in this study. Like a distributed model, STREAM divides a watershed into square grid cells of a same size each of which may have a different set of hydrogeochemical parameters reflecting the spatial heterogeneity. Like many semi-distributed models, STREAM groups individual cells of similar hydrogeochemical properties into representative cells for which real computations of the model are carried out. With this hybrid structure, STREAM requires a relatively small computational cost although it still keeps the critical advantage of distributed models.

• 인터넷정보학회논문지
• /
• 제18권3호
• /
• pp.1-9
• /
• 2017

스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

• 한국공간정보시스템학회 논문지
• /
• 제9권1호
• /
• pp.91-104
• /
• 2007

유비쿼터스 환경에서 사람들은 자신과 주변 환경의 변화에 따라 서비스들이 능동적으로 변하기를 기대한다. 스트리밍 서비스에서 이런 기대를 만족시키기 위해서는 사용자의 이동에 따라 다양한 단말기로 자유롭게 이동할 수 있는 기술과 개인화된 스트리밍 푸시 기술이 필요하다. 이에 본 논문에서는 사용자 정의 컨텍스트와 스트림뷰를 기반으로 유비쿼터스 스트리밍 서비스를 제공하는 U-Stream을 설계하고 구현하였다. 스트리밍 서비스 이동에 따른 컨텍스트를 분류하고 사용자에게 일부 컨텍스를 설정하게 함으로 개발자들의 예상의 의해 획일적으로 실행되는 서비스에서 벗어나 사용자 중심의 개인화된 서비스를 제공한다.

• Journal of Computing Science and Engineering
• /
• 제5권1호
• /
• pp.85-110
• /
• 2011

Achieving situation awareness is especially challenging for real-time data stream applications because they i) operate on continuous unbounded streams of data, and ii) have inherent realtime requirements. In this paper we showed how formal data stream modeling and analysis can be used to better understand stream behavior, evaluate query costs, and improve application performance. We used MEDAL, a formal specification language based on Petri nets, to model the data stream queries and the quality-of-service management mechanisms of RT-STREAM, a prototype system for data stream management. MEDAL's ability to combine query logic and data admission control in one model allows us to design a single comprehensive model of the system. This model can be used to perform a large set of analyses to help improve the application's performance and quality of service.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.878-879
• /
• 2021

Most state-of-the-art CNNs for action recognition are based on a two-stream architecture: RGB frames stream represents the appearance and the optical flow stream interprets the motion of action. However, the cost of optical flow computation is very high and then it increases action recognition latency. We introduce a design strategy for action recognition inspired by a two-stream network and teacher-student architecture. There are two sub-networks in our neural networks, the optical flow sub-network as a teacher and the RGB frames sub-network as a student. In the training stage, we distill the feature from the teacher as a baseline to train student sub-network. In the test stage, we only use the student so that the latency reduces without computing optical flow. Our experiments show that its advantages over two-stream architecture in both speed and performance.