• Proceedings of the Korean Society of Computer Information Conference
• /
• 2008.06a
• /
• pp.131-135
• /
• 2008

데이터스트림 환경에서 무한히 연속적으로 생성되는 데이터를 처리하고 분석하 는방법에 관한 많은 연구가진행중이다. 본 논문은 데이터스트림의 한 예인 네트워크 트래픽을 모니터링하기 위한 OLAP 구현에 대하여 기술한다. 제안하는 OLAP 시스템은 기존의 네트워크 모니터링 툴이 제공하지 못했던 다양한 연산을 지원하여 유연한 분석을 가능하게 하며, 정적인 데이터를 처리하는 데이터웨어하우스에서만 적용되던 OLAP을 데이터스트림 환경에 적용할 수 있게 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10c
• /
• pp.85-87
• /
• 2000

오늘날 초고속 통신망의 발달로 인해서 비디오와 오디오와 같은 멀티미디어 스트림의 요청이 많아지고 있다. 하지만 기존에 사용되고 있는 웹 캐슁 기법들은 아직까지 멀티미디어 스트림과 같이 크기가 큰 파일을 적절하게 처리하지 못하고 있다. 본 논문에서는 멀티미디어 스트림을 효율적으로 처리하여 캐쉬의 적중률을 높이고 사용자의 지연 시간을 줄이는 캐슁 기법을 제안한다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2000.08a
• /
• pp.297-300
• /
• 2000

본 논문에서는 MPEG 비디오 스트림을 분석하여 DCT DC 계수를 추출하고 이들로 구성된 DC 이미지로부터 제안하는 robust feature를 이용하여 shot을 구하고 각 feature들의 통계적 특성을 이용하여 스트림의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간변화량을 구한다. 구해진 변화량의 local maxima와 local minima는 MPEG 비디오 스트림에서 각각 가장 특징적인 frame과 평균적인 frame을 나타낸다. 이 순간의 frame을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고 사용자가 질의한 영상에 대해서 이들 파라메터를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.561-564
• /
• 2018

최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

• The Journal of Society for e-Business Studies
• /
• v.14 no.4
• /
• pp.75-94
• /
• 2009

Since XML emerged as a standard for data exchange on the web, it has been established as a core component in e-Commerce and efficient query processing over XML data in ubiquitous computing environment has been also receiving much attention. Recently, the techniques were proposed whereby an XML document is fragmented into XML fragments to be streamed and the mobile clients receive the stream while processing queries over it. In processing queries over an XML fragment stream, the average access time significantly depends on the order of fragments in the stream. As such, for query performance, an efficient organization of XML fragment stream is required as well as the indexing for energy-efficient query processing due to the reduction of tuning time. In this paper, a technique of XML fragment stream organization based on query frequencies, fragment size, fragment access frequencies, and an active XML-based indexing scheme are proposed. Through implementation and performance experiments, our techniques were shown to be efficient compared with the conventional XML fragment stream organizations.

• Journal of Internet Computing and Services
• /
• v.10 no.4
• /
• pp.35-44
• /
• 2009

The emerging notion of data stream has brought many new challenges to the research communities as a consequence of its conceptual difference with conventional concepts of just data. One typical example is data stream processing in sensor networks. The range of data processing considerations in a sensor network is very wide, from physical resource restrictions such as bandwidth, energy, and memory to the peculiarities of query processing including continuous and specific types of queries. In this paper, as one of the physical constraints in data stream processing, we consider the problem of limited memory and propose a new scheme for data stream reduction based on the Principal Component Analysis (PCA) technique. PCA can transform a number of (possibly) correlated variables into a (smaller) number of uncorrelated variables. We adapt PCA for the data stream of a sensor network assuming the cooperation of a query engine (or application) with a network base station. Our method exploits the spatio-temporal correlation among multiple measurements from different sensors. Finally, we present a new framework for data processing and describe a number of experiments under this framework. We compare our scheme with the wavelet transform and observe the effect of time stamps on the compression ratio. We report on some of the results.

• The Journal of the Korea Contents Association
• /
• v.22 no.1
• /
• pp.35-46
• /
• 2022

Recently, with the development of network technologies, as IoT and social network service applications have been actively used, a lot of graph stream data is being generated. In this paper, we propose a graph compression scheme that considers the stream graph environment by applying graph mining to the existing compression technique, which has been focused on compression rate and runtime. In this paper, we proposed Incremental frequent pattern based compression technique for graph streams. Since the proposed scheme keeps only the latest reference patterns, it increases the storage utilization and improves the query processing time. In order to show the superiority of the proposed scheme, various performance evaluations are performed in terms of compression rate and processing time compared to the existing method. The proposed scheme is faster than existing similar scheme when the number of duplicated data is large.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.72-75
• /
• 2016

스마트폰, 센서, 소셜미디어, 웹 서비스 등으로부터 발생되는 데이터의 폭증으로 인하여 빅데이터의 분석 및 활용에 대한 요구가 커져가고 있다. 특히 스마트 기기의 발달과 사용자 이용 패턴의 변화로 인하여 스트림 데이터는 끊임없이 발생되고 있지만, 기존의 하둡을 이용한 분석 시스템은 응답시간이 지연되어 빠르게 결과를 조회할 수 없는 단점으로 인하여 데이터를 실시간으로 분석하여 바로 활용할 수 있는 시스템에 대한 요구가 점점 더 증가하면서 람다 아키텍쳐가 등장하였다. 람다 아키텍쳐는 데이터 처리 과정을 배치 레이어와 스피트 레이어로 나누고, 스피드 레이어에서는 배치 결과가 나오기 전까지 스트림으로 유입되는 데이터를 실시간으로 분석하여 가장 최근의 데이터를 빠르게 조회 할 수 있도록 결과를 제공한다. 본 논문에서는 람다 아키텍쳐를 활용하여 연속적으로 유입되는 대용량의 스트림 데이터를 효과적으로 처리하여 실시간 분석과 동시에 배치 분석을 제공하는 데이터 처리 시스템을 설계하고 구현한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.230-232
• /
• 2007

최근의 온라인 응용 환경에서는 다양한 종류의 데이터 스트림을 다루고 있으며 이러한 데이터 스트림은 빠른 속도로 무한히 생성되고 실시간의 빠른 처리를 필요로 한다. 따라서 데이터 스트림 실시간 처리 및 분석 작업에서는 데이터 스트림을 지속적으로 모니터링하여 앞으로의 변화와 이에 따른 부하를 예측하고 성능을 조절하는 일이 필요하다. 본 논문에서는 끊임없이 발생하는 데이터를 관찰하여 데이터가 발생하는 패턴을 찾아내고, 찾아낸 패턴을 기반으로 미래의 특정 시점에서 발생할 데이터 값을 미리 예측하는 효율적인 기법을 제안한다. 무한한 양의 데이터를 제한된 크기의 메모리 내에서 처리하여 현재부터 과거 특정시점까지 발생한 데이터의 패턴을 가장 정확히 일반화할 수 있는 함수를 찾아내고 그 함수를 기반으로 미래에 발생할 데이터의 값을 예측한다.

• The KIPS Transactions:PartD
• /
• v.16D no.5
• /
• pp.673-682
• /
• 2009

XML data are widely used for data representation and exchange on the Web and the data type is an continuous stream in ubiquitous environment. Therefore there are some mining researches related to the extracting of frequent structures and the efficient query processing of XML stream data. In this paper, we propose a mining method to extract frequent structures of XML stream data in recent window based on the sliding window. XML stream data are modeled as a tree set, called XFP_tree and we quickly extract the frequent structures over recent XML data in the XFP_tree.