• 제목/요약/키워드: stream computing

검색결과 191건 처리시간 0.023초

H*-tree/H*-cubing: 데이터 스트림의 OLAP를 위한 향상된 데이터 큐브 구조 및 큐빙 기법 (H*-tree/H*-cubing-cubing: Improved Data Cube Structure and Cubing Method for OLAP on Data Stream)

  • 심상예;이연;이동욱;김경배;배해영
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.475-486
    • /
    • 2009
  • 데이터 큐브는 다차원 데이터 분석 및 멀티레벨 데이터 분석에 많이 사용되고 있는 중요한 데이터 구조이다. 최근 데이터 스트림의 온라인 분석에 대한 수요가 증가하면서 스트림 큐브, Flow 큐브, S-큐브 등의 다양한 데이터 큐브 구조와 기법이 제안되었다. 그러나 기존 기법들은 데이터 큐브 생성 시 고비용이 요구되는 단점을 가지고 있어 효과적인 데이터 구조, 질의 방법 및 알고리즘에 대한 연구가 필요하다. 스트림 큐브 기법에서는 H-큐빙 기법을 사용하여 큐보이드를 선택하고, 계산된 셀들을 인기 패스에 있는 큐보이드들로 구성된 H-트리에 저장한다. 그러나 스트림 큐브 기법에서는 H-트리에 데이터를 비순차적으로 삽입하기 때문에 H-큐빙 기법을 사용하여 질의를 처리할 때 제한성을 갖고 있다. 본 논문에서는 데이터의 트리 구조의 각 층에 대한 인덱스를 구축하여 스트림 데이터에 대한 빠른 삽입 연산을 지원하는 $H^*$-tree 구조와, popular-path에 존재하지 않는 큐보이드를 빨리 계산하여 스트림 데이터에 대한 빠른 애드 혹 질의 응답을 지원하는 $H^*$-cubing 기법을 제안한다. 성능평가를 통하여 제안한 $H^*$-tree 기법은 보다 적은 큐브 구축 시간을 지원하며, $H^*$-cubing 기법이 stream cube 기법보다 빠른 애드 혹질의 응답 시간을 소요하며, 보다 적은메모리를 사용함을 보여준다.

A Distributed Trust Model Based on Reputation Management of Peers for P2P VoD Services

  • Huang, Guimin;Hu, Min;Zhou, Ya;Liu, Pingshan;Zhang, Yanchun
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권9호
    • /
    • pp.2285-2301
    • /
    • 2012
  • Peer-to-Peer (P2P) networks are becoming more and more popular in video content delivery services, such as Video on Demand (VoD). Scalability feature of P2P allows a higher number of simultaneous users at a given server load and bandwidth to use stream service. However, the quality of service (QoS) in these networks is difficult to be guaranteed because of the free-riding problem that nodes download the recourses while never uploading recourses, which degrades the performance of P2P VoD networks. In this paper, a distributed trust model is designed to reduce node's free-riding phenomenon in P2P VoD networks. In this model, the P2P network is abstracted to be a super node hierarchical structure to monitor the reputation of nodes. In order to calculate the reputation of nodes, the Hidden Markov Model (HMM) is introduced in this paper. Besides, a distinction algorithm is proposed to distinguish the free-riders and malicious nodes. The free-riders are the nodes which have a low frequency to free-ride. And the malicious nodes have a high frequency to free-ride. The distinction algorithm takes different measures to response to the request of these two kinds of free-riders. The simulation results demonstrate that this proposed trust model can improve QoS effectively in P2P VoD networks.

데이타 스트림에서의 다중 조인 질의 최적화 방법 (Optimizing Multi-way Join Query Over Data Streams)

  • 박홍규;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권6호
    • /
    • pp.459-468
    • /
    • 2008
  • 데이타 스트림이란 실시간에 연속적으로 빠르게 생성되는 데이타 집합을 의미한다. 이러한 데이타 스트림들은 최근 사회가 발달과 더불어 정보 환경도 급속도로 발전함에 따라 센서 데이타, 교통상황 수집 자료, 웹 클릭 모니터링 등과 같은 많은 응용 분야에서 적용되고 있다. 이러한 형태의 데이트 스트립을 처리하기 위해서는 미리 등록된 질의에 대하여 새롭게 들어오는 스트림 데이타의 결과를 계속적으로 생성하게 된다. 이와 같은 이유로 끊임없이 들어오는 스트링 데이타들을 빠르게 처리하는 것이 이 분야에서 주된 이슈가 되었으며, 이를 위한 방법으로 등록된 질의들을 효율적으로 처리하기 위한 질의 최적화분야에 많은 연구가 있었다. 그러므로 본 논문에서는 기존 연구에서 사용되었던 그리디 방법을 기반으로 비용 모델을 이용하여 최소의 비용을 갖는 질의 계획을 선택하는 확장된 그리디 방법(EGA)을 제시한다. 화장된 그리디 방법은 알고리즘의 정확성이 떨어지는 그리디 알고리즘의 단점을 극복하기 위하여 비용이 가장 작은 연산하나를 선택하는 대신 비용이 자은 연산들의 집합을 선택한다. 이 연산들의 집합의 크기는 알고리즘의 정확성과 수행 시간에 영향을 끼치며, 투 개의 변수에 의해서 적응적으로 조절 수 있다. 실험에서는 다양한 스트림 환경에서 대부분 그리디 알고리즘보다 향상된 성능을 보장하고, 두 변수에 의한 알고리즘의 성능 및 수행 시간 차이를 보여줌으로써 본 알고리즘의 효율성을 검증하였다.

웹 클릭 스트림의 효율적 분석을 위한 시간 간격 제한을 활용한 관심 순차패턴 탐색 (Mining Interesting Sequential Pattern with a Time-interval Constraint for Efficient Analyzing a Web-Click Stream)

  • 장중혁
    • 한국산업정보학회논문지
    • /
    • 제16권2호
    • /
    • pp.19-29
    • /
    • 2011
  • 웹 관련 기술의 발달 및 스마트폰과 같은 지능형 모바일 서비스 기기의 사용 증가로 인해 오늘날 많은 분야에서 다양한 웹기반 서비스들이 널리 활용되고 있다 이러한 환정에서 개인화 및 지능화된 웹 서비스를 제공하기 위한 연구들이 활발히 진행되고 있으며, 웹 서비스 이용 기록으로부터 생성되는 웹 클릭 스트림에 대한 분석 기술은 관련 기술 중 핵심 기술의 하나이다. 본 논문에서는 순차정보 형태로 발생되는 웹 클릭 스트림에 대한 효율적 분석을 위해서 데이터 스트림 처리에 대한 기본적인 요구사항을 만족하면서 정제된 결과를 얻기 위한 순차패턴 마이닝 방법을 제시한다. 이를 위해서 먼저 순차패턴에 포함되는 단위항목들의 단순 발생 순서뿐만 아니라 발생 시간 정보를 추가로 활용하는 시간 간격 제한 관심 순차패턴을 정의하고, 이어서 웹 클릭 스트림과 같은 데이터 스트림에서 이를 효율적으로 탐색하기 위한 마이닝 방법을 제안한다. 해당 연구 결과는 웹 클릭 스트림뿐만 아니라 전자상거래, 생물정보학 및 USN 환경 등과 같이 데이터 스트림 형태로 정보를 발생시키는 여러 컴퓨터 용용 분야에서 유용하게 활용될 수 있을 것이다.

슬라이딩 윈도우 기반의 스트림 하이 유틸리티 패턴 마이닝 기법 성능분석 (Performance Analysis of Siding Window based Stream High Utility Pattern Mining Methods)

  • 양흥모;윤은일
    • 인터넷정보학회논문지
    • /
    • 제17권6호
    • /
    • pp.53-59
    • /
    • 2016
  • 최근 무선 센서 네트워크, 사물 인터넷, 소셜 네트워크 서비스와 같은 다양한 응용 분야에서 대용량 스트림 데이터가 실시간으로 생성되고 있으며, 효율적인 기법을 통해 처리 및 분석하여 유용한 정보를 찾아내고, 이를 의사 결정을 위해 사용할 수 있도록 하는 것은 중요한 이슈 중에 하나이다. 스트림 데이터는 끊임없이 빠른 속도로 생성되므로 최소한의 접근을 통해 처리해야 하며, 신속한 저전력 처리를 필요로 하는 자원이 제한된 환경에서 분석될 수 있도록 적합한 기법이 요구된다. 이러한 문제를 해결하기 위해, 슬라이딩 윈도우 개념이 제안되어 연구되고 있다. 한편, 대용량 데이터로부터 의미 있는 정보를 찾아내기 위한 데이터 마이닝 기법 중에 하나인 패턴 마이닝은 중요 정보를 패턴 형태로 추출한다. 전통적인 빈발 패턴 마이닝은 이진 데이터베이스를 대상으로 하고 모든 아이템을 동일한 중요도로 고려함으로써 데이터 마이닝 분야에서 중요한 역할을 수행해 왔지만, 실제 데이터 특성을 반영하지 못하는 단점을 지닌다. 하이 유틸리티 패턴 마이닝은 비 이진 데이터베이스로부터 상대적인 아이템 중요도를 반영하여 더욱 의미 있는 정보를 찾아내기 위해 제안되었다. 정적 데이터를 대상으로 하는 하이 유틸리티 패턴 마이닝 기법은 그러나 스트림 데이터 처리에 적합하지 못하다. 제한된 환경에서 스트림 데이터의 특성을 반영하고 효율적으로 처리하여 중요한 정보를 찾아내기 위해 슬라이딩 윈도우 기반의 접근법이 제안되었다. 본 논문은 슬라이딩 윈도우 기반 하이 유틸리티 패턴 마이닝 기법들의 성능을 평가하고 분석하여 해당 기법들의 특성 및 발전 방향을 고찰한다.

자원 효율적인 XML 조각 스트림 질의 처리를 위한 XML 분할 (XML Fragmentation for Resource-Efficient Query Processing over XML Fragment Stream)

  • 김진;강현철
    • 정보처리학회논문지D
    • /
    • 제16D권1호
    • /
    • pp.27-42
    • /
    • 2009
  • 유비쿼터스 컴퓨팅의 실현을 위해서는 이동 디바이스 등 클라이언트의 제약된 자원을 효율적으로 사용하는 기법이 요구된다. 메모리 용량이 크지 않은 이동 디바이스의 경우, 대용량 XML 데이터에 대한 질의 처리를 수행하기 위해서는 XML 스트림 질의 처리 기술의 활용이 필수적이다. 최근에 서버에서 XML 문서를 XML 조각(XML fragment)으로 분할하여 스트리밍하고 클라이언트에서 이 조각 스트림을 받아 질의를 처리하는 기법들이 제안되었다. XML 조각 스트림 질의 처리에 있어 XML 문서가 분할되는 방법에 따라 자원 사용(질의 처리 시간 및 메모리 사용량) 면에서 큰 차이가 날 수 있기 때문에 효율적인 XML 문서 분할 방법이 요구된다. 본 논문에서는 클라이언트의 질의 처리 시 자원 사용 효율을 높이기 위한 XML 문서 분할 기법을 제시한다. 이를 위하여 먼저 XML 조각 스트림 질의 처리의 비용 모델을 제시하고, 자원 효율적인 XML 문서 분할 알고리즘을 제시한다. 구현 및 성능 평가 결과 본 논문에서 제시한 기법이 기존 기법들에 비해 질의 처리 시간 및 메모리 사용량 양면 모두에서 우수한 것으로 나타났다. 본 논문의 기여는 XML 조각 스트림 질의 처리 기술의 실용화 가능성을 기존 기술에 비해 한 층더 높였다는 데 있다.

Spatio-temporal Query Processing Systems for Ubiquitous Environments

  • Kim, Jeong Joon;Kang, Jeong Jin;Rothwell, Edward J.;Lee, Ki Young
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제5권2호
    • /
    • pp.1-4
    • /
    • 2013
  • With the recent development of the ubiquitous computing technology, there are increasing interest and research in technologies such as sensors and RFID related to information recognition and location positioning in various ubiquitous fields. Especially, RTLS (Real-Time Locating Services) dealing with spatio-temporal data is emerging as a promising technology. For these reasons, the ISO/IEC published RTLS standard specification for compatibility and interoperability in RTLS. Therefore, in this paper, we designed and implemented Spatio-temporal Query Processing Systems for efficiently managing and searching the incoming Spatio-temporal data stream of moving objects. Spatio-temporal Query Processing Systems's spatio-temporal middleware maintains interoperability among heterogeneous devices and guarantees data integrity in query processing through real time processing of unceasing spatio-temporal data streams and two way synchronization of spatio-temporal DBMSs. Web Server uses the SOAP(Simple Object Access Protocol) message between client and server for interoperability and translates client's SOAP message into CQL(Continuous Query Language) of the spatio-temporal middleware.

위치 인식을 통한 멀티미디어 컨텐츠 스트림 서비스의 이동성 구현 (Implementation of Multimedia Contents Stream Service Mobility by Location Tracking)

  • 김지영;용환승
    • 디지털콘텐츠학회 논문지
    • /
    • 제7권2호
    • /
    • pp.117-124
    • /
    • 2006
  • 본 본문에서는 사용자가 유비쿼터스 흠 네트워크 환경에서 장소를 이동하면서도 끊김없이 연속적인 멀티미디어 컨텐츠 스트림 서비스를 제공받을 수 있는 시스템을 구현하였다. 기존의 멀티미디어 스트리밍 서비스는 사용자를 인식하지 못하고 항상 새로운 세션이 생성됨에 따라 사용자가 기존에 제공받던 멀티미디어를 이어서 보고자 할 때 그 프레임위치를 기억해 놓고 상태바를 재설정 해 주어야하는 불편함이 있었다. 이에 본 연구에서는 위치인식시스템을 사용하여 사용자의 위치를 인식하고 사용자의 이동성을 지원하여 개인의 상황(사용자의 위치, 사용자와 가까운 단말기, 기존에 제공받던 미디어를 이어서 전송받기를 원하는지 여부 등)을 고려한 위치인식을 통한 개인화된 멀티미디어 스트리밍 시스템을 제안하고 구현하였다.

  • PDF

한천의 대표입경을 이용한 조도계수 산정 (Estimation of Roughness Coefficient Using a Representative Grain Diameter for Han Stream in Jeju Island)

  • 이준호;양성기;김동수
    • 한국환경과학회지
    • /
    • 제22권5호
    • /
    • pp.563-570
    • /
    • 2013
  • Roughness coefficient was computed for review of applicability based on measurement of the representative grain diameter reflecting channel characteristics of Han Stream. After field survey, collection of bed material, and grain analysis on the collected bed material, roughness coefficient was computed using representative grain and existing empirical equation for roughness coefficient. Value of roughness coefficient calculated using equation by Meyer-Peter and Muller (1948) was 0.0417 for upstream, 0.0432 for midstream, and 0.0493 for downstream. As a result of comparing the computed roughness coefficient to other empirical equations for review of applicability, the coefficient was larger in Strickler (1923) equation by 0.006. Smaller coefficient was shown by Planning Report for River Improvement Works. Equation by Garde and Raju (1978) was larger by 0.004, and equations by Lane and Carlson (1953) and by Meyer-Peter and Muller (1948) were larger by 0.001. Such precise roughness coefficient is extremely important when computing the amount of flood in rivers to prevent destruction of downstream embankments and property damages from flooding. Since roughness coefficient is a factor determined by complicated elements and differs according to time and space, continued management of roughness coefficient in rivers and streams is deemed necessary.

QoS 적응 기능을 갖는 연동 게이트웨이의 설계 및 구현 (Design and Implementation of Interworking Gateway with QoS Adaptation)

  • 송병훈;최상기;정광수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권5호
    • /
    • pp.619-627
    • /
    • 1999
  • 서로 다른 네트워크 환경을 갖는 도메인 사이에서 멀티미디어 서비스를 제공하기 위해서는 여러 가지 측면에 대한 기능 대응이 이루어져야 한다. 본 논문에서는 ATM 기반의 DAVIC(Digital Audio Visual Council) 서비스와 인터넷 AV 서비스를 연동하기 위하여, 프로토콜 변환 및 QoS(Quality of Service) 적응을 지원하는 연동 게이트웨이를 구현하였다. 구현된 연동 게이트웨이는 ATM 망에서 DSM-CC (Digital Storage Media Command & Control)를 기반으로 서비스되는 스트림을 RTSP(Real-Time STreaming Protocol)로 제어할 수 있으며, RTP(Real-Time Transport Protocol)를 이용하여 스트림을 전달한다. 또한 네트워크 대역폭 변화를 고려한 스트림 전달을 위해 QoS 모니터링과 MPEG 필터링을 이용한 QoS 적응 기능을 제공한다.