• 제목/요약/키워드: 데이터스트림

검색결과 918건 처리시간 0.029초

복합 이벤트 스트림 질의 처리 성능 개선을 위한 질의 전처리 도구 (A Query Preprocessing Tool for Performance Improvement in Complex Event Stream Query Processing)

  • 최중현;조은선;이강우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.513-523
    • /
    • 2015
  • 복합 이벤트 스트림 처리 시스템(Complex Event Processing System)은 연속적으로 발생하는 이벤트의 스트림을 효율적으로 처리하기 위한 시스템으로써, IoT 시스템에서 처리되는 센서 데이터 등 최근 생활 속에서 그 필요성이 많이 나타나고 있다. 그러나 아직은 질의 처리의 성능에 대해 개발자의 책임으로 돌리고 있는 부분이 있어 이용에 세심한 주의가 요구되고 있다. 그 중 한 예로, 향상된 성능을 가지는 동일한 의미의 질의를 선정하기 위한 충분할 만큼의 안내는 제공되고 있지 않은 상태이다. 본 논문에서는 이벤트 스트림 처리 시스템의 성능 개선을 위한 질의 전처리 도구를 제안한다. 이 도구는 입력된 질의를 분석하여 성능에 나쁜 영향을 미치는 패턴의 질의로 판정 되면, 성능을 향상시킬 수 있는 대안을 제시해줌으로써 개발자들의 스트림 질의 성능에 대한 부담을 덜어주게 된다. 결과적으로 디버깅, 테스팅, 성능 조정의 어려움을 해소하는 데에 도움을 줄 것으로 기대한다.

데이터 스트림에서 개방 데이터 마이닝 기반의 빈발항목 탐색 (Finding Frequent Itemsets based on Open Data Mining in Data Streams)

  • 장중혁;이원석
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.447-458
    • /
    • 2003
  • 기존의 데이터 마이닝 방법들은 기본적으로 지식 발견의 대상이 되는 데이터 집합이 마이닝 작업 시작 이전에 명확히 정의되는 것으로 가정하며 이러한 가정은 고정적으로 정의된 특정 데이터 집합에 내재된 정보 추출이 데이터 마이닝의 목적이 될 때 유효하다. 또한, 기존의 데이터 마이닝 방법들은 대용량의 데이터 집합에 대한 마이닝 결과를 얻는데 있어서 상당한 처리 시간을 요구한다. 따라서, 새로운 트랜잭션 데이터가 지속적으로 추가되는 데이터 스트림에서 추가된 트랜잭션의 정보들을 포함하는 최신의 마이닝 결과를 최대한 빠른 시간 안에 얻기를 기대하는 실시간 처리 환경에서는 기존의 데이터 마이닝 방법을 적용하는 것이 거의 불가능하다. 이러한 목적에 부합하기 위해서 본 논문에서는 새로운 데이터 마이닝 개념인 개방 데이터 마이닝을 제안한다. 개방 데이터 마이닝에서는 새로운 트랜잭션이 발생함에 따라 이전에 발생한 트랜잭션들에 대한 마이닝 결과가 새롭게 갱신되며 따라서 확장된 전체 트랜잭션 집합에 대한 마이닝 결과를 빠르게 얻을 수 있다. 이러한 방법을 효과적으로 구현하기 위해서는 새롭게 출현한 항목에 대한 지연추가와 이전 데이터 집합에 출현한 항목들 중에서 중요하지 않는 항목에 대한 전지작업이 병행되어야 한다. 논문에서 제안하는 알고리즘은 알고리즘의 특성을 파악하기 위한 일련의 다양한 실험을 통해서 검증된다.

초저속 고압축 비디오의 미디어내 동기화를 위한 멀티 스트림 생성 기법 (Multi-stream Generation Method for Intra-media Synchronization of Very Low Bit Rate Video)

  • 강경원;류권열;권기룡;문광석;김문수
    • 융합신호처리학회논문지
    • /
    • 제2권3호
    • /
    • pp.9-15
    • /
    • 2001
  • 초저속 고압축 비디오는 고압축 부호화를 위해 주로 화면간 부호화 방법을 사용한다. 화면간 부호화는 현재 프레임과 이전 프레임간의 데이터 의존성이 높기 때문에 전송시 패킷 손실이 발생할 경우 복원 영상에 심각한 화질 열화를 야기할 수가 있다. 따라서 본 논문에서 초저속 고압축 비디오 데이터에 대한 신뢰성 있는 전송과 미디어내 동기화를 위해 TCP 기반 멀티 스트림 생성 기법을 제안한다. 제안한 방법은 TCP 기반으로 신뢰성 있는 전송이 가능하며, 멀티 스트림을 통해 효율적인 전송과 네트워크 지터에 강하며, 클라이언트가 가진 대역폭을 최대한 활용할 수 있다.

  • PDF

SPIHT 웨이브릿 기반의 비디오 데이터의 멀티스트림 전송 기법 (Multi-stream Delivery Method of the Video Data Based on SPIHT Wavelet)

  • 강경원;류권열;김기룡;문광석;김문수
    • 융합신호처리학회논문지
    • /
    • 제3권3호
    • /
    • pp.14-20
    • /
    • 2002
  • 본 논문에서는 현재의 인터넷 환경하에서 클라이언트가 가진 대역폭을 최대한 활용하여 최선의 서비스를 제공할 수 있는 웨이브릿 기반에서 SPIHT(set partitioning in hierarchical trees)를 이용한 비디오 데이터의 압축과 멀티스트림을 이용한 전송 기법을 제안한다. 실험 결과, 제안한 방법은 웨이브릿 기반 비디오 부호화기를 이용하였기 때문에 동일한 비트율에서 기존의 DCT(discrete consine transform) 기반 비디오 부호화보다 블록킹 현상이 없이 화질이 약 1.5dB가 상승하였으며, 점진적 전송이 가능하였다. 그리고, 고압축시 발생하는 에러 전파를 막기 위해 TCP(transmission control protocol)상에서 효율적인 전송과 네트워크의 지터에 강하며 클라이언트가 가진 대역폭을 최대한 활용할 수 있는 멀티스트림 전송을 통해 그 효용성을 확인하였다.

  • PDF

빅 스트림 기반 초고속 데이터 스토리지 성능 평가 (Performance Evaluation of Big Stream based High Speed Data Storage)

  • 송민규;강용우;김효령
    • 한국전자통신학회논문지
    • /
    • 제12권5호
    • /
    • pp.817-828
    • /
    • 2017
  • 단일 스트림 기준으로 10Gbps에 달하는 데이터 처리를 수행하는 시스템은 매우 제한적이고, 그에 관한 애플리케이션 역시 극소수에 불과한 실정이다. 하지만 이러한 시스템은 물리, 천문 등 과학연구 분야에서 더욱 그 중요성이 부각되고 있으며, 업그레이드 된 성능을 요구하고 있다. 이를 위해 해당 분야의 중소기업 지원을 위해 1년 전 10Gbps 수준으로 네트워크 입력되는 고속의 패킷 수신, 저장을 수행하는 초고속 스토리지가 개발되었다. 하지만 실제 연구 현장에서 사용되기 위해서는 객관화된 성능 평가가 수반되어야 하며 최적화가 이뤄져야 한다. 본 논문에서는 이에 필요한 시스템 환경을 구축한 것을 시작으로 객관화된 성능 지표를 얻기 위한 실험 과정 및 방법론에 대해 논의하였다.

멀티미디어 스트리밍을 위한 Split 프록시 (A Split Proxy for Multimedia Streaming)

  • 이종민;차호정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.316-318
    • /
    • 2002
  • 본 논문은 멀티미디어 스트림을 Split 하는 기능을 가진 프록시 서버의 설계와 구현에 대하여 기술한다. Split 기능을 통해 프록시와 스트리밍 서버간의 네트워크 트래픽을 감소시킬 수 있으며 스트리밍 서버 부하를 줄일 수 있다. Split 기능을 구현하기 위해서는 클라이언트와 스트리밍 서버간의 제어 메시지의 필터링과 데이터 자료의 복사 및 전송 방법에 대한 연구가 필요하며 프록시에 연결된 클라이언트들에게 서비스의 안정성과 독립성을 보장해 줄 수 있어야 한다. 구현된 프록시는 RTSP, RTP, RTCP 프로토콜을 지윈하며 실험을 통해 스트림 Split 기능이 올바로 동작함을 보인다.

  • PDF

가시화 프로그램에서의 데이터 구조와 가시화 알고리즘 (Data Structure and Visualization Algorithm in a Post-processing Program)

  • 나정수;김기영;김병수
    • 한국전산유체공학회:학술대회논문집
    • /
    • 한국전산유체공학회 2003년도 추계 학술대회논문집
    • /
    • pp.82-87
    • /
    • 2003
  • Post-processing programs play an important role in the CFD data visualization and analysis. A variety of post-processing softwares have been developed and are being used in the CFD community. Developing a good quality of post-processing program requires dedication and efforts. In this paper an experience obtained through previous studies and developing post-processing programs are introduced which includes data structure and visualization algorithms.

  • PDF

MPEG VIdeo의 핸드오프 제어 기법 (Handoff Control Scheme of MPEG Video)

  • 구중두
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2010년도 춘계학술발표논문집 1부
    • /
    • pp.326-329
    • /
    • 2010
  • 본 논문은 인터넷 및 모바일 통신에서 많이 사용되는 MPEG video을 모바일 통신망에서 전송 및 재생하고, 모바일 환경에서 발생되는 Handoff 상에서 부드러운 스트림(stream) 재생(presentation)을 위한 멀티미디어 동기화 기법을 제안한다. 본 논문에서는 멀티미디어 동기화 기법으로 핸드오프 시MPEG 데이터의 특성을 이용한 핸드오프 제어 방법을 제안하였다. 분석결과, 제안된 기법은 기존의 기법보다 미디어 스트림의 끊김없는 재생(stream of continuous play out)을 제공하는 것뿐만 아니라 패킷의 높은 재생률(play?out rate)과 낮은 손실률(loss rate)을 보였다.

  • PDF

실시간 운영체제에서 타이머를 이용한 TCP 오류 제어' (Error Control in TCP Using Timers on Real-Time Operating Systems)

  • 류현수;성영락;이철훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
    • /
    • pp.232-234
    • /
    • 2003
  • TCP(Transmission Control Protocol)는 신뢰성 있는 전송계층 프로토콜이다. 이것은 데이터 스트림을 TCP 로 전달하는 응용프로그램이 전체 스트림을 순서에 맞고 오류 없이 전달하는 것을 의미한다. TCP 는 오류 제어를 이용하여 신뢰성을 제공하는데, 오류제어는 손상 세그먼트, 손실 세그먼트, 순서가 어긋난 세그먼트, 그리고 중복 세그먼트를 감지하는 메커니즘이 포함되며 특히 타이머(timer)를 이용한 오류제어를 본 내용에서 설명하고 있다.

  • PDF

스트림 그래프에서 서브 그래프 패턴 분석을 이용한 이상 패턴 감지 (Anomaly Detection Using Subgraph Pattern Analysis in Graph Streams)

  • 위지원;최도진;임종태;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.287-288
    • /
    • 2019
  • 그래프에서 이상 패턴은 정상 그래프와 상이하게 다른 양상을 갖는 그래프를 의미한다. 이상 패턴을 판단하기 위해서는 정상데이터 정확한 정의가 요구된다. 본 논문에서는 스트림 그래프에서 실시간으로 이상 패턴을 감지하는 기법을 제안한다. 제안하는 기법은 정상 서브그래프의 패턴(정상 패턴)을 정의하고 정점 간 연결 관계를 고려한다.

  • PDF