• 제목/요약/키워드: 데이터스트림

검색결과 918건 처리시간 0.037초

데이터 스트림에서 공간의 이용도를 이용한 차등적 부하제한 기법 (Different Load Shedding using utilization of Spatial over Data Stream)

  • 김호;백성하;이동욱;신숭선;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.340-343
    • /
    • 2009
  • u-GIS 환경에서 GeoSensor로부터 수집되는 시공간 데이터는 데이터 스트림의 특징을 포함한다. 데이터 스트림은 다양한 입력 속도로 끊임없이 입력되고, 데이터의 크기 또한 가변적이다. 이런 이유로 한정적인 메모리와 처리능력의 시스템은 과부하 현상이 발생한다. 이를 해결하기 위해 초과되는 데이터를 버려 메모리 초과를 방지하는 기법들이 연구되고 있다. 공간질의는 공간과 위치 값을 기반으로 이루어지는 연산으로 공간질의 정확도는 공간과 위치 정보를 통해 보장된다. 그러나 기존 기법인 랜덤부하제한 기법과 의미적부하제한 기법은 공간질의가 요구하는 공간과 위치 값에 대해 고려하지 않고 삭제하기 때문에 공간질의에 대한 정확도가 감소하는 문제를 갖는다. 본 논문에서는 공간의 이용도를 이용하여 차등적 비율을 적용한 부하제한 기법은 연구하였다. 이 기법은 등록된 공간질의의 영역 겹침 정도에 따라 중요 레벨을 증가시키고, 이를 토대로 시공간 데이터의 중요도를 파악하여 중요도마다 주어진 비율에 의하여 차등적으로 삭제한다. 결과적으로 기존 기법보다 다소 높은 Drop rate를 통해 질의 처리 속도를 빠르게 회복시켰으며, 중요 데이터를 최대한 유지하여 Error rate를 감소시켰다.

슬라이딩 윈도우 기반의 스트림 하이 유틸리티 패턴 마이닝 기법 성능분석 (Performance Analysis of Siding Window based Stream High Utility Pattern Mining Methods)

  • 양흥모;윤은일
    • 인터넷정보학회논문지
    • /
    • 제17권6호
    • /
    • pp.53-59
    • /
    • 2016
  • 최근 무선 센서 네트워크, 사물 인터넷, 소셜 네트워크 서비스와 같은 다양한 응용 분야에서 대용량 스트림 데이터가 실시간으로 생성되고 있으며, 효율적인 기법을 통해 처리 및 분석하여 유용한 정보를 찾아내고, 이를 의사 결정을 위해 사용할 수 있도록 하는 것은 중요한 이슈 중에 하나이다. 스트림 데이터는 끊임없이 빠른 속도로 생성되므로 최소한의 접근을 통해 처리해야 하며, 신속한 저전력 처리를 필요로 하는 자원이 제한된 환경에서 분석될 수 있도록 적합한 기법이 요구된다. 이러한 문제를 해결하기 위해, 슬라이딩 윈도우 개념이 제안되어 연구되고 있다. 한편, 대용량 데이터로부터 의미 있는 정보를 찾아내기 위한 데이터 마이닝 기법 중에 하나인 패턴 마이닝은 중요 정보를 패턴 형태로 추출한다. 전통적인 빈발 패턴 마이닝은 이진 데이터베이스를 대상으로 하고 모든 아이템을 동일한 중요도로 고려함으로써 데이터 마이닝 분야에서 중요한 역할을 수행해 왔지만, 실제 데이터 특성을 반영하지 못하는 단점을 지닌다. 하이 유틸리티 패턴 마이닝은 비 이진 데이터베이스로부터 상대적인 아이템 중요도를 반영하여 더욱 의미 있는 정보를 찾아내기 위해 제안되었다. 정적 데이터를 대상으로 하는 하이 유틸리티 패턴 마이닝 기법은 그러나 스트림 데이터 처리에 적합하지 못하다. 제한된 환경에서 스트림 데이터의 특성을 반영하고 효율적으로 처리하여 중요한 정보를 찾아내기 위해 슬라이딩 윈도우 기반의 접근법이 제안되었다. 본 논문은 슬라이딩 윈도우 기반 하이 유틸리티 패턴 마이닝 기법들의 성능을 평가하고 분석하여 해당 기법들의 특성 및 발전 방향을 고찰한다.

스트림 인증에 적합한 일회용 서명 기법 (An Efficient One-time Signature Scheme for Stream Authentication)

  • 박용수;조유근
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 2002년도 종합학술발표회논문집
    • /
    • pp.377-380
    • /
    • 2002
  • 본 논문에서는 스트림 데이터를 인증하는데 적합한 일회용 서명 기법을 제시한다. 스트림 인증에 일회용 서명 기법을 사용할 경우, 가장 큰 문제점은 큰 서명 크기로 인해 네트워크 오버헤드가 많다는 점이다. 제시한 기법은 기존 일회용 서명 기법 중 서명 크기와 검증 연산량이 가장 낮다. 스트림 인증에 적합한 기존 기법과 서명 연산량을 비교하면, HORS보다는 다소 높지만, BiBa나 Powerball보다 매우 낮다.

  • PDF

스트림 인증에 적합한 일회용 서명 기법 (An Efficient One-time Signature Scheme for Stream Authentication)

  • 박용수;조유근
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 2003년도 동계학술대회
    • /
    • pp.238-241
    • /
    • 2003
  • 본 논문에서는 스트림 데이터를 인증하는데 적합한 일회용 서명 기법을 제시한다. 스트림 인증에 일회용 서명 기법을 사용할 경우, 가장 큰 문제점은 큰 서명 크기로 인해 네트워크 오버헤드가 많다는 점이다. 제시한 기법은 기존 일회용 서명 기법 중 서명 크가 가장 작다. 또한, 제시된 기법의 검증 연산량은 매우 작다. 스트림 인증에 적합한 기존 기법과 온라인 서명 연산량을 비교하면, HORS보다는 다소 많지만, BiBa나 Powerball보다 적다.

  • PDF

디지털 방송 수신기를 위한 효율적인 트랜스포트 스트림 패킷 매니저 (Efficient Transport Stream Packet Manager for Digital Broadcast Receiver)

  • 고상원;전제민;원재훈;김세창;김정선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (D)
    • /
    • pp.446-449
    • /
    • 2007
  • 기존의 아날로그 방송에서 디지털 방송으로의 전환이 가속화되고 있으며, 디지털 방송은 아날로그 방송과는 다르게 다양한 서비스를 사용자에게 제공 할 수 있다는 장점을 가지고 있다. 디지털 방송에서는 트랜스포트 스트림을 이용하여 비디오/오디오 이외에 데이터를 전달하여 방송과 관련된 정보나 어플리케이션을 다룰 수 있다. 트랜스포트 스트림을 방송환경에서 사용 할 경우 응답시간이나 중복되는 패킷들에 대해서 어떻게 고려하느냐에 따라서 시스템 전제에 성능을 영향을 줄 수 있다. 본 논문에서는 데이터 방송을 위하여 패킷 단위로 전송되어온 트랜스포트 스트림을 효과적으로 처리 및 분류하고 선택적으로 상위 계층으로 전달하는 패킷 매니저를 설계 및 구현하였다.

  • PDF

클라이언트 선 저장방식을 위한 멀티미디어 데이터의 P2P 전송. (P2P Transfer for Multimedia Data with Client initiated with Prefetching.)

  • 신광식;정진하;윤완오;최상방
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (3)
    • /
    • pp.154-156
    • /
    • 2002
  • 본 논문에서 우리는 부분 스트림 데이터를 위해 피어 투 피어 방식을 도입하는 방식을 제안하고 평가하였다. 기존의 클라이언트 측 미리 저장 방식과 비슷하게 앞선 요청자에게 지연 없이 두 클라이언트가 같은 비디오 요청에 대해 같은 채널을 공유하는 것을 허용한다. 그것은 앞선 요청에 대해 멀티캐스트 세션을 초기화 및 진행하고 뒤늦게 도달한 클라이언트에게 그 세션을 공유하는 것을 허용함으로써 보장된다. 그러나 공유 스트림 전송과는달리 부분 스트림 전송에 있어서는 기존의 방식과 차이점을 보인다 늦게 도달한 클라이언트는 늦은 만큼의 스트림 조각이 부족하게 되는 데 이 부분을 서버가 아닌 선행 클라이언트로부터 받게끔 함으로써 서버 측의 자원을 절약하는 효과를 얻고 있다. 분석결과는 우리가 제안한 방법이 주는 서버 네트워크 자원 이용의 절감과 그를 위해 대용되는 클라이언트 자원을 보여준다. 또한 시뮬레이션을 통해 실제 얻을 수 있는 이득을 확인하였다.

  • PDF

통합 스트리밍 서비스 구조 설계 및 구현 (Design and Implementation of an Integrated Streaming Service Architecture)

  • 이승룡;홍충선
    • 한국통신학회논문지
    • /
    • 제26권6A호
    • /
    • pp.1019-1033
    • /
    • 2001
  • 본 논문에서는 멀티미디어 스트리밍을 위한 표준 프로토콜과 미디어 포맷을 지원하고, 실시간 객체지향형 멀티미디어 데이터베이스(BeeHive)를 지원하는 통합 멀티미디어 스트리밍 서비스 프레임워크(ISSA)를 제안한다. ISSA의 핵심 구성요소는 세션의 생성과 스트림 제어를 담당하는 세션 관리자, 스트리밍 데이터의 전송을 담당하는 전송 관리자, 미디어의 압축과 복원 및 재생을 담당하는 미디어 관리자, 그리고 데이터베이스와의 연동을 담당하는 데이터베이스 커넥터이다. ISSA는 스트림의 제어를 위하여 IETF에서 제안한 RTSP, 스트림과 세션의 표현과 초기화를 위해 SDP와 SIP, 스트림 데이터의 실시간 전송을 위하여 RTP 및 TCP, UDP를 지원한다. 또한, ISSA는 VOD, MOD, 웹캐스팅을 위한 개발과 라이브러리를 제공하며, 웹서버와 CORBA A/V 스트리밍 서비스와의 연동을 위한 게이트웨이도 제공한다. ISSA는 운영체제 환경에서 플랫폼에 독립적으로 작동하고, 객체지향 멀티미디어 데이터베이스 서비스를 지원한다. 그리고 멀티캐스팅, 웹캐스팅, 멀티미디어 통신을 위한 표준 프로토콜을 지원하며, 상용 코덱인 Microsoft 사의 Direct Show를 지원할 수 있는 RTP 소스필터를 가지고 있다. 마지막으로, 기존의 다양한 표준 미디어 포맷을 지원할 뿐만 아니라, 새로운 미디어 포맷도 쉽게 수용할 수 있도록 설계되어 있다.

  • PDF

NNR 비트스트림 기반 ISOBMFF 캡슐화 방안 (ISOBMFF encapsulation method based on NNR bitstream)

  • 이민석;이성배;남귀중;김규헌
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.821-824
    • /
    • 2022
  • 최근 딥러닝(Deep Learning) 기술이 다양한 분야에서 활용되고 있으며, 사전 학습된 딥러닝 모델에 대한 압축과 전송 방안에 관한 연구 또한 활발히 진행되고 있다. 이와 관련하여, 국제 표준화 기구인 ISO/IEC 산하 MPEG(Moving Picture Expert Group)에서는 인공신경망 모델을 다양한 딥러닝 프레임워크(Deep Learning Framework)에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNC(Compression of Neural Network for Multimedia Content Description nd Analysis) 표준화를 진행하고 있다. 압축된 딥러닝 모델의 데이터를 효과적으로 저장하여 전송 및 사용하기 위해서는 ISOBMFF(ISO based Media File Format) 캡슐화 과정이 필요하다. 본 논문에서는 MPEG의 NNC 표준에 따라 사전 학습된 딥러닝 모델을 압축한 후 이를 통해 생성된 비트스트림(bitstream)을 ISOBMFF로 캡슐화하기 위한 기술을 제안 및 실험한다. 또한, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 비트스트림으로 복원한 뒤 복호화하여 입력 비트스트림과 차이가 없음을 확인한다.

  • PDF

큐보이드 전위트리를 이용한 빙산질의 처리 (Iceberg Query Evaluation Technical Using a Cuboid Prefix Tree)

  • 한상길;양우석;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권3호
    • /
    • pp.226-234
    • /
    • 2009
  • 무한한 데이터 스트림을 저장하는 것은 거의 불가능하기 때문에 데이터 스트림 환경에서 빙산질의를 수행하기 위해서는 새로운 데이터 구조와 알고리즘이 요구된다. 본 논문에서는 데이터 스트림 환경에서 빙산질의를 처리하기 위해 전위트리 구조에 기반한 규보이드 전위트리(Euboid prefix tree)를 제안한다. 큐보이드 전위트리는 빙산질의에 사용된 그룹항목으로 이루어진 항목집합만을 트리에서 관리하므로 전위트리보다 적은 메모리를 사용한다. 1-항목 관리를 통해서 빈발하지 않은 항목을 트랜잭션에서 제거함으로써 갱신 시 불필요하게 소요되는 시간을 줄일 수 있다. 또한 다중 빙산질의에서 공통적으로 사용된 그룹속성에 따라 노드를 공유함으로써 적은 메모리를 사용하여 효율적으로 다중 빙산질의를 처리할 수 있는 방법을 제안한다. 큐보이드 전위트리는 무한히 연속적으로 생성되는 데이터에 대하여 빙산질의를 처리하는데 있어서 메모리 사용량과 처리시간을 효과적으로 줄이며, 이를 여러 실험을 통해 확인하였다.

전자상거래 데이터의 실시간 분석을 위한 데이터 스트림과 다수 릴레이션 간의 효율적인 연속 조인 처리 기법 (Efficient Processing of Continuous Join Queries between a Data Stream and Multiple Relations for Real-Time Analysis of E-Commerce Data)

  • 김해리;이기용
    • 한국전자거래학회지
    • /
    • 제18권3호
    • /
    • pp.159-175
    • /
    • 2013
  • 최근 들어 전자상거래 데이터의 실시간 공급이 가능해지면서, 전자상거래 데이터를 실시간으로 분석하고자 하는 요구가 급증하고 있다. 이를 위해서는 전자상거래 데이터 스트림과 디스크에 저장된 대규모 릴레이션 간의 연속 조인 질의를 효율적으로 처리하는 것이 매우 중요하다. 본 논문에서는 전자상거래 데이터 스트림과 디스크에 저장된 다수 릴레이션 간의 효율적인 연속 조인 질의 기법을 제안한다. 제안 방법은 기존 방법에 비해 서비스율을 크게 향상시키는 한편, 메모리 사용량을 크게 줄인다. 분석과 다양한 실험을 통해, 제안 방법은 기존 방법에 비해 서비스율과 메모리 사용량에서 더 효율적임을 보인다.