• 제목/요약/키워드: 스트리밍데이터

검색결과 512건 처리시간 0.029초

클러스터링 기반 앙상블 모델 구성을 이용한 이상치 탐지 (Outlier Detection By Clustering-Based Ensemble Model Construction)

  • 박정희;김태공;김지일;최세목;이경훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권11호
    • /
    • pp.435-442
    • /
    • 2018
  • 이상치 탐지는 정상 데이터 분포를 크게 벗어나는 데이터 샘플을 탐지하는 것을 의미한다. 대부분의 이상치 탐지 방법은 데이터 샘플이 정상 상태를 벗어나는 정도를 나타내는 이상치 지수(outlier score)를 계산하여 주어진 임계값 이상일 때 이상치로 판정한다. 그러나, 데이터마다 이상치 지수의 범위가 다양하고 정상 데이터에 비해 이상치 데이터는 적은 비율로 존재하기 때문에 이상치 지수에 대한 임계값을 결정하기는 매우 어렵다. 또한, 실제 상황에서는 학습에 이용할 수 있는 충분한 양의 이상치를 포함하는 데이터의 획득이 용이하지 않다. 본 논문에서는 정상 데이터가 주어졌을 때 이를 이용하여 정상 데이터 영역을 나타내는 모델을 구성하고 새로운 데이터 샘플에 대해 이상치와 정상치의 이진 분류를 수행하는 방법으로 군집화 기반 이상치 탐지 방법을 제안한다. 그리고, 주어진 정상 데이터를 청크로 나누고 각 청크에 대해 클러스터링 모델을 구성한 후 모델들에 의한 이상치 판정 결과를 결합하는 앙상블 방법과 동적 변화가 있는 스트리밍 데이터에서의 적용 방법으로 확장한다. 실제 데이터와 인공 데이터를 이용한 실험결과는 제안 방법의 높은 성능을 보여준다.

낮은 대역폭을 갖는 이동 단말기에서 멀티미디어 프리젠테이션을 재생하기 위한 프리패치 방법 (A Study on the Prefetch Method for Multimedia Presentations to play on the Low Bandwidth Mobile Devices)

  • 홍마리아;양혁;임영환
    • 인터넷정보학회논문지
    • /
    • 제4권4호
    • /
    • pp.65-74
    • /
    • 2003
  • 최근 이동단말기로 멀티미디어 데이터를 서비스 받는 사례가 증가하고 있다. 그러나 이동단말기는 저장공간이나 주 메모리가 부족하여 멀티미디어 데이터를 한꺼번에 다운로드 받는 것이 쉽지 않으므로 스트리밍 형태로 서비스를 받는 것이 일반적이다. 이러한 스트리밍 서비스는 정해진 시간 안에 지속적으로 데이터가 전송되어야 끊이지 않게 서비스를 받을 수 있다. 따라서 이 논문에서는 멀티미디어 프리젠테이션을 협소한 저장 공간을 갖는 이동단말기에서 재생이 가능할 수 있도록 하기 위한 여러 가지 기법을 제안하고자 한다. 먼저 프리젠테이션이 이동단말기에서 재생이 가능한지 파악하는 프리젠테이션 영역 분할 기법과 재생가능성 분석기법을 통해 재생여부를 분석한다. 만약 이 분석 시에 재생이 불가능한 멀티미디어 프리젠테이션이 있다면 EPOB(End point or over Bandwidth)지점을 이용한 선인출(prefetch)기법을 적용한다. 이 기법은 선인출을 통해서 멀티미디어 프리젠테이션들을 사용자 QoS를 유지시키며 재생이 가능하도록 해준다. 즉, 선인출 스케줄링 기법을 통해서 각각의 프리젠테이션들이 선인출하는 시점과 데이터의 양을 지정해 줌으로서 원활한 멀티미디어 프리젠테이션을 재생 할 수 있도록 제안하였다.

  • PDF

다중 미디어 정보의 실시간 최적화 합성 및 방송 (Real-time Optimized Composition and Broadcasting of Multimedia Information)

  • 이상엽;박성원
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.177-185
    • /
    • 2012
  • 본 연구는 일반적인 성능의 PC와 모바일 디바이스를 사용하여 다양한 동영상 데이터, 문서 데이터, 각종 카메라 디바이스로부터 입력되는 비디오 스트리밍 데이터와 오디오 스트리밍 데이터를 실시간에 가까운 빠른 시간 안에 효율적으로 편집하고 방송하는 기술을 개발하는 것을 목적으로 한다. 본 연구에서는 두 개의 알고리즘을 개발하였는 데, 입력되는 여러 가지 형태의 여러 개의 동영상을 실시간에 합성하기 위하여 대략적 최적화 방법과 메모리 큐를 이용한 순차적 합성 방법이다. 본 연구에서 개발한 시스템은 강사가 동영상 강의 콘텐츠를 제작할 때 모바일 기기 또는 PC를 사용할 수 있으므로 보다 비용 측면에서 효율적이며 유용하다. 본 연구에서 개발한 시스템은 교육 분야뿐 만 아니라 동영상 합성 및 편집이 필요한 다양한 분야에서 매우 유용하게 사용될 수 있으므로 응용 분야가 넓을 것으로 판단된다.

EXT3NS 파일 시스템을 위한 버퍼 캐시의 설계 및 구현 (Design and Implementation of Buffer Cache for EXT3NS File System)

  • 손성훈;정성욱
    • 한국정보통신학회논문지
    • /
    • 제10권12호
    • /
    • pp.2202-2211
    • /
    • 2006
  • EXT3NS 파일 시스템은 Network-Storage Card(NS 카드)라는 전용 하드웨어를 기반으로 하는 멀티미디어 스트리밍 서버를 위한 파일 시스템이다. EXT3NS는 NS 카드 상의 PCI memory(PMEM)를 이용, 스트리밍 시 디스크에 있는 데이터를 메인 메모리를 거치지 않고 바로 네트워크 카드로 내보냄으로써 스트리밍 서버의 성능을 향상시킨다. 본 논문에서는 NS 카드에 있는 PMEM을 기반으로 한 버퍼 캐시를 추가 설계, 구현하고, 이 버퍼 캐시가 EXT3NS 파일 시스템을 채용한 서버의 멀티미디어 스트리밍의 성능을 개선시킬 수 있음을 보인다. 또한, 제안된 버퍼 캐시 상에서 다수의 동시 사용자를 지원하는 멀티 미디어 스트리 밍 서버를 위한 버퍼 캐시 교체 정책인 Old New Section(ONS) 교체 기법을 제안한다. 제안된 OSN 교체 기법은 멀티미디어 스트리밍 환경에서 기존의 교체 정책들 보다 좋은 성능을 보인다. 성능 평가 결과, 다시 읽기동작과 무작위 읽기 동작에서 기존의 EXT3NS 파일 시스템 보다 PMEM에 캐시를 사용한 EXT3NS가 각각 평균 33MB/sec, 2.4MB/sec의 성능이 향상 되었다. 또한, 다시 읽기 동작의 경우 기존의 Least Frequently Used(LFU) 교체 정 책을 사용한 경우보다 ONS 교체 정책을 사용한 경우가 약 600KB/sec의 성능 증가를 보인다. 이러한 결과는 동시에 여러명의 사용자 요구를 처리해야 하는 대용량 멀티 미디어 스트리밍 서버에서 보다 효과적인 읽기 동작을 처리할 수 있음을 나타낸다.

인터넷 및 방송서비스의 QoS 보장을 위한 10Gbps급 스트리밍 패킷 스케줄러 구조 및 제어방법 (A architecture and control method of Streaming Packet Scheduler at 100bps for Guaranteed QoS of Internet and Broadcasting Services)

  • 김광옥;박완기;최병철;곽동용
    • 대한전자공학회논문지TC
    • /
    • 제41권1호
    • /
    • pp.23-34
    • /
    • 2004
  • 본 논문에서는 초고속 패킷 스위치 네트워크에서 VoD나 HDTV, VoIP같은 고품질 스트리밍 서비스의 QoS를 보장하는 패킷 스케줄러의 구조 및 제어방법을 제시한다. 스트리밍 서비스는 버스트 데이터 응용서비스보다 더욱 엄격한 QoS(jitter, delay, packet loss)보장을 요구한다 또한 스트리밍 서비스는 다른 플로우들의 동작에 상관없이 끊김 없는 서비스를 제공하기 위해 각 플로우별로 최소 대역 보장과 종단간 지연조건을 보장해야 한다. 이들 요구조건들을 만족하기 위해, 패킷 스케줄러는 플로우들이 다른 플로우의 영향을 받지 않도록 분리하고, 각 플로우들에게 종단간 지연 보장을 제공해야 한다. 그리고 각 플로우들에게 요구되는 최소 대역폭을 할당해야한다 지금까지 많은 벤더들이 10Gbps급 트래픽 관리기 칩을 개발하였지만 대부분 칩들은 고품질 스트리밍 서비스를 지원하지 못하는 단점이 있다. 따라서 본 논문에서는 상용 TM칩들의 단점 및 스트리밍서비스의 트래픽 특성을 조사하고, 제안한 패킷 스케줄러의 하드웨어 구조를 제시한다. 그리고 마지막으로 제안한 스케줄러의 시물레이션 결과를 분석하였다.

멀티미디어 스트리밍을 위한 프록시 서버에서의 사용자 선호도 기반 캐쉬 교환 알고리즘 (User Popularity based Cache Replacement Algorithm for Multimedia Streaming in Proxy Server)

  • 이준표;박성한
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.412-414
    • /
    • 2004
  • 대용량의 멀티미디어 데이터들을 다수의 시용자가 동시에 요구할 경우 접속이 끊기거나 데이터의 손실과 같은 접속 성능이 현저하게 저하되는 문제가 발생할 수 있다. 이는 대부분의 사용자들의 요청을 원거리의 Central Server가 단독으로 처리하기 때문에 발생하는 문제이다. 띠라서 Central Sever의 Load 감소와 초기 지연시간 및 비디오 패킷의 손실의 문제점을 해결하기 위해 프록시 서버를 사용자의 근거리에 위치시키는 방법을 이용한다. 대용랑의 멀티미디어 데이터들을 복잡한 인터넷의 중간경로를 거치지 않고 다수의 사용자들에게 직접 전달함으로써 데이터의 손실을 방지함과 동시에 보다 안정적이고 빠른 속도로 제공하는 것이 가능하다. 특징적으로 프록시 서버는 Central Server에 비해 비교적 제한된 용랑을 가지고 있다. 따라서 본 논문에서는 사용자의 선호도를 기반으로 하여 앞으로 요구학 것이라고 예측되는 비디오 데이터들만을 선별적으로 저장하도록 하는 알고리즘을 제안한다. 시뮬레이션을 통해 제안하는 캐쉬 교환 알고리즘을 기존의 알고리즘과 비교, 관찰한 결과 상대적으로 높은 Hit rate가 나타남을 확인하였다.

  • PDF

Storm 기반 실시간 SNS 데이터의 동적 태그 클라우드 (Storm-based Dynamic Tag Cloud of Real-time SNS Data)

  • 손시운;김다솔;이수정;길명선;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.47-49
    • /
    • 2016
  • 최근 SNS(social networking service)의 사용이 급증함에 따라 SNS에서 발생하는 데이터의 분석이 활발해졌다. 하지만 SNS 데이터는 빠르게 생성되며 정형화 되어 있지 않은 빅데이터이기 때문에 그대로 수집할 경우 분석하기가 어렵다. 본 논문은 분산 스트리밍 처리 기술인 Storm을 사용하여 트위터에서 실시간으로 발생하는 데이터를 수집 및 집계하고, 태그 클라우드를 사용하여 집계 결과를 동적으로 시각화하고자 한다. 또한 사용자가 쉽게 키워드를 입력하고 시각화 결과를 실시간으로 확인할 수 있도록 웹 인터페이스를 구현한다. 그리고 결과를 통해 태그 클라우드의 결과가 시간에 따라 바르게 시각화되었는지 확인한다. 본 논문은 빠르게 발생하는 SNS 데이터로부터 각 키워드와 관련된 정보를 시각화하여 각 사용자에게 제공할 수 있는 우수한 결과가 사료된다.

대용량 파일 전송의 성능 향상을 위한 다중 가상 소스 응용계층 멀티캐스트 (Throughput enhancement for large file delivery using overlay multicast with multiple virtual sources)

  • 이수전;강경란;이동만
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.598-600
    • /
    • 2004
  • 다자간 데이터 송수신을 필요로 하는 다자간 화상 회의, 일대다 스트리밍, 일대다 파일 전송 등의 응용에서는 멀티캐스트를 사용하여 데이터 전송 부담을 줄일 수 있다. 그러나 IP 멀티캐스트가 인터넷 상에서 널리 지원되지 않고 있기 때문에, 멀티캐스트를 응용 계층에 구현하려는 연구가 활발히 진행되고 있다. 본 논문에서는 일대다 대용량 파일 전송에서 효과적으로 전송시간을 단축할 수 있는 응용계층 멀티캐스트 기법을 제시한다. 신뢰적 전송을 위하여 Forward Error Correction (FEC)를 사용하여, 전송시간 단축을 위해 데이터 소스 외에 수신자들이 가상적으로 소스의 역할을 수행하도록 한다. 즉, 임의의 수신자는 데이터 소스뿐만 아니라, 다중 가상 소스로부터도 데이터를 수신할 수 있으므로 파일 수신 시간을 단축시킬 수 있다.

  • PDF

RFID 스트리밍 데이터의 효율적인 연속 질의처리를 위한 영역 연속 질의 (Range Continuous Queries for Efficient Processing of Continuous Queries on RFID streaming data)

  • 이기한;박재관;홍봉희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.425-428
    • /
    • 2006
  • RFID 미들웨어에서 처리하는 데이터는 스트림 데이터로써 질의색인 기법을 사용하면 효과적이다. 질의색인에서는 RFID 미들웨어의 표준 질의 인터페이스인 ECSpec 이 데이터가 되고, 리더가 태그를 인식하면서 발생하는 태그 이벤트는 질의 색인의 점 칠의가 된다. 질의색인의 데이터인 EXSpec 은 태그 및 리더에 대한 수집 조건과 결과집합의 보고 주기를 포함한다. 이때, 태그 이벤트가 발생할 때마다 점 질의를 즉시 수행하는 것보다 보고 주기까지 지연하고 수집된 질의 집합에서 연속되는 태그 이벤트를 영역 질의로 수행하면 질의 수행 횟수를 줄일 수 있다. 본 논문에서는 일정기간 동안의 연속된 태그 이벤트를 영역 연속 질의(a range continuous query)로 처리하기 위한 큐의 구성 방안과 태그 이벤트 집합으로부터 영역질의를 구성하기 위한 자료구조 및 알고리즘을 제안한다.

  • PDF

소프트웨어 제어 메모리를 위한 데이터 재사용 분석 기법 (Data Reuse Analysis Technique for Software Controlled Memory Hierarchy Design)

  • 조중석;조두산;정유진;박소라;조수민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.22-23
    • /
    • 2014
  • 멀티미디어 응용을 비롯한 스트리밍 응용들에서는 메모리와 CPU 사이의 데이터 전송이 상당한 비율의 에너지 소모를 차지한다. 데이터 재사용 분석은 이러한 응용 프로그램 에서 빈번히 사용되는 데이터를 고속의 저전력 메모리에 복사하도록 하여 에너지 소비를 줄일 수 있는 기회를 제공한다. 본 연구에서는 데이터의 재사용 분석을 통하여 프로그램이 최적화되도록 자동화된 기법을 제안하고 있다. 제안하는 기법을 사용할 경우 메인 메모리만 사용하는 경우에 비하여 절반 정도의 에너지 소비를 줄일 수 있다.