• Title/Summary/Keyword: 데이터스트림

검색결과 917건 처리시간 0.025초

광역 네트워크 상의 링 버퍼 기반 대용량 VLBI 데이터 스트림 입출력 구현 (Implementation of Ring Buffer based Massive VLBI Data Stream Input/Output over the Wide Area Network)

  • 송민규;김효령;강용우;제도흥;위석오;이성모
    • 한국전자통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.1109-1120
    • /
    • 2019
  • VLBI 연구 분야에서 관측소와 상관센터 간 네트워크의 품질이 보장된다면 관측 데이터를 각 관측소와 상관센터에 반복 저장하던 기존의 비효율을 극복할 수 있다. 즉, 데이터 분석 작업이 수행되는 상관센터로 데이터 저장을 일원화할 수 있고 이를 통해 데이터 처리의 신속성, 생산성을 향상시킬 수 있다. 이를 구현하기 위해 본 논문에서는 VLBI 관측소에서 생산되는 관측 데이터 스트림을 초고속 네트워크 KREONET을 경유해 상관센터로 직접 전송, 저장하는 원격 기록 시스템을 설계하였다. 이 시스템을 기반으로 데이터 기록을 실시한 결과 패킷 손실이 최소화된 상태에서 관측 데이터가 상관센터의 기록시스템에 안정적으로 저장된 것을 확인하였다.

분산 공간 데이터 스트림 시스템에서 연산 처리율 기반의 적응적 업스트림 백업 기법 (Adaptive Upstream Backup Scheme based on Throughput Rate in Distributed Spatial Data Stream System)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제14권10호
    • /
    • pp.5156-5161
    • /
    • 2013
  • 분산 공간 데이터 스트림 처리에서는 분산 노드의 활용도를 높이고 고장이 발생한 경우 신속하게 시스템을 복구하기 위해 하위 노드에서 처리된 튜플에 대해 상위 노드로 데이터를 백업한다. 그러나 데이터의 유입량이 증가하고 노드의 연산 결과를 다수의 하위 노드들과 공유할 때 튜플 처리가 지연되면 상위 노드의 삭제 지연으로 인해 백업 데이터의 손실을 야기할 수 있다. 본 논문에서는 노드들의 데이터 유입량과 하위 노드의 연산 처리율을 분석하고 적응적 업스트림 백업 방법을 적용하여 노드의 평균 부하율을 감소시키고, 노드 연산 결과의 공유에 따른 데이터 손실을 최소화하는 방법을 제안한다. 그리고 실험에서는 제안 기법을 통해 데이터 손실을 방지하고, 노드 모니터링에 소요되는 CPU 사용률을 평균 20% 감소시키는 결과를 나타낸다.

데이터 스트림에서 가중치 지지도 기반 빈발 패턴 추출 방법 (An Efficient Method for Mining Frequent Patterns based on Weighted Support over Data Streams)

  • 김영희;김원영;김응모
    • 한국산학기술학회논문지
    • /
    • 제10권8호
    • /
    • pp.1998-2004
    • /
    • 2009
  • 다양한 저장 장치의 발달과 네트워크의 발전은 대용량의 데이터를 연속적으로 빠르게 생성한다. 데이터 스트림에서의 데이터 마이닝은 처리 시간 및 메모리 사용에 제한적이다. 또한 생성된 데이터를 한 번의 스캔으로 유용한 패턴을 발견할 수 있어야 하고 정보 변화 가능성이 큰 데이터 속성을 갖는 경우 최근의 정보를 반영한 빠른 분석이 가능해야 한다. 기존의 지지도 기반 마이닝 방법들은 일정 기간 동안 미리 정의된 지지도 이상의 빈발 항목에 대하여만 고려하므로 중요도가 높은 항목들을 간과하는 문제점을 가지고 있다. 본 논문에서는 시간의 변화에 따른 가변성을 고려하여 가중치 지지도를 갖는 데이터 항목들에 대하여 보다 의미 있는 정보를 제공하기 위한 효율적인 빈발패턴 추출 방법을 제안하고자 한다. 제안된 WSFI-Mine(Weighted Support Frequent Itemsets Mine) 방법은 DCT(Data Stream Closed Pattern Tree) 데이터 구조를 이용하여 패쇄 빈발 항목을 탐사한다. 제안된 알고리즘은 DSM-FI와 THUI-Mine 알고리즘과 지지도 변화에 따른 성능을 비교하였고 그 결과 비교 알고리즘 보다 수행 시간이 우수함을 보였고, 빈발 항목을 생성하는 후보 항목의 수를 줄이므로 메모리 사용량을 효율적으로 사용할 수 있음을 보였다.

다양한 응용의 스트림 데이터 모니터링을 위한 연속질의 모델링 (Continuous Query Modelling for Various Kinds of Monitoring Services for Stream Data)

  • 조대수
    • 한국정보통신학회논문지
    • /
    • 제15권7호
    • /
    • pp.1525-1530
    • /
    • 2011
  • 다양한 센서들로부터 실시간으로 수집되는 데이터를 분석, 처리해야하는 유비쿼터스 환경의 다양한 응용서비스(모니터링 서비스)를 개발하기 위해서는 반드시 연속질의 처리 방법이 요구된다. 기존 연구에서 연속질의는 대부분 간격질의와 영역질의만으로 표현되고, 이러한 질의에 대한 처리 기법들이 제시되었다. 그러나 연속질의의 종류는 매우 다양하며, 속성 조건, 공간 조건, 시간 조건의 결합을 통해 표현될 수 있다. 이 논문에서는 연속질의의 종류를 분류하고, 여러 조건들의 결합을 통해 표현 가능한 연속질의 모델을 제안하고자 한다. 이 논문은 연속질의를 표현하는 질의 모델을 제안함으로써, 연속질의 처리를 위한 다양한 후속 연구에 대한 방향을 제시하는데 기여하였다.

SFN 기반 지상파 3D HDTV의 환경 적응적 수신을 보장하기 위한 계층변조 기법 (Hierarchical modulation scheme to assure environmental and adaptive receive of terrestrial 3D HDTV based on SFN)

  • 신동철;김재길;이제원;이성윤;안재민
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2011년도 하계학술대회
    • /
    • pp.130-132
    • /
    • 2011
  • 본 논문은 지상파 방송망 내 전계강도가 낮은 지역에 최소한의 데이터 전송률을 보장하기 위한 계층변조와 다중경로 채널 극복 및 수신 성능 향상을 위한 다중 안테나 수신기법을 SFN에 적용하여 제안하였다. 계층변조는 기존의 데이터 스트림에 부가적인 데이터 스트림을 삽입함에 따라 지상파 3D HDTV 방송 서비스는 더 많은 유효 전송률을 확보하고 고품질 비디오 서비스를 제공할 수 있었다. 그러나 기본 서비스의 품질을 유지하면서 부가적인 서비스의 품질을 보장하기 위한 대책이 필요하다. 그래서 송, 수신 안테나의 이득을 올리기 위해 다중 안테나 사용 방식을 채용하고, 그 수신 성능을 다중 안테나 위치에 따라 비교해 보았다. 그 결과, 수신 안테나가 한 쪽의 송신 안테나에 가까워질수록 실질적인 SNR이 증가하여 BER 성능이 향상되는 것을 확인하였다.

  • PDF

맵리듀스에서 집계 질의 스트림의 효율적인 처리 기법 (Efficient Processing of an Aggregate Query Stream in MapReduce)

  • 최현진;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권2호
    • /
    • pp.73-80
    • /
    • 2014
  • 맵리듀스는 빅데이터 분석 및 처리에 널리 사용되는 프로그래밍 모델이다. 빅데이터 분석을 위해 흔히 사용되는 질의 중 하나는 집계 질의(aggregate query)이다. 본 논문에서는 여러 사용자가 동시에 여러 집계 질의를 계속해서 요청하는 경우, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 각 집계 질의를 개별적으로 처리하지 않고, 여러 집계 질의를 묶어 하나의 최적화된 맵리듀스 잡(job)으로 만들어 일괄 처리한다. 그 결과로 제안 방법은 단순 방법에 비해 시간당 처리하는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 질의 처리 속도를 크게 향상시킴을 보인다.

WMS 시스템을 이용한 해양예측모델 데이터의 가시화 기법 (A Visualization Method for the Ocean Forecast Data using WMS System)

  • 권태정;이재령;박재표
    • 한국인터넷방송통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.11-19
    • /
    • 2018
  • 최근 GIS(Geographic Information System)을 중심으로 다양한 정보를 지도위에 제공하고 있으며, 대표적으로 국외의 경우 구글맵, 오픈스트리트맵, 빙맵 등이 있고, 국내의 경우 네이버지도, 다음지도, 브이월드맵 등이 GIS 기술의 한 부분인 WMS(Web Map Service)를 이용하여 서비스를 제공하고 있다. 본 논문에서는 현재 서비스되고 있는 벡터장 데이터 정보를 이용하여, 조류의 흐름도 와 스트림라인의 표출 방안 알고리즘 연구 및 사용자 편의성을 고려한 해양예측모델 데이터의 가시화 방안에 대해 연구를 수행하였다. 기존의 조류 흐름도 표출 및 스트림라인 표출 알고리즘과 제안하는 방식의 성능을 비교를 하여, 기존의 기술 보다 2배 이상 빠른 표출이 되는 것을 확인하였다.

Bi-Cross 사전 학습을 통한 자연어 이해 성능 향상 (The Bi-Cross Pretraining Method to Enhance Language Representation)

  • 김성주;김선훈;박진성;유강민;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.320-325
    • /
    • 2021
  • BERT는 사전 학습 단계에서 다음 문장 예측 문제와 마스킹된 단어에 대한 예측 문제를 학습하여 여러 자연어 다운스트림 태스크에서 높은 성능을 보였다. 본 연구에서는 BERT의 사전 학습 문제 중 다음 문장 예측 문제에 대해 주목했다. 다음 문장 예측 문제는 자연어 추론 문제와 질의 응답 문제와 같이 임의의 두 문장 사이의 관계를 모델링하는 문제들에 성능 향상을 위해 사용되었다. 하지만 BERT의 다음 문장 예측 문제는 두 문장을 특수 토큰으로 분리하여 단일 문자열 형태로 모델에 입력으로 주어지는 cross-encoding 방식만을 학습하기 때문에 문장을 각각 인코딩하는 bi-encoding 방식의 다운스트림 태스크를 고려하지 않은 점에서 아쉬움이 있다. 본 논문에서는 기존 BERT의 다음 문장 예측 문제를 확장하여 bi-encoding 방식의 다음 문장 예측 문제를 추가적으로 사전 학습하여 단일 문장 분류 문제와 문장 임베딩을 활용하는 문제에서 성능을 향상 시키는 Bi-Cross 사전 학습 기법을 소개한다. Bi-Cross 학습 기법은 영화 리뷰 감성 분류 데이터 셋인 NSMC 데이터 셋에 대해 학습 데이터의 0.1%만 사용하는 학습 환경에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 5점 가량의 성능 향상이 있었다. 또한 KorSTS의 bi-encoding 방식의 문장 임베딩 성능 평가에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 1.5점의 성능 향상을 보였다.

  • PDF

GPGPU 기반의 개선된 CYK 알고리즘 (An Improved CYK Algorithm based on GPGPU)

  • 김경환;한요섭
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.409-410
    • /
    • 2012
  • 범용 계산에 GPU를 활용하는 GPGPU 연구가 활발히 이루어지고 있다. 기존 연구에서 사용된 병렬화 기법은 데이터 이동시 GPU의 유휴자원을 잘 활용하지 못한다. 우리는 스트림 기법을 이용하여 CPU-GPU간 데이터 이동과 GPU내 연산을 동시에 실행시켜 데이터 이동시 GPU의 유휴자원을 최대한 활용하여 성능을 향상한다. 제안된 방식은 기존의 병렬화 방법에 비해 약 1.1배 향상된 성능을 나타낸다.

인터넷 비디오 전송을 위한 적응적 비디오 스트림 캐쉬 (Adaptive Video Stream Cache for Internet Video Transmission)

  • 김은영;유초롱;권택근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.635-637
    • /
    • 1999
  • 기존의 인터넷 기반 데이터 서비스는 'Best-effort' 정책으로 멀티미디어 서비스를 위한 트래픽 제어(traffic control) 기능을 제공하지 못한다. 그러므로 실시간 데이터 전송을 기반으로 제공되는 VOD(Video-on-Demand) 서비스는 사용자가 원하는 QoS(Quality of Service)를 제공할 수 없다. 따라서 인터넷 상에서 트래픽 제어 기능을 갖춘 중개자를 두어 VOD 서비스를 제공하는 방법에 대해 제안한다. 중개자의 주요 기능은 비디오 서버와 클라이언트 사이에 비디오 데이터의 버퍼링 기능을 이용하여 실시간 트래픽 제어를 수행한다. 이런 기능을 가진 중개자를 에이전트라 부르고, 에이전트에 대한 설계 및 구현에 대해 기술한다.

  • PDF