• 제목/요약/키워드: Very large real-time data

검색결과 133건 처리시간 0.033초

대규모 레이더 신호 데이터의 실시간 분석을 위한 GPU 기반 객체 추출 기법 (GPU-based Object Extraction for Real-time Analysis of Large-scale Radar Signal)

  • 강영민
    • 한국멀티미디어학회논문지
    • /
    • 제19권8호
    • /
    • pp.1297-1309
    • /
    • 2016
  • In this paper, an efficient connected component labeling (CCL) method was proposed. The proposed method is based on GPU parallelism. The CCL is very important in various applications where images are analysed. However, the label of each pixel is dependent on the connectivity of adjacent pixels so that it is not very easy to be parallelized. In this paper, a GPU-based parallel CCL techniques were proposed and applied to the analysis of radar signal. Since the radar signals contains complex and large data, the efficiency of the algorithm is crucial when realtime analysis is required. The experimental results show the proposed method is efficient enough to be successfully applied to this application.

대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법 (Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments)

  • 최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.42-53
    • /
    • 2020
  • 소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

Microsoft Project 98을 이용한 금형공장의 일정계획 시스템 개발 (Development of a Scheduling System for Mould and Die Manufacturing Factory Using Microsoft Project 98)

  • 주상윤;옥경진
    • 산업공학
    • /
    • 제13권2호
    • /
    • pp.246-252
    • /
    • 2000
  • As moulds and dies are manufactured through complex processes under the make-to-order production environment, it is very difficult that the manufacturing activities as like observance of the due date, trace of the progress, etc are controlled with a real time. In this paper, a schedule-planning system using the commercial software Microsoft Project 98 is developed to control the procedures of mould and die manufacturing with real time. Once an initial schedule is planned from the BOM information in the intranet, it is rescheduled by data collected from machines on the shop floor. The system is suitable to medium- or small-sized manufacturing companies as well as large-sized ones, because it can be installed with a low cost.

  • PDF

Hardware-Accelerated Multipipe Parallel Rendering of Large Data Streams

  • Park, Sanghun;Park, Sangmin;Bajaj, Chandrajit;Ihm, Insung
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제7권2호
    • /
    • pp.21-28
    • /
    • 2001
  • 최근 과학적 데이터의 증가 결과로, 매우 방대한 크기의 볼륨 데이터들이 점차로 일반화되고 있다. 다양한 텍스춰 기반 볼륨 렌더링 알고리듬들이 제안되었으나, 대부분의 방법들이 하드웨어가 갖고 있는 텍스춰 메모리보다 작은 크기의 볼륨 데이터를 가시화하는데 촛점을 맞추고 있다. 본 논문은 멀티파이프 시스템 구조상에서 매우 큰 정적 데이터와 시간 가변 데이터를 위한 새로운 병렬 볼륨 렌더링 스킴에 대해 설명한다. 이 스킴은 큰 볼륨을 동적으로 작은 크기의 블릭으로 분할하고, 이를 그래픽스 파이프에 적절히 할당함으로써 텍스춰 교체 비용을 최소화 한다. 이 기법은, 수행중에 법선 벡터를 계산하고 OpenGL 컬러 행렬을 이용하여 퐁 쉐이딩 영상을 쉽게 생성할 수 있다. 우리는 SGI Onyx2 시스템을 이용하여 큰 크기의 다양한 데이터에 대해 실험한 결과를 보인다.

  • PDF

T-START: Time, Status and Region Aware Taxi Mobility Model for Metropolis

  • Wang, Haiquan;Lei, Shuo;Wu, Binglin;Li, Yilin;Du, Bowen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권7호
    • /
    • pp.3018-3040
    • /
    • 2018
  • The mobility model is one of the most important factors that impacts the evaluation of any transportation vehicular networking protocols via simulations. However, to obtain a realistic mobility model in the dynamic urban environment is a very challenging task. Several studies extract mobility models from large-scale real data sets (mostly taxi GPS data) in recent years, but they do not consider the statuses of taxi, which is an important factor affected taxi's mobility. In this paper, we discover three simple observations related to the taxi statuses via mining of real taxi trajectories: (1) the behavior of taxi will be influenced by the statuses, (2) the macroscopic movement is related with different geographic features in corresponding status, and (3) the taxi load/drop events are varied with time period. Based on these three observations, a novel taxi mobility model (T-START) is proposed with respect to taxi statuses, geographic region and time period. The simulation results illustrate that proposed mobility model has a good approximation with reality in trajectory samples and distribution of nodes in four typical time periods.

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.

확장형 실시간 데이터 파이프라인 시스템 아키텍처 설계 (Design of Extended Real-time Data Pipeline System Architecture)

  • 신호승;강성원;이지현
    • 정보과학회 논문지
    • /
    • 제42권8호
    • /
    • pp.1010-1021
    • /
    • 2015
  • 빅데이터 시스템은 대규모 로그 데이터를 수집하는 용도로 광범위하게 사용되고 있기 때문에 높은 성능을 갖는 것이 매우 중요하지만, 현재의 Hadoop 기반의 빅데이터 시스템은 중복 처리로 인하여 낮은 성능을 갖는 아키텍처적인 문제를 가지고 있다. 본 논문은 아키텍처 설계 개선을 통하여 Hadoop 기반 시스템의 낮은 성능 문제를 해결한다. 새로운 제안 아키텍처는 기존 아키텍처의 배치(Batch) 기반의 데이터 수집 방식을 개별처리 방식과 혼합한 수집 방법을 사용하고, 수집하는 데이터를 In-Memory 상에서 직접 분석하여 중복 처리를 배제하여 높은 성능을 제공하게 한다. 또한 제안 아키텍처는 기존 Hadoop 기반 아키텍처의 장점인 시스템 확장성을 가진다. 본 논문은 제안 아키텍처가 테스트 베드 환경에서 기존 아키텍처보다 데이터의 분석 처리 속도가 30%~35% 빠르고 확장성도 가진다는 것을 확인하였다.

COMPARISON OF GLOBAL SEA SURFACE TEMPERATURE PRODUCTS

  • Kubota, Masahisa.;Iwasaki, Shinzuke
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.993-996
    • /
    • 2006
  • NOAA operational bulk SST product (Reynolds et al, 2002) is very popular global SST data sets and is extensively used for various studies. However, the original time resolution is weekly and relatively large. On the other hand, there exist many new global SST data sets at present. In this study, we compare many global SST data sets including NOAA operational bulk SST product, CAOS OI SST product, Microwave Optimum Interpolation (MWOI) SST, Real Time Global (RTG) SST and JMA merged satellite and in situ Global Daily (MGD) SST.

  • PDF

EFFICIENT MANAGEMENT OF VERY LARGE MOVING OBJECTS DATABASE

  • Lee, Seong-Ho;Lee, Jae-Ho;An, Kyoung-Hwan;Park, Jong-Hyun
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.725-727
    • /
    • 2006
  • The development of GIS and Location-Based Services requires a high-level database that will be able to allow real-time access to moving objects for spatial and temporal operations. MODB.MM is able to meet these requirements quite adequately, providing operations with the abilities of acquiring, storing, and querying large-scale moving objects. It enables a dynamic and diverse query mechanism, including searches by region, trajectory, and temporal location of a large number of moving objects that may change their locations with time variation. Furthermore, MODB.MM is designed to allow for performance upon main memory and the system supports the migration on out-of-date data from main memory to disk. We define the particular query for truncation of moving objects data and design two migration methods so as to operate the main memory moving objects database system and file-based location storage system with.

  • PDF

빅 데이터를 이용한 재해 정보 지원에 관한 연구 (A Study on Disaster Information Support using Big Data)

  • 신봉희;전혜경
    • 한국융합학회논문지
    • /
    • 제9권8호
    • /
    • pp.25-32
    • /
    • 2018
  • 최근 우리나라에서 일어나고 있는 재해의 규모 및 유형은 과거와 달리 다양화되고 있다. 하지만 우리나라는 이러한 여러 재해를 예측하기 위한 다양한 정보지원체계를 구축하지 못하고 있다. 현재 많은 기관에서 관련정보를 제공하고 있다. 이들 정보는 주로 웹으로 제공되고 있지만 대부분 실시간정보가 아니다. 본 연구에서는 기관들이 제공하는 정보와 함께 좀 더 양질의 실시간 정보를 제공하기 위해서 빅데이터를 활용한 정보지원을 주목하게 되었다. 빅데이터는 실시간성을 갖는 많은 양의 정보가 있고, 이를 이용하여 사용자맞춤 서비스를 할 수 있다. 그 중에서 트위터나 페이스북 등의 SNS는 재난이 발생했을 때 새로운 정보수집매체로서 이용할 수 있다. 그러나 너무 많은 정보로부터 필요한 정보를 자세히 검색하는 것은 무척 어렵고, 직감적인 정보수집이 곤란하다는 문제가 있다. 이를 위해서 본 연구에서는 트위터를 이용한 정보지원시스템을 개발한다. 시스템은 트위터 해시태그를 이용하여 정보를 검색한다. 또한 직감적으로 정보를 파악할 수 있도록, 지도상에 정보 매핑을 수행한다. 시스템의 평가를 위해, 정보추출, 매핑정도, 추천속도를 평가한다.