• 제목/요약/키워드: Very large real-time data

검색결과 130건 처리시간 0.029초

이동 컴퓨팅 환경에서 데이타 특성을 고려한 실시간 혼성 방송 알고리즘 (Real-Time Hybrid Broadcasting Algorithm Considering Data Property in Mobile Computing Environments)

  • 윤혜숙;김영국
    • 한국정보과학회논문지:정보통신
    • /
    • 제32권3호
    • /
    • pp.339-349
    • /
    • 2005
  • 최근 수년 동안, 데이타 방송기술은 많은 수의 클라이언트를 갖는 이동 컴퓨팅 환경에서 매우 효과적인 데이타 전달 시스템으로 주목받고 있다. 특히 흔성 방송은 주기적인 반복 데이타 방송과 온디멘드 방송을 통해, 제한된 대역폭 상에서 많은 이동 클라이언트를 수용하면서 동시에 동적인 데이타 액세스를 지원할 수 있다. 그러나 기존의 흔성 방송 알고리즘에서 데이타 액세스 변화를 파악하기 위해 사용하는 기법에는 문제가 있다. 즉, 많은 요청을 받은 데이타 아이템을 반복 방송에 추가시키면 액세스 요구가 적어져 이 데이타 아이템이 방송되고 있기 때문에 요청이 적어진 것인지 아니면 수요가 줄어서 요청이 적어진 것인지 모른다는 것이다. 기존 연구에서는 이 문제 때문에 냉각값을 곱해 서서히 제거하는 방법을 사용하거나 일부러 방송에서 누락시켜 수요를 창출하는 방법을 사용한다. 그러나 이 두 방법은 모두 데이타의 특성을 고려하지 않는 인공적인 기법이다. 본 논문에서 이러한 문제를 해결하기 위해 데이타 유형을 분류하여 방송하는 데이타 방송 알고리즘 RTAHB-DT(Real-Time Adaptive Hybrid Broadcasting based on Data Type)를 제안하고, 시뮬레이션을 사용해 제안 알고리즘의 성능을 분석한다.

타임 워핑을 지원하는 효율적인 서브시퀀스 매칭 기법 (A Subsequence Matching Technique that Supports Time Warping Efficiently)

  • 박상현;김상욱;조준서;이헌길
    • 산업기술연구
    • /
    • 제21권A호
    • /
    • pp.167-179
    • /
    • 2001
  • This paper discusses an index-based subsequence matching that supports time warping in large sequence databases. Time warping enables finding sequences with similar patterns even when they are of different lengths. In earlier work, we suggested an efficient method for whole matching under time warping. This method constructs a multidimensional index on a set of feature vectors, which are invariant to time warping, from data sequences. For filtering at feature space, it also applies a lower-bound function, which consistently underestimates the time warping distance as well as satisfies the triangular inequality. In this paper, we incorporate the prefix-querying approach based on sliding windows into the earlier approach. For indexing, we extract a feature vector from every subsequence inside a sliding window and construct a multi-dimensional index using a feature vector as indexing attributes. For query precessing, we perform a series of index searches using the feature vectors of qualifying query prefixes. Our approach provides effective and scalable subsequence matching even with a large volume of a database. We also prove that our approach does not incur false dismissal. To verily the superiority of our method, we perform extensive experiments. The results reseal that our method achieves significant speedup with real-world S&P 500 stock data and with very large synthetic data.

  • PDF

전진적 단계 알고리즘을 이용한 대용량 데이터와 순차적 배치 데이터의 분류 (Classification of large-scale data and data batch stream with forward stagewise algorithm)

  • 윤영주
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권6호
    • /
    • pp.1283-1291
    • /
    • 2014
  • 본 논문에서는 대용량이거나 시간에 따라 순차적으로 들어오는 데이터의 분류를 위한 전진적 단계 알고리즘을 제안한다. Adaboost 알고리즘은 노이즈가 있는 데이터에 대하여 성능이 떨어지는 것으로 알려져 있다. 이를 해결하기 위한 한 가지 방법으로 전진적 단계 선형 회귀 방법을 사용한다. 대용량 데이터나 순차적 배치 데이터의 경우에도 이러한 상황을 극복하기 위해 전진적 단계 알고리즘 방법을 적용한 방법을 제안한다. 모의실험과 실제 자료 분석을 통해 제안된 알고리즘이 좋은 성능을 보임을 알 수 있었다.

소셜미디어 수집과 분석을 위한 재난 빅 데이터 플랫폼의 설계 (Design of a Disaster Big Data Platform for Collecting and Analyzing Social Media)

  • 반퀴엣뉘엔;신응억뉘엔;양쯔엉뉘엔;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.661-664
    • /
    • 2017
  • Recently, during disasters occurrence, dealing with emergencies has been handled well by the early transmission of disaster relating notifications on social media networks (e.g., Twitter or Facebook). Intuitively, with their characteristics (e.g., real-time, mobility) and big communities whose users could be regarded as volunteers, social networks are proved to be a crucial role for disasters response. However, the amount of data transmitted during disasters is an obstacle for filtering informative messages; because the messages are diversity, large and very noise. This large volume of data could be seen as Social Big Data (SBD). In this paper, we proposed a big data platform for collecting and analyzing disasters' data from SBD. Firstly, we designed a collecting module; which could rapidly extract disasters' information from the Twitter; by big data frameworks supporting streaming data on distributed system; such as Kafka and Spark. Secondly, we developed an analyzing module which learned from SBD to distinguish the useful information from the irrelevant one. Finally, we also designed a real-time visualization on the web interface for displaying the results of analysis phase. To show the viability of our platform, we conducted experiments of the collecting and analyzing phases in 10 days for both real-time and historical tweets, which were about disasters happened in South Korea. The results prove that our big data platform could be applied to disaster information based systems, by providing a huge relevant data; which can be used for inferring affected regions and victims in disaster situations, from 21.000 collected tweets.

전자상거래 데이터의 실시간 분석을 위한 데이터 스트림과 다수 릴레이션 간의 효율적인 연속 조인 처리 기법 (Efficient Processing of Continuous Join Queries between a Data Stream and Multiple Relations for Real-Time Analysis of E-Commerce Data)

  • 김해리;이기용
    • 한국전자거래학회지
    • /
    • 제18권3호
    • /
    • pp.159-175
    • /
    • 2013
  • 최근 들어 전자상거래 데이터의 실시간 공급이 가능해지면서, 전자상거래 데이터를 실시간으로 분석하고자 하는 요구가 급증하고 있다. 이를 위해서는 전자상거래 데이터 스트림과 디스크에 저장된 대규모 릴레이션 간의 연속 조인 질의를 효율적으로 처리하는 것이 매우 중요하다. 본 논문에서는 전자상거래 데이터 스트림과 디스크에 저장된 다수 릴레이션 간의 효율적인 연속 조인 질의 기법을 제안한다. 제안 방법은 기존 방법에 비해 서비스율을 크게 향상시키는 한편, 메모리 사용량을 크게 줄인다. 분석과 다양한 실험을 통해, 제안 방법은 기존 방법에 비해 서비스율과 메모리 사용량에서 더 효율적임을 보인다.

Web-based Application Service Management System for Fault Monitoring

  • Min, Sang-Cheol;Chung, Tai-Myoung;Park, Hyoung-Woo;Lee, Kyung-Ha;Pang, Kee-Hong
    • Journal of Electrical Engineering and information Science
    • /
    • 제2권6호
    • /
    • pp.64-73
    • /
    • 1997
  • Network technology has been developed for very high-speed networking and multimedia data whose characteristics are the continuous and bursty transmission as well as a large amount of data. With this trend users wish to view the information about the application services as well as network devices and system hardware. However, it is rarely available for the users the information of performance or faults of the application services. Most of information is limited to the information related network devices or system hardware. Furthermore, users expect the best services without knowing the service environments in the network and there is no good way of delivering the service related problems and fault information of application services in a high speed network yet. In this paper we present a web-based application management system that we have developed for the past year. It includes a method to build an agent system that uses an existing network management standards, SNMP MIB and SNMP protocols. The user interface of the system is also developed to support visualization effects with web-based Java interface which offers a convenient way not only to access management information but also to control networked applications.

  • PDF

실시간 공정데이터 기반의 스마트 롤포밍에 관한 연구 (Smart Roll Forming Based on Real-Time Process Data)

  • 손재환;조동현;김철홍
    • 한국기계가공학회지
    • /
    • 제17권5호
    • /
    • pp.45-51
    • /
    • 2018
  • Roll forming refers to the production of long plate-molded products, such as panels, pipes, tubes, channels, and frames, by continuously causing the bending deformation to thin plates using rotating rolls. As the roll forming method has advantages in terms of mass production because of its excellent productivity, the size of the roll forming industry has been continuously increasing and the roll forming method is increasingly being used in diverse industrial fields as a very important processing method. Furthermore, as the roll forming method mainly depends on the continuous bending deformation of the plate materials, the time and the cost of the heterogeneous materials developed in the process are relatively large when considered from the viewpoint of plastic working because many processes are continuously implemented. The existing studies on roll forming manufacturing have reported the loss of large amounts of time and materials when the raw materials or product types were changed; further, they have stated that the use of this method can hardly guarantee the uniformity of the formed shapes and the consistency in terms of size and cannot detect all the defects occurring during the mass production and related to the dimensions. Therefore, in this research, a real-time process data-based smart roll forming method that can be applied to multiple products was studied. As a result, a roll forming system was implemented that remembers and automatically sets the changes in the finely adjusted values of the supplied quantities of individual heterogeneous materials so that the equipment setting changing time for heterogeneous material replacements or changes in the products being produced can be shortened. It also secures the uniformity of the products so that more competitive and precise slide-rail products can be mass-produced with improvements in the quality, price, and productivity of the products.

시변 볼륨 데이터의 압축과 가시화 기법 (Compression and Visualization Techniques for Time-Varying Volume Data)

  • 손봉수
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.85-93
    • /
    • 2007
  • 본 논문에서는 시간에 따라서 변하는 삼차원 볼륨의 집합인 볼륨 비디오 데이터의 압축 기법을 제안하고 각각의 프레임을 실시간으로 압축 해제하며 가시화하는 방법을 설명하였다. 시변 볼륨 데이터는 한 프레임의 크기 조차도 매우 크기 때문에 그 크기를 줄이는 압축 기법을 수행할 필요가 있다. 그리고 실행 과정에서 일어나는 압축 해제는 시변 볼륨 데이터를 실시간으로 가시화 하는데 있어 병목 현상의 원인이 될 수 있다. 우리는 실행중의 압축 해제 속도와 데이터의 압축률을 높이기 위하여 삼차원 볼륨 데이터를 작은 블록으로 분해하고 충분히 많이 변하는 블록들을 갱신하는 방법을 제안하였다. 이 방법을 구현한 결과 본 논문에서 제안된 압축 및 압축 해제 기법이 압축 해제 속도와 압축에서 복원된 데이터의 정확성, 그리고 압축률의 정도를 조절하여 대용량 시변 볼륨데이터의 대화형 가시화를 가능하게 함을 알 수 있다.

  • PDF

다중광학창을 가진 광학소자 자동 검사 시스템 개발 (Development of Precision Vision Inspection System for Micro Optical Parts using a New Optical Probe Implemented to have Multiple Fields of Views)

  • 이일환;이기수;박희재
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 2001년도 춘계학술대회 논문집
    • /
    • pp.105-109
    • /
    • 2001
  • The micro optical parts such as ferrules are required to be manufactured within very small tolerances, as the slight deviation of the tolerance would give very large amount of loss in communication efficiency. For efficient optical communication, outer diameter, fiber diameter, fiber separation and eccentricity are significant parameters to be inspected., Thus we developed an automatic inspection system to evaluate shape parameters of the optical fiber connectors(ferrule) upto submicron accuracy using machine vision. new optical probe of multi fields of views has been developed and the image processing and data analysis algorithms have been complemented in real time basis. The developed system is successfully used in the practical ferrule manufacturing industry, and about 0.1$\mu\textrm{m}$ accuracy can be obtained with very fast inspection time.

  • PDF

k-means 클러스터링과 순차 패턴 기법을 이용한 VLDB 기반의 상품 추천시스템 (Product Recommendation System on VLDB using k-means Clustering and Sequential Pattern Technique)

  • 심장섭;우선미;이동하;김용성;정순기
    • 정보처리학회논문지D
    • /
    • 제13D권7호
    • /
    • pp.1027-1038
    • /
    • 2006
  • 대용량 데이터베이스에서의 추천시스템은 많은 문제점들을 지니고 있으므로, 대규모 인터넷 쇼핑몰에 적합한 추천 시스템 구조와 데이터 마이닝 기법의 필요성이 요구되고 있다. 따라서 본 논문에서는 k-mean 클러스터링과 순차 패턴 기법을 이용한 VLDB(very large database) 기반의 상품 추천 시스템을 설계 및 구현한다. 본 논문에서는 사용자의 정보를 일괄처리하고 다양한 카테고리를 계층적으로 정의하며, 탐색엔진에 순차 패턴 마이닝 기법을 이용한다. 예측 모델을 만들기 위하여 사용자의 로그 데이터 중에서 카테고리에 대한 사용자의 선호도를 추출하여 이용한다. 본 논문에서는 실험과 성능 평가를 위하여 국내 인터넷 쇼핑몰에서 30일 동안 수집한 실제 데이터를 이용한다. 또한 성능평가를 위하여 추천 예측 정확율(PRP: Predictive Recommend Precision), 추천 예측 재현율(PRR: Predictive Recommend Recall), 정확도 인수(PF1 : Predictive Factor One-measure)를 제안하여 사용한다. 성능평가 결과 가장 빠른 추천시간 및 학습시간은 O(N)이었고, 다양한 실험에서의 측도들의 값이 상당히 우수하였다.