• 제목/요약/키워드: Very large real-time data

검색결과 130건 처리시간 0.029초

반도체 공정의 생산성 향상을 위한 실시간 대용량 데이터의 효율적인 저장 기법 (An Efficient Storing Scheme of Real-time Large Data to improve Semiconductor Process Productivities)

  • 정원일;김환구
    • 한국산학기술학회논문지
    • /
    • 제10권11호
    • /
    • pp.3207-3212
    • /
    • 2009
  • 반도체 산업이 발전함에 따라 생산 효율을 높이기 위해 무인 자동 생산 공정이 요구되고 있다. 이러한 무인자동화 생산 관리 시스템은 생산성 향상을 위해 생산 공정에서 발생하는 대량의 실시간 데이터 분석 및 관리를 필요로 한다. 따라서 실시간으로 발생하는 대용량 데이터를 저장하기 위한 저장 관리 시스템이 요구된다. 기존의 저장 관리 시스템으로 오라클, MY-SQL, MS-SQL 등의 디스크 기반 DBMS가 있다. 하지만 기존의 디스크 기반 DBMS는 반도체 장비로부터 실시간으로 발생하는 대용량 데이터 처리에 한계가 있다. 본 논문에서는 대용량 데이터를 저비용으로 실시간 저장하기 위해 블록 단위 삽입 트랜잭션을 이용한 압축-합병 저장 기법을 제안한다. 제안 기법은 블록 단위 트랜잭션을 이용하여 실시간 데이터를 빠르게 저장하며 데이터를 압축하고 압축된 데이터를 합병하여 저장하기 때문에 보다 적은 디스크 공간을 사용하여 저장할 수 있다. 따라서 반도체 공정에서 빠르게 발생하는 대용량 데이터를 기존 DBMS보다 빠르게 저장이 가능하고 저장 공간 비용을 감소시킨다.

대형구조물 모니터링을 위한 high-rate GPS 자료처리 (A High-rate GPS Data Processing for Large-scale Structure Monitoring)

  • 배태석
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2010년 춘계학술발표회 논문집
    • /
    • pp.181-182
    • /
    • 2010
  • For real-time displacement monitoring of large-scale structures, the high-rate (>1 Hz) GPS data processing is necessary, which is not possible even for the scientific GPS data processing softwares. Since the baseline is generally very short in this case, most of the atmospheric effects are removed, resulting in the unknowns of position and integer ambiguity. The number of unknowns in real-time kinematic GPS positioning makes the positioning impossible with usual approach, thus two-step approach is tested in this study.

  • PDF

A STUDY ON ENCODING/DECODING TECHNIQUE OF SENSOR DATA FOR A MOBILE MAPPING SYSTEM

  • Bae, Sang-Keun;Kim, Byung-Guk
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2005년도 Proceedings of ISRS 2005
    • /
    • pp.705-708
    • /
    • 2005
  • Mobile Mapping Systems using the vehicle equipped the GPS, IMU, CCD Cameras is the effective system for the management of the road facilities, update of the digital map, and etc. They must provide users with the sensor data which is acquired by Mobile Mapping Systems in real-time so that users can process what they want by using the latest data. But it' s not an easy process because the amount of sensor data is very large, particularly image data to be transmitted. So it is necessary to reduce the amount of image data so that it is transmitted effectively. In this study, the effective method was suggested for the compression/decompression image data using the Wavelet Transformation and Huffman Coding. This technique will be possible to transmit of the geographic information effectively such as position data, attitude data, and image data acquired by Mobile Mapping Systems in the wireless internet environment when data is transmitted in real-time.

  • PDF

Estimation of Moving Information for Tracking of Moving Objects

  • Park, Jong-An;Kang, Sung-Kwan;Jeong, Sang-Hwa
    • Journal of Mechanical Science and Technology
    • /
    • 제15권3호
    • /
    • pp.300-308
    • /
    • 2001
  • Tracking of moving objects within video streams is a complex and time-consuming process. Large number of moving objects increases the time for computation of tracking the moving objects. Because of large computations, there are real-time processing problems in tracking of moving objects. Also, the change of environment causes errors in estimation of tracking information. In this paper, we present a new method for tracking of moving objects using optical flow motion analysis. Optical flow represents an important family of visual information processing techniques in computer vision. Segmenting an optical flow field into coherent motion groups and estimating each underlying motion are very challenging tasks when the optical flow field is projected from a scene of several moving objects independently. The problem is further complicated if the optical flow data are noisy and partially incorrect. Optical flow estimation based on regulation method is an iterative method, which is very sensitive to the noisy data. So we used the Combinatorial Hough Transform (CHT) and Voting Accumulation for finding the optimal constraint lines. To decrease the operation time, we used logical operations. Optical flow vectors of moving objects are extracted, and the moving information of objects is computed from the extracted optical flow vectors. The simulation results on the noisy test images show that the proposed method finds better flow vectors and more correctly estimates the moving information of objects in the real time video streams.

  • PDF

실시간 2차원 디지털 신호처리를 위한 VLSI 구조 (A VLSI Architecture for the Real-Time 2-D Digital Signal Processing)

  • 권희훈
    • 정보와 통신
    • /
    • 제9권9호
    • /
    • pp.72-85
    • /
    • 1992
  • 다수의 처리 장치가 실시간 실현에 필수적이라는 것이 많은 디지털 신호처리를 일정한 시간 내에 하기 위한 요구 조건이다. VLSI 기술이 발전함으로 많은 기능 장치로 구성된 컴퓨터 시스템을 설계하고, 실현하는 것이 가능하게 되었다. 일정한 시간내에 높은 처리 능력을 갖음으로서 디지털 신호처리에 응용할 수 있는 VLSI 구조를 연구하는데 데이터 통신의 요구량과 계산의 복잡성을 최소화 할 수 있는 알고리듬의 개발이 요구된다. 이 문제를 해결하는 방법으로 DLSI 시스템이나 적응 시스템을 모델로 하는 효과적인 알고리듬을 조사하고 , 이 알고리듬을 실현할 수 있는 VLSI구조와 연관된 멀티 프로세서 시스템을 개발하는데 본 연구의 목적이 있다. 본 연구에서는 실시간 2차원 신호처리를 할 수 있는 새로운 VLSI 구조를 제안했다. 이 VLSI 구조는 칩 내부에서 단일 처리 장치가 갖는 개념을 다수의 처리 장치를 사용하는 경우로 확장하였다. 이 VLSI 구조는 입력 데이타의 크기가 증가함에 따라서 복잡성과 입력당 계산의 수가 증가하지 않는다는 장점을 갖기 때문에 매우 큰 2차원 데이타를 실시간에 처리할 수 있다.

  • PDF

대용량 자료와 순차적 자료를 위한 부스팅 알고리즘 (Boosting Algorithms for Large-Scale Data and Data Batch Stream)

  • 윤영주
    • 응용통계연구
    • /
    • 제23권1호
    • /
    • pp.197-206
    • /
    • 2010
  • 본 논문에서는 대용량 자료 혹은 시간에 따라 순차적으로 들어오는 자료의 분류를 위한 부스팅(boosting) 알고리즘을 제안한다. 대용량 자료나 순차적 자료의 경우 분석시 모든 훈련 자료(training data)들을 한번에 이용하기 어려우므로 보통의 부스팅 알고리즘은 적절하지 못하다. 이러한 상황을 극복하기 위해 AdaBoost와 Arc-x4와 같은 부스팅 알고리즘을 수정하여 제안한다. 모의 실험과 실제 자료 분석을 통해 대용량 자료나 순차적 자료에 제안된 알고리즘이 잘 적용됨을 보였다.

블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 (Real time Storage Manager to store very large datausing block transaction)

  • 백성하;이동욱;어상훈;정원일;김경배;오영환;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권2호
    • /
    • pp.1-12
    • /
    • 2008
  • 초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은 대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다. 기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반 DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다. 본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기 위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은 개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수 있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은 데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기 위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본 제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저 장비용을 감소시킬 수 있다.

  • PDF

Spatial-Temporal Modelling of Road Traffic Data in Seoul City

  • 이상열;안수한;박창이;전종우
    • Journal of the Korean Data and Information Science Society
    • /
    • 제13권2호
    • /
    • pp.261-270
    • /
    • 2002
  • Recently, the demand of the Intelligent Transportation System(ITS) has been increased to a large extent, and a real-time traffic information service based on the internet system became very important. When ITS companies carry out real-time traffic services, they find some traffic data missing, and use the conventional method of reconstructing missing values by calculating average time trend. However, the method is found unsatisfactory, so that we develop a new method based the spatial and spatial-temporal models. A cross-validation technique shows that the spatial-temporal model outperforms the others.

  • PDF

대형 발전기의 고정자 절연 진단용 시스템 개발 (A Diagnosing System Development for Insulated Stator of Large Generator)

  • 박성욱
    • 전기학회논문지P
    • /
    • 제51권1호
    • /
    • pp.52-54
    • /
    • 2002
  • This research presented in this paper focuses on a system development for checking stator's wedge of large generator in heavy industry. The system is composed of impactor, A/D converter and digital signal processing board. Also this paper proposes a method for detection of stator's insulating state using analysis algorithm. As developed impact system is acting, impact wave is generated real time and transferred data to microprocessor. Using communication program this signal move microprocessor to hard directory of note book with 1000 data/sec. The developed system and analysis program performed very well by real stator's wedge in large generator.

Large Flows Detection, Marking, and Mitigation based on sFlow Standard in SDN

  • Afaq, Muhammad;Rehman, Shafqat;Song, Wang-Cheol
    • 한국멀티미디어학회논문지
    • /
    • 제18권2호
    • /
    • pp.189-198
    • /
    • 2015
  • Despite the fact that traffic engineering techniques have been comprehensively utilized in the past to enhance the performance of communication networks, the distinctive characteristics of Software Defined Networking (SDN) demand new traffic engineering techniques for better traffic control and management. Considering the behavior of traffic, large flows normally carry out transfers of large blocks of data and are naturally packet latency insensitive. However, small flows are often latency-sensitive. Without intelligent traffic engineering, these small flows may be blocked in the same queue behind megabytes of file transfer traffic. So it is very important to identify large flows for different applications. In the scope of this paper, we present an approach to detect large flows in real-time without even a short delay. After the detection of large flows, the next problem is how to control these large flows effectively and prevent network jam. In order to address this issue, we propose an approach in which when the controller is enabled, the large flow is mitigated the moment it hits the predefined threshold value in the control application. This real-time detection, marking, and controlling of large flows will assure an optimize usage of an overall network.