• Title/Summary/Keyword: 고속 데이터 처리

Search Result 761, Processing Time 0.039 seconds

Implementation of High Speed Big Data Processing System using In Memory Data Grid in Semiconductor Process (반도체 공정에서 인 메모리 데이터 그리드를 이용한 고속의 빅데이터 처리 시스템 구현)

  • Park, Jong-Beom;Lee, Alex;Kim, Tony
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.15 no.5
    • /
    • pp.125-133
    • /
    • 2016
  • Data processing capacity and speed are rapidly increasing due to the development of hardware and software in recent time. As a result, data usage is geometrically increasing and the amount of data which computers have to process has already exceeded five-thousand transaction per second. That is, the importance of Big Data is due to its 'real-time' and this makes it possible to analyze all the data in order to obtain accurate data at right time under any circumstances. Moreover, there are many researches about this as construction of smart factory with the application of Big Data is expected to have reduction in development, production, and quality management cost. In this paper, system using In-Memory Data Grid for high speed processing is implemented in semiconductor process which numerous data occur and improved performance is proven with experiments. Implemented system is expected to be possible to apply on not only the semiconductor but also any fields using Big Data and further researches will be made for possible application on other fields.

Trends on Data Plane Acceleration Technology (데이터 플레인 가속화 기술동향)

  • Choi, K.I.;Lee, B.C.
    • Electronics and Telecommunications Trends
    • /
    • v.30 no.2
    • /
    • pp.87-94
    • /
    • 2015
  • 인터넷 트래픽의 향후 5년간 연평균성장률(CAGR)은 24%(유선 트래픽이 21%, 모바일 트래픽이 68%)로 예상되지만, 인터넷 트래픽을 처리하는 칩셋의 성능 연평균성장률은 14% 정도로 예상되고 있다. 이에 따라, 증가하는 인터넷 트래픽과 이를 처리하는 칩셋의 성능 사이에 격차(Forwarding Gap)가 발생하고 있는 상황이다. 이런 격차를 줄이기 위해 시작된 연구기술이 데이터 플레인 가속화(DPA: Data Plane Acceleration) 기술이다. 본고에서는 데이터 플레인 가속화 기술로 최근 공개 소프트웨어로 발표된 인텔의 DPDK(Data Plane Development Kit)기술과 Linaro의 ODP(Open Data Plane)기술을 중심으로 고속 네트워크 패킷처리를 위한 데이터 플레인 가속화 기술동향을 소개한다.

  • PDF

A study on the implementation of high-speed record/playback system for processing large-quantity data of 1Gbps (1Gbps급 대용량 데이터처리를 위한 고속기록/재생 시스템 구축에 관한 연구)

  • Oh, Se-Jin;Roh, Duk-Gyoo;Yeom, Jae-Hwan;Kim, Bum-Kook;Hwang, Chul-Jun;Kim, Kwang-Dong;Jung, Gu-Young
    • Proceedings of the KIEE Conference
    • /
    • 2006.10c
    • /
    • pp.404-406
    • /
    • 2006
  • 본 논문에서는 우주전파를 VLBI 관측시스템으로 관측한 후 고속으로 저장/재생하기 위한 시스템 구축에 관해 소개한다. 한국천문연구원에서는 2001년부터 국내 유일의 VLBI관측 시스템으로써 한국우주전파관측망(Korean VLBI Network; KVN)을 구죽하고 있다. KVN에서는 1Gsps/2bit 우주전파를 샘플링하는 샘플러와 디지털필터로 구성된 자료획득 시스템(Data Acquisition System; DAS)을 갖출 예정이다. 관측된 우주전파는 샘플러와 DAS를 통하여 처리된 데이터를 1Gbps이상의 속도로 기록된다. 본 논문에서는 1Gbps급의 대용량 데이터를 처리할 수 있는 시스템으로써 Mark5B 시스템의 구축과 시스템 구성, VSI-H, 시스템 운용 및 실험결과 등에 대해서 기술하고자 한다.

  • PDF

A Study on Shared Memory Optimization for Multi-Processor System (다중 프로세서 시스템에서의 공유 메모리 최적화 연구)

  • Kim, Jong-Su;Moon, Jong-Wook;Yim, Kang-Bin;Jung, Gi-Hyun;Choi, Kyung-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.685-688
    • /
    • 2001
  • 고속 I/O 를 갖는 Loosely coupled 다중 프로세서 시스템은 데이터의 처리 성능 향상과 I/O 집중화에 따른 병목 현상을 줄여줄 수 있다. 이 때 프로세서간의 데이터 전송에 사용되는 공유메모리는 그 구성과 이용 방법에 따라 시스템의 성능에 많은 영향을 미친다. 본 연구에서는 공유메모리의 사용 방법을 비동기, 메일박스를 통한 인터럽트 전달 인지 방식으로, I/O 사용방법을 고속 이더넷(IEEE 802.3u)으로 한 시스템 모델에서 다중 프로세서 시스템 구성에 필요한 공유메모리의 최적 사용량을 입출력 데이터의 Bandwidth와 Burstness관점에서 실험을 통해 분석하였다.

  • PDF

Design of Multi-Sensor Data Processing System for Real-Time Aerial Monitoring (실시간 공중 모니터링을 위한 다중센서 데이터 처리 컴퓨터의 설계)

  • Joe, Hyun-Woo;Lee, Jong-Hyuk;Kim, Hyung-Shin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.400-404
    • /
    • 2008
  • 무인항공기를 이용한 실시간 공중 모니터링은 재난 재해, 테러 등의 위기상황을 사전에 대비하고, 사고 발생 시 피해상황을 신속하게 파악할 수 있는 효율적인 관리 시스템이다. 실시간 공중 모니터링을 위해 무인항공부문에서는 고성능의 카메라, 관성항법장치, 레이저 스캐너, GPS 수신기 등의 다중 센서들을 장착하고, 제어하며 각 센서들로부터 입력받은 데이터 처리 및 지상국으로 데이터 전송이 실시간으로 가능해야 한다. 기존 무인 모니터링 시스템들은 카메라와 같이 단일 센서의 운용을 목적으로 설계되었으나, 본 연구에서는 레이져 스캐너, 적외선카메라를 포함하는 다중센서를 위한 컴퓨터를 설계하였다. 최근 다중센서를 장착한 관측시스템에 관한 연구가 미국 및 유럽에서 수행되고 있으나, 아직 개발이 완료되지 않은 상태이다. 본 논문에서는 고성능 다중 센서 데이터 처리를 위해 실시간 소프트웨어, 고속 대용량 데이터처리 기술, 고속 압축 기술, 이기종 다중 센서들 간의 시각 동기화 기능을 제공하는 탑재컴퓨터의 설계결과를 소개하였다.

  • PDF

Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment (센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계)

  • Park, Jun-Yong;Lee, Kwang-Won;Hwang, Yun-Chul;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2010.07a
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF

An architecture for data processing accelerator (데이터 처리 가속기 구조)

  • Na, Jong-Whoa;Kim, Hee-Chern;Ryu, Dae-Hyun;Kwon, Chang-Hee;Jung, Kwang-Ho;Sin, Seung-Jung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05b
    • /
    • pp.1015-1018
    • /
    • 2003
  • 본 논문은 날로 증가하는 데이터 처리 요구를 데이터 처리 전용 칩을 이용하여 데이터베이스, 데이터 마이닝, 또는 전문가 시스템 통과 같이 데이터 비교연산에 시간을 많이 소모하는 응용 소프트웨어의 처리 속도를 최소화 할 수 있는 시스템을 제안한다. 본 시스템은 기존의 숫자처리(numeric processing)보다는 기호처리(symbolic processing)를 위해서 관계 연산(relation operation) 모듈을 이용하여 입력된 데이터들을 하드웨어 레벨에서 고속으로 처리한다. 본 시스템은 칩으로 설계되어 하드디스크 레벨에서 시스템을 가속 시린 수도 있고, IP(Intellectual Property)로 구현되어 SoC(System-on-a-chip)의 한 모듈로서 프로세서 레벨에서 시스템을 가속시킬 수도 있다.

  • PDF

A Study on the Noise Reduction Method for Data Transmission of VLBI Data Processing System (VLBI 자료처리 시스템의 데이터 전송에서 잡음방지에 관한 연구)

  • Son, Do-Sun;Oh, Se-Jin;Yeom, Jae-Hwan;Roh, Duk-Gyoo;Jung, Jin-Seung;Oh, Chung-Sik
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.12 no.4
    • /
    • pp.333-340
    • /
    • 2011
  • KJJVC(Korea-Japan Joint VLBI Correlator) was installed at the KJCC(Korea-Japan Correlation Center) and has been operated by KASI(Korea Astronomy and Space Science Institute) from 2009. KJNC is able to correlate the VLBI observed data through KVN(Korean VLBI Network), VERA(VLBI Exploration of Radio Astrometry), and JVN(Japanese VLBI Network) and its joint network array. And it is used exclusively as computer in order to process the observed data for the scientific purpose KJJVC used the VSI(VLBI Standard Interface) as the VLBI international standard at the data input-output specification between each component. Especially, for correlating the observed data, the data is transmitted with 1024Mbps speed between Mark5B high-speed playback and RVDB(Raw VLBI Data Buffer). The EMI(Electromagnetic lnterference), which is occurred by data transmission with high-speed, cause the data loss and the loss occurrence is frequently often for long transmission cable. Finally it will be caused the data recognition error by decreasing the voltage level of digital data signal. In this paper, in order to minimize the data loss by measuring the EMI noise level in transmission of the VSI specification, the 3 methods such as 1) RC filtering method, 2) lmpedance matching using Microstrip line, and 3) Signal buffering method using Differential line driver, were proposed. To verify the effectiveness of each proposed method, the performance evaluation was conducted by implementing and simulations for each method. Each proposed method was effectively confirmed as the high-speed data transmission of the VSI specification.

High Speed TCAM Design using SRAM Cell Stability (SRAM 셀 안정성 분석을 이용한 고속 데이터 처리용 TCAM(Ternary Content Addressable Memory) 설계)

  • Ahn, Eun Hye;Choi, Jun Rim
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.18 no.5
    • /
    • pp.19-23
    • /
    • 2013
  • This paper deals with the analysis of 6T SRAM cell stability for Hi-speed processing Ternary Content Addressable Memory. The higher the operation frequency, the smaller CMOS technology required in the designed TCAM because the purpose of TCAM is high-speed data processing. Decrease of Supply voltage is one cause of unstable TCAM operation. Thus, We should design TCAM through analysis of SRAM cell stability. In this paper we propose methodology to characterize the Static Noise Margin of 6T SRAM. All simulations of the TCAM have been carried out in 180nm CMOS process technology.

Research on High-speed Event Detection based on Fuzzy Rule-based Quine-Maccluskey for Streaming Big Data (퍼지 기반 퀸-맥클러스키 규칙 감축 기법을 이용한 대용량 스트리밍 데이터의 고속 이벤트 탐지 기법 연구)

  • Park, Na-Young;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.373-376
    • /
    • 2014
  • 최근 모바일 기기 및 무선기기의 발달로 인하여 센서 네트워크가 다양한 분야에서 응용되고 있다. 따라서 센서에서 실시간으로 발생하는 스트리밍 데이터에서 이벤트를 감지하고 분석하는 것은 중요한 연구 분야로 부각되고 있다. 단순 이벤트의 발생 조건을 빠르게 판별하기 위해 비트맵 인덱스 기반 복합 이벤트 검출 기법 등 여러 가지 방법들이 사용되고 있지만, 아직까지 이기종 센서에서 발생하는 각기 다른 형태의 데이터를 융합하여 이벤트를 검출하는 복합 이벤트 처리에 대한 연구는 미비한 실정이다. 본 논문에서는 각기 다른 형태를 가지는 스트리밍 데이터에 멤버쉽 함수를 적용하여 퍼지화 함으로서 이기종 센서에서 발생하는 데이터를 융합 처리가능하며, Quine-Mccluskey 감축기법을 통하여 규칙의 신뢰도 및 속도가 향상된 의사결정을 하는 고속 이벤트 탐지기법을 제안한다.

  • PDF