• Title/Summary/Keyword: 고속 데이터 처리

Search Result 761, Processing Time 0.039 seconds

A High Speed Data Acquisition System using FPGA for Filter Bank System in Radio Telescope. (EPGA를 이용한 전파망원경 필터뱅크의 고속 데이터 취득시스템 개발)

  • 위석오;이창훈;김효령;김광동
    • Proceedings of the IEEK Conference
    • /
    • 2003.07c
    • /
    • pp.2681-2684
    • /
    • 2003
  • 본 연구에서는 전파천문학에 있어서 스펙트로그램을 얻기 위한 장치인 필터뱅크의 고속 데이터 취득에 관한것이다. 여기서는 FPGA를 기반으로 데이터 취득시스템을 설계하였는데, 기존의 모노리틱 IC 를 기반으로 설계된 데이터 I/O 를 FPGA 로 대체함으로써 부피를 적게하고 데이터의 고속처리를 가능하게 하였다. 우주현상을 관측함에 있어 고속으로 데이터를 처리함은 대기중의 불안정한 상태나 시스템의 불안정에 의한 좋지 않은 데이터를 정확히 선택하여 제거할 수 있는 데이터 시간 분활이 가능하게 한다. 본 논문에서 개발된 시스템을 적용하여 기존 시스템에 비하여 약 15 배 정도의 고속 데이터 처리가 가능하게 되었다.

  • PDF

A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer (RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘)

  • Han, Soo;Shin, Seung-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF

High Speed Data Processing Unit Development Using Xilinx GTP Interface and DDR-2 Memory (Xilinx GTP 인터페이스와 DDR-2 메모리를 이용한 고속 데이터 처리 유닛 개발에 관한 연구)

  • Seo, In-Ho;Oh, Dae-Soo;Lee, Jong-Ju;Park, Hong-Young;Jung, Tae-Jin;Park, Jong-Oh;Bang, Hyo-Choong;Yu, Yong-Ho;Yoon, Jong-Jin;Cha, Kyung-Hwan
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.36 no.8
    • /
    • pp.816-823
    • /
    • 2008
  • This paper describes the test results of developed high speed data processing unit using Xilinx GTP(Multi-Gigabit-Transceiver) interface and DDR-2 memory. The high speed data processing unit receives input data from packet generator at 1.25Gbps and transmits stored data to the data receiving system at 700Mbps. Therefore, DDR-2 memory controller and Xilinx GTP interface are implemented by FPGA instead of CPU to process high speed data directly.

Conceptual Design of High Speed Data Processing Unit for Next Generation Satellite (차세대 인공위성용 고속데이터 처리유닛 개념설계)

  • Oh, Dae-Soo;Seo, In-Ho;Lee, Jong-Ju;Park, Hong-Young;Chung, Tae-Jin;Kim, Hyung-Myung;Park, Jong-Oh;Yoon, Jong-Jin;Cha, Kyung-Hwan
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.36 no.6
    • /
    • pp.616-620
    • /
    • 2008
  • High reliability is the important parameter on designing satellite system and it is also important to design hish speed data processing unit. To make high speed satellite processing unit, it is needed to utilize space processor, high speed data interface technology, mass memory control technology and data protection technology under space radiation environment.

Fast Aggregation of Stream Data Using AVL Trees (AVL 트리를 활용한 스트림 데이터의 고속 집계 연산)

  • Kim, Ji-Hyun;Kim, Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.417-420
    • /
    • 2006
  • 스트림 데이터는 고속으로 생성되고 용량이 방대하여 저장하기 힘들며 데이터가 흘러가는 가운데 분석해야 하므로 기존 데이터 분석 방식을 그대로 사용하기는 어렵다. 본 연구에서는 스트림 데이터 분석 연산중의 하나인 다차원 집계 연산을 고속으로 처리하는 방법을 제안한다. 기존 연구들과 마찬가지로 스트림 데이터를 시간 차원 기준으로 윈도우 단위로 나누고, 각 윈도우마다 독립적인 집계 연산을 하도록 하였으며, 생성하고자 하는 집계 테이블들은 스트림 데이터가 입력되기 전에 미리 결정된다고 가정하였다. 정렬되지 않은 스트림 데이터를 고속으로 집계하기 위해 본 연구에서는 배열과 AVL 트리 구조를 혼합하여 사용하였다. 이 방법은 생성할 집계 테이블들 선택이 자유롭고, 집계 테이블들 전체가 메모리에 상주할 수 없을 정도로 큰 경우도 집계 연산을 실행할 수 있다는 장점을 갖는다. 제안한 방법의 효율성은 실험을 통해 입증하였다.

  • PDF

Energy big data analysis and classification software based on machine learning (부하별 에너지 빅데이터 분석 소프트웨어 시스템)

  • Kang, Jeonghoon;Yoo, June-Jae;Choi, Hyoseop;Lee, Taewoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.54-55
    • /
    • 2018
  • 본 논문은 지속적으로 수집되는 전력량계 데이터를 자동으로 처리, 분석하기 위한 IoT 데이터 기반 자동분석 기법을 제시한다. 에너지 효율을 높이기 위해서는 대상 설비의 관리, 모니터링을 통해 운영을 최적화해야 한다. IoT 기술을 이용하여 에너지 설비 사용 효율을 확인하고, 관리 여부를 판단하는 진단기술을 구현하기 위해서는, IoT 전력량계를 통해 수집된 데이터를 다양한 머신러닝 알고리즘에 입력하여 관리에 필요한 결과 지표를 도출할 수 있어야 한다. 이런 기능을 제공하는 IoT 수집 시스템의 모니터링 및 자동 진단 시스템은 데이터 수집, 분석을 신속하게 수행할 수 있다. 데이터 수집과 고속, 대용량 데이터 저장에 적합한 분산 파일시스템과 고속 시계열 기능을 기반으로 의존도, 유사도 분석실행을 제공하는 고속 전처리 시스템의 특징을 제안한다.

Trends of High Speed Satellite Offline Telemetry Processing (위성 상태 데이터의 고속 후처리 기술 동향)

  • Kang, Ji-Hoon;Koo, In-Hoi;Ahn, Sang-Il
    • Current Industrial and Technological Trends in Aerospace
    • /
    • v.8 no.2
    • /
    • pp.15-23
    • /
    • 2010
  • In this paper, the trends of a satellite offline telemetry processing system had been discussed. The satellite offline telemetry processing system is used to analyze an offline telemetry and to check health status of the satellite. Common requirements for the system are high speed processing, processed data visualization, easiness of use, and generality. Regarding to these requirements, how the recent telemetry processing system had been designed and implemented is discussed in detail.

  • PDF

Grouping of Wireless Terminals for High-Rate Transmission to Long Distance in IEEE 802.11b (IEEE 802.11b에서 원거리 고속 데이터 전송을 위한 무선 단말들의 그룹화)

  • Woo, Sung-Je;Lee, Tae-Jin;Lee, Ok-Sun;Jang, Kyung-Hun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05b
    • /
    • pp.1273-1276
    • /
    • 2003
  • IEEE 802.11b는 무선으로 근거리 단말들을 연결하는 통신 기술로, 높은 데이터 전송률을 제공할 수 있다. IEEE 80211b의 구성은 보통 하나의 분배 시스템을 기반으로 AP와 하나 이상의 단말 기기가 BSS를 구성하는데 AP에서 거리가 멀리 떨어진 단말은 신호의 세기가 약해지므로 고속데이터 전송률의 보장을 반을 수 없는 단점을 가지고 있다. 본 논문에서는 무선 단말중 일부를 리피터로 이용함으로써 그룹화를 통한 원거리 고속데이터 전송을 가능하게 하는 방법을 제안하고, 시뮬레이션을 통해 무선 단말의 그룹화를 위한 알고리즘을 분석하였다. 그 결과 제안된 그룹화 알고리즘이 원거리 고속 데이터 전송을 위한 효과적인 방법임을 보였다.

  • PDF

Design and Implementation of a Network Processor for High-Speed Data Processing (데이터의 고속 처리를 위한 네트워크 프로세서의 설계 및 구현)

  • 조래석;배대희;정용진;민상원;정광모
    • Proceedings of the IEEK Conference
    • /
    • 2003.07a
    • /
    • pp.141-144
    • /
    • 2003
  • 인터넷 사용자의 증가와 데이터 전송양이 폭발적으로 증가하면서, 네트워크에도 고속화 및 다기능화가 요구되고 있다. 또한, IPv4의 주소 부족 문제를 해결하기 위해 IPv6의 표준화가 진행 중인데, IPv4와 IPv6는 서로 다른 주소 체계를 사용하므로 상호 연동하기 위한 방안이 제공되어야 한다. 본 논문에서는 IPv4-IPv6 간 연동을 위한 메커니즘인 변환 방식과 터널링 방식에 모두 이용되고, 데이터의 고속 처리를 위해 프로토콜 듀얼 스택 중 3계층과 4계층을 하드웨어로 설계하였다. 특히, 3계층은 IP 기반의 고속 네트워크를 위해 듀얼 스택으로 구현함으로써 IPv4, IPv6 패킷을 단일 노드에서 처리할 수 있는 장점을 지닌다. 본 논문에서 제안한 네트워크 프로세서는 Verilog HDL을 이용하여 설계하였으며, 실제 네트워크 상의 패킷 정보를 볼 수 있는 Ethereal 프로그램을 이용하여 구한 테스트 벡터로 시뮬레이션 및 검증을 하였다.

  • PDF

High-Performance Loading Method for Historical Spatial Query Processing in Data Stream System (데이터 스트림 시스템에서 과거 공간질의 처리를 위한 고속 로딩 기법)

  • Jae-Wan Shin;Sung-Ha Baek;Dong-Wook Lee;Soong-Sun Shin;Kyung-Bae Kim;Hae-Young Bae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.397-400
    • /
    • 2008
  • 무한히 발생되는 실시간 데이터와 디스크에 저장된 히스토리컬 데이터를 동시에 처리하는 하이브리드 질의에 관한 연구가 활발히 이루어지고 있다. 하이브리드 질의는 디스크에 저장된 대용량의 공간 데이터 처리를 위해 빠른 디스크 입/출력을 요구한다. 이러한 데이터를 처리하기 위해 인덱스, 데이터 축소 기법등이 연구되었다. 데이터의 빠른 검색을 위한 인덱스 기법은 디스크에 분산 저장된 데이터에 대한 탐색 비용과 입/출력 비용을 줄이지 못한다. 또한, 샘플링을 통해 디스크 입/출력 시간 비용을 줄이는 데이터 축소 기법은 데이터의 정확성을 떨어뜨려 정확성을 요구하는 하이브리드 질의에서는 이용하기가 어렵다. 이논문에서는 디스크 입/출력 시간과 디스크 탐색 시간 비용을 줄이고, 정확성을 보장하는 과거 공간질의 처리를 위한 고속로딩 기법을 제아난다. 제안기법은 공간을 그리드 형태로 나누고 인접한 공간 데이터를 함께 관리함으로써 디스크 입/출력 비용을 줄 일 수 있다. 또한, 공간적으로 인접한 데이터를 물리적으로 인접한 곳에 저장하여 디스크 탐색시간 비용을 줄일 수 있다. 이렇게 저장된 데이터는 손실 없이 모두 저장되며, 정확성 또는 보장할 수 있다.