• Title/Summary/Keyword: 고속 데이터 처리

Search Result 763, Processing Time 0.035 seconds

A Study on Wired and Wireless Networking for Science Big Data Transfer (과학빅데이터 고속전송을 위한 유무선 네트워킹 적용방안 연구)

  • Seok, Woojin;Kim, Kiwook;Kwak, Jaiseung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.181-183
    • /
    • 2022
  • 본 논문에서는 과학빅데이터를 전송하는 방법으로 과학실험장비 에서 발생하는 빅데이터를 유선네트워크에서의 고속전송하는 기술 방안과 과학실험장비 내부에서의 데이터를 송수신하기 위한 근거리 고속 무선네트워크 기술에 대한 적용기술을 살펴보고자 한다. 이러한 유무선 네트워킹 기술이 해결하고자 하는 기술적 요소 등을 살펴보고 적용가능한 기술방안을 제안하고자 한다.

A High Speed FFT Processor for OFDM Systems (OFDM 시스템을 위한 고속 FFT 프로세서)

  • 조병각;손병수;선우명훈
    • Proceedings of the IEEK Conference
    • /
    • 2001.09a
    • /
    • pp.873-876
    • /
    • 2001
  • 본 논문에서는 고속 데이터 전송을 위한 OFDM (Orthogonal Frequency Division Multiplex) 시스템용 고속 FFT 프로세서를 제안한다. 적은 하드웨어 크기를 만족하기 위해 단일 메모리 구조를 채택하였으며 고속 연산을 위해 Radix-4 알고리즘과 메모리 뱅크 구조를 사용하였다. 또한, 버터 플라이 출력이 입력 데이터의 위치에 저장되는 In-place 메모리 구조를 갖는다. 설계한 프로세서는 VHDL로 모델링하여 삼성 0.5㎛ SOG 공정으로 합성하였으며 메모리를 제외한 전체 게이트 수가 98,326개를 보였다. 동작속도는 42MHz로 256-포인트 연산이 6㎲에 처리 가능한 구조이다.

  • PDF

A VLSI Design for High-speed Data Processing of Differential Phase Detectors with Decision Feedback (결정 궤환 구조를 갖는 차동 위상 검출기의 고속 데이터 처리를 위한 VLSI 설계)

  • Kim, Chang-Gon;Jeong, Jeong-Hwa
    • Journal of the Institute of Electronics Engineers of Korea SD
    • /
    • v.39 no.5
    • /
    • pp.74-86
    • /
    • 2002
  • This paper proposes a VLSI architecture for high-speed data processing of the differential phase detectors with the decision feedback. To improve the BER performance of the conventional differential phase detection, DF-DPD, DPD-RGPR and DFDPD-SA have been proposed. These detection methods have the architecture feedbacking the detected phase to reduce the noise of the previous symbol as phase reference. However, the feedback of the detected phase results in lower data processing speed than that of the conventional differential phase detection. In this paper, the VLSI architecture was proposed for high-speed data processing of the differential phase detectors with decision feedback. The Proposed architecture has the pre-calculation method to previously calculate the results on 'N'th step at 'M-1'th step and the pre-decision feedback method to previously feedback the predicted phases at 'M-1'th step. The architecture proposed in this paper was implemented to RTL using VHDL. The simulation results show that the Proposed architecture obtains the high-speed data processing.

VSI(VLBI Standard Interface)데이터 전송에서의 EMI 제거 방안 연구

  • Son, Do-Seon;Yeom, Jae-Hwan;Jeong, Jin-Seung;No, Deok-Gyu;O, Se-Jin;O, Chung-Sik
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.36 no.1
    • /
    • pp.71.2-71.2
    • /
    • 2011
  • 한국천문연구원은 한일상관센터(Korea-Japan Correlation Center)에 2009년부터 한일공동 VLBI상관기(Korea-Japan Joint VLBI Correlator, KJJVC)를 설치하여 운영하고 있다. 한일공동VLBI상관기는 한국우주전파관측망(Korean VLBI Network, KVN), VERA(VLBI Exploration of Radio Astrometry), JVN(Japanese VLBI Network)을 연결하여 관측을 수행하고 동아시아 지역의 VLBI 관측망의 상관처리를 담당할 예정이다. 한일공동VLBI상관기 중에서 데이터동기재생처리장치(Raw VLBI Data Buffer, RVDB)와 관측데이터를 재생할 수 있는 재생기 시스템(Mark5B)간의 데이터 전송은 1Gbps 전송속도를 가지는 VSI(VLBI Standard Interface)규격의 전송케이블을 통하여 수행된다. 고속 데이터 전송에 있어 발생하는 전자기방해(Electromagnetic Interference, EMI)는 관측 데이터의 손실을 발생시키며, 이러한 고속데이터 전송간에 발생하는 EMI는 케이블의 길이가 길어질수록 많이 발생하게 되며 향후 상관기 시스템의 확장을 고려할 때 상당한 문제점을 초래 할 수 있다. 따라서, VSI규격의 통신에서 발생하는 EMI 노이즈 정도를 측정하고, 노이즈 제거 필터를 적용하여 데이터 손실을 최소화 할 수 있는 방안을 고려하였다. 본 발표에서는 한일공동VLBI상관기(KJJVC)에서 운용되는 고속재생기(Mark5B)와 RVDB간의 VSI방식의 데이터 전송에 있어 야기되는 EMI를 제거하고 관측 데이터의 손실을 최소화할 수 있는 방안을 제안한다.

  • PDF

KJJVC를 위한 VERA2000 고속재생기 도입과 시험운영

  • O, Se-Jin;Yeom, Jae-Hwan;No, Deok-Gyu;Park, Seon-Yeop;Kawaguchi, Noriyuki;Kobayashi, Hideyuki
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.35 no.1
    • /
    • pp.44.1-44.1
    • /
    • 2010
  • 한국천문연구원에서는 2009년 1단계 한일공동VLBI상관기(Korea-Japan Joint VLBI Correlator, KJJVC)의 개발과 설치를 완료하였다. KJJVC는 한국우주전파관측망(Korean VLBI Network, KVN), KVN과 일본 내의 VLBI 관측망을 포함하는 한일공동VLBI관측망(Korea-Japan Joint VLBI Network, KJJVN), 그리고 한중일의 VLBI관측망인 동아시아 VLBI관측망(East Asian VLBI Network, EAVN)으로 관측한 VLBI 데이터를 상관처리할 수 있도록 설계 제작되었다. 그리고 고속재생기, 데이터 동기재생처리시스템(Raw VLBI Data Buffer, RVDB), VLBI상관서브시스템(VLBI Correlation Subsystem, VCS), 데이터 아카이브 시스템(Peta-scale Epoch Data Archive, PEDA)로 구성된다. 특히 일본국립천문대 VERA에서는 테이프 형태의 DIR2000 고속기록기를 사용하고 있는데, DIR2000의 제품단종으로 인해 이 데이터를 VCS에 재생하기 위해 DIR1000을 개량한 VERA2000 고속재생기를 개발하였다. 즉, VSI 형태의 데이터를 1Gbps 속도로 재생만 하기 위해 기존의 시스템을 개량하였으며, 2009년 10월에 VLBI상관기실에 설치되었다. 본 논문에서는 VERA2000 시스템의 구성 및 개발, 시험운영 등에 대해 간략히 소개하고자 한다.

  • PDF

A Study on InfiniBand Network Low-Latency Assure for High Speed Processing of Exponential Transaction (폭증스트림 고속 처리를 위한 InfiniBand 환경에서의 Low-Latency 보장 연구)

  • Jung, Hyedong;Hong, Jinwoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.259-261
    • /
    • 2013
  • 금융 IT와 같은 분야에서는 빅데이터의 큰 특징 중 하나인 Velocity의 개선이 가장 큰 문제이다. 이는 산업의 특성상 승자가 시장을 독식하는 구조로 0.1 초라도 빠른 시스템 속도를 확보하면 시장 경쟁력이 매우 크기 때문이다. 비단 금융 IT 뿐만 아니라 다른 산업들도 최근 보다 빠른 속도의 데이터 처리에 매우 민감하게 반응하는 환경으로 변화하고 있으므로 이에 대한 솔루션이 필요하며 본 연구에서는 폭증스트림의 고속처리를 위한 Low-Latency에 대한 다양한 실험과 환경 구축을 통해 빅데이터의 Velocity 문제를 해결할 수 있는 방안을 제시한다.

Design and Implementation of FPGA-based High Speed Multimedia Data Reassembly Processor (FPGA 기반의 고속 멀티미디어 데이터 재조합 프로세서 설계 및 구현)

  • Kim, Won-Ho
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.9 no.3
    • /
    • pp.213-218
    • /
    • 2008
  • This paper describes hardware-based high speed multimedia data reassembly processor for remote multimedia Set-Top-Box(MSTB) of interactive satellite multimedia communication system. The conventional multimedia data reassembly scheme is based on software processing of MSTB. As increasing of transmission rate for multimedia data services, the CPU load of remote MSTB is increased and reassembly performance of MSTB is limited. To provide high speed multimedia data service to end user, we proposed hardware based high speed multimedia data reassembly processor. It is implemented by using an FPGA, a PCI interface chip, and RAMs. And it is integrated in MSTB and tested. It has been confirmed to meet required all functions and processing rate up to 116Mbps.

  • PDF

The Implementation of the IPv4 Router on IXP1200 Network Processor (IXP1200 네트워크 프로세서를 이용한 IPv4 라우터의 구현)

  • 정영환;박우진;황광섭;배국동;안순신
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04d
    • /
    • pp.340-342
    • /
    • 2003
  • 인터넷의 급격한 성장으로 요구되는 고속의 데이터 처리 능력과 시장의 급격한 변화에 빠르게 대응하기 위하여 기존의 범용 프로세서를 사용한 방법과 주문형 반도체를 이용한 네트워크 라우터/스위치 시스템의 단점을 보완하고, 두 방식의 장점만을 취합한 네트워크 프로세서가 개발되었다. 네트워크 프로세서는 네트워크 관련 기능에 특화된 구조를 채택하면서 프로그램이 가능하여 고속의 데이터 처리와 동시에 다양한 응용 프로그램의 개발을 가능하게 한다. 본 논문에서는 인텔사의 IXP1200 네트워크 프로세서를 이용하여 IPv4 라우터를 구현하여 네트워크 프로세서가 가지는 특징을 평가해 본다.

  • PDF

Open Distributed Cloud Computing based on High-Speed Big Data Transfer (고속 빅데이터 전송 기반의 오픈 분산 컴퓨팅 플랫폼 개발 및 연구)

  • Kim, Ki-Hyeon;Moon, Junghoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.38-41
    • /
    • 2021
  • 최근 빅데이터, 인공지능 키워드를 이용한 다양한 연구들이 진행되고 있으며, 인공지능 연구를 통해 자동화 자율화를 위한 연구들이 주를 이루고 있다. 인공지능 연구를 수행하기 위해서는 거대한 데이터를 빠르게 전송해야하며, 인공지능을 손쉽게 수행하기 위한 플랫폼이 필요하다. 하지만 많은 연구기관에서는 빅데이터 전송 속도의 한계가 존재하며, 인공지능 알고리즘 수행을 위한 플랫폼 또한 부족한 것이 현실이다. 이를 해결하기 위해 ScienceDMZ 기술을 활용하여 고속의 빅데이터 전송을 위한 인프라를 구축하고, 엣지 컴퓨팅 기반의 오픈 분산 컴퓨팅 플랫폼을 개발한다. 이 시스템을 통해 사용자들에게 빅데이터를 빠르게 전송하고 전송된 데이터를 이용하여 바로 인공지능 연구를 수행하여 결과를 도출할 수 있는 시스템을 구축하고자 한다. 이 시스템을 이용하여 GPU 분산 컴퓨팅을 수행하였을 때 성능과 GPU 병렬 컴퓨팅을 수행하였을 때의 결과를 비교하여 성능을 검증하고자 한다.

Performance Comparison of Databases for Store and Search of High Speed Network Flows (고속네트워크 트래픽 저장 및 검색을 위한 데이터베이스 성능 비교)

  • Park, Hyun-Wook;Choi, Sunoh;Kim, Jong-Hyun;Seo, Dong-Il;Kim, Ikkyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1152-1155
    • /
    • 2015
  • 네트워크상의 사이버 공격을 막고 원인분석 및 공격지를 찾기 위하여, 네트워크패킷 캡쳐 및 플로우 데이터를 수집 저장하고, 수집된 정보를 고속으로 검색하여 분석하는 것을 필요로 한다. 인터넷의 발달과 네트워크를 이용하는 기기들이 많아짐에 따라 네트워크상에는 1초에 수백만 개의 네트워크 패킷이 이동하고 있다. 이러한 대용량 네트워크 패킷을 고속으로 저장하고 검색하기 위하여, 대용량 저장 및 검색에 가장 적합한 데이터베이스를 이용하는 것이 중요하다. 대용량 네트워크 데이터의 저장에 가장 최적인 데이터베이스를 찾기 위해 이 논문에서는 관계형 데이터베이스(MySQL)와 컬럼기반 데이터 베이스(InfiniFlux), 그리고 Bitmap Index 기반 저장구조(FastBit)를 사용하여 로딩속도와 검색 속도, 그리고 각각의 디스크 사용량을 비교하였다.