• Title/Summary/Keyword: 병렬 스트림

Search Result 78, Processing Time 0.028 seconds

Error Correcting Coding Based on Adaptive Multi-stream Technique for Effective Transmission of the Video Data (비디오 데이터의 효율적 전송을 위한 적응적 멀티스트림 기반 오류 정정 부호화 기법)

  • 강경원;이경환;류권열;권기룡;문광석
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.05b
    • /
    • pp.287-290
    • /
    • 2003
  • 최근, 인터넷을 통한 VOD와 같은 멀티미디어 서비스의 증대로 대용량 파일 서비스의 효율적인 저장 시스템과 전송 기법들이 필요하다. 본 논문에서는 현재의 인터넷 환경 하에서 VOD 서비스와 같은 대용량 파일 서비스를 위한 효율적인 부호화 기법을 제안한다. 제안한 방법은 QoS가 보장되지 않는 비동기 패킷 망에서 클라이언트 측의 네트워크 상태에 따라 정보 전송량을 조절함과 동시에 다수의 비디오 스트림을 이용한 병렬 전송과 체크 스트림을 이용한 에러 정정을 통해 버퍼링시 미전송된 블록을 복원함으로서 신뢰성 있는 전송과 네트워크의 지터에도 강하며, 클라이언트가 가진 대역폭을 최대한 활용 할 수 있는 최선의 서비스를 제공한다

  • PDF

A Design on a Streaming Big Data Processing System (스트리밍 빅데이터 처리 시스템 설계)

  • Kim, Sungsook;Kim, GyungTae;Park, Kiejin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.99-101
    • /
    • 2015
  • 현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

Implementation of Real-time Data Stream Processing for Predictive Maintenance of Offshore Plants (해양플랜트의 예지보전을 위한 실시간 데이터 스트림 처리 구현)

  • Kim, Sung-Soo;Won, Jongho
    • Journal of KIISE
    • /
    • v.42 no.7
    • /
    • pp.840-845
    • /
    • 2015
  • In recent years, Big Data has been a topic of great interest for the production and operation work of offshore plants as well as for enterprise resource planning. The ability to predict future equipment performance based on historical results can be useful to shuttling assets to more productive areas. Specifically, a centrifugal compressor is one of the major piece of equipment in offshore plants. This machinery is very dangerous because it can explode due to failure, so it is necessary to monitor its performance in real time. In this paper, we present stream data processing architecture that can be used to compute the performance of the centrifugal compressor. Our system consists of two major components: a virtual tag stream generator and a real-time data stream manager. In order to provide scalability for our system, we exploit a parallel programming approach to use multi-core CPUs to process the massive amount of stream data. In addition, we provide experimental evidence that demonstrates improvements in the stream data processing for the centrifugal compressor.

Desiogn of secure IP SAN with high-speed paralllel PS-WFSR (고속 병렬형 PS-WFSR을 적용한 보안 IP SAN 설계)

  • Kim, Bong-Geun;Lee, Hoon-Jae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.15 no.10
    • /
    • pp.2164-2170
    • /
    • 2011
  • Rapid surge in date quantity lead to increase in storage demand from corporate. The existing SAN with fiber channel is being changed to IP-based SAN environment due to installment and maintenance cost. But the IP-based network still have some similar security problems as existing TCP/IP network. Also, for the security reasons of storage traffic, data are encrypted, but with the existing system, data larger than 10G can't be handled. To address security and speed issue, this paper proposes to a structure applied to IP SAN environment with Parallel Structure Word-based FSR (PS-WFSR) as hardware.

On a High-speed Implementation of LILI-II Stream Cipher (LILI-II 스트림 암호의 고속화 구현에 관한 연구)

  • 이훈재;문상재
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.29 no.8C
    • /
    • pp.1210-1217
    • /
    • 2004
  • LILI-II stream cipher is an upgraded version of the LILI-128, one of candidates in NESSIE. Since the algorithm is a clock-controlled, the speed of the keystream data is degraded structurally in a clock-synchronized hardware logic design. Accordingly, this paper proposes a 4-bit parallel LFSR, where each register bit includes four variable data routines for feedback or shifting within the LFSR. furthermore, the timing of the proposed design is simulated using a Max+plus II from the ALTERA Co., the logic circuit is implemented for an FPGA device (EPF10K20RC240-3), and apply to the Lucent ASIC device (LV160C, 0.13${\mu}{\textrm}{m}$ CMOS & 1.5v technology), and it could achieve a throughput of about 500 Mbps with a 0.13${\mu}{\textrm}{m}$ semiconductor for the maximum path delay below 1.8㎱. Finally, we propose the m-parallel implementation of LILI-II, throughput with 4, 8 or 16 Gbps (m=8, 16 or 32).

Improving Read Latency for Stream Data Processing via Parallel Access of Time Series Database (스트림 데이터 처리를 위한 시계열 데이터베이스 병렬 접근 기반 읽기 지연 개선 기법)

  • Hwang, Yong-Ha;Noh, Soon-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.44-47
    • /
    • 2018
  • 시계열 데이터 처리를 위해 방대한 양의 데이터를 스토리지에서 빠르게 읽어와 처리하려는 움직임이 많아지고 있다. 이를 위해 스토리지의 read latency 를 개선하기 위한 여러 기법들이 제안되었지만, 이 기법들은 분산 노드의 스토리지 자원을 충분히 활용하지 못한다는 한계가 있다. 따라서 우리는 시계열 데이터를 실시간으로 처리하기 위해 스토리지에 병렬적으로 접근하여 read latency 를 개선하는 기법을 제안한다. 제안된 기법은 분산 환경에서 스토리지에 병렬적으로 접근하여, 각 노드에서 부분적으로 데이터를 읽어와 전체 데이터를 읽어오는 지연시간을 줄인다. 우리는 제안된 기법을 여러 노드로 구성된 분산 환경에서 구현하였다. 제안된 기법을 적용한 결과, 전체 데이터를 읽어오는 read latency 가 기존 기법보다 28.04% 줄어든 것을 확인하였다.

Monitoring of Parallel Transfer Performance for MPTCP-based Globus Service (MPTCP기반 Globus 서비스 적용을 위한 병렬 전송성능 모니터링)

  • Hong, Wontaek
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.10a
    • /
    • pp.354-356
    • /
    • 2021
  • For science applications that requires rapid transfer and sharing of large volume data, many efforts to improve data transfer performance have been made based on concurrency, parallelism and pipelining in data transfer applications such as Globus/GridFTP. In this paper, as a similar trial, experiments have been conducted for the expected transfer throughput enhancement by the increased number of network interface and parallelism in the Mptcp emulation environment and the result is presented.

  • PDF

Optimizing Skyline Query Processing Algorithms on CUDA Framework (CUDA 프레임워크 상에서 스카이라인 질의처리 알고리즘 최적화)

  • Min, Jun;Han, Hwan-Soo;Lee, Sang-Won
    • Journal of KIISE:Databases
    • /
    • v.37 no.5
    • /
    • pp.275-284
    • /
    • 2010
  • GPUs are stream processors based on multi-cores, which can process large data with a high speed and a large memory bandwidth. Furthermore, GPUs are less expensive than multi-core CPUs. Recently, usage of GPUs in general purpose computing has been wide spread. The CUDA architecture from Nvidia is one of efforts to help developers use GPUs in their application domains. In this paper, we propose techniques to parallelize a skyline algorithm which uses a simple nested loop structure. In order to employ the CUDA programming model, we apply our optimization techniques to make our skyline algorithm fit into the performance restrictions of the CUDA architecture. According to our experimental results, we improve the original skyline algorithm by 80% with our optimization techniques.

10Gbps Time-Division Multiplexer using SiGe HBT (SiGe HBT를 이용한 10Gbps 시분할 멀티플렉서 설계)

  • 이상흥;강진영;송민규
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.25 no.1B
    • /
    • pp.201-208
    • /
    • 2000
  • In the transmitter of optical communication systems, a time-division multiplexer combines several parallel data streams into a single data stream with a high bit rate. In this paper, we design a 4:1 (4-channels) time-division multiplexer using SiGe HBT with emitter size of 2x8um2. The operation speed is 100bps, the rise and fall times of 20-80% are 34ps and 34ps, respectively and the dissipation of power is 1.50W.

  • PDF

Multi-stream Generation Method for Intra-synchronization of Very Low Bit Rate Video (초저속 고압축 비디오의 미디어내 동기화를 위한 멀티 스트림 생성 기법)

  • 강경원;류권열;권기룡;문광석;김문수
    • Proceedings of the Korea Institute of Convergence Signal Processing
    • /
    • 2001.06a
    • /
    • pp.61-64
    • /
    • 2001
  • 초저속 고압축 비디오는 고압축 부호화를 위해 주로 P-픽쳐 부호화 방법을 사용한다. P-픽쳐는 현재 프레임과 이전 프레임간의 데이터 의존성이 높기 때문에 전송시 패킷 손실이 발생할 경우 복원 영상에 심각한 화질 열화를 야기할 수가 있다. 따라서 본 논문에서 초저속 고압축 비디오 데이터에 대한 미디어내 동기화를 위해 TCP 기반 멀티스트림 생성 기법을 제안한다. 제안한 기법은 TCP 기반으로 신뢰성 있는 전송이 가능하며, 멀티 스트립을 통해 병렬 전송이 가능하므로, TCP 기반에서 네트워크 트랙픽에 의해 발생하는 지터에 민감하지 않아 최선의 서비스를 제공할 수 있다.

  • PDF