• Title/Summary/Keyword: 대용량 전송

Search Result 712, Processing Time 0.083 seconds

Designing and building a DTN cluster based on massively scalable storage (대용량 스토리지 기반의 데이터 전송 노드 클러스터 설계 및 구축)

  • Hong, Wontaek;An, Dosik;Lee, Jaekook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.63-65
    • /
    • 2020
  • 과학응용분야의 원활한 협업 지원을 위해서는 원거리간 대용량 연구데이터의 고속 전송이 반드시 요구된다. 이와 관련하여, 본 논문은 기 구축된 대용량 파일 시스템을 다수의 데이터 전송 노드(DTN)에 연동하기 위해 필요한 요구사항들을 정리하고, 이에 기반하여 DTN 클러스터를 설계하고 구축한 사례를 제시한다. 추가적으로, 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 종단 포인트와 대용량 실험데이터를 송수신함으로써 구축된 결과물의 전송 성능을 측정하고 확인한다.

Analysis of large data transfer performance using DTN clustering based on NFS storage (DTN 클러스터를 활용한 NFS 스토리지 기반 대용량 데이터 전송 성능 분석)

  • Hong, Wontaek;Moon, Jeonghoon;Kwak, Jaiseung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.89-91
    • /
    • 2019
  • 최근 첨단 과학응용분야에서는 대용량의 데이터를 효과적으로 공유 및 전송하기 위해 전용의 연구망과 데이터 전송 노드(DTN)를 활용하여 전송 효율을 높이기 위한 연구들이 활발히 수행되고 있다. 특히, DTN 클러스터링은 복수 개의 전송 노드들을 이용하여 병행성을 높여 전송 효율을 극대화시키는 기법으로 고성능컴퓨팅 환경에서 적용되고 있다. 이와 관련하여, 본 논문에서는 초기 실험적 연구로 NFS 외부 스토리지를 연계한 DTN 클러스터링 환경을 구축하고, WAN 구간에서 종단간 대용량 데이터 전송 실험을 수행한다. 실험 결과, 파일의 크기 및 개수 등이 서로 다른 비교 군들을 대상으로 단일 DTN 대비 DTN 클러스터링에 대한 효과를 확인할 수 있었다.

A Design and Implementation of Bulk Data Transmission Tool based on UDT (UDT 기반의 대용량 데이터 전송도구 설계 및 구현)

  • Park, Jong-Seon;Kim, Seung-Hae;Hwang, Gun-Joon;Cho, Gi-Hwan
    • Journal of the Institute of Electronics Engineers of Korea TC
    • /
    • v.49 no.2
    • /
    • pp.23-31
    • /
    • 2012
  • With advance of high bandwidth network infrastructure, the requirement is dramatically increasing to cooperate between the users who are far from each other and make use of bulk data. However, as the prominent data transmission protocol, it is well known that TCP suffers some degrees of inefficiency for bulk data transmission when RTT is relatively big. So, some works are on going to suggest a new transmission method to utilize the bandwidth in effective. UDT(UDP-based Data Transfer protocol) is one of these. It is a UDP based application level protocol which can guarantee reliability and stability. much like as TCP. In this paper, we present a design and implementation of UDT based bulk data transmission tool by applying parallel and compressive techniques. The implementation result is examined to measured its performance improvement on a real test-bed, and then compared with existing bulk data transmission tools. Experimental results show that proposed tool is more stable and shows greater performance than that of native UDT. Especially, the performances show 244% improvement in RTT 400ms without losses and 229% in RTT 250ms with 0.005% losses respectively.

Mass Memory Operation for Telemetry Processing of LEO Satellite (저궤도위성 원격측정 데이터 처리를 위한 대용량 메모리 운용)

  • Chae, Dong-Seok;Yang, Seung-Eun;Cheon, Yee-Jin
    • Aerospace Engineering and Technology
    • /
    • v.11 no.2
    • /
    • pp.73-79
    • /
    • 2012
  • Because the contact time between satellite and ground station is very limited in LEO (Low Earth Orbit) satellite, all telemetry data generated on spacecraft bus are stored in a mass memory and downlinked to the ground together with real time data during the contact time. The mass memory is initialized in the first system initialization phase and the page status of each memory block is generated step by step. After the completion of the system initialization, the telemetry data are continuously stored and the stored data are played back to the ground by command. And the memory scrubbing is periodically performed for correction of single bit error which can be generated on harsh space environment. This paper introduces the mass memory operation method for telemetry processing of LEO satellite. It includes a general mass memory data structure, the methods of mass memory initialization, scrubbing, data storage and downlink, and mass memory management of primary and redundant mass memory.

A Study on Determination of Pg Limitation in Jeju System Using Continuation Power Flow(CPF) (제주지역 발전제약 완화방안과 CPF 해석)

  • Joo, Joon-Young;Bae, Joo-Cheon;Kang, Sang-Gyun;Lee, Byoung-Jun
    • Proceedings of the KIEE Conference
    • /
    • 2007.07a
    • /
    • pp.441-442
    • /
    • 2007
  • 제주계통은 지속적인 부하증가를 고려하여 대용량의 발전기를 설치하였다. 제주계통에서 대용량의 발전기가 탈락하는 경우 탈락되는 유효전력량 만큼 HVDC에서 추가적으로 전송하게 된다. 전류형 HVDC는 유효전력을 전송시키기 위해서 계통에서 무효전력을 공급받아야 한다. 탈락하는 발전기의 유효전력 발전량이 많으면 많을수록 계통에서 공급받아야 하는 무효전력량이 많아진다. 실질적으로 상정고장 검토시 제주도의 대용량 발전기의 탈락은 제주 계통의 안정도 유지에 심각한 문제를 초래하므로 발전기의 유효전력 출력은 신뢰도 유지를 위해서 제한이 필요하다. 본 논문에서는 제한된 발전기 최대 유효전력 출력값을 계산하기 위한 새로운 해석 방법과 전력시장운영규칙의 기준전압을 벗어나지 않는 범위 내에서 기존에 설치되어 있는 전압보상장치를 투입함으로써 상대적으로 값이 싼 대용량 발전기의 발전량을 향상시키는 방안에 대해서 논의한다.

  • PDF

Automatic payload data dump for the LEO satellite (저궤도위성 탑재체 데이터 자동 전송)

  • Chae, Dong-Seok;Yang, Seung-Eun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.641-642
    • /
    • 2011
  • 저궤도 위성은 지상과의 접축시간이 극히 제한되어 있어 위성에서 생성된 원격측정 데이터들을 위성의 대용량 메모리에 저장하였다가 지상과의 접촉시간에 저장된 데이터를 지상으로 전송하는 방식으로 운영된다. 위성에 저장할 수 있는 전체 데이터 크기는 대용량 메모리의 크기와 지상과의 통신 가용시간에 따라 제한을 받게 된다. 대용량 메모리 저장용량과 다운링크 버짓을 만족해야 하므로 일반적으로 각 탑재체로부터 수신하여 위성에 저장되는 원격측정 데이터들은 종류별로 일정한 주기를 가지게 되고 그 크기도 고정되어 있다. 그리고 각 데이터 종류별로 저장여부를 지상명령으로 조절할 수 있도록 되어 있다. 그러나 생성되는 데이터가 일정하지 않고 비주기성을 갖는 경우 데이터량을 예측할 수 없으므로 지상명령으로 데이터 저장여부를 제어하는 것은 거의 불가능하다. 이러한 경우에 생성되는 데이터량을 모니터링하면서 데이터를 전송할 수 있는 자동화된 데이터 통신 방식이 요구된다. 본 논문은 저궤도 위성 탑재체에서 비주기적으로 생성되는 데이터를 자동으로 전송받기 위한 데이터 자동 전송기능과 시험 결과에 대해서 기술하였다.

저궤도 위성 다운링크 제어 절차

  • Chae, Dong-Seok;Lee, Jae-Seung;Cheon, Lee-Jin
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.37 no.2
    • /
    • pp.201.1-201.1
    • /
    • 2012
  • 위성에서 생성된 원격측정데이터를 지상으로 전송하는 다운링크 방식에는 저속 전송방식과 고속 전송방식이 있다. 저속 전송방식에서는 실시간 데이터만 전송되고 고속 전송방식에서는 실시간 데이터와 함께 대용량메모리에 저장된 데이터를 동시에 전송할 수 있다. 정상적인 경우 고속 전송방식으로 운영되어 실시간 데이터와 함께 대용량메모리에 저장된 데이터에서 마지막으로 전송된 지점부터 새로 저장된 지점까지 전송하는 방식으로 운영된다. 대용량메모리는 주/부 2개의 탑재컴퓨터에 각각 탑재되어 사용되는데, 사용되는 메모리가 변경되는 경우 이에 따라 다운링크 채널 및 해당 채널의 전송속도도 변경해 주어야 한다. 지상에서 변경하는 경우, 사용되는 메모리 및 전송방식을 고려하여 이에 따른 명령절차를 수행해야 하고, 위성에서 사용되는 메모리를 자동적으로 변경하는 경우에는 다운링크 채널 및 해당 채널의 전송속도를 자동적으로 변경하여 지상에서 다운링크가 중단되는 경우가 없도록 되어 있다. 본 논문은 차세대 저궤도 위성 다운링크 제어 절차에 대한 것으로 생성된 원격측정데이터를 지상으로 전송하기 위한 다운링크 방식, 다운링크 채널변경 절차, On-Board에서 수행되는 다운링크 채널 자동변경방식에 대해서 소개한다.

  • PDF

대용량 영상 자료를 활용한 환경지리정보 인트라넷 시스템 개발

  • 이상익;신상희
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2004.03a
    • /
    • pp.349-354
    • /
    • 2004
  • 최근 들어 위성영상 및 항공사진은 국토환경관리에 매우 중요한 수단으로 인식되고 있으며, 이러한 추세에 따라 환경부 및 환경부 산하 기관의 많은 공무원들이 이러한 영상자료를 빠르게 업무에 활용할 수 있는 시스템이 필수적으로 요구되고 있다. 그러나 기존 시스템은 고가의 영상처리소프트웨어를 사용자 PC에 설치한 뒤 이를 이용하여 사용자 개인 컴퓨터에 저장되어 있는 대용량의 영상자료를 처리하여 업무에 활용하는 방식을 택함으로써, 영상자료 유출의 위험성, 소프트웨어의 중복적 구매에 따른 비용증가, 대용량 영상자료의 이동성 감소, 관련 소프트웨어 교육 시간 및 비용 증가 및 대용량 자료 처리에 따른 처리시간 증가 등의 문제를 야기해 왔다. 본 논문에서는 이러한 단점을 극복하고 환경부 공무원의 사용자 활용도를 증가시킨 '대용량 영상자료를 활용한 환경지리정보 인트라넷 시스템'을 개발했다. 본 시스템은 최신 영상 압축 및 전송 기술을 활용하여 영상자료의 물리적 파일 크기에 관계없이 사용자가 원하는 부분만을 압축 전송함으로써 매우 빠른 속도로 사용자가 원하는 지역을 인트라넷을 통해 서비스할 뿐만 아니라, 이렇게 전송된 영상을 웹 상에서 실시간으로 영상처리함으로써 사용자 편의성과 속도를 매우 향상시켰다. 또한 본 시스템은 환경부가 제작한 34종 이상의 벡터 자료와 함께 통합되어 서비스됨으로써 영상자료와 벡터자료의 통합적 활용성을 증가시켰다.용성을 증가시켰다.

  • PDF

A design and implementation of transmit/receive model to speed up the transmission of large string-data sets in TCP/IP socket communication (TCP/IP 소켓통신에서 대용량 스트링 데이터의 전송 속도를 높이기 위한 송수신 모델 설계 및 구현)

  • Kang, Dong-Jo;Park, Hyun-Ju
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.17 no.4
    • /
    • pp.885-892
    • /
    • 2013
  • In the model Utilizing the TCP / IP socket communication to transmit and receive data, if the size of data is small and if data-transmission aren't frequently requested, the importance of communication speed between a server and a client isn't emphasized. But nowadays, it has emerged for large amounts of data transfer requests and frequent data transfer request. This paper propose the TCP/IP communication model that can be improved the data transfer rate in multi-core environment by changing the receiving structure of the client to receive large amounts of data and the transmission structure of the server to send large amounts of data.

초고속 대용량 자료저장 시스템(Petascale Epoch Data Archive, PEDA)의 제어 소프트웨어 개발과 운용 시험

  • Park, Seon-Yeop;Gang, Yong-U;No, Deok-Gyu;O, Se-Jin;Yeom, Jae-Hwan
    • Bulletin of the Korean Space Science Society
    • /
    • 2009.10a
    • /
    • pp.25.2-25.2
    • /
    • 2009
  • 한국천문연구원 한국우주전파관측망(Korean VLBI Network, KVN)에서 도입하여 시험운용중인 VLBI 상관서브시스템(VLBI Correlation Subsystem, VCS)은 한일공동 VLBI 상관기(Korea-Japan Joint VLBI Correlator, KJJVC)의 핵심 장비로서, 최대 16 관측국의 관측국 당 최대 8Gbps의 데이터를 처리할 수 있는 상관처리장치이다. VCS의 상관처리 결과는 총 4회선의 10GbE 광케이블을 통하여 UDP 프로토콜로 출력된다. 이 상관처리 결과는 광케이블 하나당 8개씩 총 32개의 상관 처리 블록(correlation block)으로 구성되며, 최대 출력속도는 1.4 GBytes/sec이다. 이 출력은 초고속 대용량 자료저장 시스템(Peta-scale Epoch Data Archive, PEDA)을 이용하여 저장하고 후속 자료처리를 위해 가공된다. PEDA는 총 4대의 고성능 자료 전송 및 저장 서버(writing server) 및 대용량 하드디스크 어레이로 구성된다. 상관처리 과정에 맞추어 PEDA의 writing 서버를 연계하여 제어하는 자료 전송 및 저장 제어 소프트웨어를 개발하였다. 이 소프트웨어는 핵심이 되는 전송 및 저장 프로세서와 이를 제어하는 제어프로세서로 구성된다. 전송 및 저장 프로세서는 개개의 상관 처리 블록에 대한 전송과 저장을 전담한다. 제어 프로세서는 총 32개의 상관 처리 블록을 처리하기 위하여 전송 및 저장 프로세스를 32개를 실행하고 각각의 상관 처리 블록에 해당하는 개별파라미터를 전달하는 전체적인 제어를 담당한다. 이 연구에서는 이 자료전송 및 저장 제어 소프트웨어의 설계 구성과 테스트 내용을 소개한다.

  • PDF