DOI QR코드

DOI QR Code

The Study on the Design and Optimization of Storage for the Recording of High Speed Astronomical Data

초고속 관측 데이터 수신 및 저장을 위한 기록 시스템 설계 및 성능 최적화 연구

  • 송민규 (한국천문연구원 전파천문본부) ;
  • 강용우 (한국천문연구원 전파천문본부) ;
  • 김효령 (한국천문연구원 전파천문본부)
  • Received : 2017.01.07
  • Accepted : 2017.02.24
  • Published : 2017.02.28

Abstract

It becomes more and more more important for the storage that supports high speed recording and stable access from network environment. As one field of basic science which produces massive astronomical data, VLBI(: Very Long Baseline Interferometer) is now demanding more data writing performance and which is directly related to astronomical observation with high resolution and sensitivity. But most of existing storage are cloud model based for the high throughput of general IT, finance, and administrative service, and therefore it not the best choice for recording of big stream data. Therefore, in this study, we design storage system optimized for high performance of I/O and concurrency. To solve this problem, we implement packet read and writing module through the use of libpcap and pf_ring API on the multi core CPU environment, and build a scalable storage based on software RAID(: Redundant Array of Inexpensive Disks) for the efficient process of incoming data from external network.

초고속 환경에서 대용량 데이터에 대한 안정적 기록 및 효율적인 데이터 접근의 필요성은 갈수록 높아지고 있다. 이와 관련된 기초과학의 한 분야로 방대한 천체 관측 데이터를 생산하는 VLBI(: Very Long Baseline Interferometer)가 있는데 고분해능, 고감도 관측 연구를 수행하기 위해서는 고성능의 데이터 저장 시스템이 요구된다. 하지만 시장에 출시된 대다수 클라우드 기반 스토리지는 일반 IT, 금융, 행정 서비스 지원을 위한 저용량, 복수 스트림의 비정형 데이터에 최적화되어 있기 때문에 빅 스트림 데이터 기록을 위한 최적의 대안이 될 수 없다. 본 논문에서는 이를 극복하기 위한 방안으로 데이터 입출력 처리에 있어 고성능, 동시성에 최적화된 데이터 저장 시스템을 설계하고자 한다. 이를 위해 멀티 코어 CPU 환경에서 libpcap, pf_ring 등의 API 호출을 통해 패킷 입출력 모듈을 구현하였고 외부로부터 유입되는 데이터를 효율적으로 처리할 수 있도록 소프트웨어 RAID(: Redundant Array of Inexpensive Disks) 기반의 확장성 있는 스토리지를 구축하였다.

Keywords

References

  1. R. Spencer, R. Jones, A. Mathews, and S. O'Toole, "Packet Loss in High Data Rate Internet Data Transfer for eVLBI," In Proc. 7th European VLBI Network Symp., Toledo, Spain, Oct. 2004.
  2. P. Avery, "Grid Computing in High Energy Physics," Beauty 2003 Conf., Carnegie Mellon University, USA, Oct. 2003, pp. 11-15.
  3. J. Jang, D. Kim, and C. Choi, "Study on Hybrid Type Cloud System," J. of the Korea Institute of Electronic Communication Sciences, vol. 11, no. 6, 2016, pp. 611-618. https://doi.org/10.13067/JKIECS.2016.11.6.611
  4. M. Lee, "A study on the Throughput Guarantee with TCP Traffic Control," J. of the Korea Institute of Electronic Communication Sciences, vol. 11, no. 3, 2016, pp. 303-308. https://doi.org/10.13067/JKIECS.2016.11.3.303
  5. H. Hinteregger, A. Rogers, and R. Cappallo, "A high data rate recorder for astronomy," IEEE Trans. Magnetics, vol. 27, no. 3, 1991, pp. 3450-3460.
  6. M. Chen, S. Mao, Y. Zhang, and V. C. Leung, Big Data Related Technologies, Challenges and Future Prospects. Heidelberg: Springer, 2014.
  7. A. Rhitney and D. Lapsley, "Mark6 Next-Generation VLBI Data System," In Proc. IVS General Meeting, Madrid, Spain, 2012, pp. 86-90.
  8. R. Cappallo, C. Ruszczyk, and A. Whitney, "Mark6: Design and Status," In Proc. 21st Meeting of the European VLBI Group for Geodesy and Astronomy, Espoo, Finland, Mar. 2013, pp. 9-12.
  9. F. Takahashi, T. Kondo, Y. Takahashi, and Y. Koyama, Very Long Baseline INterferometer. Tokyo: Ohamsha Press, 1997.
  10. D. Yoon, Introduction to PCI Express Interbased based High Performance Storage System. Seoul: Verifian, 2014.
  11. L. Deri, PF_RING High-speed packet capture, filtering and analysis. Pisa: ntop, 2016.
  12. D. Central, Packet Capture With libpcap and other Low Level Network Tricks. New York: NAU's Computer Systems Engineering, 2008.
  13. L. Deri, PF_RING API. Pisa: ntop, 2016.
  14. A. Rhompson, J. Moran, and G. Wwenson, Global Positioning Systems, Interferometry and Synthesis in Radio Astronomy. New York: Wiley, 2004.