초록
초고속 환경에서 대용량 데이터에 대한 안정적 기록 및 효율적인 데이터 접근의 필요성은 갈수록 높아지고 있다. 이와 관련된 기초과학의 한 분야로 방대한 천체 관측 데이터를 생산하는 VLBI(: Very Long Baseline Interferometer)가 있는데 고분해능, 고감도 관측 연구를 수행하기 위해서는 고성능의 데이터 저장 시스템이 요구된다. 하지만 시장에 출시된 대다수 클라우드 기반 스토리지는 일반 IT, 금융, 행정 서비스 지원을 위한 저용량, 복수 스트림의 비정형 데이터에 최적화되어 있기 때문에 빅 스트림 데이터 기록을 위한 최적의 대안이 될 수 없다. 본 논문에서는 이를 극복하기 위한 방안으로 데이터 입출력 처리에 있어 고성능, 동시성에 최적화된 데이터 저장 시스템을 설계하고자 한다. 이를 위해 멀티 코어 CPU 환경에서 libpcap, pf_ring 등의 API 호출을 통해 패킷 입출력 모듈을 구현하였고 외부로부터 유입되는 데이터를 효율적으로 처리할 수 있도록 소프트웨어 RAID(: Redundant Array of Inexpensive Disks) 기반의 확장성 있는 스토리지를 구축하였다.
It becomes more and more more important for the storage that supports high speed recording and stable access from network environment. As one field of basic science which produces massive astronomical data, VLBI(: Very Long Baseline Interferometer) is now demanding more data writing performance and which is directly related to astronomical observation with high resolution and sensitivity. But most of existing storage are cloud model based for the high throughput of general IT, finance, and administrative service, and therefore it not the best choice for recording of big stream data. Therefore, in this study, we design storage system optimized for high performance of I/O and concurrency. To solve this problem, we implement packet read and writing module through the use of libpcap and pf_ring API on the multi core CPU environment, and build a scalable storage based on software RAID(: Redundant Array of Inexpensive Disks) for the efficient process of incoming data from external network.
