• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.216-218
• /
• 2015

대규모 데이터를 저장하기 위하여 수십 페타 규모를 지원하는 스토리지 기술이 활용되고 있으나, 관리 가능한 파일 메타데이터 개수와 처리 성능이 엑사 규모에 적용하기에는 현저히 부족하다. 본 논문에서는 엑사 규모 분산 파일 시스템을 개발하기 위한 기술 중에서 메타데이터 확장성을 지원하기 위한 현존 기술의 한계를 분석하고, 엑사 규모 스토리지에서 해결해야 하는 메타데이터 처리 기술들을 논의한다.

• 한국통신학회논문지
• /
• 제41권11호
• /
• pp.1515-1527
• /
• 2016

최근의 빅데이터, 머신러닝, 클라우드 컴퓨팅 분야의 성장에 따라 대용량의 비정형 데이터를 저장할 수 있는 스토리지의 중요성은 날로 커지고 있다. 이에 따라 MAHA-FS, GlusterFS, Ceph 등의 개방형 하드웨어 기반의 분산 파일시스템 기술이 많은 주목을 받고 있다. 이러한 저비용 분산 파일시스템들은 데이터의 내결함성을 보장하기 위하여 초기에 복제 방식을 사용하였으나, 스토리지의 용량이 커질수록 복제 방식이 가지는 스토리지 공간의 저효율성이 점차 부각되면서 이를 보완하려는 방향으로 연구가 진행되고 있다. 본 논문은 복제방식을 대체하여 스토리지 공간 효율성을 향상시킬 수 있는 소거코딩 기법을 MAHA-FS 분산 파일시스템에 적용하여 스토리지의 효율성을 높이고, 소거코딩 지원에 따라 발생하는 데이터 일관성 문제를 해결하는 효율적인 방식으로 VDelta 기법을 제안하고 적용하였다. 본 논문은 MAHA-FS와 GlusterFS의 소거코딩의 구조적 차이점을 기술하고 두 파일시스템의 성능을 비교하여 MAHA-FS의 소거코딩 성능이 GlusterFS에 비해 우수함을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.174-177
• /
• 2015

최근 Social, Mobile, IoT 등에 기반한 비즈니스 데이터의 폭증과 함께 이를 저장하고 처리하기 위한 Big Data 플랫폼, 분산 스토리지 기술 등이 사용되고 있다. 최근 제안된 분산 스토리지들은 클라우드 기반 기술과 Scale-Out 아키텍처를 적용하여 데이터의 증가에 대응할 수 있는 구조를 갖추고 있다. 분산 스토리지의 노드가 수백 대 이상으로 증가하는 경우 수작업을 통한 관리방법으로는 운영관리는 불가능하며 자동화된 운영관리와 모니터링 방법이 필요하다. 본 논문에서는 GlusterFS 분산 스토리지를 대상으로 네트워크, 서버, 디스크, 스토리지 서비스 등 시스템 상태를 구간별로 모니터링할 수 있도록 설계하였다. 이를 통해 분산 스토리지 전체 인프라에 대한 모니터링과 스토리지 서비스 수준을 모니터링 할 수 있도록 하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권8호
• /
• pp.369-374
• /
• 2016

클라우드 컴퓨팅 환경에서 가상 컴퓨팅 및 스토리지 자원에 대한 요구가 대규모로 증가하면서 스토리지 시스템에서는 스토리지 공간을 효율적으로 절감하고 활용할 수 있는 중복제거 기법을 적용하고 있다. 특히 가상 데스크탑 인프라 환경에서 가상 데스크탑 이미지들에 대해 동일한 데이터가 중복되어 저장되는 것을 방지함으로써 스토리지 공간을 절감하는데 큰 효과를 얻을 수 있다. 하지만 안정적인 가상 데스크탑 서비스를 제공하기 위해서는 중복제거로 인한 가상 데스크탑의 성능 오버헤드와 주기적으로 발생하는 데이터 입출력 폭증, 그리고 빈번한 랜덤 입출력 동작과 같은 가상 데스크탑이 가지고 있는 특이한 워크로드를 효과적으로 처리할 수 있는 스토리지 시스템이 필요하다. 본 논문에서는 클라우드 컴퓨팅 환경에서 가상 데스크탑 및 스토리지 서비스를 지원하기 위해 개발된 클러스터 파일 시스템을 제시한다. 여기에서는 가상 데스크탑 이미지들에서 중복된 데이터가 스토리지에 저장되기 이전에 실시간으로 검출하고 제거하는 인라인 데이터 중복제거 기법을 통해 스토리지 공간을 절감한다. 또한 가상 데스크탑 이미지에 대한 중복제거 처리를 가상 호스트가 아니라 가상 데스크탑 이미지가 실제로 저장되는 데이터 서버에서 수행함으로써 중복제거 처리로 인한 가상 데스크탑의 성능 오버헤드를 줄인다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권4호
• /
• pp.163-169
• /
• 2016

Lustre는 대용량 분산파일 시스템의 일종으로 슈퍼컴퓨팅 분야에서 널리 사용되고 있다. 최근 SSD의 등장으로 인해, 고성능 스토리지를 구성할 수 있는 하드웨어적인 발전은 이루어졌으나, 이에 따른 소프트웨어적인 발전은 아직 따라가지 못하고 있다. 본 논문에서는 SSD를 이용한 Lustre시스템의 성능을 실험을 통해 측정하고 분석하였다. 하드디스크로 구성된 Lustre와 SSD로 구성된 Lustre를 각각 비교실험을 통해, 전체 대역폭 및 메타데이터 접근 성능에 대해서 분석하고, 장단점을 비교한다. 실험결과, 1) 랜덤 접근에 강한 SSD를 메타데이터용 저장공간에 사용하는 것이 효율적이며, 2) 스레드 수가 많거나, 작은 파일이 많은 경우 SSD를 데이터 저장 디스크로 사용하는 것이 성능의 이점이 있다.

• 정보과학회 논문지
• /
• 제42권1호
• /
• pp.7-14
• /
• 2015

스토리지 클래스 메모리(SCM)는 메모리와 스토리지의 장점을 동시에 가지고 있기 때문에 기존의 스토리지를 대체할 차세대 스토리지로 주목 받고 있다. 하지만 현재까지 제안된 SCM 전용 파일시스템은 데이터 일관성을 충분히 보장하지 않거나 혹은 보장될 경우, 과도한 일관성 유지 비용을 발생시키는 문제점을 지니고 있다. 본 논문에서는 보편적으로 사용하는 WAL(Write Ahead Logging) 방식의 일관성 유지 기법 대신 롤백-복구 방식을 이용하여, 블록내의 변경되는 데이터의 비율에 따라 로그 데이터 기록 방식을 변경하는 데이터 일관성 유지 기법을 제안한다. 본 기법은 데이터 일관성 손실 없이 로그 데이터의 크기를 줄여 데이터 쓰기 및 동기화 비용을 최소화시킬 수 있다. 제안한 기법을 평가하기 위해 리눅스 3.10.2 상에 구현하여 성능을 측정한 결과, 다른 일관성 유지기법에 비해 평균적으로 9배 정도의 데이터 쓰기 성능이 향상됨을 볼 수 있었다.

• 디지털콘텐츠학회 논문지
• /
• 제17권5호
• /
• pp.409-416
• /
• 2016

최근 빅데이터 이슈가 화두가 됨에 따라 대학, 산업체, 연구소 등에서는 다양한 데이터들을 수집, 분석 하려는 노력이 활성화 되고 있다. 여기에는 과거부터 축적된 데이터, 현재에 바로 분석이 불가능하더라도 잠재적인 의미를 가지고 있는 데이터 등 대량의 데이터들이 수집되어 의미론적인 분석을 통해 가치 있는 분석결과를 얻게 된다. 이를 위해 전 세계적으로 대용량의 데이터 요구를 처리 할 수 있는 고성능 스토리지 시스템의 수요가 증가하고 있다. 또한, 여러 사용자들에게 축적된 대량의 데이터에 동시에 접속하여 다양한 분석을 수행할 수 있도록 안정성 있는 병렬 분산파일시스템을 제공해야 한다. 본 연구에서는 위와 같이 안정성 있는 파일시스템을 제공하기 위해 반드시 고려되어야 할 스토리지 시스템의 I/O 대역폭, 메타데이터의 성능 등을 파악하고 최적의 환경을 구성하기 위한 방법을 제시하고자 한다.

• 한국정보과학회논문지:시스템및이론
• /
• 제36권3호
• /
• pp.171-180
• /
• 2009

바이트 단위 임의 접근이라는 램 특성과, 비휘발성이라는 디스크의 특성을 동시에 제공하는 FeRAM, MRAM, PRAM등의 스토리지 클래스 램(Storage Class Random Access Memory, SCRAM)이 소형 임베디드 시스템을 중심으로 점차 그 활용범위를 넓혀가고 있다. 본 논문에서는 SCRAM을 주기억 장치 및 보조 기억 장치로서 동시에 사용할 수 있는 차세대 통합 소프트웨어 구조를 제안한다. 제안된 구조는 크게 스토리지 클래스 램 드라이버(SCRAM Driver)와 스토리지 클래스 램 관리자(SCRAM Manager)로 구성된다. SCRAM Driver는 SCRAM을 직접 관리하며, FAT이나 Ext2와 같은 전통적인 파일 시스템이나 버디 할당자와 같은 전통적인 메모리 관리자, 혹은 SCRAM Manager 등의 상위 소프트웨어 계층에 저수준 인터페이스를 제공한다. SCRAM Manager는 파일 객체와 메모리 객체를 통합하여 관리함으로써 이들 간에 부가적인 비용이 없는 변환을 가능케 한다. 제안된 기법은 FeRAM이 장착된 실제 시스템에서 실험되었으며, 실험 결과를 통해 SCRAM Driver가 효율적으로 전통적인 파일시스템과 메모리 관리자가 요구하는 기능을 제공할 수 있음을 보였다. 또한 기존의 파일 시스템과 메모리 관리자를 통해 각각 SCRAM을 접하는 경우보다 SCRAM Manager가 수십 배 빠른 성능을 보임을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.16-18
• /
• 2021

최근 베어메탈 시스템에 스케줄러 시스템 기반 인프라 시스템에서 벗어나 사용자 맞춤형 클라우드 인프라가 관심을 받고 있다. KI Cloud 플랫폼은 고성능 컴퓨팅(HPC) 사용자를 위한 클라우드 기반 IaaS, PaaS 통합 플랫폼이다. 본 논문에서는 KI Cloud를 위한 데이터 저장소 설계 및 구현에 대해 기술한다. 오픈 소스 Ceph 분산 스토리지 시스템을 기반으로 구축하였고, 프로젝트의 목적에 맞게 블록 스토리지, 오브젝트 스토리지, 파일 스토리지 방식으로 구현하였다. Openstack 기반의 서비스와 Kubernetes 기반의 서비스가 하나의 스토리지를 통해 다양한 타입의 서비스를 제공할 수 있도록 개발하였다.

• 한국인터넷방송통신학회논문지
• /
• 제15권6호
• /
• pp.129-134
• /
• 2015

본 논문에서는 스마트폰 앱의 파일 접근 중 상당 부분이 1회성 쓰기 참조라는 것을 분석하고 이러한 특성을 고려한 버퍼캐쉬 관리 기법을 제안한다. 버퍼캐쉬는 여러 번 참조되는 파일 데이터를 스토리지 접근 없이 메모리에서 처리하여 성능 개선을 도모하지만, 쓰기 참조가 발생한 경우에는 짧은 시간 내에 스토리지에 직접 반영하여 시스템 크래쉬에 대비한다. 제안하는 기법은 1회의 쓰기만 발생한 캐쉬 데이터의 경우 스토리지 반영 직후 버퍼캐쉬에서 쫓아내어 캐쉬의 공간 효율을 높인다. 다양한 스마트폰 앱에 적용한 시뮬레이션 실험 결과 제안하는 기법은 기존 버퍼캐쉬 관리 기법에 비해 캐쉬적중률을 5-33% 향상시키고, 전력소모를 27-92% 줄일 수 있음을 보인다.