• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권8호
• /
• pp.525-533
• /
• 2009

그리드 환경에서 작업에 필요한 파일은 스테이징 기법에 의해서 전송된다. 이때 요구되는 파일이 대용량일 경우 전송에 걸리는 시간이 늘어나 작업의 시작 시간을 지연시키게 되다. 또한, 이는 작업의 전체 실행 시간을 증가시키는 요인이 되어서 작업처리량을 감소시키는 결과를 가져오게 된다. 따라서 이러한 파일 전송 시간 때문에 생기는 오버헤드를 줄인다면 그리드에서 실행되는 작업의 효율을 상당히 향상 시킬 수 있다. 이러한 사실에 근거하여 본 논문에서는 그리드에서 효율적인 작업 처리를 위한 파일 프로비저닝 기법으로서 다음과 같은 두 가지 방법을 제안한다. 첫째, RA-RFT라는 방법을 제안한다. RA-RFT는 Globus Toolkit에서 파일 전송을 담당하는 RFT가 리플리카를 관리하는 RLS의 정보를 이용할 수 있도록 RFT를 확장한 것이다. RA-RFT는 파일 전송 시 가용한 리플리카들로부터 파일을 분할 전송함으로써 대용량 파일 전송 시간을 단축시킬 수 있다. 둘째 리모트 링크라는 방법을 제안한다. 리모트 링크는 파일을 계산 노드로 직접 전송하지 않고 계산 노드에서 파일에 원격 접근할 수 있는 방법을 제공한다. 원격 접근 방법을 이용함으로써 계산 노드의 저장 공간을 절약할 수 있고 선반입을 통해서 효율적인 파일 프로비저닝을 가능하게 한다. 우리는 이러한 두 가지 방법이 기존 그리드 환경에서 사용하고 있는 스테이징 방식보다 우월한 성능을 보여준다는 것을 다양한 실험을 통해서 증명한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.45-47
• /
• 2017

하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

• 한국콘텐츠학회논문지
• /
• 제15권5호
• /
• pp.570-581
• /
• 2015

최근 많은 기관들로부터 클라우드 서비스, 빅 데이터가 향후 대세적인 IT 트렌드 및 확고한 기술로서 예견되고 있다. 또한 현재 IT를 선도하는 많은 벤더를 중심으로 클라우드, 빅데이터에 대한 실질적인 솔루션과 서비스를 제공하고 있다. 이러한 기술들은 기업의 비용절감 측면에서, 클라우드는 인터넷 기반의 다양한 기술들을 기반으로 비즈니스 모델에 대한 자원의 사용을 자유스럽게 선택할 수 있는 장점을 가지고 있어 능동적인 자원 확장을 위한 프로비져닝 기술과 가상화 기술들이 주요한 기술로 주목 받고 있다. 또한 빅데이터는 그동안 분석하지 못했던 새로운 비정형 데이터들에 대한 분석 환경을 제공함으로서 데이터 예측모델의 차원을 한층 높이고 있다. 하지만 클라우드 서비스, 빅데이터의 공통점은 대용량 데이터를 기반으로 서비스 또는 분석을 요하고 있어, 초기 발전 모델부터 대용량 데이터의 효율적인 운영 및 설계가 중요하게 대두 되고 있다. 따라서 본 논문에 클라우드, 빅데이터 서비스를 위한 대용량 데이터 기술 요건들을 토대로 데이터 처리 아키텍처를 정립하고자 한다. 특히, 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술요건을 소개하고, 빅데이터, 클라우드의 대용량 데이터를 비용절감 측면에서 효율적인 압축기술 요건들을 제시한다.