• Title/Summary/Keyword: 분산 클라우드

Search Result 267, Processing Time 0.027 seconds

Distributed Cache for High-Performance in real time cloud (실시간 클라우드 환경에서 HDFS의 고 성능을 위한 분산캐시)

  • Choi, Ji Hyeon;Youn, Hee Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.351-352
    • /
    • 2014
  • 분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. HDFS는 대용량 데이터 저장장치로 처리되고 있지만 실시간 파일 접근에 관한 고려는 부족하다. 파일을 읽을 때 네임노드와 데이터 노드는 상호 작용을 하지만 엄청난 대용량의 데이터 그리고 동시작업량이 많을 때 접근수행속가 급격하게 감소하게 된다. 따라서 실시간 클라우드 서비스 환경에서 HDFS 파일 접근 수행속도를 향상시키기 위한 연구가 이슈이다. 본 논문에서는 HDFS의 위에 분산 캐시를 둔 새로운 캐시시스템을 제안한다.

  • PDF

A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System (하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법)

  • Yoo, Sang-Hyun;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

차세대 클라우드 저장 시스템을 위한 소실 복구 코딩 기법 동향

  • Kim, Jeong-Hyeon;Park, Jin-Su;Park, Gi-Hyeon;Nam, Mi-Yeong;Song, Hong-Yeop
    • Information and Communications Magazine
    • /
    • v.31 no.2
    • /
    • pp.105-111
    • /
    • 2014
  • 클라우드 컴퓨팅과 빅데이터 시대의 개막으로 클라우드에 저장되는 데이터가 급속도로 증가함에 따라 최근 클라우드 컴퓨팅의 주요한 요소로 클라우드 저장 시스템이 주목받고 있다. 클라우드 저장 시스템은 크게 두 가지 목적에 의해 동작한다. 첫 번째는 사용자에게 데이터를 소실 없이 정확하게 전달해주는 것이고, 두 번째는 네트워크 상에서 소실된 데이터를 복구해 내는 것이다. 데이터 소실은 분산 노드 내 장비의 결함, 소프트웨어 업데이트 등과 같은 요인에 의해 발생하는데, 이와 같은 데이터 소실에 대응하기 위해 소실 복구 코딩 기법을 사용한다. 본 고에서는 클라우드 저장 시스템의 요구사항들을 토대로 현재 클라우드 저장 시스템에 사용되는 다양한 코딩 기법을 살펴보고 차세대 클라우드 저장 시스템을 위한 코딩 기법에 대해 논의해본다.

Cost-effective cloud platform deployment model (비용효율적인 클라우드 플랫폼 구축 모델)

  • Kim, Gyu-Seok;Kim, Joo-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.19-20
    • /
    • 2015
  • 대용량 분산처리시스템과 전산자원 가상화를 토대로 소프트웨어 정의 데이터센터(SDDC) 구현 기술이 광범위하게 연구되고 오픈소스로써 발표되고 있다. 이에 더하여, 성능과 용량이 비약적으로 발전된 commodity hardware는 분산처리와 가상화에 최적의 조건이 됨은 물론, 기존 플랫폼의 한계를 극복하고 글로벌 클라우드가 표방하는 각종 편의성을 자체 구현 할 수 있는 기회를 주기도 한다. 이에 따라, 지속가능하면서 비용효율적인 컴퓨팅 플랫폼 구축 모델을 제시하고자 한다.

A Study on Data Storage and Recovery in Hadoop Environment (하둡 환경에 적합한 데이터 저장 및 복원 기법에 관한 연구)

  • Kim, Su-Hyun;Lee, Im-Yeong
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.2 no.12
    • /
    • pp.569-576
    • /
    • 2013
  • Cloud computing has been receiving increasing attention recently. Despite this attention, security is the main problem that still needs to be addressed for cloud computing. In general, a cloud computing environment protects data by using distributed servers for data storage. When the amount of data is too high, however, different pieces of a secret key (if used) may be divided among hundreds of distributed servers. Thus, the management of a distributed server may be very difficult simply in terms of its authentication, encryption, and decryption processes, which incur vast overheads. In this paper, we proposed a efficiently data storage and recovery scheme using XOR and RAID in Hadoop environment.

Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving (비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐)

  • Lee, Byoung-Yup;Park, Jae-Yeol;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.15 no.5
    • /
    • pp.570-581
    • /
    • 2015
  • In recent years, many institutions predict that cloud services and big data will be popular IT trends in the near future. A number of leading IT vendors are focusing on practical solutions and services for cloud and big data. In addition, cloud has the advantage of unrestricted in selecting resources for business model based on a variety of internet-based technologies which is the reason that provisioning and virtualization technologies for active resource expansion has been attracting attention as a leading technology above all the other technologies. Big data took data prediction model to another level by providing the base for the analysis of unstructured data that could not have been analyzed in the past. Since what cloud services and big data have in common is the services and analysis based on mass amount of data, efficient operation and designing of mass data has become a critical issue from the early stage of development. Thus, in this paper, I would like to establish data processing architecture based on technological requirements of mass data for cloud and big data services. Particularly, I would like to introduce requirements that must be met in order for distributed file system to engage in cloud computing, and efficient compression technology requirements of mass data for big data and cloud computing in terms of cost-saving, as well as technological requirements of open-source-based system such as Hadoop eco system distributed file system and memory database that are available in cloud computing.

클라우드 컴퓨팅의 안전한 이용과 활성화를 위한 법적 과제

  • Yi, Chang-Beom
    • Review of KIISC
    • /
    • v.20 no.2
    • /
    • pp.32-43
    • /
    • 2010
  • 클라우드 컴퓨팅 서비스의 많은 장점에도 불구하고 아직 기업들이 서비스의 가용성 및 데이터 보안, 자사 데이터에 대한 통제권 확보, 종속성 등의 문제로 클라우드 컴퓨팅 서비스의 이용을 꺼리고 있다. 이 같은 문제들은 기술개발, 표준화, 표준약관, 서비스수준협약(SLA) 등으로 어느 정도 해결이 가능하다 그러나 데이터가 여러 국가에 복제되어 분산 저장될 경우 데이터의 국외이전 금지 문제, 데이터의 보관 및 파기 의무, IT 컴플라이언스 수탁자의 불법행위에 대한 위탁자의 책임, 자신의 데이터센터에 저장된 불법정보에 대한 클라우드 서비스제공자의 책임범위, 클라우드 서비스제공자의 책임제한 등 현행법상의 법적 규제와 충돌되는 부분에 대해서는 법. 제도적 접근과 검토가 필요하다. 클라우드 컴퓨팅 산업의 촉진 및 이용 활성화를 위해서는 구체적으로 다음과 같은 사항이 법 제도적으로 검토되어야 한다. (1) 클라우드 서비스나 솔루션을 시험할 수 있는 테스트베드 구축 등 시범사업 근거 마련, (2) 분야별 특화된 클라우드 서비스 모델 개발 및 사업화를 위한정부시책 추진 및 지원 근거 마련, (3) 민 관의 포괄적 협력 기반조성 및 정부의 기술 개발연구 지원체계 마련, (4) 사전 인증 및 사후 보증체계 구축을 통한 클라우드 서비스의 신뢰성 및 안정성 제고, (5) 클라우드 서비스의 상호운용성 확보를 위한 표준화, (6) 클라우드 컴퓨팅의 정보보안, 개인정보보호 등 각종 법률 이슈와 예상되는 다양한 이해관계 충돌 문제에 대응할 수 있도록 서비스제공자와 이용자 대상의 지침 근거 마련, (7) 클라우드 속에 있는 기업의 정보지산에 대한 접근권 보장, (8) 정보자산의 실제 위치와 선택권 보장, (9) 정보자산의 부적절한 접근 방지와 오남용 방지, (10) 클라우드 서비스 제공기업 또는 서비스 자체의 영속성 보장, (11) 서비스 장애 책임범위와 분담, (12) 소프트웨어 라이선스 등에 대한 규정이 고려되어야 한다.

Hot Spot and Data Distribution Process in Specific Situation for Cloud Computing (클라우드 컴퓨팅을 위한 특정한 상황에서의 병목현상과 데이터 분산 처리)

  • Oh, Sung-Jun;Hwang, Myung-Jin;Youn, Hee-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.95-96
    • /
    • 2009
  • 클라우드 컴퓨팅은 대규모의 분산 시스템을 기반으로 페타바이트급 이상의 처리가 가능해진 최근에 각광받고 있는 기술이다. 대부분 비 대칭 분산 구조로 객체기반 클러스터 파일 시스템으로 이루어져있다. 이런 환경에서 효율성과 신뢰성 등을 고려하여 많은 연구가 진행 중이다. 본 논문에서는 특정한 상황에서 병목현상과 메타 데이터 서버간의 부하분산을 처리함으로써, 한 특징인 효율적인 측면에서 향상이 가능한 기법을 제안하였다.

Data Sharing Scheme based on Attribute Re-Encryption in Cloud Computing (클라우드 환경에서 속성 재암호 기반의 데이터 공유 기법)

  • Kim, Su-Hyun;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.402-403
    • /
    • 2015
  • 클라우드 컴퓨팅 환경에서는 사용자의 데이터를 수많은 분산서버를 이용하여 데이터를 암호화하여 저장한다. 이러한 클라우드 스토리지에 사용자의 수많은 데이터가 저장됨에 따라 클라우드 스토리지의 신뢰성에 문제가 발생하고 있다. 비신뢰적인 관리자 및 공직자로부터 클라우드 서버에 저장된 사용자의 데이터를 안전하게 저장하기 위한 다양한 암호 기술들이 계속해서 연구되고 있다. 하지만 기존의 데이터 암호 기술들은 클라우드 스토리지 상에서 여러 사용자 간의 데이터 공유 서비스에 적용하기 힘든 단점을 가지고 있다. 따라서 본 논문에서는 비신뢰적인 클라우드 스토리지를 고려하여 속성기반 암호로 암호화된 키를 재암호화하여 다른 사용자와 안전하고 효율적으로 공유할 수 있는 데이터 공유기법을 제안한다.

SDN-Slicing Structure Design for Stable Cluster-Cloud Service (안정된 클러스터 클라우드 서비스를 위한 SDN-슬라이싱 모델 설계)

  • Cho, Sungchol;AUNG, KHIN CHAN MYAE;Han, Sunyung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.159-161
    • /
    • 2022
  • 클라우드의 동작은 고속의 데이터 처리 부분과 처리된 많은 데이터를 원하는 사용자들에게 전송하는 부분으로 나누어 동작한다. 고속의 데이터를 처리하는 것은 중요하지만 분산형태의 클러스터 클라우드는 중앙 집중 클라우드 보다 클라우드 간의 정보 교환 및 데이터 전송에 관한 네트워크의 중요성이 강조된다. 기존의 IPv4 에서는 네트워크 슬라이싱이 없기 때문에 서비스 별 네트워크의 간소화를 할 수 없었다. 본 논문에서는 클러스터 클라우드의 네트워크를 SDN 환경을 제안하며 SDN 의 핵심 기술인 네트워크 슬라이싱을 클라우드에 적용하는 모델 설계를 제시하고자 한다.