• 제목/요약/키워드: Distributed Storage

검색결과 698건 처리시간 0.029초

온-프레미스 기반 지속적인 자원 서비스를 위한 서버 무중단 기법 (Non-Disruptive Server Management for Sustainable Resource Service Based on On-Premise)

  • 김현우
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권12호
    • /
    • pp.295-300
    • /
    • 2018
  • 최근 IT 기술의 급성장에 따라 종래의 많은 수동적인 업무가 자동화되었다. 이러한 자동화를 통해 많은 사람들의 여가 시간이 증대되고 이를 위한 다양한 서비스들이 개발되고 있다. 또한, 소형화되고 휴대에 편리한 스마트 디바이스의 등장으로 시간과 장소에 구애를 받지 않고 다양한 인터넷 서비스 이용이 가능하다. 많은 디바이스 및 서비스에서 발생되는 빅 데이터의 효율적인 저장 처리를 위해 가상화 기반의 다양한 연구들이 진행되고 있다. 이러한 연구 중에 온-프레미스 기반 분산된 데스크탑 자원을 통합하고 사용자에게 제공하는 데스크탑 스토리지 가상화는 가상화를 이용하여 분산된 레거시 데스크탑내에 사용되지 않는 자원을 통합한다. 이는 사용자에게 신뢰성 제공을 위한 고가용성이 매우 중요시된다. 또한, 분산된 데스크탑 기반 자원 통합 환경에서 효율적인 데이터 분배 저장 처리를 위한 계층적 구조 및 자원통합 연구들이 진행되고 있다. 그러나 온-프레미스 기반 자원 통합 환경에서 서버 고장 발생시 효율적인 대처를 위한 운영 연구가 미흡하다. 이러한 운영적 서버 고가용성을 위해 본 논문에서는 온-프레미스 기반 분산된 데스크탑내 스토리지 통합 환경에서 데스크탑 서버의 장애 발생에 따른 능동적인 대처가 가능한 무중단 서버 관리 기법을 제안한다. 이는 데스크탑 기반 통합 환경에서 데스크탑 추가 및 제거가 용이하다. 또한, 장애발생에 따라 대체 서버가 능동적으로 수행된다.

쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현 (Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity)

  • 김영아;김계희;김현주;김창근
    • 융합정보논문지
    • /
    • 제10권10호
    • /
    • pp.1-8
    • /
    • 2020
  • 최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

클라우드 스토리지에서의 중요데이터 보호 (Securing Sensitive Data in Cloud Storage)

  • 이셜리;이훈재
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.871-874
    • /
    • 2011
  • The fast emerging of network technology and the high demand of computing resources have prompted many organizations to outsource their storage and computing needs. Cloud based storage services such as Microsoft's Azure and Amazon's S3 allow customers to store and retrieve any amount of data, at anytime from anywhere via internet. The scalable and dynamic of the cloud storage services help their customer to reduce IT administration and maintenance costs. No doubt, cloud based storage services brought a lot of benefits to its customer by significantly reducing cost through optimization increased operating and economic efficiencies. However without appropriate security and privacy solution in place, it could become major issues to the organization. As data get produced, transferred and stored at off premise and multi tenant cloud based storage, it becomes vulnerable to unauthorized disclosure and unauthorized modification. An attacker able to change or modify data while data inflight or when data is stored on disk, so it is very important to secure data during its entire life-cycle. The traditional cryptography primitives for the purpose of data security protection cannot be directly adopted due to user's lose control of data under off premises cloud server. Secondly cloud based storage is not just a third party data warehouse, the data stored in cloud are frequently update by the users and lastly cloud computing is running in a simultaneous, cooperated and distributed manner. In our proposed mechanism we protect the integrity, authentication and confidentiality of cloud based data with the encrypt- then-upload concept. We modified and applied proxy re-encryption protocol in our proposed scheme. The whole process does not reveal the clear data to any third party including the cloud provider at any stage, this helps to make sure only the authorized user who own corresponding token able to access the data as well as preventing data from being shared without any permission from data owner. Besides, preventing the cloud storage providers from unauthorized access and making illegal authorization to access the data, our scheme also protect the data integrity by using hash function.

마이크로그리드에서의 데드 밴드와 회복 제어를 적용한 배터리 에너지저장시스템 주파수 제어 (Frequency Control of Battery Energy Storage System with a Deadband and Restoration Control in Microgrid)

  • 이학주;최진영;최종찬;원동준;채우규;박중성
    • 전기학회논문지
    • /
    • 제61권11호
    • /
    • pp.1584-1589
    • /
    • 2012
  • The grid-interconnected microgrid can be able to operate with and without the utility microgrid to supply electricity. when the microgrid operates in grid-connected mode, the frequency of the microgrid synchronizes with the system frequency. In this case, the frequency of the microgrid has small variation which is able to change the output of distributed generation with a droop controller. Thus, the small variation of frequency can make the distributed generation generate unnecessary electricity consistently. In this paper, we propose a frequency droop control with a dead band so as to prevent the distributed generations from generating unnecessary output while in grid-interconnected mode. In addition, a distributed generation can have a restoration control to restore the frequency changed by a droop control as a rated frequency. Also, we state the problem of restoration control with a dead band, and propose its solution when the microgrid operates in stand alone mode. We simulate the proposed droop control using PSCAD/EMTDC to verify the validity of the control.

분산 유비쿼터스 환경을 위한 상황 인식 미들웨어의 설계 및 구현 (Design and Implementation of Context-Aware Middleware for Distributed Ubiquitous Environments)

  • 김은영;오동열
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권5호
    • /
    • pp.105-114
    • /
    • 2006
  • 상황 인식은 유비쿼터스 환경에서 여러 가지 상황 정보를 인식하고 이를 기반으로 자동으로 서비스를 제공하기 위한 요소 기술이다. 유비쿼터스 환경을 지원하기 위한 기존 미들웨어들은 중앙 집중화된 저장 장치나 DBMS를 이용하여 획득된 상황 정보와 서비스 컨텐츠를 저장 관리하였다. 집중화된 상황 정보 및 서비스 컨텐츠의 관리는 이동 노드의 자율성과 서로 다른 미들웨어 간에 상호 운영을 저해하는 경우가 있다. 이에 본 논문에서는 분산된 유비쿼터스 환경에서 상황 정보를 이동 노드에 분산 관리하고 서비스를 위한 컨텐츠를 미들웨어 간에 공유할 수 있는 시스템을 설계한다. 이와 더불어 상황 정보의 정의와 서비스의 추론 및 호출을 지원하기 위한 상황 인식 스크립트를 제공한다. 본 연구에서 설계된 응용 시스템을 상황 인식 기반의 음악 재생 서비스를 제공하는 시나리오에 적용함으로서 유용성을 보이고 있다.

  • PDF

파일 공유를 위한 분산 파일 서버 설계 및 구현 (Design and Implementation of Distributed File Transfer Server)

  • 박주영;고석주;강신각
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2002년도 추계종합학술대회
    • /
    • pp.614-618
    • /
    • 2002
  • 파일 공유를 위한 방법으로 FTP, NFS나 최근 P2P기술 등이 많이 제안되었지만, 현재까진 아직 FTP를 많이 사용하고 있다. 본 논문에서는 거의 기존 파일 전송 서비스 환경의 변경을 하지 않으면서도 고용량의 데이터를 보다 효율적으로 공유할 수 있는 방법으로써 Distributed File Server(DFS)방식을 제안한다. DFS의 특징은 기존 서버 클라이언트 방식의 FTP 환경을 변경하지 않고, 단지 다수의 서버들과 클라이언트 사이에 DFS를 설치함으로써 클라이언트에게 고용량 파일 저장 장소를 가진 FTP서버를 제공할 수 있다는 것이다. RedHat7.2 상에서 DFS 기능의 검증을 위한 프로토타입 구현을 통해 최근 대두되고 있는 고용량 데이터들로 인한 파일 시스템의 부족등의 문제점을 해결할 수 있음을 보였다.

  • PDF

Intelligent Coordination Method of Multiple Distributed Resources for Harmonic Current Compensation in a Microgrid

  • Kang, Hyun-Koo;Yoo, Choel-Hee;Chung, Il-Yop;Won, Dong-Jun;Moon, Seung-Il
    • Journal of Electrical Engineering and Technology
    • /
    • 제7권6호
    • /
    • pp.834-844
    • /
    • 2012
  • Nonlinear electronic loads draw harmonic currents from the power grids that can cause energy loss, miss-operation of power equipment, and other serious problems in the power grids. This paper proposes a harmonic compensation method using multiple distributed resources (DRs) such as small distributed generators (DGs) and battery energy storage systems (BESSs) that are integrated to the power grids through power inverters. For harmonic compensation, DRs should inject additional apparent power to the grids so that certain DRs, especially operated in proximity to their rated power, may possibly reach their maximum current limits. Therefore, intelligent coordination methods of multiple DRs are required for efficient harmonic current compensation considering the power margins of DRs, energy cost, and the battery state-of-charge. The proposed method is based on fuzzy multi-objective optimization so that DRs can cooperate with other DRs to eliminate harmonic currents with optimizing mutually conflicting multi-objectives.

하둡 분산 파일시스템의 동적 클러스터 관리 기법 (Dynamic Cluster Management of Hadoop Distributed Filesystem)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.435-437
    • /
    • 2016
  • 하둡 분산 파일시스템(HDFS)는 빅데이터의 병렬 분산 처리를 위해 다수의 노드에 데이터를 중복 저장하는 파일시스템이다. HDFS의 분산 노드 클러스터는 수천 개 이상의 규모 확장성을 갖추고 있으나 빅데이터 처리를 위한 전용 하드웨어를 가정하고 있으며, 기존의 기업 및 병원에서 사용하고 있는 다양한 유휴 전산 자원을 고려하지는 못하는 문제가 있다. 본 논문에서는 기관 내 존재하는 다양한 유휴 전산 자원을 필요에 따라 동적으로 HDFS에 추가함으로써 빅데이터 저장 및 분석 성능을 향상시킬 수 있는 동적 클러스터 관리 기법을 제시한다.

  • PDF

쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법 (Distributed In-Memory Caching Method for ML Workload in Kubernetes)

  • 윤동현;송석일
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.71-79
    • /
    • 2023
  • 이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

  • PDF

SWSI에 기반한 금강권역 농업용 저수지의 수문학적 가뭄평가 (Hydrological Drought Assessment of Agricultural Reservoirs based on SWSI in Geum River Basin)

  • 안소라;박종윤;정인균;나상진;김성준
    • 한국농공학회논문집
    • /
    • 제51권5호
    • /
    • pp.35-49
    • /
    • 2009
  • This study proposes a method to evaluate agricultural reservoirs drought by modifying SWSI (Surface Water Supply Index). The method was applied to Geum river basin and the results were represented as spatially distributed information. The SWSI evaluates hydrological drought of watershed unit by selectively applying one or all of the components of snowpack, precipitation, streamflow and reservoir storage. South Korea has 22 % of agricultural area, and rice paddy covers 64 % among them. Usually paddy fields scattered along stream are irrigated by so many small agricultural reservoirs. It is difficult to evaluate agriculture drought by the little information and large number of agricultural reservoirs. In this study, seven agricultural reservoirs over 10 million ton storage capacity were selected in Geum river basin, and the SWSI was evaluated for both upstream and downstream of the reservoirs using 16 years data (1991-2006). Using the results, multiple regression analyses with precipitation and reservoir storage as variables were conducted and the equations were applied to other watersheds. The spatial results by applying regression equations showed that the severe and moderate drought conditions of July and September in 1994, June in 1995, and May in 2001 were well expressed by the watershed unit.