• Title/Summary/Keyword: 데이터 중복제거 기술

Search Result 78, Processing Time 0.032 seconds

Technical analysis of Cloud Storage for Cloud Computing (클라우드 컴퓨팅을 위한 클라우드 스토리지 기술 분석)

  • Park, Jeong-Su;Bae, Yu-Mi;Jung, Sung-Jae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.17 no.5
    • /
    • pp.1129-1137
    • /
    • 2013
  • Cloud storage system that cloud computing providers provides large amounts of data storage and processing of cloud computing is a key component. Large vendors (such as Facebook, YouTube, Google) in the mass sending of data through the network quickly and easily share photos, videos, documents, etc. from heterogeneous devices, such as tablets, smartphones, and the data that is stored in the cloud storage using was approached. At time, growth and development of the globally data, the cloud storage business model emerging is getting. Analysis new network storage cloud storage services concepts and technologies, including data manipulation, storage virtualization, data replication and duplication, security, cloud computing core.

Smartphone Backup System Using Deduplication Scheme (중복 제거 기술을 이용한 스마트폰 백업 시스템)

  • Jeong, Ho Min;Kim, Byung-Ki;Song, Chang-Geun;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.1803-1806
    • /
    • 2010
  • 스마트폰에서 용량을 많이 차지하는 멀티미디어 컨텐츠, 응용 프로그램 데이터가 증가하면서 스마트폰을 위한 백업 프로그램에 대한 요구가 증가하고 있다. 본 논문에서는 중복 제거 기법을 적용한 스마트폰 백업 기술을 제안함으로 네트워크 대역폭을 효율적으로 사용하고 저장 공간을 줄일 수 있는 방안을 제시하고 있다. 제안하는 중복 제거 방식은 스마트폰에서 각 파일을 일정한 크기의 블록 단위로 분할하고 지문을 부여하고, 지문이 동일하지 않을 경우에만 데이터를 전송하는 방식을 사용한다. 실험결과 제안하는 방식이 네트워크 대역폭 및 저장 공간을 효율적으로 사용함을 보이고 있다.

SSD Caching based De-Duplication for Virtualization Environment (가상화 환경을 위한 SSD 캐시 기반의 중복 제거 기법)

  • Kang, Dong-Woo;Kim, Se-Woog;Lee, Nam-Su;Choi, Jong-Moo;Kim, Jun-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.293-295
    • /
    • 2012
  • 가상화 기술은 물리적 컴퓨팅 자원을 사용자에게 논리적으로 제공하여 시스템의 효율성을 높이고 유연성을 향상시키기 위한 기술로 서버 통합이나 아마존 EC2와 같은 클라우드 컴퓨팅 환경에서 사용되고 있다. 이러한 가상화 환경에서는 다수의 가상머신들의 동시적인 I/O 수행으로 인해 저장장치에 병목현상이 발생된다. 또한 각 가상머신들의 중복된 데이터들을 저장하기 위해 불필요한 쓰기 비용이 발생하여 시스템의 성능 저하가 발생하게 된다. 본 논문에서는 이러한 가상화 환경에서의 I/O비용을 감소시키기 위해 SSD를 캐시로 사용하는 중복 제거 기법을 제안한다. 제안된 기법은 중복된 데이터를 제거하여 불필요한 디스크에 대한 I/O 수행을 감소시키며, 중복 발생 패턴의 특성을 고려하여 SSD의 빠른 쓰기 성능을 효과적으로 사용할 수 있는 캐시 구조 모델을 통해 가상화 환경에서 I/O 성능을 향상 시킬 수 있음을 보인다.

CORE-Dedup: IO Extent Chunking based Deduplication using Content-Preserving Access Locality (CORE-Dedup: 내용보존 접근 지역성 활용한 IO 크기 분할 기반 중복제거)

  • Kim, Myung-Sik;Won, You-Jip
    • Journal of the Korea Society of Computer and Information
    • /
    • v.20 no.6
    • /
    • pp.59-76
    • /
    • 2015
  • Recent wide spread of embedded devices and technology growth of broadband communication has led to rapid increase in the volume of created and managed data. As a result, data centers have to increase the storage capacity cost-effectively to store the created data. Data deduplication is one way to save the storage space by removing redundant data. This work propose IO extent based deduplication schemes called CORE-Dedup that exploits content-preserving access locality. We acquire IO traces from block device layer in virtual machine host, and compare the deduplication performance of chunking method between the fixed size and IO extent based. At multiple workload of 10 user's compile in virtual machine environment, the result shows that 4 KB fixed size chunking and IO extent based chunking use chunk index 14500 and 1700, respectively. The deduplication rate account for 60.4% and 57.6% on fixed size and IO extent chunking, respectively.

Technical analysis of Cloud storage for Cloud Computing (클라우드 컴퓨팅을 위한 클라우드 스토리지 기술 분석)

  • Park, Jeong-Su;Jung, Sung-Jae;Bae, Yu-Mi;Kyung, Ji-Hun;Sung, Kyung
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2012.10a
    • /
    • pp.757-760
    • /
    • 2012
  • Cloud storage system that cloud computing providers provides large amounts of data storage and processing of cloud computing is a key component. Large vendors (such as Facebook, YouTube, Google) in the mass sending of data through the network quickly and easily share photos, videos, documents, etc. from heterogeneous devices, such as tablets, smartphones, and the data that is stored in the cloud storage using was approached. At time, growth and development of the globally data, the cloud storage business model emerging is getting. Analysis new network storage cloud storage services concepts and technologies, including data manipulation, storage virtualization, data replication and duplication, security, cloud computing core.

  • PDF

Design of Deduplication Supported Clustering Backup System using File Finger Printing (파일 지문으로 중복 파일을 제거한 클러스터링 백업 시스템 설계)

  • Jeong, Ho-Min;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.737-740
    • /
    • 2007
  • 기존의 백업시스템에서는 데이터의 중복을 고려하지 않고 백업 데이터 전부를 저장하기 때문에 저장용량 공간을 많이 차지하는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 백업 데이터의 각 파일에 대해서 일정한 크기의 블록 단위로 파일지문을 부여하고 파일지문이 동일할 경우 하나의 사본만을 공유하는 방법으로 백업 데이터의 용량을 감소시키는 방법을 도입하였다. 제안하는 백업 시스템은 중복되어 발생하는 데이터에 대해 하나의 사본만 백업함으로써 백업되는 데이터의 양을 효과적으로 감소시켰다. 또한 백업되는 파일 블록에 대해서 클러스터링 기술을 사용함으로서 입출력 성능 향상을 고려하였다.

An Efficient Data Aggregation Method in Clustered Sensor Network (클러스터 구조의 센서 네트워크에서 효율적인 데이터 모음 기법)

  • Jee, Jae-Kyoung;Ha, Rhan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.220-222
    • /
    • 2005
  • 배터리를 사용하여 정보의 처리와 센싱 작업을 수행하는 무선 센서 네트워크를 오래 동안 가동시키기 위해서 한정된 자원을 효율적으로 사용할 수 있는 여러 기술들이 제안되고 있다. 이런 기법들 중 클러스터를 구성하거나, 데이터 모음 기법을 수행하여 중복된 데이터를 하나의 패킷으로 압축하여 전송 횟수를 줄이면 에너지 절감 효과를 볼 수 있다. 본 논문에서는 클러스터 구조를 이루고 있는 센서 네트워크에서 두개 이상의 클러스터가 중복된 지역을 센싱 할 경우 발생하는 중복 데이터 제거 기법을 제안한다. 제안하는 기법은 Meta-data를 사용한 사전 교섭으로 동일한 정보가 각각 다른 클러스터에 전송되는 것을 방지하여 에너지 절감 효과를 볼 수 있다. 또한, 클러스터 내에서 발생하는 다른 정보들을 시간 지연 기법을 사용하여 하나의 패킷으로 데이터 모음을 수행하는 기법도 제안한다. 성능 평가를 통해 제안하는 알고리즘은 기존의 기법에 비하여 지연 시간과 에너지 소모 면에서 모두 효율적인 것을 확인할 수 있다.

  • PDF

Implementation and Analysis of a XML Based Product Description Model (XML 기반 상품 표현 모델의 구현 및 분석)

  • Kim, Kyoung-Rea;Ha, Sang-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10b
    • /
    • pp.1167-1170
    • /
    • 2001
  • 인터넷 중심의 정보화 사회가 되면서 B2C간 또는 B2B간에 상품 정보의 교환이 활발해지고 있다. 본 논문에서는 상품정보 교환을 위한 한 표준으로 이미 제안된 바 있는 XML 기반 통합 상품 표현 모델을 참조하고 구현한다. 이 모델은 다양한 상품정보를 XML에 기반하여 효과적으로 통합하여 표현할 수 있다. 구현은 Java의 컴포넌트 기술인 Java Bean과 EJB를 사용하여 이루어진다. 참조 모델을 사용하면 모든 상품에 공통된 데이터와 본질적인 데이터로 구분하여 기술할 수 있으며, 따라서 상품의 공통된 정보를 통합하여 기술함으로써 데이터의 중복을 피한 수 있다. 논문에서는 참조 모델이 갖는 데이터 중복 제거 효과를 웹 상의 다양한 상품 정보를 대상으로 분석한다.

  • PDF

A Study of Service Middleware for Application Based on USN/RFID/GPS (USN/RFID/GPS 응용을 위한 서비스 미들웨어 연구)

  • Moon, Kyeung-Bo;Lee, Chang-Young;Kim, Do-Hyeon
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.9 no.5
    • /
    • pp.1284-1288
    • /
    • 2008
  • Recently, there is increasing the development requirement of middleware and interface for GPS(Global Positioning System), RFID(Radio Frequency IDentification), sensor networks. GPS supports a useful location based service. RFID supports products logistic and distribution services through the identification. A sensor network collects a context information, such as humidity, temperature and atmospheric pressure. This paper implements and verifies a integrated service middleware for supporting efficiently process of sensing data collected from RFID, GPS and sensor network. This middleware have the temporary store function, the redundancy exclusion function, certification function, the classification function and the database storage function. Additionary, this middleware connects with low-level adaptor using socket interface and supports the high-level application services using database connection. Therefore, user can develop easily various many ubiquitous application system using proposed middleware instead of each RFID middleware, GPS middleware and, middleware based on sensor network.

H.263 Motion Estimation using the three-step algorithm (Three-step 알고리즘을 이용한 H.263 기반의 움직임 측정)

  • 윤성규;유환종;임명수;임영환
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10b
    • /
    • pp.389-391
    • /
    • 1999
  • 영상 압축 기법에는 여러 가지 알고리즘을 적용되고 있다. 이런 알고리즘들에는 주파수 영역 중복을 제거하기 위한 DCT, 시간 중복성 제거를 위한 움직임 측정, 압축기법에 의해서 만들어진 정보를 부호화하는 VLC들이 있다. 이런 부호화 알고리즘들은 부호화기를 구현하는데 많은 시간을 요구하며 특히 움직임 추정은 부호화기의 절반에 가까운 시간을 소비한다. 움직임 측정 기술의 복잡도는 search algorithm, cost function, search range parameter의 요인으로 나타낼 수 있다. 본 논문에서는 기존의 Full Search 알고리즘 대신에 three-step 알고리즘을 사용하여 움직임 측정 시간을 줄였다. Full Search 알고리즘은 search area에서 모든 지역에 대해 cost function을 사용하여 이전 블록과 얼마나 유사한지를 조사한다. 따라서 이전 블록과 가장 유사한 부분을 찾는 좋은 방법이지만 그만큼 시간이 많이 사용한다. Three-step 알고리즘은 search area의 일정 지역에 대해 cost function를 사용하여 이전 블록과의 유사성을 찾는 fast 알고리즘이다. Three-step 알고리즘을 사용한 경우 기존의 full search 알고리즘을 사용할 때 보다 60% 정도의 시간이 단축되었다. 그리고 생성되는 압축 데이터의 크기는 full search 알고리즘을 사용할 때 보다 많이 차지한다. 생성되는 H.263파일의 화질에서는 Three-step 알고리즘을 사용한 경우일지라도 full search 알고리즘을 사용한 경우와 거의 비슷한 화질을 보여준다.

  • PDF