• Title/Summary/Keyword: 공간 데이터 중복

Search Result 203, Processing Time 0.055 seconds

Floating Primary Copy Method for Replica Control of Spatial Data (공간 데이터베이스의 중복 제어를 위한 Floating Primary Copy 기법)

  • 최진오
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.05c
    • /
    • pp.68-72
    • /
    • 2002
  • CIS 응용에서 공간 객체들이 여러 사이트에 걸쳐 중복 저장되어 있다면, 이 객체들의 수정 시 일관성 제어를 위한 중복 제어 기법이 필요하다. 그러나, 일반적인 비즈니스 데이터를 위한 정통적인 중복 제어기법은 공간 데이터에는 그대로 사용될 수 없다. 공간 데이터의 수정은 긴 트랜 션을 필요로 하며, 또한 일반 데이터와 달리 데이터간의 공간 종속성을 지니기 때문이다. 본 논문은 기존의 Primary Copy 중복 제어 기법을 확장하며, time-stamp에 기반하여 Primary Copy 사이트가 변경되는 Floating Primary Copy 기법을 제안한다. 본 논문에서 제안하는 중복 제어 기법은 Primary Copy 사이트를 동적으로 변경함으로써, 긴 트랜 션의 중복 일관성 제어를 지원할 수 있다.

  • PDF

A New Index Key Duplication method for Efficient Spatial Retrieval (효율적 공간 검색을 위한 새로운 색이 키 중복 기법)

  • 이경모;이충호;김성희;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.261-263
    • /
    • 1999
  • 공간 DBMS는 공간 데이터와 비공간 데이터를 서로 다른 물리적인 페이지에 저장한다. 공간 질의의 효율적인 처리를 위해 공간 데이터에 대한 공간 색인을 생성하며, 성능 향상을 위하여 이를 클러스터링 색인으로 사용한다. 그러나, 공간 데이터에 대한 클러스터링 성질이 비공간 데이터 페이지에는 반영되지 않아 공간 데이터와 비공간 데이터는 서로 다른 물리적 순서를 갖는다. 이로 인해 공간 조건(Spatial Predicate)에 의해 선택된 공간 데이터는 물리적 인접성을 가지는 반면, 비공간 데이터는 물리적 인접성을 갖지 않는다. 즉, 공간 질의 처리 과정에서 비공간 데이터 페이지의 잦은 디스크 I/O를 유발한다. 본 논문에서는 효율적 공간 검색을 위한 색인 키 중복 기법을 제안한다. 제안한 기법은 공간 데이터의 색인 기값을 비공간 데이터 내에 중복시키고 공간, 비공간 데이터에 대해 각각의 공간 클러스터링 색인을 생성한다. 두 클러스터링 색인에 의해 공간 데이터와 마찬가지로 비공간 데이터도 공간 조건에 대한 클러스터링 성질을 유지할 수 있다. 질의 처리 과정에서 공간 조건에 의해 선택된 공간 객체들은 공간, 비공간 데이터들 모두 물리적 인접성을 가지게 되며, 비공간 데이터 페이지에 대한 디스크 액세스 횟수를 줄여 공간 검색의 성능을 향상시킬수 있다.

  • PDF

Performance Improvement of Storage System Using De-duplication (중복 데이터 관리 기법을 통한 저장 시스템 성능 개선)

  • Jeong, Ho-Min;Kim, Byung-Ki;Kim, Jin;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.909-912
    • /
    • 2009
  • 기존의 저장 방식은 대용량의 데이터를 비효율적으로 처리해 왔지만 데이터 중복 제거 기법을 이용하면서 저장 공간과 네트워크 대역폭을 효율적으로 사용할 수 있게 되었다. 그러나 기존의 데이터 중복 제거 알고리즘들은 수행시간이 길고 중복 데이터를 효율적으로 제거하지 못하는 문제가 있다. 본 논문에서는 개선된 중복 검색 및 제거 메커니즘을 제공하는 저장 시스템을 제안하고 있다. 제안하는 알고리즘은 저장 공간을 최소화하고 네트워크 대역폭을 줄일 수 있다. 주요 아이디어는 스트라이드 방식의 중복 검색 메커니즘이며 중복된 데이터 블록을 발견하는데 있어서 계산 시간을 줄여주고 있다. 제안하는 시스템의 성능을 검증하기 위하여 리눅스 배포 데이터를 저장하는 실험을 수행하였으며 실험 결과 스트라이드 방식이 저장 공간을 줄이고 중복된 데이터 블록을 효율적으로 관리할 수 있음을 보였다.

Study on CCTV Data De-duplication in Cloud Storage Environments (클라우드 스토리지 환경에서의 CCTV 데이터 중복제거 수행 기술 연구)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.172-173
    • /
    • 2018
  • CCTV 기술은 실시간으로 영상을 수집하여 저장소에 보관하는 기술을 의미한다. 이러한 환경에서 데이터 저장소의 가용성은 매우 중요하다. 데이터가 축적될수록 스토리지 공간의 확장은 매우 중요해지며, 이를 위해 최근에는 클라우드 스토리지를 이용하여 저장 공간을 비교적 수월하게 확장하고 이용할 수 있는 환경이 제시되고 있다. 하지만 이러한 환경에서도 데이터의 지속된 저장은 저장 공간의 추가 이용을 위한 비용의 증가로 직결되기 때문에 데이터를 효율적으로 저장하기 위한 방안의 논의되었다. 데이터 중복제거 기술은 이러한 기술 중 하나로 데이터의 중복된 저장을 방지하여 스토리지 공간을 보다 효율적으로 이용할 수 있도록 하는 기술이다. 하지만 CCTV 환경에 클라우드 스토리지와 데이터 중복제거 기술을 적용하면서 추가적인 보안 이슈가 발생하였다. 따라서 본 연구에서는 이러한 문제를 해결하기 위한 연구를 수행하며, 이를 통해 보다 효율적인 데이터 저장을 수행하는 동시에 안전하게 데이터를 보관하는 방법을 제안한다.

Non Duplicated Extract Method of Heterogeneous Data Sources for Efficient Spatial Data Load in Spatial Data Warehouse (공간 데이터웨어하우스에서 효율적인 공간 데이터 적재를 위한 이기종 데이터 소스의 비중복 추출기법)

  • Lee, Dong-Wook;Baek, Sung-Ha;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.143-150
    • /
    • 2009
  • Spatial data warehouses are a system managing manufactured data through ETL step with extracted spatial data from spatial DBMS or various data sources. In load period, duplicated spatial data in the same subject are not useful in extracted spatial data dislike aspatial data and waste the storage space by the feature of spatial data. Also, in case of extracting source data on heterogeneous system, as those have different spatial type and schema, the spatial extract method is required for them. Processing a step matching address about extracted spatial data using a standard Geocoding DB, the exiting methods load formal data set. However, the methods cause the comparison operation of extracted data with Geocoding DB, and according to integrate spatial data by subject it has problems which do not consider duplicated data among heterogeneous spatial DBMS. This paper proposes efficient extracting method to integrate update query extracted from heterogeneous source systems in data warehouse constructer. The method eliminates unnecessary extracting operation cost to choose related update queries like insertion or deletion on queries generated from loading to current point. Also, we eliminate and integrate extracted spatial data using update query in source spatial DBMS. The proposed method can reduce wasting storage space caused by duplicate storage and support rapidly analyzing spatial data by loading integrated data per loading point.

  • PDF

Design and Implementation of Korean Geospatial Data Clearinghouse (한국형 지형공간 데이타 Clearinghouse의 설계 및 구현)

  • Baek, In-Gu;Lee, Kang-Jun;Han, Ki-Joon
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 1999.06a
    • /
    • pp.131-145
    • /
    • 1999
  • 최근 정보화 사회에서 정보의 처리와 공유에 대한 관심이 크게 증가하지만 기존 지리정보시스템(GIS)이 갖고 있던 상호 이질적인 지형공간데이타 포맷을 가지고는 효율적인 정보의 처리와 공유가 어려운 형편이다. 이러한 지형공간데이타 포맷의 문제로 인해 지형공간 데이터의 중복수집의 문제가 발생하였으며, 또한 많은 시간과 경비가 중복 투자퇴고 있다. 본 논문에서는 지형공간 데이타 중복수집의 문제점을 효과적으로 해결하고, 이미 구축되어 있는 지형공간 데이타를 필요로 하는 사람들과 공유하고 유통하기 위하여 KGDC(Korean Geospatial Data Clearinghouse)를 설계 및 구현하였다. KGDC를 통하여 ESRI와 Intergraph사의 상용 지리정보시스템들의 데이타를 별도의 처리과정 없이 공유할 수 있으며, 또한 OGC(OpenGIS Consortium)의 OpenGIS 구현명세에 기술되어 있는 표준 OpenGIS 인터페이스를 지원하는 지형공간 데이타 서버의 데이타도 효과적으로 공유할 수 있다. 특히, KGDC는 다양한 검색 기능과 다양한 정보를 제공하여 손쉬운 지형공간 데이타의 공유 및 유통을 가능하게 하며, 검색을 위한 정보와 검색의 결과로 이용하기 위해 ISO/TC211 표준 메타데이타를 부분적으로 지원하고 있다.

  • PDF

Eliminating Redundant Data for Storage Efficiency on Distributed File Systems (저장 공간의 효율성을 위한 분산 파일 시스템의 중복 데이터 제거 기법)

  • Kim, Jung Hoon;Lim, ByoungHong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.111-112
    • /
    • 2009
  • 최근 IT 분야의 키워드 중 하나인 클라우드 컴퓨팅에서, 분산 파일 시스템의 선택은 대용량의 데이터를 관리하기 위해 매우 중요하다. 오픈소스 분산 파일 시스템 중 하나인 HDFS는 데이터의 효율적인 저장과 검색의 장점을 통해 최근 널리 사용되고 있다. HDFS는 데이터를 3단계 중복저장을 통해 신뢰성을 보장한다. 그러나 이러한 중복저장은 데이터 저장의 효율성 저하의 문제점을 갖고 있다. 따라서 본 논문에서는 MD5 해쉬 기술을 적용한 중복 데이터 제거 기법을 제안한다. 본 기법은 시뮬레이션을 통해 저장 공간의 효율성을 향상의 결과를 확인하였다.

Non-Duplication Loading Method for supporting Spatio-Temporal Analysis in Spatial Data Warehouse (공간 데이터웨어하우스에서 시공간 분석 지원을 위한 비중복 적재기법)

  • Jeon, Chi-Soo;Lee, Dong-Wook;You, Byeong-Seob;Lee, Soon-Jo;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.9 no.2
    • /
    • pp.81-91
    • /
    • 2007
  • In this paper, we have proposed the non-duplication loading method for supporting spatio-temporal analysis in spatial data warehouse. SDW(Spatial Data Warehouse) extracts spatial data from SDBMS that support various service of different machine. In proposed methods, it extracts updated parts of SDBMS that is participated to source in SDW. And it removes the duplicated data by spatial operation, then loads it by integrated forms. By this manner, it can support fast analysis operation for spatial data and reduce a waste of storage space. Proposed method loads spatial data by efficient form at application of analysis and prospect by time like spatial mining.

  • PDF

The Development of u-GIS Spatial Database Management System (u-GIS 공간 데이터베이스 관리시스템 개발)

  • Min, Kyoung-Wook;Kim, Ju-Wan
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2009.04a
    • /
    • pp.215-217
    • /
    • 2009
  • u-GIS는 기존 정적인 공간데이터와 동적인 GeoSensor 데이터를 융합하여 처리하는 시스템을 말한다. 기존 정적인 공간 데이터는 주로 2차원 공간 데이터였으며 최근 유비쿼터스 환경에서는 이를 확장한 3차원 공간 데이터 및 다차원 시공간 데이터의 요구가 급증하고 있다. 최근 국가 차원에서 3차원 공간 데이터를 구축하고 있으며 DBMS가 아닌 파일 단위로 데이터를 저장하고 관리하고 있다. 이 경우, 데이터의 중복 저장, 표준 인터페이스의 부재, 서버 중심의 데이터 제공의 어려움 등의 문제가 발생한다. 따라서 본 연구에서는 3차원 공간데이터를 효과적으로 저장 관리하기 위하여 3차원 공간 DBMS를 연구 개발하였다.

  • PDF

Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure (가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인)

  • Park, Sang-Keun;Park, Soon-Young;Kim, Myung-Keun;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF