• Title/Summary/Keyword: 공간 데이터 중복

Search Result 203, Processing Time 0.031 seconds

A Sampling based Pruning Approach for Efficient Angular Space Partitioning based Skyline Query Processing (효율적인 각 기반 공간 분할 병렬 스카이라인 질의 처리를 위한 데이터 샘플링 기반 프루닝 기법)

  • Choi, Woo-Sung;Min, Jong-Hyeon;Chung, Jaehwa;Jung, SoonYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.55-58
    • /
    • 2016
  • 스카이라인 질의란 다수의 선택지 중 '선호될 만한(preferable)' 선택지를 요청하는 질의이다. 사용자가 검토해야하는 선택지의 수를 대폭 감소시키는 스카이라인 질의는 데이터가 폭증하는 빅데이터 환경에서 매우 유용하게 활용된다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행 중이다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 최근 각 기반 공간분할 기법을 사용하여 부하 불균등 문제와 중복 계산 문제를 해소하는 맵리듀스 기반 스카이라인 질의 처리 기법이 제안되었으나 해당 기법은 네트워크 비용 관점에서 최적화되어있지 않다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 새로운 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 제안한다. MR-SEAP에서는 데이터를 샘플링하여 샘플 스카이라인 객체를 추출한 뒤 해당 객체들을 균등 분배하는 각도를 기준으로 공간을 분할하여 스카이라인 질의를 병렬 계산하되, 샘플 스카이라인을 이용하여 다수의 객체를 사전에 프루닝함으로써 네트워크 비용을 절감한다. 본 논문에서는 다양한 데이터 수량(cardinality) 및 분포(distribution)에 따른 제안 기법의 성능을 실험 평가함으로써 제안 기법의 우수성을 검증한다.

The Design and Implementation of Update Protocol for Spatial Data based on the Middleware : OLE DB (미들웨어 : OLE DB를 기반으로 한 공간 데이터 변경 프로토콜의 설계 및 구현)

  • 박정하;김동현;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.45-47
    • /
    • 2000
  • 지리정보시스템 클라이언트는 Open API를 이용한 개방형((Open)구조를 지향하고 있으며 OpenGIS는 다양한 데이터 소스간의 상호운용을 지우 하는 개방형 지리정보시스템의 표준으로 자리를 잡아가고 있다. 따라서 기존의 패쇄환경(Closed Environment)에서 행해졌던 공간 데이터 동시 수정의 연구는 OLE DB와 같은 개방환경(Open Environment)에서 연구될 필요가 있다. 기존의 기법을 OLE DB에 적용할 때 문제점으로 제기되는 것은 첫째, 공간데이터 수정을 위한 변경 제어가 서버측에 위치함으로써 서버에 따라 재작성 되어야 하는 문제가 있고, 둘째, 서버의 데이터를 중복 저장하고 있는 클라이언트 데이터에 대한 일관성 유지를 위해 클라이언트의 변경 내용은 다른 클라이언트에게 통보되어야 하지만 OLE DB의 통보 메커니즘은 Rowset을 공유하는 동일 클라이언트 내에서의 통보만 가능한 구조이다. 본 논문은 공간데이터베이스 서버에 의존적인 서버부분의 기능을 미들웨어에서 구현함으로써 서버 모듈의 재작성 문제를 해결하고 서로 다른 클라이언트간의 변경 전파 프로토콜을 제시하여 서버와 독립적으로 운용할 수 있는 공간데이터 변경을 위한 OLE DB서비스 제공자 프로토콜을 설계하고 구현한 결과를 보인다.

  • PDF

Searching Spatial Data of Wireless Devices using GIS agents (GIS 에이전트를 이용한 무선 단말기의 공간데이터 검색)

  • 이재호;임덕성;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.199-201
    • /
    • 2001
  • 무선 단말기는 저장공간, 연산능력, 통신등에 대한 계약을 가지고 있다. 무선 단말기의 공간데이터 검색의 경우 사용자의 요구를 효과적으로 처리하기 위해서 질의 생성, 데이터 관리, 색인관리등과 같은 연산들을 필요로 한다. 그러나 추가되는 영역과 저장된 영역의 데이터 사이에 중복객체가 존재하는 문제가 있고 추가되는 영역에 대해 색인을 구성하기 위해 공간 데이터의 정렬과 같은 고비용의 연산이 필요하다. 특히 무선 단말기에서 색인관리는 서버로부터 공간 데이터를 전송받을 때 마다 색인을 재 구성하기 위해 Bulk-Insertion 기법의 사용이 효율적이다. 따라서 이 논문에서는 낮은 컴퓨팅 능력을 가지는 무선 단말기에서 고비용의 연산 처리를 줄이기 위해 데이터 정렬, 색인 구성 등의 연산을 처리하는 에이전트를 제시한다.

  • PDF

Design and Implementation of Disk Archive System Exploiting De-duplication Scheme (데이터 중복 제거 기반의 디스크 아카이브 시스템 설계 및 구현)

  • Kang, Sung-Woon;Jung, Ho-Min;Ko, Young-Woong;Lee, Jeong-Gun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.204-206
    • /
    • 2011
  • 기존의 TAR와 같은 아카이브 포맷은 파일의 중복을 제거하는 기능이 포함되지 않아 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생했다. 본 연구에서는 중복 제거 기능이 포함된 아카이브 포맷인 DTAR와 이를 지원하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 DTAR 헤더에 SHA1 해시를 삽입하고 SHA1 해시를 노드로 하는 R-B Tree를 생성하여 중복을 검색 및 제거하는 것이다. 실험 결과 DTAR가 tar.gz보다 최대 31% 공간을 절약하고, 수행 시간도 줄어드는 것을 확인하여 효율적임을 보였다.

Design and Implementation of CORBA-based Spatial Data Provider Components for Supporting Interoperability (상호운용을 지원하는 CORBA 기반의 공간 데이터 제공자 컴포넌트 설계 및 구현)

  • 김민석;안경환;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.159-161
    • /
    • 1999
  • 분산환경에서 이종의 시스템 및 데이터베이스들의 통합을 위해 싸개(wrapper) 기술을 사용한다. 싸개 기술은 외부 클라이언트 응용프로그램에게 이질적인 데이터 소스들에 대해서 통합 데이터 모델을 제공함으로써 데이터와 정보처리의 공유를 가능하게 한다. 그러나 기존방법에서는 각 데이터 소스별로 싸개 객체를 작성해야 되는 중복 구현에 대한 문제가 있다. 이 논문에서는 싸개 역할을 하는 공간 데이터 제공자들의 공통부분을 추출하여 컴포넌트화하고 데이터 소스에 종속된 객체는 컴퍼넌트 기반의 CORBA 구현객체로 작성하여 공간 데이터 제공자 컴포넌트를 구현하는 방법을 제시한다. 그리고 표준 서비스를 위해 OGC의 OpenGIS 표준명세를 이용한다. 또한 공간 데이터 제공자 컴포넌트에서 질의결과에 대한 데이터 소스 접근 방법을 제시한다.

  • PDF

Information Dispersal Algorithm and Proof of Ownership for Data Deduplication in Dispersed Storage Systems (분산 스토리지 시스템에서 데이터 중복제거를 위한 정보분산 알고리즘 및 소유권 증명 기법)

  • Shin, Youngjoo
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.25 no.1
    • /
    • pp.155-164
    • /
    • 2015
  • Information dispersal algorithm guarantees high availability and confidentiality for data and is one of the useful solutions for faulty and untrusted dispersed storage systems such as cloud storages. As the amount of data stored in storage systems increases, data deduplication which allows to save IT resources is now being considered as the most promising technology. Hence, it is necessary to study on an information dispersal algorithm that supports data deduplication. In this paper, we propose an information dispersal algorithm and proof of ownership for client-side data deduplication in the dispersed storage systems. The proposed solutions allow to save the network bandwidth as well as the storage space while giving robust security guarantee against untrusted storage servers and malicious clients.

An Adaptive Motion Estimation based on Spatial Motion Vector Correlation (움직임 벡터의 공간적 상관성을 이용한 적응적 움직임 벡터 추정)

  • Yoon, Hyo-Sun;Lee, Guee-Sang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.779-782
    • /
    • 2002
  • 영상 압축 분야에서 데이터의 압축이 필수적인데, 이때 가장 많은 중복성을 가지고 있는 시간적 중복성은 이전 프레임의 데이터를 이용하여 움직임 추정과 움직임 보상을 수행하고 추정된 움직임 벡터에 의해서 보상된 영상과 원 영상과의 차 신호를 부호화하여 데이터를 압축한다. 움직임 추정과 움직임 보상 기법은 비디오 영상압축에서 중요한 역할을 하지만 많은 계산량으로 인하여 실시간 응용 및 고해상도 응용에 많은 어려움을 가지고 있다. 만일 움직임 추정을 하기 전에 블록의 움직임을 예측할 수 있다면 이를 바탕으로 탐색 영역에서 초기 탐색점의 위치 및 탐색 패턴을 결정할 수 있다. 본 논문에서는 움직임 벡터의 높은 공간적 상관성을 이용하여 초기 탐색점의 위치와 탐색 패턴을 결정함으로써 적응적으로 움직임 벡터를 추정하는 새로운 기법을 제안하고 성능을 평가한다. 실험을 통하여 제안된 알고리즘은 계산량의 감소에 있어서 높은 성능 향상을 보였다.

  • PDF

PML-tree : Parallel Spatial Index Structure for Large Spatial Databases (PML-tree : 대용량 공간데이터베이스를 위한 병렬처리 공간색인구조)

  • Bang, Kap-San
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.11
    • /
    • pp.3323-3332
    • /
    • 2000
  • 본 논문에서는 PML-트리라는 공간색인구조를 제안한다. PML-트리는 object distribution heuristics를 사용하여 공간 데이터 객체를 여러 개의 데이터 공간에 균일하게 배치함으로써 질의처리 속도를 향상시킨다. 두 가지의 object distribution heuristics(absolute crowd index와 relative crowd index)가 제안이 된다. PML-트리는 공간 객체를 분배함으로써 R+-트리의 말단 노드 내에 존재하는 데이터의 중복을 제거하면서, R-트리의 단점인 색인 사각형들 사이에 중첩을 허용치 않는다. PML-트리의 성능은 여러 타입의 테스트 데이터를 사용하여 MXR-트리와 비교된다. PML-트리는 MXR-트리에 비해 높은 공간활용도와 빠른 질의 반응시간을 보임으로써 공간 데이터베이스를 위한 효율적인 색인구조로 사용이 될 것으로 기대된다.

  • PDF

Design of Middleware Platform for Construction of Spatial Data Infrastructure (공간정보 인프라 구축을 위한 미들웨어 플랫폼에 관한 연구)

  • Lee, Jin-Kyu;Chang, Min-Young;Lee, Hyoung-Jin
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.137-142
    • /
    • 2008
  • 본 논문에서는 공간정보 인프라 구축을 위한 미들웨어 플랫폼에 관하여 연구하였다. 국내에서 활용되고 있는 지리정보시스템은 데이터 저장방식 및 서로 상이한 응용프로그램들의 사용으로 서로 다른 GIS 수요기관들 간의 공간데이터 교환이 어렵고, 시스템간의 호환이 거의 되지 않아 수요기관별로 개별적인 투자를 함으로써 중복투자의 문제가 심각하다. 이에 본 논문에서는 공간정보 인프라 구축을 위하여, 수치지도 갱신에 따른 비용 문제를 해결하고, 산업화에 직접 적용할 수 있는 미들웨어의 구조를 설계하고 기술하였다. 이는 상호이질적인 지형 데이터의 처리와 분산된 대용량 데이터를 처리하고, 데이터 갱신에 필요한 Long Transaction 처리, 다양한 데이터 소스에 대한 접근, 관리를 위한 서버측 프로시계의 생성 및 호출기능을 수행한다. 또한 클라이언트 측 어플리케이션과의 연결을 위한 방법으로 CORBA 인터페이스를 제공하여 프로그램 언어, 하드웨어/OS에 독립적인 분산처리가 가능하도록 설계 하였다.

  • PDF

Efficient Generation of 3-D Video Holograms Using Temporal-Spatial Redundancy of 3-D Moving Images (3차원 동영상의 시ㆍ공간적 정보 중복성을 이용한 효과적인 3차원 비디오 홀로그램의 생성)

  • Kim, Dong-Wook;Koo, Jung-Sik;Kim, Seung-Cheol;Kim, Eun-Soo
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.37C no.10
    • /
    • pp.859-869
    • /
    • 2012
  • In this paper, a new method to efficiently generate the 3-D(three-dimensional) video holograms for 3-D moving scenes, which is called here the TSR-N-LUT method, is proposed by the combined use of temporal-spatial redundancy(TSR) of 3-D video images and novel look-up table(N-LUT) technique. That is, in the proposed scheme, with the differential pulse code modulation (DPCM) algorithm, temporally redundancy redundant data in the inter-frame of a 3-D video images are removed between the frames, and then inter-line redundant data in the inter-frame of 3-D video images are also removed by using the DPCM method between the lines. Experimental results show that the proposed method could reduced the number of calculated object points and the calculation time of one object point by 23.72% and 19.55%, respectively on the average compared to the conventional method. Good experimental results with 3-D test moving pictures finally confirmed the feasibility of the proposed method to the fast generation of CGH patterns of the 3-D video images.