• 제목/요약/키워드: 공간 데이터 중복

검색결과 203건 처리시간 0.032초

파일 지문으로 중복 파일을 제거한 클러스터링 백업 시스템 설계 (Design of Deduplication Supported Clustering Backup System using File Finger Printing)

  • 정호민;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.737-740
    • /
    • 2007
  • 기존의 백업시스템에서는 데이터의 중복을 고려하지 않고 백업 데이터 전부를 저장하기 때문에 저장용량 공간을 많이 차지하는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 백업 데이터의 각 파일에 대해서 일정한 크기의 블록 단위로 파일지문을 부여하고 파일지문이 동일할 경우 하나의 사본만을 공유하는 방법으로 백업 데이터의 용량을 감소시키는 방법을 도입하였다. 제안하는 백업 시스템은 중복되어 발생하는 데이터에 대해 하나의 사본만 백업함으로써 백업되는 데이터의 양을 효과적으로 감소시켰다. 또한 백업되는 파일 블록에 대해서 클러스터링 기술을 사용함으로서 입출력 성능 향상을 고려하였다.

비공유 공간 데이터베이스 클러스터에서 효율적인 병렬 공간 조인 기법 (Efficient Parallel Spatial Join Method In Shared-Nothing Spatial Database Cluster)

  • 김종현;김명근;김재홍;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1871-1874
    • /
    • 2002
  • 최근 인터넷 환경에서 지리 정보 서비스를 제공받으려는 사용자들의 지속적인 증가로 인해 저비용의 여러 개의 단일 노드를 고속의 네트워크로 연결하여 고성능을 제공하는 클러스터 기반의 공간 데이터베이스에 대한 연구가 활발하게 진행되고 있다. 이러한 공간 데이터베이스 클러스터에서 사용자가 요구한 공간 질의를 빠르게 처리하기 위해서는 고비용의 공간 조인 연산을 효율적으로 처리하기 위한 기법이 요구된다. 본 논문에서는 비공유 공간 데이터베이스 클러스터 환경하에서 공간 조인 연산 수행 시 효율적인 병렬 처리를 위한 영역 분할 기법 및 병렬 공간 조인 기법을 제안한다. 기존의 병렬 공간 데이터베이스 시스템에서의 분할 기반 병렬 공간 조인 기법들은 병렬로 수행할 작업 분배 및 할당과 분할 경계선 상에 존재하는 공간 객체들에 대한 중복 조인 연산 및 중복 결과 제거 등의 추가적인 연산을 해야 한다는 문제점들이 있다. 제안된 기법은 공간 릴레이션들을 일정 영역들로 분할하여 비공유 공간 데이터베이스 클러스터의 각 노드에서 중복없이 저장, 관리하도록 하며 분할 영역의 경계선 상에 위치하는 공간 데이터에 대해서만 중복 저장을 허용하여 병렬 공간 조인 연산 시 누락되는 공간 데이터가 없도록 한다. 본 기법은 공간 조인 연산 시 병렬 처리를 위한 별도의 작업 할당 과정을 거치지 않고 각 노드에서 병렬적으로 공간 조인 연산을 수행하며, 분할 경계선 상에 존재하는 공간 객체들은 여과 과정을 거쳐 한번만 공간 조인이 수행되므로 중복 결과들을 제거하기 위한 별도의 연산이 필요없는 특징을 갖는다. Ad Hoc망의 위상변화에 대한 적응성을 높일 수 있도록 한다. SQL Server 2000 그리고 LSF를 이용하였다. 그리고 구현 환경과 구성요소에 대한 수행 화면을 보였다.ool)을 사용하더라도 단순 다중 쓰레드 모델보다 더 많은 수의 클라이언트를 수용할 수 있는 장점이 있다. 이러한 결과를 바탕으로 본 연구팀에서 수행중인 MoIM-Messge서버의 네트워크 모듈로 다중 쓰레드 소켓폴링 모델을 적용하였다.n rate compared with conventional face recognition algorithms. 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이

  • PDF

OGC의 Catalog 명세서에 기반한 공간정보유통모델에 관한 연구

  • 김명구;이혜선;차정숙;김성룡;김성규
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2001년도 춘계 학술대회 논문집 통권 4호 Proceedings of the 2001 KSRS Spring Meeting
    • /
    • pp.34-34
    • /
    • 2001
  • 지난 수십년간 GIS는 소프트웨어 기술의 발전과 더불어 엄청난 양의 자료축적을 이루었으며, 이는 공간 데이터 운용 범위의 확장 및 공간 데이터 수집 수단의 기술발전을 촉진시켜왔다. 최근 OGC(OpenGIS Consortium)는 정보의 공유와 운용을 위해 분산 환경에서 공간 데이터에 접근할 수 있는 사양들을 개발해 오고 있다. 본 논문에서는 OGC가 제공하는 개방형 GIS 서비스 중 CatalogService 명세서를 기반으로 공간정보유통모델을 구현하였다. GIS의 중요성이 더욱 강조되어가고 현 시점에서 공간정보유통모델은 분산환경에 있는 공간 데이터를 검색, 접근 및 관리를 함으로써 공간 데이터를 보다 효율적으로 공유할 수 있게 해준다. 이러한 공간정보유통모델을 이용함으로써 공간데이터 구축의 중복투자 방지 및 재사용성을 높일 수 있으며, GIS 산업의 활성화를 도모할 수 있다.

  • PDF

중복 제거 기술을 이용한 스마트폰 백업 시스템 (Smartphone Backup System Using Deduplication Scheme)

  • 정호민;김병기;송창근;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1803-1806
    • /
    • 2010
  • 스마트폰에서 용량을 많이 차지하는 멀티미디어 컨텐츠, 응용 프로그램 데이터가 증가하면서 스마트폰을 위한 백업 프로그램에 대한 요구가 증가하고 있다. 본 논문에서는 중복 제거 기법을 적용한 스마트폰 백업 기술을 제안함으로 네트워크 대역폭을 효율적으로 사용하고 저장 공간을 줄일 수 있는 방안을 제시하고 있다. 제안하는 중복 제거 방식은 스마트폰에서 각 파일을 일정한 크기의 블록 단위로 분할하고 지문을 부여하고, 지문이 동일하지 않을 경우에만 데이터를 전송하는 방식을 사용한다. 실험결과 제안하는 방식이 네트워크 대역폭 및 저장 공간을 효율적으로 사용함을 보이고 있다.

최소 중복을 이용한 Hotspot 시간 데이터의 관리 (Management Strategy of Hotspot Temporal Data using Minimum Overlap)

  • 강지형;윤홍원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 춘계종합학술대회
    • /
    • pp.196-199
    • /
    • 2005
  • 이 논문에서는 과학적 응용에서 발생하는 군집을 이루는 시간 데이터를 관리하는 방법을 제안한다. 먼저, 시간데이터를 구분하는 경계값 LB와 RB를 정의하고 과거, 현재, 미래 세그먼트에 각각 저장되는 개체버전을 정의하였다. 또한 Hotspot 분포를 가지는 시간 데이터에 대하여 각 세그먼트 사이에 이동하는 알고리즘을 나타내었다. 이 논문에서 제안하는 최소중복을 이용한 이동 방법과 기존방법에 대하여 성능을 비교하였다. 질의에 대한 평균 응답 시간에서는 기존의 방법과 비슷한 결과를 보였다. 제안한 이동 방법은 세그먼트 사이에 중복해서 저장되는 데이터 수를 적게 하므로 공간 이용율 측면에서는 기존의 이동 방법보다 효율적이었다.

  • PDF

공간 데이터 웨어하우스에서 GML 데이터의 효율적인 적재를 위한 데이터 통합 기법 (GML Data Integration Method for Load Processing of Spatial Data Warehouse)

  • 전병윤;이동욱;유병섭;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.27-30
    • /
    • 2006
  • GIS 분야에서 데이터 교환의 표준으로 OGC(Open Geospatial Consortium)에서 GML(Geography Markup Language)이 제안되어 웹 어플리케이션이나 공간 데이터 교환에서 사용이 일반화 되어가고 있다. 또한, 공간 데이터를 효과적으로 수집하여 의사결정을 지원하기 위한 시스템인 공간 데이터 웨어하우스에서도 GML 데이터를 추출하여 소스 데이터로 활용하는 것이 요구되고 있다. 하지만 GML 은 반구조형식(semi-structured)의 데이터 형식을 가진다. 따라서 기존 구조적인 데이터와는 추출하는 방식이 다르므로 GML 의 특징에 맞는 공간 데이터 추출이 수행되어야 한다. 본 논문에서는 공간 데이터 웨어하우스에서 GML 기반의 공간 데이터 소스를 추출할 때, 중복되는 공간 객체를 하나의 표현으로 통합하여 효율적으로 적재하는 기법을 제안한다. 이는 GQuery를 이용하여 GML 데이터를 추출한 후, GML 스키마를 메타데이터에서 관리하는 스키마 정보와 비교하여 공간 데이터 웨어하우스에 통합된 공간 데이터를 제공하는 기법이다. 성능평가에서는 기존의 GML 데이터를 추출하는 기법과 제안기법과의 비교를 통하여 제안 기법의 기존 기법에 비해 평균적으로 약 9.95%의 성능향상을 보였다.

  • PDF

중복제거 TAR 기법을 적용한 백업 시스템 (Data Backup System Exploiting De-duplication TAR Scheme)

  • 강성운;정호민;이정근;고영웅
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.539-542
    • /
    • 2011
  • TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법 (Chunk Placement Scheme on Distributed File System Using Deduplication File System)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

모바일 지도 서비스를 위한 에이전트 기반의 공간 데이터 캐쉬의 설계 및 구현 (Design and Implementation of the Spatial Data Cache Based on Agents for Providing Mobile Map Services)

  • 임덕성;이재호;홍봉희
    • 정보처리학회논문지D
    • /
    • 제10D권2호
    • /
    • pp.175-186
    • /
    • 2003
  • PDA와 같은 무선단말기에서 지도 데이터에 대한 검색 및 접근을 위해 영역단위의 캐쉬와 R-tree 기반의 공간색인이 필요하다. 그러나 서버로부터 낮은 저장용량의 무선단말기에 전송되는 공간객체는 캐쉬된 공간 객체와 중복되는 문제가 있다. 또한 추가되는 데이터를 저장하고, 효율적인 공간 질의를 위한 색인 재구축 비용은 낮은 컴퓨팅 파워를 가진 무선단말기에 부하를 준다. 따라서 낮은 컴퓨팅 파워를 가진 무선단말기의 부하를 분산시키는 방법과 중복객체의 처리기법이 필요하다. 이 논문에서는 먼저 캐슁시 중복 객체에 대한 처리기법을 분류하고, 클리핑기밥을 사용한 공간 객체 저장과 색인 재구성방법을 분석한다. 또한, 무선단말기에 집중된 부하를 분산시키기 위해 색인구성 및 클리핑 작업을 에이전트에서 처리하는 에이전트 기반 캐슁시스템을 제시한다. 그리고, 제시한 시스템을 설계 및 구현하고, 성능을 평가한다.

다중 레벨 공간 DBMS에서 스냅샷 데이터 관리를 위한 관리 도구 설계 및 구현 (Design of tool for management of snapshot data on Multievel Spatial Database Management Systems)

  • 백성하;유병섭;어상훈;김경배;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.101-104
    • /
    • 2006
  • 다중 레벨 공간 DBMS 는 디스크 기반 DBMS 와 메인 메모리 저장관리자를 통합한 시스템이다. 다중 레벨 공간 DBMS 는 디스크 기반 DBMS 를 사용하여 대용량 데이터를 저장하고 자주 이용되는 데이터만 스냅샷으로 메인 메모리에 상주 시켜 빠르게 트랜잭션을 처리한다. 그러나 시스템 운영상에서 스냅샷의 중복 생성 및 부적절한 갱신 주기의 문제가 발생하여 시스템의 성능을 저하시킨다. 그래서 본 논문에서는 스냅샷 데이터 관리를 위한 관리도구를 제안한다. 본 관리도구는 스냅샷의 생성 및 삭제, 동기화 등의 조작 기능을 제공하고, 메타데이터를 관리하여 통계정보 및 스냅샷 상세정보를 제공하여 최적화를 위한 판단기준으로 사용 할 수 있도록 한다. 본 도구를 이용하면 관리자가 시스템이 발견하지 못한 스냅샷의 중복된 영역 및 최적인 갱신 주기를 판단 하고 스냅샷을 조작해 시스템의 성능을 보다 최적 할 수 있다.

  • PDF