• 제목/요약/키워드: 데이타 공유

검색결과 213건 처리시간 0.025초

대용량 분산파일시스템을 위한 비공유 메타데이타 관리 기법 (A Non-Shared Metadata Management Scheme for Large Distributed File Systems)

  • 윤종현;박용훈;이석재;장수민;유재수;김홍연;김영균
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권4호
    • /
    • pp.259-273
    • /
    • 2009
  • 최근 많은 연구가 진행 중인 대부분의 클러스터 기반 분산파일시스템은 파일에 대한 읽기, 쓰기 작업으로부터 메타데이타의 처리를 분리했다는 특징을 가지고 있다. 즉 파일시스템에 기록된 파일에 대한 권한 정보, 파일의 실제 데이타가 저장된 저장소의 위치 정보, 파일시스템의 네임스페이스 유지 등 메타데이타와 관련된 정보 및 이를 처리하는 기능을 별도의 메타데이타 서버가 관리한다. 하지만 기존 시스템의 메타데이타 관리기법들은 데이타의 분산 관리 및 입출력 성능만 중점을 두고 설계되어 있어 파일시스템 확장에 따른 메타데이타 입출력 성능 및 확장성에서 한계를 나타내고 있는 상황이다. 따라서 본 논문에서는 클러스터 기반 분산파일시스템에서 보다 나은 성능과 확장성을 제공하는 수 있는 비공유 메타데이타 관리 기법을 제안한다. 먼저 본 논문에서는 새로운 메타데이터 분할 기법으로 사전식 분할 기법을 제안한다. 다음으로 제안하는 메타데이타 분할 기법을 지원하기 위한 부하 분산 기법을 제시한다. 본 논문에서 제안하는 메타데이타 관리 기법은 기존 메타데이타 관리기법과 비교하여 확장성 및 부하 분산에서 우수함을 보인다.

GML 문서 기반 이동 객체 위치 데이타 생성자 (A Dataset Generator for Moving Objects based on GML Documents)

  • 김동오;김정준;강홍구;한기준
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2004년도 GIS/RS 공동 춘계학술대회 논문집
    • /
    • pp.57-62
    • /
    • 2004
  • 현재 모바일 환경에서 위치 데이타를 활용하는 LBS(Location Based Services)나 Telemetics 같은 분야가 새로운 화제로 대두되었으며, 관련된 다양한 이동 객체 관리 시스템이 국내외에서 개발되고 있다. 이러한 시스템은 위치 데이타의 효율적인 저장 및 검색을 지원해야 하며, 또한 저장 및 검색의 효율성과 안전성을 검증하기 위해 다양한 데이타 셋을 이용한 테스트 및 성능 평가가 요구되고 있다. 그리고, 이 경우에 특정 상황을 가정한 임의 데이타 셋보다 실제 환경에 가까운 데이타 셋을 이용한다면 보다 정확한 테스트와 성능 평가가 가능할 것이다. 본 논문에서는 이러한 필요성을 해결하기 위해 실제 환경에서의 지형 지물과 같은 다양한 고정 객체와 지형 지물상에서 이동하는 다양한 이동 객체를 고려하여 위치 데이타를 생성하는 기법을 연구하였다. 특히, 고정 객체 및 이동 객체의 위치 데이타를 표현하는데 있어 OGC(Open GIS Consortium)에서 제안한 지리 데이타 공유 및 저장의 표준인 GML(Geography Markup Language) 명세에 기반한 GML 문서를 사용하였다. 즉, 본 논문에서는 다양한 이동 객체 관리 시스템이 실제 환경에 가까운 테스트 및 시뮬레이션을 수행할 수 있도록 하기 위해 GML 기반 이동 객체 위치 데이타 생성자를 개발하였으며, 생성된 데이타 셋은 LBS나 Telemetics는 물론 4D GIS 분야에서 보다 정확한 테스트 및 성능 평가를 위해 활용될 수 있을 것이다.

  • PDF

데이타 스트림 상에서 다중 연속 복수 조인 질의 처리 최적화 기법 (MMJoin: An Optimization Technique for Multiple Continuous MJoins over Data Streams)

  • 변창우;이헌주;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.1-16
    • /
    • 2008
  • 센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

대용량 공유디스크 파일 시스템에 적합한 메타 데이타 구조의 설계 및 구현 (Design and Implementation of a Metadata Structure for Large-Scale Shared-Disk File System)

  • 이용주;김경배;신범주
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제30권1호
    • /
    • pp.33-49
    • /
    • 2003
  • 인터넷의 확산으로 대용량 멀티미디어 데이타에 대한 요구가 증가하고 있으며 이를 효율적으로 관리하기 위한 스토리지에 대찬 연구가 진행되고 있다. 기하급수적으로 늘어나는 스토리지에 대한 요구를 해결하기 위해서 제시된 방법중의 하나가 공유디스크 환경을 제공하는 SAN(Storage Area Network)이다. SAN은 fibre channel이라는 고속 전송망을 이용해서 고속의 저장장치를 위한 네트워크를 구성한 것이다. 하지만 저장장치 네트워크의 구성만으로는 스토리지에 대한 요구는 해결하였지만 이를 사용자에게 제공하기 위한 공유디스크 환경에서의 파일시스템에 대한 연구는 미진하다. 특히 기존에 제시된 로컬 파일 시스템, 분산 파일시스템에서는 공유디스크환경에 적합하지 않으며 대용량 스토리지에 적합한 메타 데이터 구조 측면에서의 설계는 부족한 실정이다. 이를 해결하기 위해 본 논문에서는 공유디스크 환경에 적합한 메타 데이타 구조를 설계 및 구현하여 대용량 스토리지에 적합한 공유디스크 파일 시스템을 제시한다. 구현한 공유디스크 파일시스템은 SAN fabric에 참여하는 호스트들 사이의 균형적인 할당 블록을 주기 위한 파일시스템 레이아웃과 비트맵 관리기법, 대용량 파일을 위한 효율적인 익스텐트 기반의 SEMI FLAT구조를 제안하였으면, 대용량의 디렉토리를 사용할 수 있게 확장해싱을 이용한 2단계 디랙토리 관리 구조를 설계 및 구현하였다. 또한 리눅스 커널 상에서 제시한 메타 데이타 구조에 대한 구현에 필요한 구조 정보와 알고리즘을 제시하였으며. 성능의 우수성을 보이기 위해 리눅스 환경의 대표적인 파일 시스템인 EXT2, 공유디스크 환경의 GFS와의 성능을 파일 생성, 디렉토리 생성, I/O횟수 측면에서 비교하였다.

이질적인 GIS 데이타 소스의 상호운용을 지원하는 CORBA기반의 표준 데이타 제공자 설계 (Design of CORBA based Standard Data Provider for Interoperability of heterogeneous GIS Data Sources)

  • 김민석;안경환;홍봉희
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 1999년도 학술회의 논문집 2권2호
    • /
    • pp.35-45
    • /
    • 1999
  • 기존에는 이질적인 GIS 데이타 소스간의 통합을 위해 랩퍼(wrapper)기술을 사용했다. 랩퍼(wrapper)는 외부 클라이언트 응용프로그램에게 이질적인 데이타 소스들의 통합 데이타 모델을 제공함으로써 데이타와 지리정보처리의 공유를 가능하게 한다. 그러나 데이타 소스들의 통합은 표준 서비스를 포함한 상호운용성을 지원하는 것은 아니다. 표준을 따르는 상호운용을 위해서는 표준화된 데이타 모델과 서비스가 필요한데 OGC (OpenGIS Consortium)의 OpenGIS(Open Geodata Interoperability Specification)가 이를 제공하고 있다. 분산환경에서 상호운용을 위한 기존방법은 각 데이타 소스별로 데이타 제공자를 개발하여 상호운용을 지원하였다. 따라서 중복 구현에 대한 문제와 구현에 따른 노력과 비용이 상당 부분 존재하였다. 본 논문에서는 데이타 제공자에서 공통부분을 추출 및 컴포넌트 화하고 데이타 소스에 종속되는 모듈은 CORBA 구현객체로 작성하여 제시하였다. 따라서 각 데이타 소스들은 표준 데이타 제공자를 통해서 기존의 데이타 지원 기능유지와 상호운용성을 달성할 수 있다. 클라이언트는 OpenGIS Feature모델을 기반으로 한 표준 인터페이스로 데이타 소스에 접근한다. 데이타 소스는 표준데이타 제공자와 정의된 인터페이스를 바탕으로 CORBA의 구현 객체 서버를 작성함으로서 중복구현 및 구현부담을 줄일 수 있다.

  • PDF

SDTS 변환 시스템 (SDTS Conversion System)

  • 이강준;김준종;설영민;한기준
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 1998년도 학술회의 논문집 1권1호
    • /
    • pp.181-195
    • /
    • 1998
  • 지리 정보 시스템(GIS)은 그 특성상 대용량의 GIS 데이타를 사용하며, 다양한 운영체제와 하드웨어 상에서 구현된다. 이렇게 상이한 운영체제와 하드웨어상의 공간데이타들은 일반적으로 서로 다른 GIS 데이타 포맷을 갖고 있기 때문에 효율적인 자료 교환이 불가능하다면 데이타 공유가 매우 어려울 뿐만 아니라 공통 데이터의 중복 보관 및 관리로 인해 막대한 경제적 손실을 가져온다. 이와 같은 문제점을 해결하기 위해 국외에서는 이미 GIS 데이타 교환을 위한 방안으로 공통 교환 표준 포맷 작업이 10여년 전부터 진행되어왔으며, 국내의 경우도 국가 차원에서 지리 정보시스템의 국가 표준을 설정하고, 기본 공간 데이타베이스를 구축하고 있다. 그리하여, 국가 기본 포맷과 공통 데이타 교환 포맷의 표준으로 SDTS(Spatial Data Transfer Standard)를 채택하였다. 본 논문에서는 범용의 SDTS 변환 시스템의 구현에 필요한 공간 데이타 분석, 논리적 설계, 물리적 설계 등의 전반적인 SDTS 변환과정, 테스트 검증 사항, 그리고 반드시 지켜야 할 규칙들을 제시한다. 마지막으로, 실제 공간 데이타인 GOTHIC과 SDTS 간의 변환 시스템의 설계와 구현에 대해서 언급한다.

  • PDF

병렬 GIS를 위한 효율적인 분산공유메모리 시스템 (An Efficient Distributed Shared Memory System for Parallel GIS)

  • 정상화;류광열;고윤영;곽민석
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권6호
    • /
    • pp.700-707
    • /
    • 1999
  • 본 논문에서는 GIS 관련 연산을 실시간에 효율적으로 처리하기 위한 분산공유메모리 기반 병렬처리 시스템을 제안한다. 본 논문의 분산공유메모리 시스템은 메시지전달 방식의 분산메모리 MIMD 컴퓨터 상에 소프트웨어 기반 분산공유메모리 모듈을 탑재함으로써 구현되었다. 또한 GIS 연산의 기본이 되는 공간 객체를 공유의 기본 단위로 설정하고, GIS 데이타의 특성을 반영하여 읽기전용 공유데이타 타입을 추가하였으며, 네트워크 오버헤드를 줄이기 위하여 복수의 객체를 한번에 읽어오는 bulk access가 가능하도록 하였다. 본 시스템에서는 GIS 데이타의 효율적인 분배를 위하여 부하균등화 기법으로 guided self scheduling을 사용하였다. 실험결과 본 시스템은 네트워크 캐쉬의 효율적인 활용을 통하여 소프트웨어 기반 분산메모리 시스템의 오버헤드에도 불구하고 MPI 기반 메시지전달 방식에 비하여 향상된 성능을 얻을 수 있었다.Abstract In this paper, we propose a distributed shared memory(DSM) based parallel processing system to process GIS related computations efficiently in real time. The system is based on a software DSM module implemented on top of a distributed MIMD computer. In the DSM system, spatial object, which is a fundamental structure to represent GIS data, is used as a basic unit for sharing, and a read-only shared data type is added to reflect the characteristics of GIS data. In addition, a bulk access to multiple shared data is made possible to reduce the network overhead. A guided self scheduling method is devised for efficient load balancing in distributing GIS data to parallel processors. The experimental results show that the DSM system performs better than an MPI based message-passing system through the efficient utilization of network cache in spite of the system's software overhead.

고성능 뷰 관리르 지원하는 새로운 데이터 웨어하우징 시스템 구조 (A New Data Warehousing System Architecture Supporting High Performance View Maintenance)

  • 김점수;이도헌;이동익
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권10호
    • /
    • pp.1156-1166
    • /
    • 1999
  • 의사결정 시스템은 전사적인 의사결정과 전략적 정보수집을 위해 거대한 량의 정보를 빠른 시간내에 제공할 것을 요구한다. 데이타 웨어하우스는 이러한 정보를 신속히 제공하기 위해 여러 지역 데이타베이스로부터 필요한 정보를 사전에 추출하고 가공 및 통합하여 별도의 저장공간에 저장한다. 일반적으로, 웨어하우스 내의 정보는 지역 데이타베이스에 저장된 정보에 대한 실체화된 뷰로서 간주하며 지역 데이타의 변경에 따라 일관성을 유지하도록 반영해야 한다. 본 논문에서는 일관성을 유지하기 위해 정보 공유가 가능한 데이타 웨어하우스 시스템의 구조와 비-보상 실체 뷰 관리 기법을 제안한다. 본 논문에서 제안한 데이타 웨어하우스 시스템의 구조는 지역 데이타베이스에서 추출된 정보를 관리하는 별도의 지역 정보 관리자를 두어 뷰 관리자들 간의 정보 공유가 가능하게 한다. 비-보상 실체 뷰 관리 기법은 지역 데이타 변경 사건에 따른 뷰 관리 시 다른 사건에 의해 영향을 받지 않도록 하기 때문에 기본의 사전 보상이나 나중 보상 기법과는 달리 추가적인 질의 처리를 요구하지 않는 기법이다.Abstract A decision support system(DSS) commonly requires fast access to tremendous volume of information. A data warehouse is a database storing the information that is extracted, filtered and integrated from several relevant local databases to reply upon aggregated queries. The information stored in the data warehouse can be regarded as materialized views. The materialized view has to be modified according to the change of the corresponding local databases to preserve the data consistency. In this paper, we propose a data warehousing system architecture allowing information sharing (DAWINS), and a non-compensating materialized view maintenance algorithm(NCA). DAWINS architecture allows relevant information to be shared by individual view managers with local data manager for each local database. Unlikely to the pre- or post-compensating algorithms, which are required to remove the effects of some events to other view in the process of view maintenance, NCA does not require any additional query processing, since a local data manager in DAWINS already maintains the effects of update events occurring in local systems.

분산 가상 환경을 위한 네트워크 프로토콜의 설계 (Design of Network Protocols for Distributed Virtual Environments)

  • 고동일;최양희
    • 한국정보과학회논문지:정보통신
    • /
    • 제27권1호
    • /
    • pp.1-11
    • /
    • 2000
  • 최근 폭발적으로 늘어난 인터넷의 사용으로 분산 가상 환경(Distributed Virtual Environments: DVE)에 대한 연구가 활발해지고 있다. 분산 가상 환경은 같은 응용을 사용하는 사용자들의 데이타를 실시간으로 공유하게 하는 공유 인터넷 응용 환경을 제공하는 것을 목적으로 한다. 더 많은 사용자가 동시에 하나의 세션에서 사용을 할수록 공유되는 데이타는 늘어나게 되고, 이에 따라 분산 가상 환경의 사용자의 만족도를 충족시킬 수 있는 서비스 품질을 유지하는 것은 매우 어려운 일이다. 기존의 분산가상 환경에 대한 연구들은 이를 응용 수준의 동기화와 데이타 전송의 문제로서 해결하려는 경우가 많았으며 이는 매우 각각의 응용에서 발생하는 개별적 문제에 대한 해결방법의 제시라는 제한적인 접근이었다. 이에 이 논문에서는 네트워크 중심적인 접근으로 대형 분산 가상 환경의 응용을 쉽게 개발 할 수 있는 새로운 구조로서 GAIA(Giga-objects Architecture for Internet Applications)라는 구조와 이에 따른 프로토콜을 제안하고 시뮬레이션으로 이의 유용성을 증명한다.

  • PDF

분산 객체 지향 소프트웨어 개발 환경에서 동시성 향상을 위한 공유 데이타 분할 모델 (Shared Data Decomposition Model for Improving Concurrency in Distributed Object-oriented Software Development Environments)

  • 김태훈;신영길
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제27권8호
    • /
    • pp.795-803
    • /
    • 2000
  • 본 논문에서는 다중 사용자를 지원하는 분산 소프트웨어 개발 환경에서 동시성을 향상시킬수 있는 공유 데이타 분할 모델을 제안한다. 제안된 모델에서는 공유 데이타에 해당하는 목표 소프트웨어 시스템을 프로젝트 역할을 기반으로 분할한 후, 분산 환경의 각 클라이언트에 분산시키고 이를 다시 뷰(view) 객체와 코어(core) 객체로 분할하여 저장한다. 여러 클라이언트가 참여하는 협동 작업에서는 뷰객체만을 각 클라이언트에 복사(replicate)하여 빠른 응답 시간을 보장하도록 하고, 코어 객체는 하나의 클라이언트에만 저장한 한 후 역할 단위의 잠금(locking) 기법을 이용하여 불일치 문제가 발생하지 않도록 하였다. 실험 결과, 제안된 모델은 기존 도구들에서 사용하는 클래스 단위의 잠금 기법보다 12${\sim}$18%의 성능 향상을 보였고, 클라이언트의 수가 증가하더라도 응답 시간이 급격히 증가하지 않아 확장성(scalability) 이 뛰어난 특징을 보였다.

  • PDF