• 제목/요약/키워드: 분산 데이터베이스

검색결과 607건 처리시간 0.026초

병렬 조인에서 샘플링 기반 비용 예측 기법을 이용한 균등 부하 분산 (Uniform Load Distribution Using Sampling-Based Cost Estimation in Parallel Join)

  • 박웅규
    • 한국정보처리학회논문지
    • /
    • 제6권6호
    • /
    • pp.1468-1480
    • /
    • 1999
  • 데이터베이스 시스템에서 조인 연산은 시스템의 성능에 영향을 주는 가장 복잡하고 소모적인 연산이다. 데이터베이스 시스템의 향상을 위한 많은 병렬 처리 알고리즘들이 제안되었으나 기존의 방법들은 AVS(Attribute Value Skew)와 JPS(Join Product Skew) 등과 같은 데이터 편지를 고려하고 있지 않다. 따라서 데이터 편재의 상황에서 기존의 방법들은 조인 연산 중에 노드들 간의 부하 불균형으로 인하여 그 성능이 급격하게 저하된다. 본 논문에서는 병렬 조인 시에 AVS와 JPS를 고려하여 노드간에 균등하게 부하를 분산하는 방법과 이를 이용한 효율적인 병렬 조인 알고리즘을 제안한다. 제안된 알고리즘은 먼저 기존의 샘플링 방법을 이용하여 조인 연산의 입력과 결과 릴레이션의 데이터 분포를 예측하고, 이를 기반으로 데이터 값에 대한 조인 비용을 산출한다. 그리고 히스토그램 균등화 기법을 이용하여 국부적인 조인 과정에서 노드들 간에 부하 균등을 성취할 수 있도록 데이터를 각 노드에 재 분재한다. 본 논문에서는 성능 평가를 위하여 제안된 알고리즘과 기존의 대표적인 알고리즘들을 위한 모의 실험 모델을 제시하고 모의 실험 결과를 기술한다. 성능 측정 결과 제안된 알고리즘이 기존의 알고리즘들에 비해서 데이터 편재의 상황에서 성능이 우수한 것으로 나타났다.

  • PDF

그리디 알고리즘을 이용한 맵리듀스 세타조인 M-Bucket-I 휴리스틱의 개선 (Using a Greedy Algorithm for the Improvement of a MapReduce, Theta join, M-Bucket-I Heuristic)

  • 김우열;심규석
    • 정보과학회 논문지
    • /
    • 제43권2호
    • /
    • pp.229-236
    • /
    • 2016
  • 세타조인은 데이터베이스에 있어서 가장 기본적이면서도 중요한 질의 중 하나이다. 최근 처리해야 하는 데이터의 양이 증가함에 따라, 맵리듀스와 같은 분산 병렬 처리 프레임워크를 사용한 데이터베이스의 질의처리가 많이 연구되고 있다. 대표적인 연구로 M-Bucket-I 휴리스틱을 이용한 세타조인이 있으나, 이 알고리즘은 수행시간이 입력 데이터의 크기를 n이라 할 때, 각 레코드를 $r_{max}$개의 리듀서 중 어느 리듀서로 보낼지 정하는 리듀서맵핑을 구하는데 O(n)의 시간이 걸려 쉽게 사용할 수 없다는 문제가 있다. 본 논문에서는 기존의 M-Bucket-I 휴리스틱을 개선하여, 같은 리듀서 매핑 결과를 내놓더라도 수행시간이 $O(r_{max}log\;n)$으로 보다 짧은 새로운 알고리즘을 제시한다. 다양한 실험을 통하여 기존의 맵리듀스를 이용한 세타조인보다 성능을 10% 정도 향상시킬 수 있음을 보였다.

분산 데이터베이스 환경에 적합한 Challenge-Response 기반의 안전한 RFID 인증 프로토콜 (Challenge-Response Based Secure RFID Authentication Protocol for Distributed Database Environment)

  • 이근우;오동규;곽진;오수현;김승주;원동호
    • 정보처리학회논문지C
    • /
    • 제12C권3호
    • /
    • pp.309-316
    • /
    • 2005
  • 최근 유비쿼터스 환경의 실현을 위한 핵심기술로서 RFR 시스템에 대한 연구가 활발히 진행되고 있다. 그러나 RFID 시스템이 가지고 있는 특성으로 인하여 사용자 프라이버시 침해 문제가 대두되고 있으며, 이를 해결하기 위한 프로토콜들이 개발되었다. 본 논문에서는 기존의 기법들이 가지고 있는 프라이버시 침해 문제를 분석하고 보다 안전하고 효율적으로 사용자의 프라이버시를 보호할 수 있는 인증 프로토콜을 제안한다. 또한 기존의 RFID 인증 기법들과 비교하여 제안하는 프로토콜이 안전하고 효율적임을 증명한다. 제안하는 프로토콜은 일방향 해쉬 함수와 난수를 이용한 Challenge-Response 방식에 기반하고 있으므로 공격자의 재전송 공격 및 스푸핑 공격 등에 안전하고, 분산 데이터베이스 환경에 적합하다.

분산 실시간 멀티미디어 데이터베이스 시스템을 위한 신축성있는 스케줄링 기법 (Scalable scheduling techniques for distributed real-time multimedia database systems)

  • 김진환
    • 정보처리학회논문지A
    • /
    • 제9A권1호
    • /
    • pp.9-18
    • /
    • 2002
  • 본 논문에서는 분산 실시간 멀티미디어 데이터베이스 시스템에서 경성 실시간 태스크들과 멀티미디어 태스크들을 효율적으로 통합할 수 있는 신축적인 스케쥴링 기법이 제시된다. 경성 실시간 태스크가 최악의 경우에 대한 실행 시간을 기반으로 하는 반면 멀티미디어 태스크는 평균 실행 시간을 기반으로 한다. 동일한 시스템에 존재하는 두 가지 태스크들에 대하여 CPU 대역폭을 분할 조정하는 서버 기법이 기술된다. 제시된 기법에서는 한부류의 태스크들의 수와 도착 비율이 변동되는 과부하 문제를 해결하기 위하여 부류별로 CPU 대역폭의 비율이 조정될 수 있다. 경성 실시간 태스크가 서버의 주기내에서 실행될 수 있는 시간이 제한되는 반면 멀티미디어 태스크에 설정된 대역폭은 동적으로 변할 수 있다. 제시된 기법은 경성 실시간 태스크들의 실시간성을 모두 보장하는 한편 멀티미디어 태스크들의 평균 지연시간을 최소화할 수 있다. 스케쥴링 기법의 성능은 시뮬레이션을 통하여 다른 스케쥴링 기법과 비교 분석한다.

이동물체 데이터베이스의 페트리 넷 모형 (Petri Net Model for Moving Objects Database)

  • 임재걸;이계영
    • 전자공학회논문지CI
    • /
    • 제41권3호
    • /
    • pp.1-10
    • /
    • 2004
  • 현재 이동물체 데이터베이스에 관한 연구가 활발히 진행되고 있다. 그러나 기존 연구의 대부분은 갱신 전략의 효율성 증대에 초점이 맞추어져 있고, 이동물체 데이터베이스 시스템의 사용자 요구사항 검증에 대한 연구 논문은 전무하다. 아무리 효율성이 좋은 갱신 전략이 적용되었더라도, 시스템 설계자는 시스템이 사용자 요구사항을 만족하는지에 대해 개발초기에 반드시 검증을 해 보아야 한다. 예를 들어, 이동물체가 n개이면, n개에 대한 데이터베이스 정보 갱신 작업과 새로운 정보를 사용자에게 제공하여주는 작업을 정해진 시간 내에 완료할 수 있는지 개발 초기에 검증해야 하는 것이다. 본 논문은 이동물체 데이터베이스의 요구사항 분석을 위하여, Design/CPN이라는 시뮬레이션 도구를 이용하여 페트리 넷 모형을 구축하고, 시뮬레이션을 통하여 사용자 요구사항을 검증하는 방법을 소개한다. 본 논문은 이동물체 데이터베이스의 사용자 요구 분석을 위한 최초의 시뮬레이션 모델을 제공하는데 의의가 있다. 이 시뮬레이션 모델은 본 저자가 이미 발표한 퍼지시간 페트리 넷 모형에 대해 거리기반 갱신전략과 분산 데이터베이스 모형을 첨가 확장한 것이며, n 개의 이동물체를 고려한 분석 결과를 소개한다. 또한, 본 모형은 Design/CPN이라는 시뮬레이션 도구로 구축되었기 때문에 시스템에 대한 자동분석이 가능하다. 본 모형의 응용 범위는 사용자 요구사항 분석에 국한된 것이 아니라, 갱신 비용과 정보의 정확도 간, 혹은 갱신에 소요되는 시간과 자원간의 상관관계를 분석하는 데에도 유용하게 쓰인다.

A synchronous/asynchronous hybrid parallel method for some eigenvalue problems on distributed systems

  • 박필성
    • 한국전산응용수학회:학술대회논문집
    • /
    • 한국전산응용수학회 2003년도 KSCAM 학술발표회 프로그램 및 초록집
    • /
    • pp.11-11
    • /
    • 2003
  • 오늘날 단일 슈퍼컴퓨터로는 처리가 불가능한 거대한 문제들의 해법이 시도되고 있는데, 이들은 지리적으로 분산된 슈퍼컴퓨터, 데이터베이스, 과학장비 및 디스플레이 장치 등을 초고속 통신망으로 연결한 GRID 환경에서 효과적으로 실행시킬 수 있다. GRID는 1990년대 중반 과학 및 공학용 분산 컴퓨팅의 연구 과정에서 등장한 것으로, 점차 응용분야가 넓어지고 있다. 그러나 GRID 같은 분산 환경은 기존의 단일 병렬 시스템과는 많은 점에서 다르며 이전의 기술들을 그대로 적용하기에는 무리가 있다. 기존 병렬 시스템에서는 주로 동기 알고리즘(synchronous algorithm)이 사용되는데, 직렬 연산과 같은 결과를 얻기 위해 동기화(synchronization)가 필요하며, 부하 균형이 필수적이다. 그러나 부하 균형은 이질 클러스터(heterogeneous cluster)처럼 프로세서들의 성능이 서로 다르거나, 지리적으로 분산된 계산자원을 사용하는 GRID 환경에서는 이기종의 문제뿐 아니라 네트워크를 통한 메시지의 전송 지연 등으로 유휴시간이 길어질 수밖에 없다. 이처럼 동기화의 필요성에 의한 연산의 지연을 해결하는 하나의 방안으로 비동기 반복법(asynchronous iteration)이 나왔으며, 지금도 활발히 연구되고 있다. 이는 알고리즘의 동기점을 가능한 한 제거함으로써 빠른 프로세서의 유휴 시간을 줄이는 것이 목적이다. 즉 비동기 알고리즘에서는, 각 프로세서는 다른 프로세서로부터 갱신된 데이터가 올 때까지 기다리지 않고 계속 다음 작업을 수행해 나간다. 따라서 동시에 갱신된 데이터를 교환한 후 다음 단계로 진행하는 동기 알고리즘에 비해, 미처 갱신되지 않은 데이터를 사용하는 경우가 많으므로 전체적으로는 연산량 대비의 수렴 속도는 느릴 수 있다 그러나 각 프로세서는 거의 유휴 시간이 없이 연산을 수행하므로 wall clock time은 동기 알고리즘보다 적게 걸리며, 때로는 50%까지 빠른 결과도 보고되고 있다 그러나 현재까지의 연구는 모두 어떤 수렴조건을 만족하는 선형 시스템의 해법에 국한되어 있으며 비교적 구현하기 쉬운 공유 메모리 시스템에서의 연구만 보고되어 있다. 본 연구에서는 행렬의 주요 고유쌍을 구하는 데 있어 비동기 반복법의 적용 가능성을 타진하기 위해 우선 이론적으로 단순한 멱승법을 사용하여 실험하였고 그 결과 순수한 비동기 반복법은 수렴하기 어렵다는 결론을 얻었다 그리하여 동기 알고리즘에 비동기적 요소를 추가한 혼합 병렬 알고리즘을 제안하고, MPI(Message Passing Interface)를 사용하여 수원대학교의 Hydra cluster에서 구현하였다. 그 결과 특정 노드의 성능이 다른 것에 비해 현저하게 떨어질 때 전체적인 알고리즘의 수렴 속도가 떨어지는 것을 상당히 완화할 수 있음이 밝혀졌다.

  • PDF

분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 Cloaking 영역 설정 기법 (A Efficient Cloaking Region Creation Scheme using Hilbert Curves in Distributed Grid Environment)

  • 이아름;엄정호;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.115-126
    • /
    • 2009
  • 최근 무선 통신과 모바일 측위 기술의 발전으로 위치 기반 서비스(Location-Based Service)의 이용이 확산되었다. 그러나 위치 기반 서비스에서 사용자는 사용자의 정확한 위치를 가지고 데이터베이스 서버에 질의를 요청하기 때문에, 사용자의 위치 정보가 상대방에게 노출될 수 있다. 따라서 모바일 사용자에 의한 안전한 위치기반 서비스의 사용을 위해서는 사용자의 개인 정보 보호 방법이 요구된다. 이를 위해 본 논문에서는 위치기반 서비스에서 사용자의 위치정보를 보호하기 위하여, 분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 cloaking 영역 설정 기법을 제안한다. 제안하는 기법은 K-anonymity를 만족하는 cloaking 영역을 생성하기 위해 힐버트 커브의 특성을 분석하고 이를 통해 이웃 셀의 힐버트 커브값을 계산하여 최소화된 cloaking 영역을 설정한다. 아울러, 네트워크 통신비용을 줄이기 위해 분산 해쉬 테이블 구조인 Chord를 사용한다. 마지막으로 성능평가를 통해서 제안하는 기법이 기존의 그리드 기반 cloaking 기법보다 우수함을 보인다.

  • PDF

TMDR 기반의 실시간 통합 검색을 위한 분산질의 변환 기법에 대한 연구 (A Study on Distribution Query Conversion Method for Real-time Integrating Retrieval based on TMDR)

  • 황치곤;신효영;정계동;최영근
    • 한국정보통신학회논문지
    • /
    • 제14권7호
    • /
    • pp.1701-1707
    • /
    • 2010
  • 본 연구는 분산된 이종 정보시스템 사이의 의미적 상호운용성을 제공함으로써 다양한 형태의 데이터를 실시간으로 통합하여 검색할 수 있는 시스템 환경을 구현하는데 있다. 의미적 상호운용성은 온톨로지의 집합체인 TMDR(Topicmaps Metadata Registry)을 제공함으로써 가능하다. TMDR은 MDR(MetaData Registry)과 토픽맵을 결합하여 데이터베이스에 저장한 것으로, 분산 쿼리 작성과 효율적으로 지식을 제공할 수 있다. MDR은 분산된 데이터 관리를 위한 메타데이터 관리 기법이며, 토픽맵은 지식 데이터의 접근을 위한 계층성과 연관성을 고려한 온톨로지 표현 기법이다. 우리는 온톨로지의 한 형태인 TMDR을 제안하고, 이는 데이터와 스키마 레벨에서 의미적 충돌을 탐지하고 해결할 수 있다. 본 시스템은 이종의 정보 소스들을 통합 접근하기 위한 쿼리 프로세싱 기법을 제안한다. 이는 기존의 검색과 달리 주제를 중심으로 한 연관관계를 제공함으로써 효율적임 검색과 추론이 가능하다.

빅데이터 처리 플랫폼에서 학술 데이터를 사용한 전문가 검색 시스템 설계 및 구현 (Design and Implementation of an Expert Search System Using Academic Data in Big Data Processing Platforms)

  • 최도진;김민수;김대윤;이서희;한진수;서인덕;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제17권3호
    • /
    • pp.100-114
    • /
    • 2017
  • 대부분의 연구자들은 새로운 분야의 연구를 수행하기 위해 전문가에게 자문을 받거나 전문가의 논문들을 기반으로 연구 방향을 설정한다. 기존의 학술 검색 서비스에서는 분야별 논문 정보는 제공하지만 각 분야의 전문가를 제공해주지 않기 때문에 사용자들이 검색된 논문을 기반으로 전문가를 직접 판단해야 한다. 본 논문에서는 학회에 발간된 논문 정보를 기반으로 빅 데이터 처리를 이용한 학문 분야별 전문가검색 시스템을 설계하고 구현한다. 제안하는 시스템은 대량의 논문을 저장하고 관리하기 위해 빅 데이터분산 저장 기술을 활용하였다. 또한 빅 데이터 분산 처리기술을 활용하여 전문가를 판별하고 전문가와 연관 되는 정보를 분석한다. 분산처리 된 결과는 사용자가 전문가 검색 요청 시 웹페이지를 통해 보여준다. 사용자는 제안하는 시스템을 통해 해당 연구 분야의 전문가를 추천받음으로써 연구를 수행함에 있어 많은 도움을 받을 수 있다.

분산 포커스 제어 방식에 의한 대규모 컨퍼런스 서비스 (A Large-Scale Conference Service by Distributed Focus Control Method)

  • 장춘서
    • 한국콘텐츠학회논문지
    • /
    • 제14권7호
    • /
    • pp.10-17
    • /
    • 2014
  • 컨퍼런스 서비스에서 컨퍼런스 세션의 설정 및 유지 기능을 제공하는 포커스는 참가자 수가 증가 할수록 부하가 커지며 이는 대규모 컨퍼런스 서비스의 확장성을 제한하는 주요 요소가 된다. 본 논문에서는 이와같은 문제점을 해결하기 위하여 포커스의 부하를 여러 컨퍼런스 노드로 분산 시켜 대규모 컨퍼런스 서비스의 구현을 용이하게 하는 새로운 분산 포커스 제어 방식을 제안하였다. 여기서 컨퍼런스 노드들 중 포커스 기능을 가진 노드는 자신의 정보를 컨퍼런스 서버의 컨퍼런스 정보 데이터베이스에 등록하며 시스템 전체 컨퍼런스 참가자 수의 증감에 따라서 필요한 포커스가 능동적으로 할당되어 참가자의 처리를 담당한다. 이를 위하여 본 논문에서는 분산 포커스 제어를 위한 컨퍼런스 제어 이벤트 패키지가 제시되었고 아울러 포커스와 컨퍼런스 참가자들 사이의 SIP 메시지 교환 절차도 함께 제시되었다. 제안된 시스템의 성능은 시뮬레이션 실험을 통하여 분석하였다.