• 제목/요약/키워드: 데이터 부하 분산

검색결과 408건 처리시간 0.033초

데이터 스트림에서 공간질의의 영역 겹침을 이용한 우선순위 기반의 부하 분산 기법 (Priority based Load Shedding Method using Range Overlap of Spatial Queries on Data Stream )

  • 김호;백성하;이연;이동욱;정원일;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.401-404
    • /
    • 2008
  • u-GIS 환경에서 발생하는 시공간 데이터는 지속적으로 발생하는 데이터 스트림의 특성을 갖으며, 그런 특성으로 인하여 데이터 발생량이 급격히 증가함에 따라 데이터 손실 및 시스템 성능 저하현상이 발생한다. 이를 해결하기 위해 부하 분산 연구들이 활발히 진행되어 오고 있다. 그러나 기존의 연구 방식인 랜덤 부하 분산 방식과 의미적 부하 분산 방식은 현 u-GIS 환경에서 부하 분산 속도 및 질의 결과의 정확도 측면에 만족스럽지 못한 결과를 준다. 그래서 본 논문에서는 우선순위를 이용한 차등적 부하 분산(DLSM : Different Load Shedding using MAP table)기법을 제안한다. DLSM 기법은 등록된 공간질의의 공간연산을 통해 영역의 우선순위를 미리 부여하고, 데이터가 발생하여 질의 처리기로 유입되기 전 우선순위를 파악한다. 데이터는 우선순위 단계에 따라 유입량을 확인 후 삭제 여부가 결정된다. 결과적으로 부하 분산 속도와 질의 결과의 정확도를 향상시켰다.

분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법 (Data Replication and Migration Scheme for Load Balancing in Distributed Memory Environments)

  • 최기태;윤상원;박재열;임종태;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.44-49
    • /
    • 2016
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 급증하고 있다. 이러한 대용량의 데이터를 효율적으로 처리하기 위해 분산 메모리 처리 시스템을 사용한다. 하지만 분산 환경에서 특정 노드에 부하가 집중이 되면 노드의 성능이 저하되는 문제가 발생한다. 본 논문은 분산 메모리 환경에서 노드의 부하를 적절하게 분배하는 부하 분산 기법을 제안한다. 제안하는 기법은 노드의 부하를 관리하기 위해 핫 데이터를 여러 노드에 복제하고 노드가 추가되거나 삭제될 때 노드의 부하를 고려하여 데이터를 이주시킨다. 클라이언트는 핫 데이터의 메타데이터 정보를 유지하여 직접 노드에 접근함으로써 중앙 서버의 접근을 감소시킨다. 성능 평가를 통해 제안하는 부하 분산 관리 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

지역적 분산 데이터센터 환경에서 부하 분산을 촉진하기 위한 SLA 협상 메커니즘 기반의 클라우드 컴퓨팅 (A SLA negotiation mechanism to facilitate load balancing in a cloud infrastructure consisting of geographically distributed data centers)

  • 손석호;정기훈;전성찬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.239-241
    • /
    • 2012
  • 최근 클라우드 서비스 공급자들은 세계적으로 증가하는 고객의 수요에 대응하기 위하여, 다양한 지역에 데이터센터들을 구축하고 시스템의 규모를 확장시키고 있다. 클라우드는 통합된 자원을 이용하기 때문에 부하 분산(load balancing)을 통해서 시스템의 성능 및 안정성을 향상시킬 수 있다. 하지만 지역적으로 분산된 데이터센터들을 운영하는 클라우드 컴퓨팅 환경에서는 자원 부하의 분산과 서비스 응답 속도(service response time) 사이의 상관 관계를 고려할 필요가 있다. 그럼에도 불구하고 대부분의 클라우드 서비스 공급자들은 고정된 최소 서비스 응답 속도를 서비스 수준 협약(SLA: Service-Level Agreements)을 제시하고 있는 현실이다. 이와 같이 SLA에 최소 서비스 응답 속도를 임의로 고정할 경우, 거리차이가 있는 데이터센터(SLA에 명시된 응답 속도 보다 느린 데이터센터)에는 부하가 분산되기 어렵다. 따라서 지역적으로 분산된 데이터센터 환경에서는 응답 속도에 대한 가변 SLA를 적용할 필요가 있다. 본 연구에서는 지역적으로 분산된 데이터센터를 운영하는 클라우드 컴퓨팅 환경에서 가변 응답 속도를 적용하기 위한 방법으로써 서비스 응답 속도와 가격을 고려한 자동화된 SLA 협상 메커니즘을 적용하고 그 유효성을 평가하였다. 시뮬레이션을 이용한 실험 결과를 통해서 SLA 협상을 통한 가변 SLA를 이용하는 방법이 고정된 SLA를 이용하는 방법에 비해서 더 높은 SLA 보장률을 지원하고 클라우드 공급자에게 더 높은 수익을 제공함을 확인하였다.

분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘 (Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment)

  • 양현식;장미영;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제16권7호
    • /
    • pp.667-680
    • /
    • 2016
  • 하둡 맵리듀스와 같은 분산 컴퓨팅 플랫폼이 개발됨에 따라, 기존 단일 컴퓨터 상에서 수행되는 질의 처리 기법을 분산 컴퓨팅 환경에서 효율적으로 수행하는 것이 필요하다. 특히, 주어진 두 데이터 집합에서 유사도가 높은 모든 데이터 쌍을 탐색하는 유사 조인 질의를 분산 컴퓨팅 환경에서 수행하려는 연구가 있어 왔다. 그러나 분산 병렬 환경에서의 기존 유사 조인 질의처리 기법은 데이터 전송 비용만을 고려하기 때문에 클러스터 간에 비균등 연산 부하 분산의 문제점이 존재한다. 본 논문에서는 분산 컴퓨팅 환경에서 효율적인 유사 조인 처리를 위한 행렬 기반 부하 분산 알고리즘을 제안한다. 제안하는 알고리즘은 클러스터의 균등 부하 분산을 위해 행렬을 이용하여 예상되는 연산 부하를 측정하고 이에 따라 파티션을 생성한다. 아울러, 클러스터에서 질의 처리에 사용되지 않는 데이터를 필터링함으로서 연산 부하를 감소시킨다. 마지막으로 성능 평가를 통해 제안하는 알고리즘이 기존 기법에 비해 질의 처리 성능 측면에서 우수함을 보인다.

데이터 스트림 환경에서 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법 (Load balancing method of overload prediction for guaranteeing the data completeness in data stream)

  • 김영기;신숭선;백성하;이동욱;김경배;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제12권9호
    • /
    • pp.1242-1251
    • /
    • 2009
  • 유비쿼터스 환경에서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)은 수많은 센서로부터 생성되는 대량의 데이터 스트림을 처리한다. 기존의 시스템은 처리 능력 이상의 데이터 스트림이 입력되면 데이터의 일부를 제거하여 적정 부하를 유지하는 부하 제한 기법(Load Shedding)을 사용한다. 부하 제한 기법은 입력되는 데이터의 일부를 의도적으로 손실하여 데이터 완전도(Data Completeness)가 감소하기 때문에 처리 결과의 신뢰도 또한 감소한다. 따라서 본 논문에서는 시스템 처리 능력 이상의 데이터 스트림 입력 시 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법을 제안한다. 제안 기법은 데이터 손실이 예상되는 부하 시점을 미리 예측하고 예측된 부하 시점에 도달 시 부하를 분산하여 데이터 손실을 감소시킨다. 본 논문에서는 기존의 부하 제한 기법과의 비교 실험을 통해 제안 기법의 성능을 평가한다.

  • PDF

상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법 (An Efficient Cache Management Scheme for Load Balancing in Distributed Environments with Different Memory Sizes)

  • 최기태;윤상원;박재열;임종태;이석희;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 기하급수적으로 데이터가 급증하고 있다. 기존 디스크 기반 분산 파일 시스템은 I/O 처리 비용 및 병목 현상으로 인해 데이터 처리나 데이터 접근 성능에 한계가 발생한다. 이러한 문제점을 해결하기 위해 메모리에 데이터를 관리하는 캐시 기법이 활용되고 있다. 본 논문에서는 분산 메모리 환경에서 부하 분산을 처리하기 위한 캐시 관리 기법을 제안한다. 제안하는 기법은 노드의 메모리의 크기가 서로 상이한 환경에서 메모리 크기에 따라 데이터를 분배하고 노드의 부하가 발생할 경우 핫 데이터를 재분배한다. 또한, 캐시 항목의 재사용 가능성, 사용 빈도수, 접근 시간을 고려한 캐시 교체 기법을 제안한다. 성능 평가를 통해 제안하는 분산 캐시 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

대규모 RDF 데이터의 분산 저장을 위한 동적 분할 기법 (A Dynamic Partitioning Scheme for Distributed Storage of Large-Scale RDF Data)

  • 김천중;김기연;윤종현;임종태;복경수;유재수
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1126-1135
    • /
    • 2014
  • 최근 대규모 RDF 데이터를 효과적으로 분산 저장 및 관리하기 위해 RDF 분할 기법의 연구가 진행되고 있다. 본 논문에서는 지속적으로 데이터의 추가 및 변경이 발생하는 동적 환경에서 부하 분산을 지원하는 RDF 동적 분할 기법을 제안한다. 제안하는 기법은 그래프 분할을 수행하기 위한 기준으로 질의에 의해 사용된 RDF 데이터의 사용 빈도에 따라 클러스터와 서브 클러스터 그룹을 생성한다. 생성된 클러스터와 서브 클러스터는 분산된 서버의 부하 및 저장되는 데이터 크기를 고려하여 분할을 수행한다. 이를 통해 지속적인 데이터 변경 및 추가로 인해 특정 서버에 대한 데이터 집중을 해결하고 서버들간에 효율적인 부하 분산을 수행한다. 성능평가를 통하여 분산 서버에서 제안하는 기법이 기존 분할 기법에 비해 질의 수행 시간이 크게 향상됨을 보인다.

클러스터 파일 시스템의 메타데이터 서버를 위한 내용 기반 부하 분산 알고리즘 (A Content-based Load Balancing Algorithm for Metadata Servers in Cluster File System)

  • 장준호;한세영;박성용
    • 정보처리학회논문지A
    • /
    • 제13A권4호
    • /
    • pp.323-334
    • /
    • 2006
  • 클러스터 파일 시스템의 성능을 결정짓는 주요 요소 중 하나는 메타 데이터 서비스의 성능이다. 본 논문에서는 메타 데이터 연산의 종류에 따라 적절한 메타 데이터 서버에게 클라이언트의 요청을 동적으로 분배할 수 있는 내용 기반의 부하 분산 알고리즘을 제안한다. 이 알고리즘에서는 메타 데이터 서버 사이에 데이터의 이동을 유발 시키는 대신 메타 데이터를 복제하고 수정 메시지를 로깅하게 함으로써, 기존의 알고리즘에 비해 클라이언트의 요청을 서버들에게 균등하게 분배하여 응답 지연 시간을 현저히 줄일 수 있었다.

데이터 복제 서버를 이용한 학사 관리 시스템의 부하 분산에 관한 연구 (A Study on the Distribution of Overload in Academic Affairs Management System Using Replication Server)

  • 한광록;이승원
    • 정보처리학회논문지D
    • /
    • 제8D권5호
    • /
    • pp.605-612
    • /
    • 2001
  • 본 논문에서는 학사관리 시스템의 부하 집중 현상을 처리하기 위하여 기존의 중앙 집중형 시스템을 그대로 사용하면서 추가적으로 분산환경의 복제 서버를 구축하고 이것을 이용하는 방법을 제안한다. 데이터의 수정을 요구하지 않는 일반 조회 트랜잭션이 DML 문장의 대부분을 차지하기 때문에 각 데이터의 특성에 따라 분리된 복제서버를 구성하여 복제 서버가 수정이 필요없는 조회 트랜잭션만을 담당하게 함으로써 사용자 분산과 데이터 분산을 동시에 실행하여 실제 처리 시간을 줄일 수 있도록 하였다. 또한 기존의 집중형 시스템의 자원들을 그대로 사용할 수 있기 때문에 구현상의 편리성과 경제성을 도모 할 수 있다. 일반적으로 서버의 부하부산을 위한 방법은 크게 사용자의 프로그램이 서버전단에 서버의 부하정보를 획득하여 상대적으로 적은 부하를 가진 서버를 선택할 수 있는 클라이언트단에서의 부하분산과 응용계층 스케쥴링 기법, IP 계층 스케쥴링 기법등을 사용한 서버단에서의 부하분산이다. 본 논문의 복제서버에서는 기존의 부하분산기법에서 발생하는 단점들을 제거 또는 보완하여 시스템의 부하 집중현상을 줄일 수 있다.

  • PDF

SDN 환경에서 서버 상태 기반 가중치 부하분산 기법 (Server State-Based Weighted Load Balancing Techniques in SDN Environments)

  • 이경한;권태욱
    • 한국전자통신학회논문지
    • /
    • 제17권6호
    • /
    • pp.1039-1046
    • /
    • 2022
  • 코로나-19 판데믹 이후 언택트 문화의 확산과 다양한 유형의 데이터를 생성하는 4차 산업 혁명으로 이전과는 비교되지 않을 정도로 많은 데이터가 생성되었다. 이는 보다 높은 데이터 처리율을 요구하게 되었고, 벤더와 하드웨어를 중심으로 하는 기존 네트워크 체계의 한계를 조금씩 드러나게 하였다. 최근 이런 한계점을 극복할 수 있는 사용자와 소프트웨어 중심의 SDN이 주목받고 있다. 또한, SDN을 기반으로 한 부하분산 기법은 방대하고 다양한 데이터를 생성하고 처리하는 데이터 센터의 서버 클러스터의 부하분산 영역에 효율을 높여줄 것으로 보인다. 본 논문은 기존 SDN 부하분산 연구들과 달리 모니터링 기법을 통한 주기적인 확인 아닌 이벤트 발생에 따라 컨트롤러가 서버의 상태를 확인하고, 부하율에 따른 가중치를 부여하여 사용자의 요청을 할당하는 부하분산 기법을 제안하고 있다. 소기 실험결과 제안기법이 대조기법과 비교하여 3%가량 균등한 부하분산 효과를 보여 소기의 성과를 보였기에 규모가 크고 패킷의 흐름이 많은 데이터 센터의 서버 클러스터에서의 좀 더 효과적일 것으로 기대된다.