• 제목/요약/키워드: Distributed Clustering

검색결과 224건 처리시간 0.023초

분산컴퓨팅 환경에서의 고가용성 클러스터링 프레임워크 기본설계 연구 (A Study of Basic Design Method for High Availability Clustering Framework under Distributed Computing Environment)

  • 김점구;노시춘
    • 융합보안논문지
    • /
    • 제13권3호
    • /
    • pp.17-23
    • /
    • 2013
  • 클러스터링은 상호 의존적 구성에 필요한 구조적인 기술이다. 클러스터링은 가변적 업무부하를 처리하거나, 서비스 연속성을 저해하는 고장 발생 시 운영이 계속되도록 여러대의 컴퓨터시스템 기능을 서로 연결하는 메커니즘이다. 고 가용성 클러스터링 기능은 가능한 오랜시간 서버 시스템이 작동하는데 중점을 둔다. 이 클러스터 는 멀티플 시스템에서 실행되는 노드와 서비스를 중복하여 가지고 있어서 서로가 서로를 추적할 수 있다. Active-Standby 상태의 두 시스템이 있을 경우 활성 서버에 장애가 발생했을 때 모든 서비스가 대기 서버에서 구동돼 서비스가 이루어진다. 이 기능을 절체 또는 스위치오버(switchover)라 한다. 고가용성 클러스터링 기능은 가능한 오랜시간 서버 시스템이 작동하는데 중점을 둔다. 이 클러스터는 멀티플 시스템 에서 실행되는 노드와 서비스를 중복하여 가지고 있어서 서로가 서로를 추적할 수 있다. 한 노드가 장애 발생 시 둘째 노드가 몇초 이내에 고장 난 노드 임무를 수행한다. 고가용성 클러스터링 구조는 효율성 여부가 측정되어야 한다. 시스템 성능은 인프라시스템의 performance, latency, 응답시간(response Time), CPU 부하율(CPU utilization), CPU상의 시스템 프로세스(system process)수로 대표된다.

맵리듀스기반 워크플로우 빅-로그 클러스터링 기법 (A MapReduce-Based Workflow BIG-Log Clustering Technique)

  • 진민혁;김광훈
    • 인터넷정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.87-96
    • /
    • 2019
  • 본 논문에서는 분산 워크플로우 실행 이벤트 로그를 수집하고 분류하기 위한 사전 처리 도구로서 맵-리듀스기반 클러스터링 기법을 제안한다. 특히 우리는 볼륨, 속도, 다양성, 진실성 및 가치와 같은 BIG 데이터의 5V 속성에 만족하고 잘 충족되어 있기 때문에 분산 워크플로우 실행 이벤트 로그를 특별히 워크플로우 빅-로그(Workflow BIG-Logs)라고 정의한다. 이 논문에서 개발하는 클러스터링 기술은워크플로우 빅-로그를 기반으로 하는 특정 워크플로 프로세스 마이닝 및 분석 알고리즘의 사전 처리 단계에 적용하기 위한 목적으로 고안된 것이다. 즉, 맵리듀스(Map-Reduce) 프레임워크를 워크플로우 빅-로그 처리 플랫폼으로 사용하고, IEEE XES 표준 데이터 형식을 지원하며, 결국 본 연구에서 개발중에 있는 구조적 정보제어넷기반 워크플로우 프로세스 마이닝 알고리즘인 ${\rho}$-알고리즘의 사전 처리 단계 전용으로 사용되도록 구현된 것이다. 보다 자세하게 말하자면, 워크플로우 빅-로그의 클러스터링 패턴은 단위업무액티버티 기반 클러스터링 패턴과 단위업무 수행자 기반 클러스터링 패턴으로 분류되는데, 특별히 단위업무 액티버티 패턴의 하나인 시간적 워크케이스 패턴과 그의 발생 건수를 재발견하는 맵리듀스 기반 클러스터링 알고리즘을 설계하고 구현하고자 한다. 마지막으로, 우리는 BPI 챌린지에서 공개한 워크플로우 실행 이벤트 로그 데이터세트에 대해 일련의 실험을 수행함으로써 제안된 클러스터링 기법의 기술적 타당성을 검증한다.

무선센서 네트워크에서 센서와 기지국과의 거리를 고려한 클러스터 헤드 선택기법 (A Study on Cluster Head Selection Based on Distance from Sensor to Base Station in Wireless Sensor Network)

  • 고성원;조정환
    • 조명전기설비학회논문지
    • /
    • 제27권10호
    • /
    • pp.50-58
    • /
    • 2013
  • In Wireless Sensor Network, clustering scheme is used to prolong the lifetime of WSN by efficient usage of energy of sensor. In the distributed clustering protocol just like LEACH, every sensor in a network plays a cluster head role once during each epoch. So the FND is prolonged. But, even though every sensor plays a head role, the energy consumed by each sensor is different because the energy consumed increases according to the distance to the Base Station by the way of multiple increase. In this paper, we propose a mechanism to select a head depending on the distance to Base Station, which extends the timing of FND occurrence by 68% compared to the LEACH and makes network stable.

리눅스 클러스터링 웹 서버의 고가용성에 대한 연구 (A study on high availability of the linux clustering web server)

  • 박지현;이상문;홍태화;김학배
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2000년도 제15차 학술회의논문집
    • /
    • pp.88-88
    • /
    • 2000
  • As more and more critical commercial applications move on the Internet, providing highly available servers becomes increasingly important. One of the advantages of a clustered system is that it has hardware and software redundancy. High availability can be provided by detecting node or daemon failure and reconfiguring the system appropriately so that the workload can be taken over bi the remaining nodes in the cluster. This paper presents how to provide the guaranteeing high availability of clustering web server. The load balancer becomes a single failure point of the whole system. In order to prevent the failure of the load balancer, we setup a backup server using heartbeat, fake, mon, and checkpointing fault-tolerance method. For high availability of file servers in the cluster, we setup coda file system. Coda is a advanced network fault-tolerance distributed file system.

  • PDF

클러스터링을 이용한 경험적 태스크 할당 기법 (A Heuristic Task Allocation Scheme Based on Clustering)

  • 김석일;전중남;김관유
    • 한국정보처리학회논문지
    • /
    • 제6권10호
    • /
    • pp.2659-2669
    • /
    • 1999
  • This paper a heuristic, clustering based task allocation scheme applicable to non-directed task graph on a distributed system. This scheme firstly builds a task-machine graph, and then applies a clustering process where in a pair of tasks that are connected to the highest cost edge is merged into a big one or a task is allocated to a machine. During the process, the proposed scheme figure out a machine onto which the task allocation may cause deduction of large communication overhead that has incurred between the task and tasks that are already allocated to the machine while the computation costs is slightly increased in the machine. Simulation for the various task graphs shows that the scheduling using the proposed scheme result far better than ones by using the traditional schemes. A comparison with optimal task scheduling also promises that our scheme derives optimal results more occasionally than the traditional schemes do.

  • PDF

무선 센서 네트워크를 위한 에너지 효율적인 이중 레이어 분산 클러스터링 기법 (A Dual-layer Energy Efficient Distributed Clustering Algorithm for Wireless Sensor Networks)

  • 여명호;김유미;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권1호
    • /
    • pp.84-95
    • /
    • 2008
  • 최근 무선 센서 네트워크는 다양한 응용분야의 플랫폼으로써 사용되고 있다. 무선 센서를 배치하고, 센서 네트워크를 구성함으로써 원격으로 어떤 영역에 포함된 객체들의 동작, 상태, 위치 등에 관한 정보를 얻을 수 있다. 일반적으로 센서 노드들은 제한된 배터리로 동작하기 때문에 센서 네트워크의 생명주기를 연장시키기 위한 에너지 효율적인 데이타 수집 메커니즘은 필수 조건이다. 본 논문에서는 클러스터 헤드의 에너지 소모를 분산할 수 있는 새로운 클러스터링 기법을 제안한다. 먼저 클러스터 헤드의 역할에 따른 에너지 소모를 분석하고, 클러스터를 수집과 전송을 위한 두 계층으로 분리한다. 다음 각 계층을 담당하는 센서 노드를 선출하여 단일 클러스터 헤드의 에너지 소모를 2개의 센서 노드로 분산한다. 제안하는 클러스터링 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존의 클러스터링 기법과 성능을 비교했다. 그 결과, 기존의 알고리즘에 비해 생명 주기(lifetime)가 $10%{\sim}40%$ 향상되는 것을 확인할 수 있었다.

Cluster-Based Quantization and Estimation for Distributed Systems

  • Kim, Yoon Hak
    • Journal of information and communication convergence engineering
    • /
    • 제14권4호
    • /
    • pp.215-221
    • /
    • 2016
  • We consider a design of a combined quantizer and estimator for distributed systems wherein each node quantizes its measurement without any communication among the nodes and transmits it to a fusion node for estimation. Noting that the quantization partitions minimizing the estimation error are not independently encoded at nodes, we focus on the parameter regions created by the partitions and propose a cluster-based quantization algorithm that iteratively finds a given number of clusters of parameter regions with each region being closer to the corresponding codeword than to the other codewords. We introduce a new metric to determine the distance between codewords and parameter regions. We also discuss that the fusion node can perform an efficient estimation by finding the intersection of the clusters sent from the nodes. We demonstrate through experiments that the proposed design achieves a significant performance gain with a low complexity as compared to the previous designs.

중소병원에서의 빅데이터 분석을 위한 분산 노드 관리 방안 (Management of Distributed Nodes for Big Data Analysis in Small-and-Medium Sized Hospital)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.376-377
    • /
    • 2016
  • 빅데이터 분석을 위한 분산 데이터 처리 기술인 하둡 프레임워크의 성능은 데이터를 저장하고 맵리듀스를 수행하는 분산 노드 각각의 성능 및 네트워크의 성능 등의 요소에 영향을 받는다. 본 논문에서는 기존 하둡에서의 분산 노드 관리 기법을 분석하고, 중소병원의 전산 시스템 환경을 고려하여 중소규모의 병원에서 하둡을 도입하기 위해 필요한 분산 노드 관리 기법을 제시한다.

  • PDF

Selective Encryption Algorithm for 3D Printing Model Based on Clustering and DCT Domain

  • Pham, Giao N.;Kwon, Ki-Ryong;Lee, Eung-Joo;Lee, Suk-Hwan
    • Journal of Computing Science and Engineering
    • /
    • 제11권4호
    • /
    • pp.152-159
    • /
    • 2017
  • Three-dimensional (3D) printing is applied to many areas of life, but 3D printing models are stolen by pirates and distributed without any permission from the original providers. Moreover, some special models and anti-weapon models in 3D printing must be secured from the unauthorized user. Therefore, 3D printing models must be encrypted before being stored and transmitted to ensure access and to prevent illegal copying. This paper presents a selective encryption algorithm for 3D printing models based on clustering and the frequency domain of discrete cosine transform. All facets are extracted from 3D printing model, divided into groups by the clustering algorithm, and all vertices of facets in each group are transformed to the frequency domain of a discrete cosine transform. The proposed algorithm is based on encrypting the selected coefficients in the frequency domain of discrete cosine transform to generate the encrypted 3D printing model. Experimental results verified that the proposed algorithm is very effective for 3D printing models. The entire 3D printing model is altered after the encryption process. The decrypting error is approximated to be zero. The proposed algorithm provides a better method and more security than previous methods.

SDS 환경의 유사도 기반 클러스터링 및 다중 계층 블룸필터를 활용한 분산 중복제거 기법 (Distributed data deduplication technique using similarity based clustering and multi-layer bloom filter)

  • 윤다빈;김덕환
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제14권5호
    • /
    • pp.60-70
    • /
    • 2018
  • 클라우드 환경에서 다수의 사용자가 물리적 서버를 가상화하여 사용할 수 있도록 편의성을 제공하는 Software Defined Storage(SDS)를 적용하고 있지만 한정된 물리적 자원을 고려하여 공간 효율성을 최적화하는 솔루션이 필요하다. 기존의 데이터 중복제거 시스템에서는 서로 다른 스토리지에 업로드 된 중복 데이터가 중복제거되기 어렵다는 단점이 있다. 본 논문에서는 유사도기반 클러스터링과 다중 계층 블룸 필터를 적용한 분산 중복제거 기법을 제안한다. 라빈 해시를 이용하여 가상 머신 서버들 간의 유사도를 판단하고 유사도가 높은 가상머신들을 클러스터 함으로써 개별 스토리지 노드별 중복제거 효율에 비하여 성능을 향상시킨다. 또한 중복제거 프로세스에 다중 계층 블룸 필터를 접목하여 처리 시간을 단축하고 긍정오류를 감소시킬 수 있다. 실험결과 제안한 방법은 IP주소 기반 클러스터를 이용한 중복제거 기법에 비해 처리 시간의 차이가 없으면서, 중복제거율이 9% 높아짐을 확인하였다.