• 제목/요약/키워드: Distributed Clustering

검색결과 226건 처리시간 0.025초

맵리듀스를 사용한 디컴바인드 분산 VQ 코드북 생성 방법 (Decombined Distributed Parallel VQ Codebook Generation Based on MapReduce)

  • 이현진
    • 디지털콘텐츠학회 논문지
    • /
    • 제15권3호
    • /
    • pp.365-371
    • /
    • 2014
  • 빅 데이터(Big Data)시대로 접어들면서 기존의 IT 환경에서 만들어진 알고리즘들은 하둡과 같은 분산 아키텍처에 그대로 적용할 수 없거나 효율이 떨어진다. 따라서, 맵리듀스와 같은 분산 프레임워크를 적용한 새로운 알고리즘들이 필요하다. 벡터 양자화에 많이 사용되는 Lloyd의 알고리즘도 맵리듀스를 사용하여 개발이 이루어지고 있다. 본 논문에서는 기존의 맵리듀스를 사용한 분산 VQ 코드북 생성 알고리즘을 수정하여 좀 더 빠른 분석 결과를 보일 수 있는 디컴바인드 분산 VQ 코드북 생성 알고리즘을 제안하였다. 제안하는 알고리즘을 빅 데이터에 적용한 결과 기존 방법보다 높은 성능을 보인 것을 확인할 수 있었다.

분산 모바일 서비스의 다중 스트리밍을 위한 가변 클러스터링 관리 (Variable Clustering Management for Multiple Streaming of Distributed Mobile Service)

  • 정택원;이종득
    • 한국지능시스템학회논문지
    • /
    • 제19권4호
    • /
    • pp.485-492
    • /
    • 2009
  • 모바일 서비스 환경에서 시간 동기화에 의해 생성된 패턴들은 데이터 스트리밍으로 인하여 인스턴스 값들이 다르게 스트리밍 된다. 본 논문에서는 유연한 클러스터링을 지원하기 위해 가변클러스터링 관리 기법을 제안하며, 이 구조는 다중 데이터 스트리밍을 동적으로 관리하도록 지원한다. 제안되는 기법은 일반적인 스트리밍기법과 달리 데이터 스트림 환경에서 동기화를 효율적으로 지원하는 기능을 수행하며, 구조적 표현단계와 적합성 표현단계를 거쳐 클러스터링 스트리밍이 관리된다. 구조적 표현 단계는 레벨정합과 누적정합을 수행하여 스트림 구조가 표현되며, 동적 세그먼트와 정적세그먼트 관리를 통해서 클러스터링 관리가 가변적으로 수행되도록 하였다. 제안된 기법의 성능 평가를 위해서 k-means 기법, C/S 서버기법 그리고 CDN 기법과 시뮬레이션평가를 수행하였으며 그 결과 제안된 기법의 성능이 효율적임을 알 수 있었다.

맵리듀스를 이용한 다중 중심점 집합 기반의 효율적인 클러스터링 방법 (An Efficient Clustering Method based on Multi Centroid Set using MapReduce)

  • 강성민;이석주;민준기
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권7호
    • /
    • pp.494-499
    • /
    • 2015
  • 데이터 사이즈가 증가함에 따라서 대용량 데이터를 분석하여 데이터의 특성을 파악하는 것이 매우 중요해졌다. 본 논문에서는 분산 병렬 처리 프레임워크인 맵리듀스를 활용한 k-Means 클러스터링 기반의 효과적인 클러스터링 기법인 MCSK-Means (Multi centroid set k-Means)알고리즘을 제안한다. k-Means 알고리즘은 임의로 정해지는 k개의 초기 중심점들의 위치에 따라서 클러스터링 결과의 정확도가 많은 영향을 받는 문제점을 가지고 있다. 이러한 문제를 해결하기 위하여, 본 논문에서 제안하는 MCSK-Means 알고리즘은 k개의 중심점들로 이루어진 m개의 중심점 집합을 사용하여 임의로 생성되는 초기 중심점의 의존도를 줄였다. 또한, 클러스터링 단계를 거친 m개의 중심점 집합들에 속한 중심점들에 대하여 직접 계층 클러스터링 알고리즘을 적용하여 k개의 클러스터 중심점들을 생성하였다. 본 논문에서는 MCSK-Means 알고리즘을 맵리듀스 프레임워크 환경에서 개발하여 대용량 데이터를 효율적으로 처리할 수 있도록 하였다.

Coordinated Cognitive Tethering in Dense Wireless Areas

  • Tabrizi, Haleh;Farhadi, Golnaz;Cioffi, John Matthew;Aldabbagh, Ghadah
    • ETRI Journal
    • /
    • 제38권2호
    • /
    • pp.314-325
    • /
    • 2016
  • This paper examines the resource gain that can be obtained from the creation of clusters of nodes in densely populated areas. A single node within each such cluster is designated as a "hotspot"; all other nodes then communicate with a destination node, such as a base station, through such hotspots. We propose a semi-distributed algorithm, referred to as coordinated cognitive tethering (CCT), which clusters all nodes and coordinates hotspots to tether over locally available white spaces. CCT performs the following these steps: (a) groups nodes based on a modified k-means clustering algorithm; (b) assigns white-space spectrum to each cluster based on a distributed graph-coloring approach to maximize spectrum reuse, and (c) allocates physical-layer resources to individual users based on local channel information. Unlike small cells (for example, femtocells and WiFi), this approach does not require any additions to existing infrastructure. In addition to providing parallel service to more users than conventional direct communication in cellular networks, simulation results show that CCT can increase the average battery life of devices by 30%, on average.

Improving Data Accuracy Using Proactive Correlated Fuzzy System in Wireless Sensor Networks

  • Barakkath Nisha, U;Uma Maheswari, N;Venkatesh, R;Yasir Abdullah, R
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권9호
    • /
    • pp.3515-3538
    • /
    • 2015
  • Data accuracy can be increased by detecting and removing the incorrect data generated in wireless sensor networks. By increasing the data accuracy, network lifetime can be increased parallel. Network lifetime or operational time is the time during which WSN is able to fulfill its tasks by using microcontroller with on-chip memory radio transceivers, albeit distributed sensor nodes send summary of their data to their cluster heads, which reduce energy consumption gradually. In this paper a powerful algorithm using proactive fuzzy system is proposed and it is a mixture of fuzzy logic with comparative correlation techniques that ensure high data accuracy by detecting incorrect data in distributed wireless sensor networks. This proposed system is implemented in two phases there, the first phase creates input space partitioning by using robust fuzzy c means clustering and the second phase detects incorrect data and removes it completely. Experimental result makes transparent of combined correlated fuzzy system (CCFS) which detects faulty readings with greater accuracy (99.21%) than the existing one (98.33%) along with low false alarm rate.

분포 통계 해석에 의한 계면 결함 부분방전 진단 (Partial Discharge Diagnosis of Interface Defect by the Distribution Statistical Analysis)

  • 조경순;이강원;김원종;홍진웅;신종열
    • 한국전기전자재료학회논문지
    • /
    • 제21권4호
    • /
    • pp.348-353
    • /
    • 2008
  • Most of the high voltage insulation systems, such as the power cable joint having hetero interface, are composed of more than two different insulators to improve insulating performance. The partial discharge(PD) in these hetero interface is expected to affect the total insulation performance. Thus, it is important to study electrical properties on these interfaces. This study described the influence of copper and semiconductive substance defects on $\Phi$-q-n distribution between the interface of the model cable joints to classify PD source. PD was sequentially detected for 600 cycles of the applied voltage. The K-means cluster analysis has been analyzed to investigate the $\Phi$-q-n distribution. The skewness-kurtosis(Sk-Ku) plot from K-means clustering results was defined to quantify cluster distribution and classify distribution patterns. The Sk-Ku plot is composed of skewness and kurtosis along abscissa and ordinate which indicate the asymmetry and the sharpness of distribution. As a result of the Sk-Ku plot, it was confirmed that the data was distributed in 1st 2nd and 3rd quadrant at copper foreign substance defect, but in case of semiconductive foreign substance, the data was distributed in 2nd quadrant only.

Energy-Aware Self-Stabilizing Distributed Clustering Protocol for Ad Hoc Networks: the case of WSNs

  • Ba, Mandicou;Flauzac, Olivier;Haggar, Bachar Salim;Makhloufi, Rafik;Nolot, Florent;Niang, Ibrahima
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제7권11호
    • /
    • pp.2577-2596
    • /
    • 2013
  • In this paper, we present an Energy-Aware Self-Stabilizing Distributed Clustering protocol based on message-passing model for Ad Hoc networks. The latter does not require any initialization. Starting from an arbitrary configuration, the network converges to a stable state in a finite time. Our contribution is twofold. We firstly give the formal proof that the stabilization is reached after at most n+2 transitions and requires at most $n{\times}log(2n+{\kappa}+3)$ memory space, where n is the number of network nodes and ${\kappa}$ represents the maximum hops number in the clusters. Furthermore, using the OMNeT++ simulator, we perform an evaluation of our approach. Secondly, we propose an adaptation of our solution in the context of Wireless Sensor Networks (WSNs) with energy constraint. We notably show that our protocol can be easily used for constructing clusters according to multiple criteria in the election of cluster-heads, such as nodes' identity, residual energy or degree. We give a comparison under the different election metrics by evaluating their communication cost and energy consumption. Simulation results show that in terms of number of exchanged messages and energy consumption, it is better to use the Highest-ID metric for electing CHs.

불균일 무선 센서네트워크에서의 분산 클러스터링 프로토콜 성능 (Performance of Distributed Clustering Protocol in Heterogeneous Wireless Sensor Networks)

  • ;전태현
    • 한국위성정보통신학회논문지
    • /
    • 제11권3호
    • /
    • pp.123-126
    • /
    • 2016
  • 무선 센서 네트워크 하에서 불균일 네트워크의 에너지 효율은 주요 이슈 중의 하나로 고려된다. 불균일 네트워크에서, 개별 노드 초기 에너지의 무작위 분포는 네트워크 불안정을 초래할 수 있다. 따라서 네트워크 상 각 노드의 동작 시간 증가와 에너지 소비의 공평성 유지를 위해서는 적합한 방법이 마련되어야 한다. 본 논문에서는 서로 다른 시나리오의 불균일 네트워크 하의 분산 클러스터링 프로토콜(DCP)의 성능 평가를 보여준다. 본 시뮬레이션 결과는 불균일 네트워크에서의 LEACH 프로토콜 결과와 비교하였다. 추가적으로 불균일 네트워크에서의 시스템 성능을 균일 네트워크와 비교함으로써, 불균형 초기 에너지가 시스템의 개별 노드의 수명에 미치는 영향을 설명한다. 시뮬레이션 수행 결과 균일 및 불균일 네트워크에서 LEACH 프로토콜과의 성능 비교 결과는 DCP의 성능이 모든 경우에 성능 우위에 있음을 나타내었다.

효율적인 병렬정보검색을 위한 색인어 군집화 및 분산저장 기법 (Term Clustering and Duplicate Distribution for Efficient Parallel Information Retrieval)

  • 강재호;양재완;정성원;류광렬;권혁철;정상화
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권1_2호
    • /
    • pp.129-139
    • /
    • 2003
  • 인터넷과 같은 대량의 정보에 대응할 수 있는 고성능 정보검색시스템을 구축하기 위해서는 지금까지 고가의 중대형컴퓨터를 주로 활용하여 왔으나. 최근 가격대 성능비가 높은 PC 클러스터 시스템을 활용하는 방안이 경제적인 대안으로 떠오르고 있다. PC 클러스터 상에서의 병렬정보검색시스템을 효율적으로 운영하기 위해서는 사용자가 입력한 질의를 처리하는데 요구되는 개별 PC의 디스크 I/O 및 검색관련 연산을 모든 PC에 가능한 균등하게 분배할 필요가 있다. 본 논문에서는 같은 질의에 동시에 등장할 가능성이 높은 색인어들끼리 군집화하고 생성된 군집을 활용하여 색인어들을 각 PC에 분배함으로써 보다 높은 수준의 병렬화를 달성할 수 있는 방안을 제시한다. 또한 일부 PC의 결함 또는 유지보수 등의 원인에 의한 서비스 중지상황에도 적극적으로 대처하기 위하여 색인어 역파일을 중복되게 분산저장하는 기법을 제안한다. 대용량 말뭉치를 활용한 실험결과 본 논문에서 제시하는 분산 및 중복저장기법이 충분한 효율성과 실용성이 있음을 확인하였다.