• 제목/요약/키워드: Distributed Clustering

검색결과 222건 처리시간 0.026초

분산 환경에서의 클러스터화된 밀집 인덱스 기반 효율적인 불균등 분포 데이터의 조인 기법 (Dense Clustering Index Based Efficient Join Method to Handle Skewed Data in Distributed Environment)

  • 김재형;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.656-659
    • /
    • 2014
  • 오픈소스로부터 촉발된 분산 시스템의 보편화로 기존 상용 시스템으로는 제공하지 못한 다양한 종류의 서비스가 각광받고 있다. 특히, 테라바이트 단위를 넘어 페타바이트 단위의 데이터를 다루는 서비스의 등장으로 드러난 오픈소스 분산 시스템의 문제를 개선하기 위한 시도가 학계 및 업계에서 다각적으로 이뤄지고 있다. 이러한 시도는 새로운 방법론을 제시하는 것에서부터 기존 분산 데이터베이스 관리 시스템(Distributed DBMS)에서 사용된 방법론들을 적용하는 것까지 다양하게 이뤄지고 있다. 본 논문에서는 특정 키 값(Key Value)에 불균등 분포된 데이터에 대한 조인 연산의 탐색 공간을 밀집 인덱스를 통해 줄여 비교적 높은 시간 복잡도를 완화하는 방법론을 제시하고자 한다.

다중블록 유동해석에서 병렬처리를 위한 시스템의 구조 (A framework for parallel processing in multiblock flow computations)

  • 박상근;이건우
    • 대한기계학회논문집B
    • /
    • 제21권8호
    • /
    • pp.1024-1033
    • /
    • 1997
  • The past several years have witnessed an ever-increasing acceptance and adoption of parallel processing, both for high performance scientific computing as well as for more general purpose applications. Furthermore with increasing needs to perform the complex flow calculations in an efficient manner, the use of the message passing model on distributed networks has emerged as an important alternative to the expensive supercomputers. This work attempts to provide a generic framework to enable the parallelization of all CFD-related works using the master-slave model. This framework consists of (1) input geometry, (2) domain decomposition, (3) grid generation, (4) flow computations, (5) flow visualization, and (6) output display as the sequential components, but performs computations for (2) to (5) in parallel on the workstation clustering. The flow computations are parallized by having multiple copies of the flow-code to solve a PDE on different spatial regions on different processors, while their flow data are exchanged across the region boundaries, and the solution is time-stepped. The Parallel Virtual Machine (PVM) is used for distributed communication in this work.

클라우드 환경에서 가용 자원 활용도를 고려한 워크플로우 작업 클러스터링 기법 (Workflow Task Clustering Method Considering Available Resources in Cloud Environments)

  • 명노영;정대용;정광식;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.160-163
    • /
    • 2015
  • 워크플로우 매니지먼트시스템은 오늘날의 어플리케이션들의 처리를 위한 효율적인 워크플로우 설계와 수행을 가능하게 한다. 그러나 전체물리학, 생물학, 지질학과 같이 과학탐구에 목적을 둔 어플리케이션들의 경우 대용량의 데이터를 연산해야 하기 때문에 단일 컴퓨팅 자원으로는 단 시간내에 작업을 완료하기 어렵다. 클라우드 환경에서 워크플로우를 효율적으로 수행하기 위해서는 여러 자원을 효율적으로 활용하기 위한 분산 병렬처리가 필수적이다. 일반적으로 시스템의 마스터노드에서는 클러스터의 원격노드들에게 어플리케이션 수행을 위해 설계된 워크플로우에 맞게 작업들을 분배하게 되는데 이때 마스터노드와 원격노드의 큐에서의 대기시간과 원격노드에서 할당된 작업들을 위한 스케줄링 시간은 성능을 좋지 않게 만드는 원인이 된다. 따라서 본 논문은 클라우드 환경에서 원격노드에서 작업수행이전까지의 지연시간을 줄이기 위한 최적화 방법으로 컴퓨팅 자원 활용도를 고려한 작업들의 병합 기법을 적용해서 워크플로우의 처리 속도를 향상시킨다.

무선통신망의 최대 가중치 독립집합 문제에 관한 분산형 알고리즘 (Distributed Algorithm for Maximal Weighted Independent Set Problem in Wireless Network)

  • 이상운
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권5호
    • /
    • pp.73-78
    • /
    • 2019
  • 본 논문은 NP-난제로 널리 알려진 최대 가중치 독립집합 문제에 대해 다항시간으로 풀 수 있는 규칙을 제시하였다. 기존에 알려진 분산형 알고리즘은 지역에서 최대 가중치 노드를 독립집합 원소로 결정하는 방법을 적용하였다. 그러나 지역에서 최대 가중치를 갖는 노드 단독이 아닌 보다 작은 가중치들을 갖는 노드들이 병합된 독립집합이 최대 가중치를 갖는 경우가 보다 빈번히 발생하여 기존에 알려진 방법으로는 최적 해를 구하지 못할 수도 있다. 이러한 문제점을 해결하기 위해, 본 논문에서는 지역에서 최대 가중치를 갖는 독립집합을 형성하는 방법을 제안하였다. 제안된 알고리즘을 다양한 망들에 적용한 결과, 기존에 알려진 알고리즘으로 구하지 못한 최적 해를 구할 수 있었다.

맵리듀스 기반 DFP-Tree를 이용한 클러스터링 알고리즘 (Clustering Algorithm using the DFP-Tree based on the MapReduce)

  • 서영원;김창수
    • 인터넷정보학회논문지
    • /
    • 제16권6호
    • /
    • pp.23-30
    • /
    • 2015
  • 빅 데이터가 이슈화됨에 따라 데이터 분석의 결과를 기반으로 동작하는 많은 응용들이연구되고 왔고, 대표적인 응용들은 전자상거래 시스템의 상품 추천 서비스, 검색 엔진에서의 검색 서비스, 소셜 네트워크 서비스에서의 친구 추천 서비스 등이 있다. 본 논문은 기존의 데이터 마이닝 기법 중 데이터 집합에서 나타나는 유사한 패턴들을 마이닝하는 빈발 패턴 트리와 컴퓨터 과학의 이론에 기초한 결정트리를 결합하여 결정 빈발 트리 알고리즘을 제안한다. 이는 기존의 빈발 패턴 트리 알고리즘은 패튼 트리에서 패턴 생성에 대한 정확성은 보장되나 소셜 데이터처럼 다양한 패턴이 나타는 데이터에 대해서는 많은 수의 패턴들을 생성시켜 분석에 대한 어려움이 있어, 서브트리들과의 수렴 여부를 판단하는 모델로 변형시켜 문제를 개선한다. 또한 맵리듀스로 모델링하여 분산처리를 통한 고속 처리 알고리즘을 제시한다.

자가 조직화 지도의 커널 공간 해석에 관한 연구 (A New Self-Organizing Map based on Kernel Concepts)

  • 정성문;김기범;홍순좌
    • 정보처리학회논문지B
    • /
    • 제13B권4호
    • /
    • pp.439-448
    • /
    • 2006
  • Kohonen SOM(Self-Organizing Map)이나 MLP(Multi-Layer Perceptron), SVM(Support Vector Machine)과 같은 기존의 인식 및 클러스터링 알고리즘들은 새로운 입력 패턴에 대한 적응성이 떨어지고 학습 패턴 자체의 복잡도에 대한 학습률의 의존도가 크게 나타나는 등 여러 가지 단점이 있다. 이러한 학습 알고리즘의 단점은 문제의 학습 패턴자체의 특성을 잃지 않고 문제의 복잡도를 낮출 수 있다면 보완할 수 있다. 패턴 자체의 특성을 유지하며 복잡도를 낮추는 방법론은 여러 가지가 있으며, 본 논문에서는 커널 공간 해석 기법을 접근 방법으로 한다. 본 논문에서 제안하는 kSOM(kernel based SOM)은 원 공간의 데이터가 갖는 복잡도를 무한대에 가까운 초 고차원의 공간으로 대응시킴으로써 데이터의 분포가 원 공간의 분포에 비해 상대적으로 성긴(spase) 구조적 특정을 지니게 하여 클러스터링 및 인식률의 상승을 보장하는 메커니즘 을 제안한다. 클러스터링 및 인식률의 산출은 본 논문에서 제안한 새로운 유사성 탐색 및 갱신 기법에 근거하여 수행한다. CEDAR DB를 이용한 필기체 문자 클러스터링 및 인식 실험을 통해 기존의 SOM과 본 논문에서 제안한 kSOM과 성능을 비교한다.

Fk means를 이용한 동적객체그룹관리기반 지능형 멀티 에이전트 분산플랫폼 (Intelligent Multi-Agent Distributed Platform based on Dynamic Object Group Management using Fk-means)

  • 이재완;나혜영;마테오 로미오
    • 인터넷정보학회논문지
    • /
    • 제10권1호
    • /
    • pp.101-110
    • /
    • 2009
  • 효율적인 자원공유 및 동적인 시스템구성을 위한 지능형 분산 접근방식에서 주로 멀티에이전트 시스템을 사용한다. 또한 객체중복은 고장허용시스템을 구축하여 시스템에 예기치 않은 결함의 문제를 해결하기 위해 흔히 사용된다. 본 논문은 동적인 객체그룹관리에 기반한 지능형 멀티에이전트 분산플랫폼을 제시하고, 제안한 filtered k-means (Fk-means)를 기반으로 하여 객체검색기법을 제시한다. 객체 결함의 경우에, 대체 객체를 검색하여 클라이언트에게 적절한 객체를 투명하게 재 연결 시켜주기 위해 Fk-means를 사용한다. 검색방법을 효율적으로 수행하고, 그룹 내의 적절한 객체를 포함시키기 위해 Fk-means의 여과 범위를 설정한다. 시뮬레이션 결과 제안한 기법이 분산객체그룹에 대해 빠르고 정확한 검색을 나타내었다.

  • PDF

한국산 산민달팽이 ( Incilaria fruhstorferi ) 후촉각의 형테 및 조직화학적인 연구 (A Morphological and Histochemical Study on the Posterior Tentacle Antenna of the Korean Slug , Incilaria fruhstorferi)

  • 김영언;장남섭
    • 한국패류학회지
    • /
    • 제12권1호
    • /
    • pp.1-17
    • /
    • 1996
  • Morphological and histochemical characteristics of the cells in posterior tentacle antenna of Korean slug, Incilaria fruhstorferi were observed with light microscope. The epithelium of the posterior tentacle antenna was composed of supporting cells, sensory neurons and type-a clear cell. The columnar supporting epithelium was widely distributed in the posterior tentacle antenna, and the upper end of the cell was covered with acidic mucopolysaccharide. Nerve endings of the sensory neuron were distributed between type-a clear cells. It was usually located in tentacular knob, and the number of them gradually decrdased as close as tentacular stalk. Several cilia were observed on the nerve ending. Type-a clear cells were very brightly stained with all staining used, and the neutral mucous guanules distributed in the cytoplasm. Collar cells, type-b clear cell and various types of secrdtory cells distributed in the connective tissue. The collar cells were clustering in connective tissue, and the cytoplasm were filled with neutral mucous guanules. The cells and granules were stained with dark brown by silver nitrate stain. Type-b clear cells were irregular in shape and their cytoplasms were brightly stained wth many stains used. Ten types of secretory cells evenly distributed in the connective tissue and muscle layers of the posterior tentacle antenna. The five types of the secretory cells(A, B, E, J and L)seemed to secrete acidic mucopolysaccharide, and the other five type of the cell(C, D, F, H, and L)seemed to secrete neutral mucopolysaccharide. Muscular tissue composed of well-developed thick longitudinal muscle layers and thin circular muscle layers. Type-L secretory cells clustered only in muscular layers and they contained acidic mucopolysaccharides.

  • PDF

Collective Prediction exploiting Spatio Temporal correlation (CoPeST) for energy efficient wireless sensor networks

  • ARUNRAJA, Muruganantham;MALATHI, Veluchamy
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권7호
    • /
    • pp.2488-2511
    • /
    • 2015
  • Data redundancy has high impact on Wireless Sensor Network's (WSN) performance and reliability. Spatial and temporal similarity is an inherent property of sensory data. By reducing this spatio-temporal data redundancy, substantial amount of nodal energy and bandwidth can be conserved. Most of the data gathering approaches use either temporal correlation or spatial correlation to minimize data redundancy. In Collective Prediction exploiting Spatio Temporal correlation (CoPeST), we exploit both the spatial and temporal correlation between sensory data. In the proposed work, the spatial redundancy of sensor data is reduced by similarity based sub clustering, where closely correlated sensor nodes are represented by a single representative node. The temporal redundancy is reduced by model based prediction approach, where only a subset of sensor data is transmitted and the rest is predicted. The proposed work reduces substantial amount of energy expensive communication, while maintaining the data within user define error threshold. Being a distributed approach, the proposed work is highly scalable. The work achieves up to 65% data reduction in a periodical data gathering system with an error tolerance of 0.6℃ on collected data.

MANET에서의 상황 인지 구조를 이용한 에너지 보존 라우팅 연구

  • 진운;이범재;지삼현;김순국;두경민;이강환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2007년도 춘계종합학술대회
    • /
    • pp.413-417
    • /
    • 2007
  • Ad hoc 센서 네트워크에서 노드는 제한된 에너지를 가지며, 에너지의 사용률은 토폴로지 구조나 센서 노드의 동작에 의존한다. 본 논문에서는 low power distributed MAC을 개량 하여, MANET에서 clustering 구조의 네트워크를 위한 효율적인 에너지 절약을 위한 새로운 구조를 제안한다. 본 제안된 구조의 특징은 Ad hoc 네트워크에서 에너지에 관련된 배터리 파워나, 노드의 거리, 전송 전력 등의 정보를 활용한 상황 인식을 사용하였다. 에너지 상황 인식을 적용한 제안된 망의 구조는 clustering 형상과 메시지 전송의 성능 및 데이터의 도달 인식을 향성 시킨다. 또한 context aware computing을 이용함으로써, 상황과 정의된 rule에 따라서 노드의 동작과 네크워크 라우팅의 상황에 적응하도록 노드를 조정 할 수 있는 구조이다.

  • PDF