• 제목/요약/키워드: graph processing

검색결과 687건 처리시간 0.022초

블록 중심 그래프 처리 시스템의 부하 분산을 위한 동적 블록 재배치 기법 (Dynamic Block Reassignment for Load Balancing of Block Centric Graph Processing Systems)

  • 김예원;배민호;오상윤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권5호
    • /
    • pp.177-188
    • /
    • 2018
  • 최근 웹, 소셜 네트워크 서비스, 모바일, 사물인터넷 등의 ICT 기술의 발전으로 인해 처리 및 분석이 필요한 그래프 데이터의 규모가 급속하게 증가하였다. 이러한 대규모 그래프 데이터는 단일 기기에서의 처리가 어렵기 때문에 여러 기기에 나누어 분산/병렬 처리하는 것이 필요하다. 기존 그래프 처리 알고리즘들은 단일 메모리 환경을 기반으로 연구되어 분산/병렬 처리환경에 적용되기 힘들다. 이에 대규모 그래프의 보다 효과적인 분산/병렬 처리를 위해 정점 중심 방식의 그래프 처리 시스템들과, 정점 중심 방식의 단점을 보완한 블록 중심 방식의 그래프 처리 시스템들이 등장하였다. 이러한 시스템들은 초기 그래프 분할 상태가 전체 처리 성능에 상당한 영향을 미친다. 한 번에 최적의 상태로 그래프를 분할하는 것은 매우 어려운 문제이므로, 그래프 처리 시간에 점진적으로 그래프 분할 상태를 개선하는 여러 로드 밸런싱 기법들이 연구되었다. 그러나 기존 기법들은 대부분 정점 중심 그래프 처리 시스템을 대상으로 하여 블록 중심 그래프 처리 시스템에 적용이 어렵다. 본 논문에서는 블록 중심 그래프 처리 시스템을 대상으로 적용 가능한 로드 밸런싱 기법을 제안한다. 제안 기법은 동적으로 블록을 재배치하여 점진적으로 그래프 분할 상태를 개선시키며, 해를 찾아나가는 과정에서 지역 최적해를 벗어나기 위한 블록 분할 전략을 함께 제시한다.

매크로-스타 그래프와 행렬 스타 그래프 사이의 임베딩 (Embedding between a Macro-Star Graph and a Matrix Star Graph)

  • 이형옥
    • 한국정보처리학회논문지
    • /
    • 제6권3호
    • /
    • pp.571-579
    • /
    • 1999
  • A Macro-Star graph which has a star graph as a basic module has node symmetry, maximum fault tolerance, and hierarchical decomposition property. And, it is an interconnection network which improves a network cost against a star graph. A matrix star graph also has such good properties of a Macro-Star graph and is an interconnection network which has a lower network cost than a Maco-Star graph. In this paper, we propose a method to embed between a Macro-Star graph and a matrix star graph. We show that a Macro-Star graph MS(k, n) can be embedded into a matrix star graph MS\ulcorner with dilation 2. In addition, we show that a matrix star graph MS\ulcorner can be embedded into a Macro-Star graph MS(k,n+1) with dilation 4 and average dilation 3 or less as well. This result means that several algorithms developed in a star graph can be simulated in a matrix star graph with constant cost.

  • PDF

디스크 기반 그래프 엔진의 입출력 성능 향상을 위한 그래프 오더링 (Improving the I/O Performance of Disk-Based Graph Engine by Graph Ordering)

  • 임근학;김정현;이은재;서지원
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권1호
    • /
    • pp.40-45
    • /
    • 2018
  • 빅데이터와 소셜 네트워크의 발전과 더불어 거대한 그래프를 처리하는 연구도 활발하게 진행되고 있다. 최근 그래프 처리의 성능 향상을 위해 Gorder 라는 그래프 오더링 기법이 제안되었다. 이 기법은 메모리 상의 그래프 레이아웃을 변형하여 데이터 접근 패턴을 CPU 캐시에 적합하게 바꿈으로써 성능을 향상시킨다. 하지만 그래프 알고리즘의 캐시 지역성에만 초점을 두고 설계되었기 때문에 디스크 기반 그래프 엔진에서는 적합하지 않고 전처리 비용도 크다는 문제점이 있다. 제시한 문제점을 해결하기 위해, 본 논문에서는 새로운 그래프 오더링인 I/O Order를 제안하였다. I/O Order는 디스크 기반의 그래프 엔진에서 지역성 외에 입출력 부하를 고려하여 설계되었다. 또한, 오더링 비용을 줄이기 위해 간단한 scheme을 사용한다. 본 논문에서 제시된 I/O Order는 Gorder와 비교해 전처리 비용이 최대 9.6배 감소하였고 성능은 지역성이 낮은 그래프 알고리즘에서 Random 대비 최대 2배 이상 향상되었다.

데이터 재사용을 고려한 그래프 스트림의 점진적 처리 기법 (Incremental Processing Scheme for Graph Streams Considering Data Reuse)

  • 조중권;한진수;김민수;최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제18권1호
    • /
    • pp.465-475
    • /
    • 2018
  • 최근 소셜 미디어, IoT 등에 대한 활용이 증가됨에 따라 대용량의 그래프 스트림이 생성되고 있으며 그래프 스트림을 실시간으로 처리하기 위한 많은 연구들이 진행되고 있다. 본 논문에서는 그래프가 지속적으로 변경될 때 이전 결과 데이터를 재사용하는 점진적인 그래프 스트림 처리 기법을 제안한다. 또한, 점진적 처리와 정적인 처리를 선택적으로 수행하기 위한 비용 모델을 제안한다. 제안하는 비용 모델은 실제 처리된 이력을 바탕으로 재계산 영역의 탐색 비용 및 처리 비용의 예측 값을 계산하여 점진적 처리가 정적인 처리보다 이득인 경우 점진적 처리를 수행한다. 제안하는 점진적 처리는 그래프 갱신이 발생하면 변경되는 부분만을 처리하여 효율성을 증가시킨다. 또한, 변경되는 부분의 이전 결과 데이터만을 수집하여 점진적인 처리를 수행함으로써 디스크 I/O 비용을 감소시킨다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법에 비해 성능이 우수함을 보인다.

Graph Compression by Identifying Recurring Subgraphs

  • 무하메드 이자즈 아메드;이정훈;나인혁;손샘;한욱신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.816-819
    • /
    • 2017
  • Current graph mining algorithms suffers from performance issues when querying patterns are in increasingly massive network graphs. However, from our observation most data graphs inherently contains recurring semantic subgraphs/substructures. Most graph mining algorithms treat them as independent subgraphs and perform computations on them redundantly, which result in performance degradation when processing massive graphs. In this paper, we propose an algorithm which exploits these inherent recurring subgraphs/substructures to reduce graph sizes so that redundant computations performed by the traditional graph mining algorithms are reduced. Experimental results show that our graph compression approach achieve up to 69% reduction in graph sizes over the real datasets. Moreover, required time to construct the compressed graphs is also reasonably reduced.

A Graph Embedding Technique for Weighted Graphs Based on LSTM Autoencoders

  • Seo, Minji;Lee, Ki Yong
    • Journal of Information Processing Systems
    • /
    • 제16권6호
    • /
    • pp.1407-1423
    • /
    • 2020
  • A graph is a data structure consisting of nodes and edges between these nodes. Graph embedding is to generate a low dimensional vector for a given graph that best represents the characteristics of the graph. Recently, there have been studies on graph embedding, especially using deep learning techniques. However, until now, most deep learning-based graph embedding techniques have focused on unweighted graphs. Therefore, in this paper, we propose a graph embedding technique for weighted graphs based on long short-term memory (LSTM) autoencoders. Given weighted graphs, we traverse each graph to extract node-weight sequences from the graph. Each node-weight sequence represents a path in the graph consisting of nodes and the weights between these nodes. We then train an LSTM autoencoder on the extracted node-weight sequences and encode each nodeweight sequence into a fixed-length vector using the trained LSTM autoencoder. Finally, for each graph, we collect the encoding vectors obtained from the graph and combine them to generate the final embedding vector for the graph. These embedding vectors can be used to classify weighted graphs or to search for similar weighted graphs. The experiments on synthetic and real datasets show that the proposed method is effective in measuring the similarity between weighted graphs.

스토리지 내 프로세싱 방식을 사용한 그래프 프로세싱의 최적화 방법 (Optimization of Graph Processing based on In-Storage Processing)

  • 송내영;한혁;염헌영
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권8호
    • /
    • pp.473-480
    • /
    • 2017
  • 최근 들어 플래시 메모리 Solid State Driver(SSD)와 같은 반도체 기반 저장장치가 고성능으로 발전하면서 저장장치 내부 컨트롤러의 CPU와 메모리 같은 자원을 응용의 요구에 맞추어 최적으로 활용해보고자 하는 움직임이 있었다. 이러한 개념을 스토리지 내 프로세싱 방식(In-Storage Processing, ISP)이라고 한다. ISP의 기능이 탑재된 저장장치에서는 호스트에서 수행하던 연산의 일부를 나누어 처리할 수 있으므로 호스트의 부하가 줄어들고 저장장치 내에서 데이터가 가공되어 처리되기 때문에 호스트까지의 데이터 전달 시간이 줄어든다. 본 논문에서는 이러한 ISP 기능을 활용하여 그래프 질의 처리를 최적화하기 위한 방식을 제안하고, 제안된 최적화 그래프 처리 방식이 graph500 벤치마크의 성능을 최대 20%까지 향상 시켰음을 보여준다.

계층적 각-거리 그래프를 이용한 물체 면적 측정을 위한 디지털 영상처리 알고리즘에 관한 연구 (A Study on Digital Image Processing Algorithm for Area Measurement of an Object Image by the Hierarchical Angle-Distance Graphs)

  • 김웅기;나성웅;이정원
    • 정보처리학회논문지B
    • /
    • 제13B권2호
    • /
    • pp.83-88
    • /
    • 2006
  • 일정한 형태의 물체를 분석하기 위해 사용되는 각-거리 그래프를 이용하여 임의의 물체의 경계선 내부 영역의 면적을 측정하는 디지털 영상처리 알고리듬을 제안한다. 물체의 경계선 내부의 한 점을 중심으로 1차 각-거리 그래프를 생성하고 이 그래프로부터 거리 값이 급격히 변화하는 위치를 추출하여 1차 그래프에서 접근하지 못한 영역을 인식하여 새 영역에서의 한 점을 중심으로 2차 각-거리 그래프를 생성한다. 물체의 형태가 복잡한 경우 차수가 증가하게 되며 이와 같이 계층적으로 구성된 각-거리 그래프 그룹에 대해 거리의 제곱을 각도 방향으로 적분하여 물체의 경계선 내부 영역의 면적을 측정한다.

The Construction of Universal Mulitple Processing Unit based on De Bruijn Graph

  • Park, Chun-Myoung;Song, Hong-Bok
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 ITC-CSCC -2
    • /
    • pp.959-962
    • /
    • 2002
  • This paper presents a method of constructing the universal multiple processing element unit(UMPEU) based on De Bruijn Graph. The proposed method is as following. Firstly we propose transformation operators in order to construct the De Bruijn graph using properties of graph. Secondly we construct the transformation table of De Bruijn graph using above transformation operators. Finally we construct the De Bruijn graph using transformation table. The proposed UMPEU is capable of constructing the De Bruijn geraph for any prime number and integer value of finite fields. Also the UMPEU is applied to fault-tolerant computing system, pipeline class, parallel processing network, switching function and its circuits.

  • PDF

제한된 메모리를 가진 GPU를 이용한 효율적인 그래프 알고리즘 처리 기법 (An Efficient Graph Algorithm Processing Scheme using GPUs with Limited Memory)

  • 송상호;이현병;최도진;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권8호
    • /
    • pp.81-93
    • /
    • 2022
  • 최근 대용량 그래프의 반복 처리를 위하여 GPU를 이용하는 연구가 진행되고 있다. 메모리가 제한된 GPU를 이용하여 대용량 그래프를 처리하기 위해서는 그래프를 서브 그래프로 분할한 후 서브 그래프들을 스케줄링해서 처리해야 한다. 그러나 활성 정점에 따라 서브 그래프가 처리되기 때문에 그래프 처리 과정 속에서 불필요한 데이터 전송이 반복된다. 본 논문에서는 메모리가 제한된 GPU 환경에서 효율적인 그래프 알고리즘 처리 기법을 제안하고 성능 평가를 수행한다. 제안하는 기법은 그래프 차등 서브 그래프 스케줄링 방법과 그래프 분할 방법으로 구성된다. 대용량 그래프 분할 방법은 GPU에서 효율적으로 처리할 수 있도록 대용량 그래프를 서브 그래프로 분할할 수 있는 방법을 결정한다. 차등 서브그래프 스케줄링 방법은 GPU에서 처리하는 서브그래프를 스케줄링하여 반복적으로 사용되는 HOST-GPU 간의 데이터 중복 전송을 줄인다. 다양한 그래프 처리 알고리즘들의 성능 평가를 수행함으로써 제안하는 기법은 기존 분할 기법 대비 170%, 기존 처리 기법 대비 268% 향상되었다.