• 제목/요약/키워드: 분산 그래프

검색결과 165건 처리시간 0.035초

대용량 그래프 압축과 마이닝을 위한 그래프 정점 재배치 분산 알고리즘 (A Distributed Vertex Rearrangement Algorithm for Compressing and Mining Big Graphs)

  • 박남용;박치완;강유
    • 정보과학회 논문지
    • /
    • 제43권10호
    • /
    • pp.1131-1143
    • /
    • 2016
  • 수십억 개 간선들로 구성된 대용량 그래프를 어떻게 효과적으로 압축할 수 있을까? 정점 재배치를 통해 인접 행렬의 0이 아닌 값들을 집중시키면 그래프를 효율적으로 압축할 수 있을 뿐 아니라 페이지랭크 등 여러 그래프 마이닝 알고리즘의 수행 속도를 개선할 수 있다. 최신 정점 재배치 기법인 SlashBurn은 실세계 네트워크의 멱법칙 특성을 활용하는 실세계 그래프에 효과적인 방법이다. 하지만 단일 머신 기반으로 설계되어 대용량 그래프에 대해 처리 속도가 현저히 느려지거나 적용이 불가능한 한계가 있다. 본 논문에서는 이러한 한계를 극복하기 위한 분산 SlashBurn을 제안한다. 분산 SlashBurn은 대규모의 정점 재배치 프로세스를 분산 처리하여 대용량 그래프를 기존 방법보다 훨씬 빠르고 확장성 있게 처리한다. 대용량 실세계 그래프들에 대한 실험 결과, 분산 SlashBurn은 단일 머신 SlashBurn보다 45배 이상 빠르게 동작하였고, 16배 이상 큰 그래프를 처리할 수 있었다.

분산된 대사경로네트워크에 대한 경로검색을 위한 분산알고리즘 (A Distributed Path-Finding Algorithm for Distributed Metabolic Pathways)

  • 이선아;이건명;이승주
    • 한국지능시스템학회논문지
    • /
    • 제15권4호
    • /
    • pp.425-430
    • /
    • 2005
  • 많은 문제가 그래프로 모델링될 수 있고, 그래프 이론에 기반한 방법에 의해서 해결될 수 있다. 이 논문에서는 분산되고 중첩된 대사경로 네트워크들에 대해서 경로를 찾는 방법에 대해서 다룬다. 제안한 방법은 분산된 그래프를 통합하지 않은 채, 다중 에이전트의 협동작업을 통해서 경로를 찾는 방법이다. 각 그래프에는 해당 그래프를 책임지고 있는 에이전트가 하나씩 있어서, 해당 그래프에서 시작되는 경로검색을 주도하고, 다른 에이전트로부터 경로에 대한 정보 요청에 응답하도록 한다. 제안한 방법에서는 우선 전체 분산된 그래프에 대해서 뷰그래프라고 하는 추상화된 그래프를 형성하고, 이를 이용하여 경로를 찾기 위해 에이전트간에 어떤 방법으로 협력을 할지 알 수 있게 한다. 각 에이전트는 해당 그래프에 대한 최단경로 정보를 관리하고 있다. 어떤 에이전트가 해당 그래프의 어떤 노드에서 시작하는 경로를 찾으라는 요구를 받게 되면, 다른 에이전트로부터 정보를 받아서 목적지까지는 가는 경로를 찾게 된다.

분산 그래프 처리 시스템에 대한 연구 조사 (Survey on Distributed Graph Processing Systems)

  • 고성윤;서인;신현규;이진수;한욱신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.58-59
    • /
    • 2017
  • 그래프 데이터는 객체와 객체들 간의 관계를 모델링하여 사회 관계망 서비스, 사물 인터넷 그리고 뇌 네트워크등의 데이터를 표현하며 저장한다. 빅데이터의 시대에 빅 그래프를 처리하기 위한 수요는 가파르게 증가하고 있다. 분산 그래프 처리 시스템은 매우 큰 그래프 데이터를 클러스터 내의 여러 머신의 메모리에 나누어 저장함으로써, 빅 그래프의 처리를 가능하게 하였다. 본 논문에서는 최신 분산 그래프 처리 시스템들의 특징들을 비교 연구한다.

퍼지신경망을 사용한 네이브 베이지안 분류기의 분산 그래프 학습 (Learning Distribution Graphs Using a Neuro-Fuzzy Network for Naive Bayesian Classifier)

  • 전설위;임준식
    • 디지털융복합연구
    • /
    • 제11권11호
    • /
    • pp.409-414
    • /
    • 2013
  • Naive Bayesian classifiers 네이브 베이지안 분류기는 샘플 데이터로부터 쉽게 구현될 수 있는 강력하고도 많이 사용되는 형식의 분류기다. 그러나 강한 조건부 독립성으로 인하여 효율이 저하되는 분류 결과를 초래한다. 일반적으로 네이브 베이지안 분류기는 연속성을 가진 특징 데이터의 우도를 처리하기 위해 가우시안 분산을 사용한다. 속성들의 확률밀도는 항상 가우시안 분산에 적합한 것만은 아니다. 또 다른 형식의 분류기는 지도학습을 통해 퍼지 규칙과 퍼지집합을 학습할 수 있는 퍼지신경망이다. 퍼지신경망과 네이브 베이지안 분류기간에는 구조적 유사성을 가지고 있기 때문에 퍼지신경망으로 학습된 분산 그래프를 네이브 베이지안 분류기에 적용하고자 하는 방안이 본 연구의 목적이다. 따라서 네이브 베이지안 분류기에 가우시안 분산 그래프를 사용한 결과와 퍼지 분산 그래프를 사용한 결과를 비교하였다. 이를 위해 leukemia와 colon의 DNA 마이크로어레이 데이터를 적용하여 분류하였다. 네이브 베이지안 분류기에 퍼지 분산 그래프를 사용한 결과 가우시안 분산 그래프를 사용한 결과보다 더 신뢰성이 있음을 보여주었다.

분산 환경에서 그래프 질의 수행을 위한 그래프 분할 기법 조사 (A Study on Graph Partitioning for Graph Query Processing in Distributed System)

  • 이원석;고성윤;서명원;이정훈;한욱신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.734-736
    • /
    • 2019
  • 그래프 분할 기법은 분산 환경에서 그래프 질의 수행에 있어 통신 비용을 줄이고 부하 균형을 맞추고자 그래프의 정점과 간선들을 여러 머신들에 나누어 저장하는 방법이다. 본 논문에서는 그래프 질의 수행에 관한 지식을 정리하고, 간선 절단 기법(edge-cut), 정점 절단 기법(vertex-cut), 하이브리드 절단 기법(hybrid-cut)으로 알려진 대표적인 그래프 분할 기법과 최신 그래프 시스템들의 그래프 분할 기법을 소개하고 비교한다.

분산된 대사 네트워크에 대한 경로탐색을 위한 분산 알고리즘 (Distributed Algorithm to search paths in distributed metabolic pathway networks)

  • 이선아;이건명
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2005년도 춘계학술대회 학술발표 논문집 제15권 제1호
    • /
    • pp.349-352
    • /
    • 2005
  • 이 논문에서는 분산된 생물학의 대사 네트워크들이 있을 때, 이를 통합하지 않은 상태에서 경로검색을 하는 분산 알고리즘을 제안한다. 대사 네트워크는 여러 데이터베이스에 존재하며 서로 중복되는 데이터를 가지고 있다. 제안한 방법은 네트워크 사이의 중첩이 있는 부분을 하이퍼 노드로 하고, 네트워크 자체는 하이퍼 에지로 하는 추상 하이퍼 그래프를 만들어서, 이를 이용한 상위수준의 경로를 구축한다. 각 네트워크내의 중첩된 영역간의 경로를 미리 계산해 둔 다음, 상위수준의 경로에 기반하여 분산된 대사네트워크 간에 존재하는 경로를 검색한다. 추상 하이퍼 그래프는 데이터베이스를 하이퍼 노드로 하는 것에 대한 경로탐색을 한 다음, 그 경로에 따라 데이터베이스 내에 존재하는 대사경로를 탐색한다. 이때 존재하는 대사경로가 많기 때문에 각각의 대사경로를 하이퍼 노드로 하는 추상 하이퍼 그래프를 만들어 경로를 탐색하고 나서 그 하위 노드에 대해 경로탐색을 한다. 이는 분산된 네트워크를 통합할 저장 공간 및 탐색시간을 줄일 수 있다는 장점이 있다.

  • PDF

최신 분산 그래프 처리 시스템에서의 PageRank/BFS 질의 처리 성능 평가 (Experimental Evaluation of PageRank/BFS Queries on Distributed Graph Processing Systems)

  • 이경준;김현지;이유경;이준영;김강수;한욱신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.826-828
    • /
    • 2017
  • 그래프는 객체와 객체 간의 관계를 표현하는 데에 있어 효과적인 데이터 표현 방법이다. 그래프 데이터는 웹 그래프, 사회 관계망 서비스, 신약 개발, 생명정보학 등의 다양한 분야에서 활용되고 있으며, 그래프 마이닝 응용에서 활용되기 위한 효율적인 처리 기술을 필요로 한다. 최근까지 그래프 데이터의 처리 및 분석을 위한 많은 시스템들이 개발되었다. 본 논문에서는 최신 분산 그래프 처리 시스템 중에서 대표적인 그래프 분석 질의인 페이지랭크(pagerank)와 너비 우선 탐색(breadth first search)를 수행하고 시스템의 성능을 평가한다.

분산깊이 우선 탐색 프로토콜의 복잡도 개선을 위한 연구 (Improvement on The Complexity of Distributed Depth First Search Protocol)

  • 최종원
    • 한국정보처리학회논문지
    • /
    • 제3권4호
    • /
    • pp.926-937
    • /
    • 1996
  • 그래프 트래버설(traversal) 기법은 그래프의 노느들을 '방문(visiting)'하는 임의의 패턴이라고 할 수 있으며, 그래프 트래버설 방법 중 하나가 깊이 우선 탐색 기법은 유향 그래프의 강결합 요소나 일반 그래프의 이중 결합 요소를 찾는데 이용 된다. 이러한 깊이 우선 탐색 기법을 분산 네트워크 상에서 구현하기 위한 분산 프로토콜은 통신망의 위상 변화가 없는 고정위상 문제와 시간의 지남에 따라 위상의 변화가 있는 동적 위상 문제로 나누어 볼 수 있다. 본 논문에서는 먼저 고정 위상에 서의 개선된 분산 깊이 우선 탐색 프로토콜을 설계하고 다음으로 이 프로토콜을 동적 위상에 적용하여 링크/노드의 고장/복구에 대처할 수 있는 레질리언트 프로토콜을 설계하였다. 또한, 이들 프로토콜의 메시지와 시간 복잡도를 각각 분석하고,

  • PDF

분산 환경에서 경로 질의 기반 서브 그래프 탐색 기법 (Subgraph Searching Scheme Based on Path Queries in Distributed Environments)

  • 김민영;최도진;박재열;김연동;임종태;복경수;최한석;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제19권1호
    • /
    • pp.141-151
    • /
    • 2019
  • 개체 간의 상호 작용을 나타내기 위해 그래프 데이터 형태의 네트워크가 많은 애플리케이션에서 사용되고 있다. 최근에는 빅데이터 기술의 발달로 처리해야할 네트워크의 크기가 점점 커짐에 따라 하나의 서버에서 이를 처리하기 어려워졌기 때문에 분산 처리의 필요성 또한 증가하고 있다. 본 논문에서는 이러한 그래프 데이터가 분산 저장되어있는 환경에서 서브 그래프 탐색을 효율적으로 수행하기 위한 분산 처리시스템을 제안한다. 불필요한 탐색을 줄이기 위해 데이터의 통계정보를 활용해 확률적인 스코어링을 통해 탐색 순서를 정한다. 그래프 네트워크의 정점과 차수의 관계는 데이터의 종류에 따라 다른 특성을 보일 수 있기 때문에 여러 분포적 특성을 갖는 그래프에 대해 다른 스코어링 방법을 통해 불필요한 탐색을 줄이기 위한 스코어를 계산하여 탐색 순서를 결정한다. 결정된 순서에 따라 그래프가 분산 저장된 서버에서 순차적으로 탐색한다. 성능평가에서는 제안하는 기법의 우수성을 입증하기 위해 기존 기법과의 비교를 수행하였으며, 그 결과 기존 기법보다 탐색 시간이 약 3~10% 향상됨을 보였다.

블록 중심 그래프 처리 시스템의 부하 분산을 위한 동적 블록 재배치 기법 (Dynamic Block Reassignment for Load Balancing of Block Centric Graph Processing Systems)

  • 김예원;배민호;오상윤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권5호
    • /
    • pp.177-188
    • /
    • 2018
  • 최근 웹, 소셜 네트워크 서비스, 모바일, 사물인터넷 등의 ICT 기술의 발전으로 인해 처리 및 분석이 필요한 그래프 데이터의 규모가 급속하게 증가하였다. 이러한 대규모 그래프 데이터는 단일 기기에서의 처리가 어렵기 때문에 여러 기기에 나누어 분산/병렬 처리하는 것이 필요하다. 기존 그래프 처리 알고리즘들은 단일 메모리 환경을 기반으로 연구되어 분산/병렬 처리환경에 적용되기 힘들다. 이에 대규모 그래프의 보다 효과적인 분산/병렬 처리를 위해 정점 중심 방식의 그래프 처리 시스템들과, 정점 중심 방식의 단점을 보완한 블록 중심 방식의 그래프 처리 시스템들이 등장하였다. 이러한 시스템들은 초기 그래프 분할 상태가 전체 처리 성능에 상당한 영향을 미친다. 한 번에 최적의 상태로 그래프를 분할하는 것은 매우 어려운 문제이므로, 그래프 처리 시간에 점진적으로 그래프 분할 상태를 개선하는 여러 로드 밸런싱 기법들이 연구되었다. 그러나 기존 기법들은 대부분 정점 중심 그래프 처리 시스템을 대상으로 하여 블록 중심 그래프 처리 시스템에 적용이 어렵다. 본 논문에서는 블록 중심 그래프 처리 시스템을 대상으로 적용 가능한 로드 밸런싱 기법을 제안한다. 제안 기법은 동적으로 블록을 재배치하여 점진적으로 그래프 분할 상태를 개선시키며, 해를 찾아나가는 과정에서 지역 최적해를 벗어나기 위한 블록 분할 전략을 함께 제시한다.