• 제목/요약/키워드: distributed hash table

검색결과 53건 처리시간 0.165초

기계학습 분산 환경을 위한 부하 분산 기법 (Load Balancing Scheme for Machine Learning Distributed Environment)

  • 김영관;이주석;김아정;홍지만
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.25-31
    • /
    • 2021
  • 기계학습이 보편화되면서 기계학습을 활용한 응용 개발 또한 활발하게 이루어지고 있다. 또한 이러한 응용 개발을 지원하기 위한 기계학습 플랫폼 연구도 활발하게 진행되고 있다. 그러나 기계학습 플랫폼 연구가 활발하게 진행되고 있음에도 불구하고 기계학습 플랫폼에 적절한 부하 분산에 관한 연구는 아직 부족하다. 따라서 본 논문에서는 기계학습 분산 환경을 위한 부하 분산 기법을 제안한다. 제안하는 기법은 분산 서버를 레벨 해시 테이블 구조로 구성하고 각 서버의 성능을 고려하여 기계학습 작업을 서버에 할당한다. 이후 분산 서버를 구현하여 실험하고 기존 해싱 기법과 성능을 비교하였다. 제안하는 기법을 기존 해싱 기법과 비교하였을 때 평균 약 26%의 속도 향상을 보였고, 서버에 할당되지 못하고 대기하는 작업의 수가 약 38% 이상 감소함을 보였다.

이동 애드혹 망에서의 서비스 검색을 위한 근접성 기반 오버레이 네트워크 라우팅 (Proximity-based Overlay Network Routing for Service Discovery in Mobile Ad-Hoc Network)

  • 윤현주;이은주;정현구;김진수
    • 한국정보과학회논문지:정보통신
    • /
    • 제31권6호
    • /
    • pp.643-658
    • /
    • 2004
  • 최근 산업 및 연구 단체에서 이동 애드혹 망에 대한 관심이 높아지고 있다. 지금까지의 연구들은 하위 계층에 초점을 맞추고 있었던 것에 반해, 본 논문에서는 이틀 연구의 결과로 형성된 이동 애드혹망을 실제로 이용하기 위한 응용의 하나로 효율적인 서비스 검색 방법을 제시한다. 통신 오버헤드 측면에서 서비스 검색을 효율적으로 하기 위하여 피어 투 피어(P2P) 오버레이 네트위크에서 사용되는 분산 해쉬 테이블 시스템을 이용한다. 그러나 오버레이 네트워크는 물리적 네트워크 토폴로지와 독립적이기 때문에 기존의 유선망에서 사용되던 토폴로지 기반 메커니즘들은 노드들의 이동이 잦아 물리적 토폴로지가 수시로 바뀌는 이동 애드혹 망에 부적합하다. 본 논문에서는 오버레이 네트워크에서 라우팅의 비효율성을 극복하기 위한 근접성 기반 오버레이 네트워크 라우팅 기법을 제안한다. 근접성 기반 오버레이 네트워크 라우팅 기법에서, 각 노드는 1홉 브로드캐스팅을 통해 물리적으로 가까운 노드의 정보를 모으고, 이론 이용하여 논리적으로 목적지에 가까운 노드론 선택하여 메시지를 전송한다. 이러한 방식으로 메시지를 전송할 경우, 분산 해쉬 테이블 시스템과 같이 낮은 오버헤드를 유지하면서 플러딩 기반 기법과 비슷한 정도로 물리적인 홉 수를 줄일 수 있고, 노드들의 이동성이 있는 환경에서도 좋은 성능을 나타낸다는 것을 ns-2 시뮬레이션을 통해 확인할 수 있다.

분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 Cloaking 영역 설정 기법 (A Efficient Cloaking Region Creation Scheme using Hilbert Curves in Distributed Grid Environment)

  • 이아름;엄정호;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.115-126
    • /
    • 2009
  • 최근 무선 통신과 모바일 측위 기술의 발전으로 위치 기반 서비스(Location-Based Service)의 이용이 확산되었다. 그러나 위치 기반 서비스에서 사용자는 사용자의 정확한 위치를 가지고 데이터베이스 서버에 질의를 요청하기 때문에, 사용자의 위치 정보가 상대방에게 노출될 수 있다. 따라서 모바일 사용자에 의한 안전한 위치기반 서비스의 사용을 위해서는 사용자의 개인 정보 보호 방법이 요구된다. 이를 위해 본 논문에서는 위치기반 서비스에서 사용자의 위치정보를 보호하기 위하여, 분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 cloaking 영역 설정 기법을 제안한다. 제안하는 기법은 K-anonymity를 만족하는 cloaking 영역을 생성하기 위해 힐버트 커브의 특성을 분석하고 이를 통해 이웃 셀의 힐버트 커브값을 계산하여 최소화된 cloaking 영역을 설정한다. 아울러, 네트워크 통신비용을 줄이기 위해 분산 해쉬 테이블 구조인 Chord를 사용한다. 마지막으로 성능평가를 통해서 제안하는 기법이 기존의 그리드 기반 cloaking 기법보다 우수함을 보인다.

  • PDF

맵리듀스 잡을 사용한 해시 ID 매핑 테이블 기반 대량 RDF 데이터 변환 방법 (Conversion of Large RDF Data using Hash-based ID Mapping Tables with MapReduce Jobs)

  • 김인아;이규철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.236-239
    • /
    • 2021
  • AI 기술의 성장과 함께 지식 그래프의 크기는 지속적으로 확장되고 있다. 지식 그래프는 주로 트리플이 연결된 RDF로 표현되며, 많은 RDF 저장소들이 RDF 데이터를 압축된 형태의 ID로 변환한다. 그러나 RDF 데이터의 크기가 특정 기준 이상으로 클 경우, 테이블 탐색으로 인한 높은 처리 시간과 메모리 오버헤드가 발생한다. 본 논문에서는 해시 ID 매핑 테이블 기반 RDF 변환을 분산 병렬 프레임워크인 맵리듀스에서 처리하는 방법을 제안한다. 제안한 방법은 RDF 데이터를 정수 기반 ID로 압축 변환하면서, 처리 시간을 단축하고 메모리 오버헤드를 개선한다. 본 논문의 실험 결과, 약 23GB의 LUBM 데이터에 제시한 방법을 적용했을 때, 크기는 약 3.8배 가량 줄어들었으며 약 106초의 변환 시간이 소모되었다.

  • PDF

DHT 기반의 P2P 네트워크에서 사용자 행동양식 및 파일 오염에 관한 측정 연구 (A Measurement Study of User Behavior and File Pollution in DHT-based P2P Networks)

  • 신규용;유진철;이종덕
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권3호
    • /
    • pp.131-140
    • /
    • 2011
  • 부패한 파일을 공유하거나, 인덱스 정보에 잘못된 인덱스 레코드를 삽입하는 등의 파일 오염문제는 대다수의 파일 공유 P2P 시스템들의 실질적인 문제가 되어 왔다. 이러한 파일 오염은 사용자들로 하여금 다운받아도 전혀 득이 되지 않는 오염된 파일들을 다운받도록 하거나, 존재하지 않는 파일들에 대한 비생산적인 다운로드 시도를 유도한다. 파일 오염은 네트워크 자원을 낭비할 뿐만 아니라, 사용자들의 활발한 참여를 제한하기 때문에 적절하게 대처하지 못한다면 향후 파일 공유 P2P 시스템 (혹은 비슷한 분산 환경 정보 공유 어플리케이션)의 성공을 기약하기 힘들다. 따라서 효과적인 오염방지 메커니즘의 개발이 시급하다. 본 논문은 대표적인 DHT (distributed hash table) 기반 P2P 시스템인 Kad 네트워크에서 사용자 행동양식 및 파일 오염에 대한 측정 연구를 통해 향후 효과적인 파일 오염방지 메커니즘을 개발하고자 하는 연구자들에게 실질적으로 활용 가능한 정보를 제공한다.

구조적 피어-투-피어 시스템에서 동적 피어 참여 기반의 효율적인 로드 밸런싱 (An Efficient Load Balancing with the Dynamic Participation of Peers in the Structured Peer-to-Peer System)

  • 송진우;최연오;양성봉
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (D)
    • /
    • pp.235-237
    • /
    • 2006
  • 최근 분산 해쉬 테이블(Distributed Hash Table)을 이용한 구조적 P2P(peer-to-peer) 시스템에서 로드 밸런싱에 관한 연구가 활발하게 진행되고 있다. 일반적으로 P2P 시스템에서의 피어들은 빈번하게 참여하는 동시에 탈퇴하기도 하기 때문에 로드의 불균형이 심화되는 문제점이 있다. 본 논문에서는 구조적 P2P 시스템에서 피어의 참여와 탈퇴 시 발생하는 가상서버의 이동을 효과적으로 관리하는 기법인 PALB(Peer Activity-aware Load Balancing)를 제안한다. 제안하는 PALB는 피어의 참여, 탈퇴 시에 발생하는 로드 불균형을 해결하기 위하여 적절한 수의 가상서버를 가장 적합한 피어에게 분산시킨다. 또한 이전 연구에서 제안한 OLAB(Object Lifetime-aware Load Balancing)와 함께 사용하여 로드 밸런싱 성능을 향상시킬 수 있다. PALB의 성능 평가를 위하여 동적 P2P 시스템 환경을 구성하였고, 피어와 오브젝트의 랜덤 데이터 셋을 이용하여 시뮬레이션을 수행하였다. 시뮬레이션 결과 PALB가 기존의 시스템에 비하여 더 적은 비용으로 더 나은 로드 밸런싱을 수행함을 확인하였다. 또한 OLAB와 동시에 사용하였을 경우, 매우 뛰어난 성능을 보임을 확인하였다.

  • PDF

RDF 온톨로지로 구성한 Tapestry상의 Range Query (Range Query on Tapestry organized by RDF Ontology)

  • 한종욱;한동윤;유영호;김경석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (D)
    • /
    • pp.370-374
    • /
    • 2007
  • 현재 컴퓨팅은 하나의 개인 컴퓨터에서 이런 개인 컴퓨터들이 하나로 묶인 네트워크 컴퓨팅 형태로 발전 되었고, 앞으로 더욱 네트워크 컴퓨팅 중심으로 발전될 것은 자명한 사실이다. 그 가운데 인터넷과 더불어 P2P(Peer-to-Peer) 시스템이 발전되었다. 인터넷을 중심으로 정보통신 분야는 눈부신 발전을 하였지만, 이제 인터넷을 통한 발전도 한계를 맞고 있다. 너무 많은 정보 가운데 사용자가 원하는 정보를 어떻게 찾을 것인가란 문제를 두고 현재 시멘틱 웹[1]을 제시하여 이를 해결하고자 하는 노력들이 있다. 이러한 문제점은 P2P 시스템에서도 동일하게 나타난다. 이를 해결하고자 시멘틱 웹의 요소인 RDF(Resource Description Framework)[2]를 이용한 P2P 시스템[3][4]이 제안되었다. 하지만 DHT(Distributed Hash Table)를 이용한 P2P 시스템의 특성상 연관된 자료라도 어디에 배치될지 알 수 없다. 이러한 특성을 가진 시스템에서 Range Query를 하는 것은 P2P 시스템이 가진 문제였고, 이를 해결할 한 가지 방법을 여기에서 제안한다.

  • PDF

CLAM 에이전트 기반 Directory Facilitator를 위한 효율적인 서비스 디스커버리 프로토콜 구현 (Implementation of an Efficient Service Discovery Protocol for Directory Facilitator Based on CALM Agent)

  • 이승현;신동렬;장경수
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권6호
    • /
    • pp.275-282
    • /
    • 2011
  • 현재, UPnP, Jini, SLP와 같은 서비스 디스커버리 프로토콜은 서비스의 표현과 기술, 그리고 메시지 교환 패턴과 같은 기본적인 서비스 디스커버리 기능만 제공한다. 이것은 서비스 디스커버리 프로토콜 사이에 서비스의 상호운영성을 저해하는 요소로 작용한다. 따라서, 본 논문에서는 이기종 서비스간의 상호운영성을 높일 수 있도록 CLAM (Component-based Autonomic Layered Middleware) 에이전트 플랫폼을 구성하고, 플랫폼 내의 DF (Directory Facilitator)의 기능을 확장하여 효율적인 서비스가 가능하도록 DF 에이전트를 설계하고 구현한다. 또한 DF 에이전트에서 확장성과 상호운영성을 보장하기 위해 DHT-Chord 알고리즘을 이용한 효율적인 서비스 디스커버리 메커니즘을 제안한다.

Reducing Outgoing Traffic of Proxy Cache by Using Client-Cluster

  • Kim Kyung-Baek;Park Dae-Yeon
    • Journal of Communications and Networks
    • /
    • 제8권3호
    • /
    • pp.330-338
    • /
    • 2006
  • Many web cache systems and policies concerning them have been proposed. These studies, however, consider large objects less useful than small objects in terms of performance, and evict them as soon as possible. Even if this approach increases the hit rate, the byte hit rate decreases and the connections occurring over congested links to outside networks waste more bandwidth in obtaining large objects. This paper puts forth a client-cluster approach for improving the web cache system. The client-cluster is composed of the residual resources of clients and utilizes them as exclusive storage for large objects. This proposed system achieves not only a high hit rate but also a high byte hit rate, while reducing outgoing traffic. The distributed hash table (DHT) based peer-to-peer lookup protocol is utilized to manage the client-cluster. With the natural characteristics of this protocol, the proposed system with the client-cluster is self-organizing, fault-tolerant, well-balanced, and scalable. Additionally, the large objects are managed with an index based allocation method, which balances the loads of all clients well. The performance of the cache system is examined via a trace driven simulation and an effective enhancement of the proxy cache performance is demonstrated.

Cost-Effective Replication Schemes for Query Load Balancing in DHT-Based Peer-to-Peer File Searches

  • Cao, Qi;Fujita, Satoshi
    • Journal of Information Processing Systems
    • /
    • 제10권4호
    • /
    • pp.628-645
    • /
    • 2014
  • In past few years, distributed hash table (DHT)-based P2P systems have been proven to be a promising way to manage decentralized index information and provide efficient lookup services. However, the skewness of users' preferences regarding keywords contained in a multi-keyword query causes a query load imbalance that combines both routing and response load. This imbalance means long file retrieval latency that negatively influences the overall system performance. Although index replication has a great potential for alleviating this problem, existing schemes did not explicitly address it or incurred high cost. To overcome this issue, we propose, in this paper, an integrated solution that consists of three replication schemes to alleviate query load imbalance while minimizing the cost. The first scheme is an active index replication that is used in order to decrease routing load in the system and to distribute response load of an index among peers that store replicas of the index. The second scheme is a proactive pointer replication that places location information of each index to a predetermined number of peers for reducing maintenance cost between the index and its replicas. The third scheme is a passive index replication that guarantees the maximum query load of peers. The result of simulations indicates that the proposed schemes can help alleviate the query load imbalance of peers. Moreover, it was found by comparison that our schemes are more cost-effective on placing replicas than PCache and EAD.