• 제목/요약/키워드: Scalability Problem

검색결과 275건 처리시간 0.027초

유사한 인기도 추세를 갖는 웹 객체들의 클러스터링 (Clustering of Web Objects with Similar Popularity Trends)

  • 노웅기
    • 정보처리학회논문지D
    • /
    • 제15D권4호
    • /
    • pp.485-494
    • /
    • 2008
  • 인터넷이 광범위하게 활용됨에 따라 검색 키워드, 멀티미디어 객체, 웹 페이지, 블로그 등의 다양한 웹 객체들이 크게 증가하고 있다. 이러한 웹 객체들의 인기도는 시간에 따라 변화하며, 그러한 웹 객체 인기도의 시간적 패턴에 대한 마이닝이 여러 가지 웹 응용에 필요한 중요한 연구 과제가 되고 있다. 예를 들어, 검색 키워드에 대한 인기도 패턴의 분석은 앞으로 인기가 높아질 키워드를 미리 예측할 수 있게 하여 광고주들에게 키워드를 판매하기 위한 가격을 결정하는 데에 중요한 자료가 될 수 있다. 하지만, 웹 객체 인기도가 시간에 따라 변화하고 웹 객체의 개수가 매우 방대하다는 특성으로 인하여 웹 객체 인기도에 대한 분석은 매우 어려운 문제이다. 본 논문에서는 웹 객체 인기도의 시간적 패턴을 마이닝하기 위한 효율적인 알고리즘을 제안한다. 본 논문은 웹 객체 인기도를 시계열로 표현하고, 두 웹 객체 인기도 간의 유사성을 측정하기 위하여 gap 척도를 제안한다. gap 척도의 효율적인 계산을 위하여 FFT를 활용한 알고리즘을 제안하고, 밀도기반 클러스터링 알고리즘을 이용하여 유사한 인기도 추세를 갖는 웹 객체들의 클러스터를 생성한다. 본 논문에서는 웹 객체 인기도가 특정 분포를 따르거나 주기적이라고 가정하지 않는다. Google Trends 웹 사이트로부터 구한 검색 키워드 인기도를 이용한 실험을 통하여, 제안된 알고리즘이 실세계 응용에서 유용함을 보인다.

그리드 환경에서 SP분할 알고리즘을 이용한 확장성 있는 RFID 태그 판별 (RFID Tag Identification with Scalability Using SP-Division Algorithm on the Grid Environment)

  • 신명숙;안성수;이준
    • 한국정보통신학회논문지
    • /
    • 제13권10호
    • /
    • pp.2105-2112
    • /
    • 2009
  • 최근 RFID 시스템의 채택이 다양한 분야에서 빠르게 진행되고 있다. 그러나 RFID 시스템의 대중화를 위해서는 RFID 태그의 정보를 무단으로 획득함으로써 발생할 수 있는 프라이버시 침해 문제를 해결해야 한다. 이 문제를 해결하기 위해서 기존 연구들 중에서 가장 안전한 M. Ohkubo 등의 Hash-Chain 기법이 있다. 그러나 이 기법은 태그를 판별할 때 엄청난 태그 수의 증가로 인해 막대한 계산 능력을 요구하는 문제점이 있다. 따라서 본 논문에서는 프라이버시 보호 기법의 필수 보안 요건 3가지를 모두 만족하면서 태그 판별 시간을 감소할 수 있는 방법을 제안한다. 먼저 이질적인 시스템으로 구성되는 그리드 환경의 특성으로 인해 최적화된 성능을 얻기 위하여 Hash-Chain 계산 테이블을 생성하는 프로그램을 작성한 후 각 노드들의 성능 측정한다. 그 측정 결과를 이용하여 SP들을 분할하는 SP분할 알고리즘을 제안한다. 또한, 구현 결과 Hash-Chain 길이 1000, 노드 수 4로 고정된 상태에서 측정한 결과를 단일 노드와 균등분할, SP분할을 비교하면 SP들의 총수가 1000개 일 때 40%, 49%, 2000개 일 때 42%, 51%, 3000개 일 때 39%, 49%, 4000개 일 때 46%, 55%가 향상되었다.

적응형 군집화 기반 확장 용이한 협업 필터링 기법 (Scalable Collaborative Filtering Technique based on Adaptive Clustering)

  • 이오준;홍민성;이원진;이재동
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.73-92
    • /
    • 2014
  • 기존 협업 필터링 기법은 사용자들의 아이템에 대한 선호도를 기반으로 유사 아이템 집합 또는 유사 사용자 집합을 구성하고, 이를 이용해 예측된 사용자의 특정 아이템에 대한 선호도를 기반으로 추천을 수행한다. 이로 인해, 사용자 선호도 정보가 부족하게 되면, 유사 아이템 사용자 집합의 신뢰도가 낮아지고, 추천 서비스의 신뢰도 또한 따라서 낮아진다. 또한, 서비스의 규모가 커질수록, 유사 아이템, 사용자 집합의 생성에 걸리는 시간은 기하급수적으로 증가하고 추천서비스의 응답시간 또한 그에 따라 증가하게 된다. 위와 같은 문제점을 해결하기 위해 본 논문에서는 적응형 군집화 기법을 제안하고 이를 적용한 협업 필터링 기법을 제안하고 있다. 이 기법은 크게 네 가지 방법으로 이루어진다. 첫째, 사용자와 아이템의 특성 벡터를 기반으로 사용자와 아이템 각각을 군집화 하여, 기존 협업 필터링 기법에서 유사 아이템, 사용자 집합을 생성하는데 소요되는 시간을 절약하며, 사용자 선호도 정보만을 이용한 부분 집합 생성보다 추천의 신뢰도를 높이고, 초기 평가 문제와 초기 이용자 문제를 일부 해소한다. 둘째, 미리 구성된 사용자와 아이템의 군집을 기반으로 군집간의 선호도를 이용해 추천을 수행한다. 사용자가 속한 군집의 선호도가 높은 순서대로 아이템 군집을 조회하여 사용자에게 제공할 아이템 목록을 구성하여, 추천 시스템의 부하 대부분을 모델 생성 단계에서 부담하고 실제 수행 시 부하를 최소화한다. 셋째, 누락된 사용자 선호도 정보를 사용자와 아이템 군집을 이용하여 예측함으로써 협업 필터링 추천 기법의 사용자 선호도 정보 희박성으로 인한 문제를 해소한다. 넷째, 사용자와 아이템의 특성 벡터를 사용자의 피드백에 따라 학습시켜 아이템과 사용자의 정성적 특성 정량화의 어려움을 해결한다. 본 연구의 검증은 기존에 제안되었던 하이브리드 필터링 기법들과의 성능 비교를 통해 이루어졌으며, 평가 방법으로는 평균 절대 오차와 응답 시간을 이용하였다.

성형 VPN 구조에서의 주문형 터널 생성 메커니즘 (On-Demand Tunnel Creation Mechanism in Star VPN Topology)

  • 변해선;이미정
    • 한국정보과학회논문지:정보통신
    • /
    • 제32권4호
    • /
    • pp.452-461
    • /
    • 2005
  • 성형(Star) VPN(Virtual Private Network) 구조에서는 통신하는 두 CPE(Customer Premise Equipment) VPN GW(Gateway) 간 발생하는 트래픽이 항상 Center VPN GW를 거쳐서 전송되므로 비효율적인 트래픽 전송이 이루어진다. 또한 Center VPN GW에서의 패킷 프로세싱으로 인한 과부하도 발생한다. 이를 해결하기 방안으로 IPSec(IP Security)의 IKE(Internet Key Exchange) 메커니즘을 이용하여 통신하는 두 CPE VPN GW 간 직접터널을 설립할 수 있으나 이 경우에는 터널 설립 및 관리가 복잡하고 오버헤드가 크다 이에 본 논문에서는 통신하는 CPE VPN SW 간에 자동적으로 직접터널을 설립할 수 있게 하는 SVOT(Star VPN On-demand Tunnel) 방안을 제안한다. SVOT 방안에서는 CPE YPN GW가 트래픽 모니터링 정보를 기반으로 직접터널을 설립할 것인지를 판단한다 CPE VPN GW는 Center VPN GW로부터 터널 설립에 필요한 제반정보들을 제공받아 상대 CPE VPN GW와 직접터널을 설립한다. 시뮬레이션을 통해 제안하는 방안에 대하여 성능을 조사하였고, 이와 함께 기본적으로 Center VPN GW를 통하여 모든 트래픽이 전송되는 성형 VPN 구조, 모든 CPE VPN GW간 풀-메시(Full-mesh)로 터널 연결 정보를 유지하고 있는 풀-rll시 VPN 구조와 성능을 비교하였다. 시뮬레이션 결과, 제안하는 SVOT 방안이 기본적인 성형 VPN 구조에 비해 확장성과 트래픽 전송효율성, Center VPN GW의 과부하를 방지하는 측면에서 우수한 성능을 보이면서 종단간 지연 및 처리율에 있어서는 풀-메시 VPN 구조와 거의 비슷한 성능을 보임을 확인할 수 있었다.

A Possible Path per Link CBR Algorithm for Interference Avoidance in MPLS Networks

  • Sa-Ngiamsak, Wisitsak;Varakulsiripunth, Ruttikorn
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.772-776
    • /
    • 2004
  • This paper proposes an interference avoidance approach for Constraint-Based Routing (CBR) algorithm in the Multi-Protocol Label Switching (MPLS) network. The MPLS network itself has a capability of integrating among any layer-3 protocols and any layer-2 protocols of the OSI model. It is based on the label switching technology, which is fast and flexible switching technique using pre-defined Label Switching Paths (LSPs). The MPLS network is a solution for the Traffic Engineering(TE), Quality of Service (QoS), Virtual Private Network (VPN), and Constraint-Based Routing (CBR) issues. According to the MPLS CBR, routing performance requirements are capability for on-line routing, high network throughput, high network utilization, high network scalability, fast rerouting performance, low percentage of call-setup request blocking, and low calculation complexity. There are many previously proposed algorithms such as minimum hop (MH) algorithm, widest shortest path (WSP) algorithm, and minimum interference routing algorithm (MIRA). The MIRA algorithm is currently seemed to be the best solution for the MPLS routing problem in case of selecting a path with minimum interference level. It achieves lower call-setup request blocking, lower interference level, higher network utilization and higher network throughput. However, it suffers from routing calculation complexity which makes it difficult to real task implementation. In this paper, there are three objectives for routing algorithm design, which are minimizing interference levels with other source-destination node pairs, minimizing resource usage by selecting a minimum hop path first, and reducing calculation complexity. The proposed CBR algorithm is based on power factor calculation of total amount of possible path per link and the residual bandwidth in the network. A path with high power factor should be considered as minimum interference path and should be selected for path setup. With the proposed algorithm, all of the three objectives are attained and the approach of selection of a high power factor path could minimize interference level among all source-destination node pairs. The approach of selection of a shortest path from many equal power factor paths approach could minimize the usage of network resource. Then the network has higher resource reservation for future call-setup request. Moreover, the calculation of possible path per link (or interference level indicator) is run only whenever the network topology has been changed. Hence, this approach could reduce routing calculation complexity. The simulation results show that the proposed algorithm has good performance over high network utilization, low call-setup blocking percentage and low routing computation complexity.

  • PDF

Big Data Based Dynamic Flow Aggregation over 5G Network Slicing

  • Sun, Guolin;Mareri, Bruce;Liu, Guisong;Fang, Xiufen;Jiang, Wei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권10호
    • /
    • pp.4717-4737
    • /
    • 2017
  • Today, smart grids, smart homes, smart water networks, and intelligent transportation, are infrastructure systems that connect our world more than we ever thought possible and are associated with a single concept, the Internet of Things (IoT). The number of devices connected to the IoT and hence the number of traffic flow increases continuously, as well as the emergence of new applications. Although cutting-edge hardware technology can be employed to achieve a fast implementation to handle this huge data streams, there will always be a limit on size of traffic supported by a given architecture. However, recent cloud-based big data technologies fortunately offer an ideal environment to handle this issue. Moreover, the ever-increasing high volume of traffic created on demand presents great challenges for flow management. As a solution, flow aggregation decreases the number of flows needed to be processed by the network. The previous works in the literature prove that most of aggregation strategies designed for smart grids aim at optimizing system operation performance. They consider a common identifier to aggregate traffic on each device, having its independent static aggregation policy. In this paper, we propose a dynamic approach to aggregate flows based on traffic characteristics and device preferences. Our algorithm runs on a big data platform to provide an end-to-end network visibility of flows, which performs high-speed and high-volume computations to identify the clusters of similar flows and aggregate massive number of mice flows into a few meta-flows. Compared with existing solutions, our approach dynamically aggregates large number of such small flows into fewer flows, based on traffic characteristics and access node preferences. Using this approach, we alleviate the problem of processing a large amount of micro flows, and also significantly improve the accuracy of meeting the access node QoS demands. We conducted experiments, using a dataset of up to 100,000 flows, and studied the performance of our algorithm analytically. The experimental results are presented to show the promising effectiveness and scalability of our proposed approach.

파장 라우팅 광학 네트워크-온-칩에서의 최소 개수 파장 할당 기법 (A Minimum Wavelength Assignment Technique for Wavelength-routed Optical Network-on-Chip)

  • 김영석;이재훈;최적;한태희
    • 전자공학회논문지
    • /
    • 제50권10호
    • /
    • pp.82-90
    • /
    • 2013
  • 실리콘 포토닉스 기반의 광학 네트워크-온-칩(Optical NoC, ONoC)은 차세대 엑사스케일 컴퓨팅(Exascale computing)을 위한 유망 아키텍처 기술 중 하나이다. 최근 들어 활발해지고 있는 ONoC의 연구들은 파장 분할 다중화(Wavelength Division Multiplexing, WDM)를 이용하여 대역폭을 더욱 향상시키고 광신호의 경로 충돌을 방지하는데 초점을 두고 있다. 하지만 기존 ONoC 연구에서는 중앙 집중형 라우터 구조 위주로 Processing Element(PE)의 수가 증가함에 따라 WDM을 위해 사용되는 파장 수가 선형적으로 증가한다. 이러한 파장 수의 증가는 다중 파장을 위한 광원 및 광학 스위치 등 광학 장치를 구성하기 위한 비용을 증가시키고 광신호의 상호 간섭에 의한 감쇄 효과 등으로 ONoC의 확장성을 제한한다. 본 논문에서는 WDM 기반 2D-mesh 구조의 ONoC를 위한 분산형 광학 라우팅 아키텍처를 제안하고 커뮤니케이션의 연결정도에 따라 필요한 파장 수를 최소화하는 방법을 제시하였다. 기존 중앙 집중형 라우팅 아키텍처와 비교하여 $8{\times}8$ 네트워크에서 평균 56% 파장 수와, 21%의 광학 스위치 수를 감소시켰다.

비휘발성 메모리를 고려한 고성능 저널링 기법 설계 및 평가 (Design and Evaluation of a High-performance Journaling Scheme for Non-volatile Memory)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.368-374
    • /
    • 2020
  • 저널링 파일 시스템은 저널로 알려진 데이터 구조에 커밋되지 않은 파일 시스템의 변경 사항을 관리하여 예기치 않은 장애 발생 시 파일 시스템을 복원한다. 저널링에 필요한 추가 쓰기 연산은 저널링 파일 시스템의 성능에 부정적인 영향을 미친다. 최근 출시된 바이트 수준 접근이 가능한 고성능 비휘발성 메모리는 비휘발성 메모리 공간을 저널용 스토리지로 제공함으로써 저널링 파일 시스템의 성능 문제를 쉽게 해결할 수 있을 것으로 기대되었다. 그러나 고성능 비휘발성 메모리를 사용하더라도 저널링 파일 시스템의 트랜잭션 관리에 내재된 확장성 문제로 성능 문제는 여전히 발생한다. 이 문제를 해결하기 위해 본 논문에서는 파일 시스템 트랜잭션 처리를 위해 확장 가능한 성능을 제공하는 기법을 제안한다. 제안하는 기법은 트랜잭션 처리 상에서 락프리 자료구조를 사용하고 여러 입출력 채널을 지원하는 고성능 저장 장치에 동시에 입출력 여러 요청들을 처리할 수 있도록 한다. 성능 평가를 위해 제안하는 기법을 ext4 파일 시스템에 구현하였고, 멀티코어 서버에서 구현된 파일 시스템과 기존 ext4 파일 시스템과 최근에 제안된 비휘발성 메모리 기반 저널링 파일 시스템을 여러 벤치마크 프로그램을 사용하여 비교했고, 이를 통해 본 연구에서 구현한 파일 시스템이 ext4 파일 시스템과 최근의 비휘발성 메모리 기반 저널링 파일 시스템보다 각각 2.9/2.3배 더 나은 성능을 보인다는 것을 보여준다.

DPay : 피어-투-피어 환경을 위한 분산 해시 테이블 기반의 소액 지불 시스템 (DPay : Distributed-Hash-Table-based Micropayment System for Peer-to-Peer Environments)

  • 서대일;김수현;송규원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권10호
    • /
    • pp.752-760
    • /
    • 2009
  • 피어-투-피어(P2P) 시스템은 참여하는 사용자가 소유하고 있는 리소스를 서로 간에 공유하여 많은 이득을 얻을 수 있게 해준다. 그러나 사용자들이 악의적인 행동을 하거나 오프라인일 때, P2P 시스템이나 응용 프로그램들은 정상적인 서비스를 제공하는데 문제가 발생 할 수 있다. 소액 지불 시스템을 이용하여 서비스 제공에 대해 보상을 해준다면 이러한 문제를 해결하는데 도움이 될 수 있다. 지금까지 대부분의 소액 지불 시스템은 중앙 집중화 된 브로커를 사용하는데, 브로커에 많은 부하를 발생시키는 문제점을 가지고 있다. 예를 들어, 코인의 소유자가 오프라인인 경우 브로커가 소유자를 대신하여 지불 정보를 처리하는데 이는 브로커의 부하를 증가시키는 주요 원인이며 P2P 시스템 특성상 매우 빈번하게 발생 할 수밖에 없다. 본 논문에서 제안하는 DPay는 P2P 환경을 위한 소액 지불 시스템으로, 분산 해시 테이블을 이용하여 모든 암호화된 지불 정보를 안전하게 기록하고 다운타임 프로토콜을 사용하지 않음으로써 브로커의 부하를 획기적으로 감소시켜 시스템의 확장성을 크게 향상 시킨 시스템이다. 또한 실시간 중복 결제 검출 방법을 제안하고, DPay와 기존 지불 시스템 간의 비교와 실험 결과를 제시한다. 실험결과 DPay는 브로커의 부하가 기존 시스템 대비 평균 30%로 줄어든 것으로 나타났으며, 실시간 중복 결제 검출과 보다 안전한 지불 정보 기록을 가능하게 하여 다양한 P2P 시스템에 적용할 수 있을 것으로 기대된다.

관계형 데이터베이스를 이용한 효율적인 OWL 속성 추론 기법 (An Efficient Reasoning Method for OWL Properties using Relational Databases)

  • 린제시;이지현;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권2호
    • /
    • pp.92-103
    • /
    • 2010
  • OWL(Web Ontology Language)은 시맨틱웹에서 온톨로지를 배포하고 공유하기 위한 W3C의 정식 권고안(Recommendation)으로 채택되었다. OWL 데이터의 숨겨진 정보를 유추하기 위해서 OWL 추론기들이 많이 개발되었다. 그러나 OWL 추론기들은 메모리를 기반으로 처리되기 때문에 대용량 OWL 데이터를 처리하기는 어렵다. 이런 문제를 해결하기 위해서 관계형 데이터베이스에 기반한 시스템이 제안되었다. 이 시스템들은 OWL 데이터를 데이터베이스에 저장하여 데이터베이스 내에서 추론을 한다. 하지만, 이 시스템들은 OWL에서 정의되는 모든 속성(Property)을 고려하지 않았고, 추론에 비효율적인 스키마를 사용하고 있다. 그리고 실제 응용환경에서 자주 발생하는 OWL 데이터 변경에 대해서도 다루지 않았다. 본 논문에서는 관계형 데이터베이스에 기반한 여러 스키마를 비교하고, 효율적인 추론을 위한 개선된 스키마를 제안한다. 그리고 OWL에서 정의되는 모든 종류의 속성을 지원하기 위한 완전하고 효율적인 추론 알고리즘과 OWL 데이터 변경에 대해 효율적인 갱신 방법을 제안한다. 실험결과를 보면 본 논문에서 제안한 스키마가 OWL 데이터 저장 및 추론에 대해 기존 스키마보다 더 좋은 성능을 보이며, OWL 데이터 갱신 방법도 기존의 방법보다 더 효율적이다.