• 제목/요약/키워드: data scalability

검색결과 574건 처리시간 0.028초

Secured MPLS-based Mobile IP using the Private IP Address

  • Wiroon, Sriborrirux;Kim, Jeong-Beom;Rhe, Yun-Jung;Kim, Tai-Yun
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (하)
    • /
    • pp.1289-1292
    • /
    • 2002
  • The number of connected computers in the Internet, which has reached a state in which its address space is becoming insufficient is exponentially increased. Also nowadays modern Laptops and Mobile terminal are being used more and more. As hewn, the number of available IPv4 address is limited and many organizations have limited budget to use the global address. So the way to overcome such problems is using private addresses in their networks. In addition, the use of private address makes the system more secure. Moreover, we have considered about supporting of the scalability of data forwarding processes of nodes in their network especially Mobile IP data communication. Thus, we propose the integration of MPLS and Mobile IP network. Also we propose the security services of a constrained LSP for the MPLS payloads.

  • PDF

A MapReduce-based Artificial Neural Network Churn Prediction for Music Streaming Service

  • Chen, Min
    • International Journal of Computer Science & Network Security
    • /
    • 제22권1호
    • /
    • pp.55-60
    • /
    • 2022
  • Churn prediction is a critical long-term problem for many business like music, games, magazines etc. The churn probability can be used to study many aspects of a business including proactive customer marketing, sales prediction, and churn-sensitive pricing models. It is quite challenging to design machine learning model to predict the customer churn accurately due to the large volume of the time-series data and the temporal issues of the data. In this paper, a parallel artificial neural network is proposed to create a highly-accurate customer churn model on a large customer dataset. The proposed model has achieved significant improvement in the accuracy of churn prediction. The scalability and effectiveness of the proposed algorithm is also studied.

ADMM for least square problems with pairwise-difference penalties for coefficient grouping

  • Park, Soohee;Shin, Seung Jun
    • Communications for Statistical Applications and Methods
    • /
    • 제29권4호
    • /
    • pp.441-451
    • /
    • 2022
  • In the era of bigdata, scalability is a crucial issue in learning models. Among many others, the Alternating Direction of Multipliers (ADMM, Boyd et al., 2011) algorithm has gained great popularity in solving large-scale problems efficiently. In this article, we propose applying the ADMM algorithm to solve the least square problem penalized by the pairwise-difference penalty, frequently used to identify group structures among coefficients. ADMM algorithm enables us to solve the high-dimensional problem efficiently in a unified fashion and thus allows us to employ several different types of penalty functions such as LASSO, Elastic Net, SCAD, and MCP for the penalized problem. Additionally, the ADMM algorithm naturally extends the algorithm to distributed computation and real-time updates, both desirable when dealing with large amounts of data.

Significance and Research Challenges of Defensive and Offensive Cybersecurity in Smart Grid

  • Hana, Mujlid
    • International Journal of Computer Science & Network Security
    • /
    • 제22권12호
    • /
    • pp.29-36
    • /
    • 2022
  • Smart grid (SG) software platforms and communication networks that run and manage the entire grid are increasingly concerned about cyber security. Characteristics of the smart grid networks, including heterogeneity, time restrictions, bandwidth, scalability, and other factors make it difficult to secure. The age-old strategy of "building bigger walls" is no longer sufficient given the rise in the quantity and size of cyberattacks as well as the sophisticated methods threat actor uses to hide their actions. Cyber security experts utilize technologies and procedures to defend IT systems and data from intruders. The primary objective of every organization's cybersecurity team is to safeguard data and information technology (IT) infrastructure. Consequently, further research is required to create guidelines and methods that are compatible with smart grid security. In this study, we have discussed objectives of of smart grid security, challenges of smart grid security, defensive cybersecurity techniques, offensive cybersecurity techniques and open research challenges of cybersecurity.

A machine learning assisted optical multistage interconnection network: Performance analysis and hardware demonstration

  • Sangeetha Rengachary Gopalan;Hemanth Chandran;Nithin Vijayan;Vikas Yadav;Shivam Mishra
    • ETRI Journal
    • /
    • 제45권1호
    • /
    • pp.60-74
    • /
    • 2023
  • Integration of the machine learning (ML) technique in all-optical networks can enhance the effectiveness of resource utilization, quality of service assurances, and scalability in optical networks. All-optical multistage interconnection networks (MINs) are implicitly designed to withstand the increasing highvolume traffic demands at data centers. However, the contention resolution mechanism in MINs becomes a bottleneck in handling such data traffic. In this paper, a select list of ML algorithms replaces the traditional electronic signal processing methods used to resolve contention in MIN. The suitability of these algorithms in improving the performance of the entire network is assessed in terms of injection rate, average latency, and latency distribution. Our findings showed that the ML module is recommended for improving the performance of the network. The improved performance and traffic grooming capabilities of the module are also validated by using a hardware testbed.

Criteria for implementing artificial intelligence systems in reproductive medicine

  • Enric Guell
    • Clinical and Experimental Reproductive Medicine
    • /
    • 제51권1호
    • /
    • pp.1-12
    • /
    • 2024
  • This review article discusses the integration of artificial intelligence (AI) in assisted reproductive technology and provides key concepts to consider when introducing AI systems into reproductive medicine practices. The article highlights the various applications of AI in reproductive medicine and discusses whether to use commercial or in-house AI systems. This review also provides criteria for implementing new AI systems in the laboratory and discusses the factors that should be considered when introducing AI in the laboratory, including the user interface, scalability, training, support, follow-up, cost, ethics, and data quality. The article emphasises the importance of ethical considerations, data quality, and continuous algorithm updates to ensure the accuracy and safety of AI systems.

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

분산 공간 데이터 스트림 처리에서 질의 영역의 겹침을 고려한 공간 연산 배치 기법 (Spatial Operation Allocation Scheme over Common Query Regions for Distributed Spatial Data Stream Processing)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제13권6호
    • /
    • pp.2713-2719
    • /
    • 2012
  • 위치를 기반으로 하는 서비스가 다양해짐에 따라 고가용성과 고확장성을 제공하기 위한 분산 데이터 스트림 처리 기법에 대한 연구가 널리 수행되고 있다. 기존 연구는 분산된 노드들에서 부하의 균형을 유지하기 위해 공간 데이터 스트림의 지리적인 특성을 고려하지 않고 있어 공간적으로 인접한 연산을 수행함에 있어 전체 시스템의 부하를 증가시키고 있다. 본 논문에서는 분산 환경의 공간 데이터 스트림을 처리하기 위해 공간 영역의 겹침을 고려한 연산배치 기법을 제안한다. 제안 기법에서는 인접한 공간 영역을 대상으로 하는 연산을 효율적으로 분리하기 위해 질의 영역이 겹치는 부분의 연산을 우선적으로 동일 노드에 분배하여 중복 영역에 대한 공유의 최대화를 보장한다.

대용량 메모리를 가진 병렬 데이터베이스 시스템의 조인 연산 (Join Operation of Parallel Database System with Large Main Memory)

  • 박영규
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.51-58
    • /
    • 2007
  • 확장성에서 장점을 가지고 있는 비공유 병렬 프로세서 구조는 병렬 데이터베이스 시스템에서 많이 적용되고 있는 구조이다. 그러나 비공유 병렬 프로세서 구조는 데이터의 분포가 전체 프로세서에게 균일하게 분포되어 있지 않을 경우에는 일부 프로세서에게 부하가 집중되고 이로 인한 성능의 감소가 불가피하게 되는 단점이 있다. 특히 부하의 불균형 정도가 심한 경우에 조인 연산을 수행할 때 이런 성능 감소의 단점은 두드러진다. 본 논문은 비공유 병렬 프로세서 구조에서 부하의 불균형 정도가 심한 경우에도, 조인 연산을 실시하기 전에 부하 불균형을 고려함으로써 성능 감소를 최소화하고, 메모리의 대용량화를 이용하여 성능을 높인 조인 알고리즘을 제시한다. 또한 알고리즘의 성능 분석을 위한 분석 모델을 제시하며, 분석 모델을 통하여 데이터 불균형 문제를 해결하기 위한 다른 알고리즘과의 성능을 비교한다.

  • PDF

Wireless sensor networks for long-term structural health monitoring

  • Meyer, Jonas;Bischoff, Reinhard;Feltrin, Glauco;Motavalli, Masoud
    • Smart Structures and Systems
    • /
    • 제6권3호
    • /
    • pp.263-275
    • /
    • 2010
  • In the last decade, wireless sensor networks have emerged as a promising technology that could accelerate progress in the field of structural monitoring. The main advantages of wireless sensor networks compared to conventional monitoring technologies are fast deployment, small interference with the surroundings, self-organization, flexibility and scalability. These features could enable mass application of monitoring systems, even on smaller structures. However, since wireless sensor network nodes are battery powered and data communication is the most energy consuming task, transferring all the acquired raw data through the network would dramatically limit system lifetime. Hence, data reduction has to be achieved at the node level in order to meet the system lifetime requirements of real life applications. The objective of this paper is to discuss some general aspects of data processing and management in monitoring systems based on wireless sensor networks, to present a prototype monitoring system for civil engineering structures, and to illustrate long-term field test results.