• 제목/요약/키워드: Big Node

검색결과 125건 처리시간 0.028초

빅데이터 패키지 선정 방법 (Method for Selecting a Big Data Package)

  • 변대호
    • 디지털융복합연구
    • /
    • 제11권10호
    • /
    • pp.47-57
    • /
    • 2013
  • 빅데이터 분석은 데이터의 양, 처리속도, 다양성 측면에서 데이터 마이닝과 달리 문제해결과 의사결정을 위해서는 새로운 도구를 필요로 한다. 많은 글로벌 IT기업들은 사용하기 쉽고 기능성이 우수한 모델링 능력을 가진 다양한 빅데이터 제품을 출시하고 있다. 빅데이터 패키지는 분석도구, 인프라, 플랫폼 형태로 하드웨어와 소프트웨어를 포함한 솔루션이다. 빅데이터의 수집, 저장, 분석, 시각화가 가능한 제품이다. 빅데이터 패키지는 업체별로 제품 종류가 많고 복잡한 기능을 가질 뿐만 아니라 선정에 있어서 전문 지식을 필요로 하며 일반적인 소프트웨어 패키지보다 그 중요성이 높기 때문에 의사결정 방법의 개발이 요구된다. 본 연구는 빅데이터 패키지 도입을 위한 의사결정지원방법을 제안하는 것이 목표이다. 문헌적 고찰을 통하여 빅데이터 패키지의 특징과 기능을 비교하고, 선정기준을 제안한다. 패키지 도입 타당성을 평가하기 위하여 비용과 혜택 각각을 목표노드로 하는 AHP 모델 및 선정기준을 목표노드로 하는 AHP 모델을 제안하고 이들을 결합하여 최적의 패키지를 선정하는 과정을 보인다.

분산환경에서 빅 데이터 처리 기법 (Big Data Processing Scheme of Distribution Environment)

  • 정윤수;한군희
    • 디지털융복합연구
    • /
    • 제12권6호
    • /
    • pp.311-316
    • /
    • 2014
  • 소셜 네트워크와 스마트폰의 대중화로 인하여 서버에 저장되어 있는 데이터를 손쉽게 사용할 수 있는 빅데이터 서비스가 증가하고 있다. 빅 데이터 처리기술은 빅 데이터 서비스에서 가장 중요한 기술 중 하나지만 보안에 대한 해결책이 미미한 상태이다. 본 논문에서는 빅 데이터 서비스에서 제공되는 분산된 대용량 데이터를 이중 해쉬를 이용하여 사용자가 손쉽게 데이터에 접근할 수 있는 다중 해쉬 체인 기반의 데이터 분산 처리 기법을 제안한다. 제안 기법은 빅 데이터를 데이터의 종류, 기능, 특성에 따라 해쉬 체인으로 묶어 데이터에 높은 처리량을 지원한다. 또한, 토큰 및 데이터 노드가 공격자에게 노출되었을 때 발생하는 보안 취약점을 해결하기 위해서 데이터의 속성 정보를 해쉬 체인의 연결 정보로 활용하여 빅 데이터의 접근 제어를 분산 처리한다.

Modeling and Stimulating Node Cooperation in Wireless Ad Hoc Networks

  • Arghavani, Abbas;Arghavani, Mahdi;Sargazi, Abolfazl;Ahmadi, Mahmood
    • ETRI Journal
    • /
    • 제37권1호
    • /
    • pp.77-87
    • /
    • 2015
  • In wireless networks, cooperation is necessary for many protocols, such as routing, clock synchronization, and security. It is known that cooperator nodes suffer greatly from problems such as increasing energy consumption. Therefore, rational nodes have no incentive to cooperatively forward traffic for others. A rational node is different from a malicious node. It is a node that makes the best decision in each state (cooperate or non-cooperate). In this paper, game theory is used to analyze the cooperation between nodes. An evolutionary game has been investigated using two nodes, and their strategies have been compared to find the best one. Subsequently, two approaches, one based on a genetic algorithm (GA) and the other on learning automata (LA), are presented to incite nodes for cooperating in a noisy environment. As you will see later, the GA strategy is able to disable the effect of noise by using a big enough chromosome; however, it cannot persuade nodes to cooperate in a noisefree environment. Unlike the GA strategy, the LA strategy shows good results in a noise-free environment because it has good agreement in cooperation-based strategies in both types of environment (noise-free and noisy).

로봇 경로 제어를 위한 속도기반 Dijkstra 알고리즘 (A Speed-Based Dijkstra Algorithm for the Line Tracer Control of a Robot)

  • 천성권;김근덕;김종근
    • 한국IT서비스학회지
    • /
    • 제10권4호
    • /
    • pp.259-268
    • /
    • 2011
  • A robot education system by emulation based on Web can be efficiently used for understanding concept of robot assembly practice and control mechanism of robot by control programming. It is important to predict the path of the line tracer robot which has to be decided by the robot. Shortest Path Algorithm is a well known algorithm which searches the most efficient path between the start node and the end node. There are two related typical algorithms. Dijkstra Algorithm searches the shortest path tree from a node to the rest of the other nodes. $A^*$ Algorithm searches the shortest paths among all nodes. The delay time caused by turning the direction of navigation for the line tracer robot at the crossroads can give big differences to the travel time of the robot. So we need an efficient path determine algorithm which can solve this problem. Thus, It is necessary to analyze the overhead of changing direction of robot at multi-linked node to determine the next direction for efficient routings. In this paper, we reflect the real delay time of directional changing from the real robot. A speed based Dijkstra algorithm is proposed and compared with the previous ones to analyze the performance.

하둡 분산 파일시스템에서의 유연한 노드 관리를 위한 지연된 블록 복제 기법 (Delayed Block Replication Scheme of Hadoop Distributed File System for Flexible Management of Distributed Nodes)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제12권2호
    • /
    • pp.367-374
    • /
    • 2017
  • 본 논문에서는 빅 데이터 처리를 위한 플랫폼인 하둡이 가지고 있는 분산 노드 관리 기법의 문제점을 분석하고 하둡 분산 파일시스템에서 노드 관리를 유연하게 처리하기 위한 기법을 제안한다. 기존의 방법은 클러스터에 포함된 노드가 일시적으로 연결되지 않는 경우 이를 즉시 고장으로 판정함으로 인해 클러스터를 동적으로 구성하지는 못하는 문제가 있다. 본 논문에서 제안하는 지연된 블록 복제 기법은 연결이 끊어진 노드가 추후 클러스터에 쉽게 편입될 수 있도록 노드의 제거를 최대한 지연함으로써 노드 관리의 유연성을 제공한다. 실험을 통해 제안하는 기법이 클러스터의 규모가 변화하는 환경에서 분산 처리 성능에 영향을 거의 미치지 않으면서도 노드 관리의 유연성을 증대시키는 것을 입증한다.

웹에 숨겨진 악성코드 배포 네트워크에서 악성코드 전파 핵심노드를 찾는 방안 (A Method to Find the Core Node Engaged in Malware Propagation in the Malware Distribution Network Hidden in the Web)

  • 김성진
    • 융합보안논문지
    • /
    • 제23권2호
    • /
    • pp.3-10
    • /
    • 2023
  • 웹에 존재하는 악성코드 배포 네트워크에는 악성코드 배포를 위해 핵심 역할을 수행하는 중심 노드가 있다. 이노드를 찾아 차단하면 악성코드 전파를 효과적으로 차단할 수 있다. 본 연구에서는 복잡계 네트워크에서 위험 분석이 적용된 centrality 검색 방법을 제안하였고, 이 방식을 통해 악성코드 배포 네트워크 내에서 핵심노드를 찾는 방법을 소개한다. 그 외에, 정상 네트워크와 악성 네트워트는 in-degree와 out-degree 측면에서 큰 차이가 있고, 네트워크 레이아웃 측면에서도 서로 다르다. 이 특징을 통해 우리는 악성과 정상 네트워크를 분별할 수 있다.

PPNC: Privacy Preserving Scheme for Random Linear Network Coding in Smart Grid

  • He, Shiming;Zeng, Weini;Xie, Kun;Yang, Hongming;Lai, Mingyong;Su, Xin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권3호
    • /
    • pp.1510-1532
    • /
    • 2017
  • In smart grid, privacy implications to individuals and their families are an important issue because of the fine-grained usage data collection. Wireless communications are utilized by many utility companies to obtain information. Network coding is exploited in smart grids, to enhance network performance in terms of throughput, delay, robustness, and energy consumption. However, random linear network coding introduces a new challenge for privacy preserving due to the encoding of data and updating of coefficients in forwarder nodes. We propose a distributed privacy preserving scheme for random linear network coding in smart grid that considers the converged flows character of the smart grid and exploits a homomorphic encryption function to decrease the complexities in the forwarder node. It offers a data confidentiality privacy preserving feature, which can efficiently thwart traffic analysis. The data of the packet is encrypted and the tag of the packet is encrypted by a homomorphic encryption function. The forwarder node random linearly codes the encrypted data and directly processes the cryptotext tags based on the homomorphism feature. Extensive security analysis and performance evaluations demonstrate the validity and efficiency of the proposed scheme.

공간 정보를 가지는 데이터셋의 준자동 융합 기법 (Semi-automatic Data Fusion Method for Spatial Datasets)

  • 윤종찬;김한준
    • 한국전자거래학회지
    • /
    • 제26권4호
    • /
    • pp.1-13
    • /
    • 2021
  • 빅데이터 관련 기술이 발달함에 따라 이전에는 처리할 수 없었던 방대한 규모의 데이터를 처리할 수 있게 되었다. 이에 따라 데이터 선정 및 융합 자동화 프로세스 구축은 빅데이터 기반 서비스 구현에 있어 선택이 아닌 필수인 시대가 되었다. 본 논문은 공간 정보를 담고 있는 데이터셋을 융합하여 유의미한 새로운 정보를 생성하기 위한 준자동화 기법을 제안한다. 우선 Node2Vec 모델을 활용하여 주어진 데이터셋의 키워드를 이용해 데이터셋의 임베딩 벡터를 생성한다. 생성된 각 임베딩 벡터를 이용해 코사인 유사도를 계산하여 데이터셋 간의 시멘틱 유사도를 구한다. 이후 사람이 개입하여 그 시멘틱 유사도가 상대적으로 높은 데이터셋 쌍 중에서 공간 정보를 가진 데이터셋을 선별하고, 데이터셋 쌍을 융합하여 시각화한다. 이러한 일련의 준자동 융합 프로세스를 통해 단일 데이터셋으로부터는 얻을 수 없는 유의미한 융합정보를 생성할 수 있음을 보인다.

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 (Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권2호
    • /
    • pp.127-134
    • /
    • 2019
  • IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

J2dpathway: A Global Metabolic Pathway Viewer with Node-Abstracting Features

  • Song, Eun-Ha;Ham, Seong-Il;Yang, San-Duk;Rhie, A-Rang;Park, Hyun-Seok;Lee, Sang-Ho
    • Genomics & Informatics
    • /
    • 제6권2호
    • /
    • pp.68-71
    • /
    • 2008
  • The static approach of representing metabolic pathway diagrams offers no flexibility. Thus, many systems adopt automatic graph layout techniques to visualize the topological architecture of pathways. There are weaknesses, however, because automatically drawn figures are generally difficult to understand. The problem becomes even more serious when we attempt to visualize all of the information in a single, big picture, which usually results in a confusing diagram. To provide a partial solution to this thorny issue, we propose J2dpathway, a metabolic pathway atlas viewer that has node-abstracting features.