• 제목/요약/키워드: NameNode

검색결과 39건 처리시간 0.01초

Hadoop 클러스터에서 네임 노드와 데이터 노드가 빅 데이터처리 성능에 미치는 영향에 관한 연구 (A Study on the Effect of the Name Node and Data Node on the Big Data Processing Performance in a Hadoop Cluster)

  • 이영훈;김용일
    • 스마트미디어저널
    • /
    • 제6권3호
    • /
    • pp.68-74
    • /
    • 2017
  • 빅 데이터 처리는 파일이나 이미지, 동영상 등 다양한 형태의 데이터를 처리하여 문제를 해결하고 통찰력 있는 유용한 정보를 제공한다. 현재 빅 데이터 처리를 위해 다양한 플랫폼이 사용되지만, 하둡이 가지는 단순성, 생산성, 확장성, 그리고 내고장성 때문에 많은 기관, 기업에서 빅 데이터 처리에 하둡을 사용하고 있다. 또한, 하둡은 다양한 하드웨어 플랫폼으로 클러스터를 구축할 수 있으며, 네임 노드(Master)와 데이터 노드(Slave)로 구분하여 빅 데이터를 처리한다. 본 논문에서는 실제 기관과 기업에서 사용하는 완전분산모드를 사용하였으며 원활한 테스트를 위해 저전력이고 저가인 싱글 보드를 사용하여 하둡 클러스터를 구축하였다. 네임 노드의 성능 영향 분석은 싱글 보드와 랩톱을 네임 노드로 사용하여 같은 데이터 처리를 통하여 비교하였으며 데이터 노드의 개수에 따른 영향 분석은 싱글 보드를 기존 클러스터의 개수에서 2배까지 늘려가며 데이터 노드가 미치는 영향을 분석하였다.

나이브 베이지안 분류기 모델 기반의 소용량 파일 그룹화 시스템 설계 (A Design of the Small File Grouping System Based on Naive Bayesian Classifier Model)

  • 김민재;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.221-222
    • /
    • 2014
  • 빠른 웹의 성장으로 대용량 데이터를 효과적으로 처리할 수 있는 플랫폼 기술에 대한 관심이 높아지고 있다. 특히, HDFS는 이상적인 분산 파일 시스템으로 각광받고 있으며 대용량 파일의 처리를 목적으로 개발되었다. 하지만, 실제 파일들의 집합에서 소용량 파일이 차지하는 비중은 높은 편이다. 많은 수의 소용량 파일은 HDFS 성능 감소에 치명적인 원인이 된다. 많은 수의 소용량 파일들이 HDFS에 저장된다면 NameNode의 메모리 소비량이 증가하게 되며 많은 수의 소용량 파일은 많은 수의 DataNode와 NameNode를 요구하므로 상대적으로 처리시간이 많이 소모된다. 따라서 본 논문에서는 HDFS에서 소용량 파일의 저장과 액세스 효율성을 향상시키기 위하여 나이브 베이지안 분류기 알고리즘을 적용한 파일 그룹화 시스템을 설계하였다.

  • PDF

해시 체인 기반 일회용 키를 이용한 하둡 보안 프로토콜 설계 (A Design of Hadoop Security Protocol using One Time Key based on Hash-chain)

  • 정은희;이병관
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권4호
    • /
    • pp.340-349
    • /
    • 2017
  • 본 논문에서는 재전송공격과 가장 공격을 방지할 수 있는 하둡 보안 프로토콜을 제안한다. 제안하는 하둡 보안 프로토콜은 사용자 인증 모듈, 공개키 기반 데이터노드 관리 모듈, 네임노드 인증 모듈, 그리고 데이터노드 인증 모듈로 구성된다. 사용자 인증모듈은 인증서버에서 사용자의 신분을 확인한 후에 TGS로부터 임시접속 ID를 발급받고, 공개키 기반 데이터 노드 관리 모듈은 네임노드와 데이터 노드간의 비밀키를 생성하고, 해시체인기법으로 OKTL(One-Time Key List)를 생성한다. 네임노드 인증 모듈은 임시접속 ID로 사용자의 신분을 확인하고 DT(Delegation Token)와 BAT(Block Access Token)를 사용자에게 발급해주고, 데이터 노드 인증 모듈은 BAT의 OwnerID을 검증하여 사용자의 신분을 확인하고 데이터를 암호화시켜 사용자에게 제공한다. 즉, 제안하는 하둡 보안 프로토콜에서는 OTKL, timestamp, OwnerID을 이용하여 데이터 노드의 비밀키 노출을 대비할 뿐만 아니라 재전송 공격과 가장 공격을 탐지하고, 데이터 노드의 데이터 접근을 강화시키고 데이터를 암호화하여 전달함으로써 데이터 보안을 강화시켰다.

이동 애드혹 네트워크에서 효율적인 네임 서비스 제공을 위한 도메인 네임 시스템 (Domain name system for the efficient name service in mobile ad hoc networks)

  • 안상현;임유진;김성림
    • 전자공학회논문지 IE
    • /
    • 제44권1호
    • /
    • pp.20-26
    • /
    • 2007
  • 지금까지의 이동 네트워크 환경에서의 연구는 주로 경로 설정 방법에 대해 이루어겼으나, 실제 사용자에게 서비스를 제공하기 위해서는 DNS(Domain Name System)가 우선적으로 지원되어야 한다 이동 애드혹 네트워크의 고유한 특성으로 인하여 유선 네트워크에서 사용되고 있는 DNS를 그대로 도입하는 것은 문제가 발생한다. 분산 방식 DNS를 사용하는 경우에는 노드의 이동에 대해 효율적으로 대처할 수 있다는 장점을 가지나, 도메인 네임 충돌 문제를 해결하기 위한 오버헤드가 발생하게 되며, 중앙 방식 DNS를 사용하는 경우에는 네임 정보 획득을 위한 통신이 유니캐스트 기반으로 동작하고 네임의 할당 및 관리에 따른 오버헤드 문제를 해결할 수는 있으나 DNS서버의 이동에 따른 DNS네임 서비스의 연속성 있는 지원 문제가 해결되어야 한다. 따라서 본 논문에서는 이동 애드혹 네트워크 환경에서 중앙 방식 DNS를 기반으로 연속성 있는 서비스를 지원하면서도 네임 할당 및 관리에 있어서 효율적으로 동작하는 Manet DNS를 제안하며 서버의 이동성으로 인해 발생할 수 있는 네트워크 병합 및 분할 문제에 대한 해결책을 제시한다.

Erwinia carotovora subsp. carotovora에 의한 고추 마디 무름병 (Bacterial Node Soft Rot of Pepper (Capsicum annuum L.) Caused by Erwinia carotovora subsp. carotovora)

  • 정기채;임진우;김승한;임양숙;김종완
    • 한국식물병리학회지
    • /
    • 제14권6호
    • /
    • pp.741-743
    • /
    • 1998
  • A bacterial disease of pepper (Capsicum annuum L.) that rooted the stem nodes to black was found in pepper plants which cultivated in plastic house at Chungdo, Kyungpook, Korea in March, 1998. Bacterial isolates derived from the diseased peppers were pathogenic to potato, eggplant and Chinese cabbage but, was not pathogenic to chrysanthemum by artificial inoculation. On the basis of bacteriological characteristics and pathogenicity test on host plants, the causal organism of the node soft rot of pepper is identified as Erwinia carotovora subsp. carotovora and the name of disease is proposed as bacterial node soft rot of pepper.

  • PDF

Efficient routing in multicast mesh by using forwarding nodes and weighted cost function

  • Vyas, Kapila;Khuteta, Ajay;Chaturvedi, Amit
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권12호
    • /
    • pp.5928-5947
    • /
    • 2019
  • Multicast Mesh based Mobile Ad-hoc NETworks (MANETs) provide efficient data transmission in energy restraint areas without a fixed infrastructure. In this paper, the authors present an improved version of protocol SLIMMER developed by them earlier, and name it SLIMMER-SN. Most mesh-based protocols suffer from redundancy; however, the proposed protocol controls redundancy through the concept of forwarding nodes. The proposed protocol uses remaining energy of a node to decide its energy efficiency. For measuring stability, a new metric called Stability of Node (SN) has been introduced which depends on transmission range, node density and node velocity. For data transfer, a weighted cost function selects the most energy efficient nodes / most stable nodes or a weighted combination of both. This makes the node selection criteria more dynamic. The protocol works in two steps: (1) calculating SN and (2) using SN value in the weighted cost function for selection of nodes. The study compared the proposed protocol, with other mesh-based protocols PUMA and SLIMMER, based on packet delivery ratio (PDR), throughput, end-to-end delay and average energy consumption under different simulation conditions. Results clearly demonstrate that SLIMMER-SN outperformed both PUMA and SLIMMER.

LTE-D2D 차량 네트워크에서 정보 전달 방법 (Data Dissemination in LTE-D2D Based Vehicular Network)

  • 심용희;김영한
    • 한국통신학회논문지
    • /
    • 제40권3호
    • /
    • pp.602-612
    • /
    • 2015
  • 현재 표준 차량 통신 프로토콜인 IEEE 802.11p는 차량 간 한 홉 전송을 수행하기 때문에 차량 환경에서 효율적인 정보 전달을 수행하는데 한계가 있다. 본 논문은 차량 환경에서 효율적인 정보 전달을 위해 무선 근거리 통신 중 하나인 LTE-D2D 기술을 사용한 차량 네트워크를 제안한다. 이때 전송 메시지 형태는 IP 패킷 옵션을 지닌 이름 기반 정보 메시지를 사용하고 일반 차량 노드는 요청하는 메시지를 중간 매개 노드인 대형 차량 노드로 전송하여 정보를 전송 받는다. 성능 분석을 통해 셀룰러 네트워크와 제안된 LTE-D2D 차량 네트워크에서의 패킷전달 시간에 따른 데이터 처리율을 비교하였다.

화상의 구조적 표현에 관한 연구- 4진트리의 효율적인 표현법:BF선형 4진트 (A Study on the Hierarchical Representation of Images: An Efficient Representation of Quadtrees BF Linear Quadtree)

  • Kim, Min-Hwan;Han, Sang-Ho;Hwang, Hee-Yeung
    • 대한전기학회논문지
    • /
    • 제37권7호
    • /
    • pp.498-509
    • /
    • 1988
  • A BF(breadth-first) linear quadtree as a new data structure for image data is suggested, which enables us to compress the image data efficiently and to make operations of the compressed data easily. It is a list of path names for black nodes as the linear quadtree is. The path name for each black node of a BF linear quadtree is represented as a sequence of path codes from the root node to itself, whereas that of linear quadtree as a sequence of path codes from the root node to itself and fill characters for cut-offed path from it to any n-level node which corresponds to a pixel of an image. The BF linear quadtree provides a more efficent compression ratio than the linear quadtree does, because the former does not require redundant characters, fill characters, for the cut-offed paths. Several operations for image processing can be also implemented on this hierarchical structure efficiently, because it is composed of only the black nodes ad the linear quadtree is . In this paper, algorithms for several operations on the BF linear quadtree are defined and analyzed. Experimental results for forur image data are also given and discussed.

네이밍 에이전트의 메타데이터를 이용한 멀티 에이전트의 협력 및 노드 이주 기법 (Collaboration and Node Migration Method of Multi-Agent Using Metadata of Naming-Agent)

  • 김광종;이연식
    • 정보처리학회논문지D
    • /
    • 제11D권1호
    • /
    • pp.105-114
    • /
    • 2004
  • 본 논문에서는 멀티 에이전트 모델에서 각 에이전트의 협력 방법을 제안하고 네이밍 에이전트의 메타데이터를 이용한 MA(Mobile Agent)의 노드 이주 알고리즘을 제시한다. 멀티 에이전트의 협력은 에이전트 시스템의 안정성과 분산 환경에서의 정보 검색의 신뢰성을 향상시킨다. 이러한 멀티 에이전트의 중요한 구성 요소 중, 네이밍 에이전트는 상호 에이전트를 식별하고 특정 객체를 참조하도록 에이전트 이름을 지원하며, 각 에이전트는 이러한 고유의 이름으로서 특정 객체를 참조한다. 또한 네이밍 에이전트는 에이전트 특성에 따라 SPA(Server Push Agent), CPA(Client Push Agent) 및 SPA(Server Push Agent) 등으로 각 에이전트를 분류하여 네이밍 서비스를 통합하고 관리하는 역할을 수행하며, 특정 MA에 노드 이주 정보를 제공하게 된다. 그러므로 MA의 노드 이주 시 적중 문건의 수, 적중률, 노드 처리 시간 및 네트워크 지연시간에 따른 우선순위를 부여하여 노드 이주의 효율성을 높일 수 있는 방안이 요구된다. 따라서 본 논문은 통합된 네이밍 서비스를 위한 네이밍 에이전트를 설계하고 적중 문건의 수, 적중률 및 탐색 문건의 수 등으로 구성된 메타데이터 구조를 보인 후, 멀티 에이전트의 협력을 통한 메타데이터의 생성과 갱신 및 적중 문건의 수에 따른 노드 이주 방법을 보인다.

유전자 알고리즘을 통한 XML 군집화 방법 (XML Clustering Technique by Genetic Algorithm)

  • 김우생
    • 전자공학회논문지CI
    • /
    • 제49권3호
    • /
    • pp.1-7
    • /
    • 2012
  • 최근 들어 인터넷에서 많이 사용되는XML 문서들을 효율적으로 접근, 질의, 관리하는 방법들이 연구되고 있다. 본 논문은 XML 문서들을 효율적으로 군집화 하는 새로운 기법을 제안한다. XML 문서의 원소는 대응하는 트리의 노드에 대응하며, 문서에서 내포 관계는 트리의 부모와 자식 노드간의 관계에 대응한다. 따라서 유사한 XML 문서들은 대응하는 트리들에서 노드의 이름과 레벨 등이 유사하다. 이러한 성질을 유전 알고리즘의 평가 함수로 만들어 군집화를 시도하였다. 실험 결과를 통하여 제안하는 기법이 기존 방법들보다 좋은 결과를 얻을 수 있음을 보였다.