• 제목/요약/키워드: Big Node

검색결과 127건 처리시간 0.024초

하둡 분산 파일시스템의 동적 클러스터 관리 기법 (Dynamic Cluster Management of Hadoop Distributed Filesystem)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.435-437
    • /
    • 2016
  • 하둡 분산 파일시스템(HDFS)는 빅데이터의 병렬 분산 처리를 위해 다수의 노드에 데이터를 중복 저장하는 파일시스템이다. HDFS의 분산 노드 클러스터는 수천 개 이상의 규모 확장성을 갖추고 있으나 빅데이터 처리를 위한 전용 하드웨어를 가정하고 있으며, 기존의 기업 및 병원에서 사용하고 있는 다양한 유휴 전산 자원을 고려하지는 못하는 문제가 있다. 본 논문에서는 기관 내 존재하는 다양한 유휴 전산 자원을 필요에 따라 동적으로 HDFS에 추가함으로써 빅데이터 저장 및 분석 성능을 향상시킬 수 있는 동적 클러스터 관리 기법을 제시한다.

  • PDF

IoT data analytics architecture for smart healthcare using RFID and WSN

  • Ogur, Nur Banu;Al-Hubaishi, Mohammed;Ceken, Celal
    • ETRI Journal
    • /
    • 제44권1호
    • /
    • pp.135-146
    • /
    • 2022
  • The importance of big data analytics has become apparent with the increasing volume of data on the Internet. The amount of data will increase even more with the widespread use of Internet of Things (IoT). One of the most important application areas of the IoT is healthcare. This study introduces new real-time data analytics architecture for an IoT-based smart healthcare system, which consists of a wireless sensor network and a radio-frequency identification technology in a vertical domain. The proposed platform also includes high-performance data analytics tools, such as Kafka, Spark, MongoDB, and NodeJS, in a horizontal domain. To investigate the performance of the system developed, a diagnosis of Wolff-Parkinson-White syndrome by logistic regression is discussed. The results show that the proposed IoT data analytics system can successfully process health data in real-time with an accuracy rate of 95% and it can handle large volumes of data. The developed system also communicates with a riverbed modeler using Transmission Control Protocol (TCP) to model any IoT-enabling technology. Therefore, the proposed architecture can be used as a time-saving experimental environment for any IoT-based system.

Prefetch R-tree: 디스크와 CPU 캐시에 최적화된 다차원 색인 구조 (Prefetch R-tree: A Disk and Cache Optimized Multidimensional Index Structure)

  • 박명선
    • 정보처리학회논문지D
    • /
    • 제13D권4호
    • /
    • pp.463-476
    • /
    • 2006
  • R-tree는 일반적으로 트리 노드의 크기를 디스크 페이지의 크기와 같게 함으로써 I/O 성능이 최적화 되도록 구현한다. 최근에는 주메모리 환경에서 CPU 캐시 성능을 최적화하는 R-tree의 변형이 개발되었다. 이는 노드의 크기를 캐시 라인 크기의 수 배로 하고 MBR에 저장되는 키를 압축하여 노드 하나에 더 많은 엔트리를 저장함으로써 성능을 높였다. 그러나, 디스크 최적 R-tree와 캐시 최적 R-tree의 노드 크기 사이에는 수십-수백 바이트와 수-수십 킬로바이트라는 큰 차이가 있으므로, I/O 최적 R-tree는 캐시 성능이 나쁘고 캐시 최적 R-tree는 디스크 I/O 성능이 나쁜 문제점을 가지고 있다. 이 논문에서는 CPU 캐시와 디스크 I/O에 모두 최적인 R-tree, PR-tree를 제안한다. 캐시 성능을 위해 PR-tree 노드의 크기를 캐시 라인 크기보다 크게 만든 다음 CPU의 선반입(prefetch) 명령어를 이용하여 캐시 실패 횟수를 줄이고, 트리 노드를 디스크 페이지에 낭비가 적도록 배치함으로써 디스크 I/O 성능도 향상시킨다. 또한, 이 논문에서는 PR-tree에서 검색 연산을 수행하는데 드는 캐시 실패 비용을 계산하는 분석 방법을 제시하고, 최적의 캐시와 I/O 성능을 보이는 PR-tree를 구성하기 위해, 가능한 크기의 내부 단말 노드, 중간 노드를 갖는 PR-tree 생성하여 성능을 비교하였다. PR-tree는 디스크 최적 R-tree보다 삽입 연산은 3.5에서 15.1배, 삭제 연산은 6.5에서 15.1배, 범위 질의는 1.3에서 1.9배, k-최근접 질의는 2.7에서 9.7배의 캐시 성능 향상이 있었다. 모든 실험에서 매우 작은 I/O 성능 저하만을 보였다.

소셜 빅데이터 기반 2016리우올림픽 축구 관련 이슈 및 인물에 대한 연관단어 분석 (Social Big Data-based Co-occurrence Analysis of the Main Person's Characteristics and the Issues in the 2016 Rio Olympics Men's Soccer Games)

  • 박성건;이수원;황영찬
    • 한국체육학회지인문사회과학편
    • /
    • 제56권2호
    • /
    • pp.303-320
    • /
    • 2017
  • 본 연구의 목적은 소셜 빅데이터를 기반으로 리우올림픽 축구 관련 이슈 및 인물에 대한 대중들의 주요 관심사를 알아보는 것이다. 본 연구를 위해 수집된 데이터는 2016 리우올림픽 한국축구 경기와 관련된 웹 뉴스 및 댓글이다. 경기별 주요 이슈 및 대중들의 관심사를 알아보기 위해 연관단어 분석을 실시하고, NodeXL을 이용하여 시각화하였다. 연구 결과, 대중들에게 높은 관심을 받은 경기는 피지와의 경기, 한국축구대표팀 관련 인물은 손흥민, 해설위원은 이영표, 캐스터는 조우종으로 나타났다. 리우올림픽에 출전한 한국축구대표팀에 대한 대중들의 생각은 일부 부정적인 평가가 나타났지만, 대체로 긍정적인 것으로 평가할 수 있다. 해설위원 및 캐스터에 대한 대중들의 관심은 경기결과 및 예측, 설명에 대한 재치, 해설위원 및 캐스터의 호흡, 즐거움 요소(예능)로 나타났다. 결론적으로, 스포츠빅이벤트에 대한 대중들의 관심을 높일 수 있는 방안은 다양한 스포츠 분석 콘텐츠 제공, 전문성과 예능감 등을 겸비한 방송해설자 선정이 될 수 있다.

주물공장의 빅데이터 수집을 위한 IoT 기반 디바이스 활용 기술 (IoT-Based Device Utilization Technology for Big Data Collection in Foundry)

  • 김문조;김동응
    • 한국주조공학회지
    • /
    • 제41권6호
    • /
    • pp.550-557
    • /
    • 2021
  • 4차 산업혁명의 도래에 따라 주물공장에서도 사물인터넷(Internet of things, IoT) 기반의 공정 스마트화에 대한 관심이 높아지고 있다. 주물공장에서 자동 수집 되고 있는 공정데이터들도 일부 있으나 노후된 생산설비의 제한된 기능, 작업자 노하우 기반의 공정 설계 등의 이유로 여전히 많은 공정데이터가 수기로 관리되고 있다. 특히, 공정데이터의 빅데이터화에 대한 중요도를 인지함에도 불구하고 시스템 구축 비용 부담으로 인해 선뜻 도입을 어려워하는 기업들이 많다. 본 연구에서는 IoT 기반 디바이스를 제작하고 원심주조공정 현장에 직접 적용함으로써 제작 디바이스의 현장 활용성을 살펴보았다. 원심주조공정에 대해 취득하고자 하는 공정 인자로 작업현장의 온도 및 습도, 용탕 온도, 금형 회전속도를 선정하였다. 데이터 취득 인자별로 요구되는 상세 제품규격과 비용을 고려하여 센서를 선정하였으며, IoT 기반 디바이스 제작을 위해 무선통신이 가능한 NodeMCU 보드를 활용하여 회로를 구성하였다. 구성한 회로는 PCB 기판으로 제작하여 각 공정 인자별 디바이스의 설치 환경을 고려하여 작업 현장에 설치하였으며, 현장 실증을 통해 적용 가능성을 확인하였다. 현장 적용 이후, 작업자의 안전에 대한 만족도가 상승하였으며, 공정 관리 측면에서 효율성이 증가했음이 확인되었다. 더불어 지속적으로 데이터를 수집하면 추후 공정데이터-품질데이터의 연계가 가능할 것으로 기대된다. 본 연구에서 제작한 IoT 디바이스는 데이터 수집에 대한 적절한 신뢰도를 확보하면서도 비용이 저렴하여, 주물공장별로 현장 상황을 고려하여 도입 여부를 검토해볼 수 있을 것으로 생각된다.

Strength Map of Presidential Candidates 2019 in Indonesia Based on a NodeXL Analysis of Big Data from Twitter

  • Suratnoaji, Catur;Arianto, Irwan Dwi;Sumardjijati, Sumardjijati
    • Asian Journal for Public Opinion Research
    • /
    • 제6권1호
    • /
    • pp.31-38
    • /
    • 2018
  • Leading up to the 2019 presidential election in Indonesia, campaigns have emerged through social media, particularly Twitter, using various hashtags, such as #2019GantiPresiden (2019 Change President) and #TetapJokowi (Always Jokowi). This paper tries to understand the presidential candidates' power map in forming opinions and influencing voter behavior by analyzing Twitter from August 6, 2018 to September 15, 2018, just before the beginning of the official campaign period, by searching for the keyword "pemilihan presiden RI Tahun 2019" (RI presidential election in 2019). According to our NodeXL's analysis, there were 1,650 active Twitter users talking about the 2019 presidential election. The 1,650 Twitter users have formed a communication network of 46,750 relationships formed from messages in the form of tweets, comments, and retweets. Our analysis found that those mentioning "pilihan presiden 2019" form large communication networks around four clusters: one for each of the two candidates (Jokowi and Prabowo) and two for opinion leaders who are undecided about the election (Gus Mus and Mas Piyu). GusMus is a religious leader, as an official of the PBNU Rais Syuriah (an Islamic organization) and has a large following both on and off Twitter. "MasPiyu" is an unidentified Twitter user; he only has a large following on Twitter, but does not have support offline.

A* 알고리즘 평가함수의 추정 부하량 변경에 관한 연구 (A Study on Changing Estimation Weights of A* Algorithm's Heuristic Function)

  • 정병두;유영근
    • 한국ITS학회 논문지
    • /
    • 제14권3호
    • /
    • pp.1-8
    • /
    • 2015
  • 교통 네트워크에서 하나의 노드로부터 다른 노드로 가는 최단 경로 탐색은 탐색속도와 함께 정확성도 매우 중요시되고 있다. 기존 $A^*$ 알고리즘은 빠른 탐색속도가 큰 장점이기는 하지만, 분석네트워크가 다소 복잡하고, 링크수가 많은 대규모 네트워크에서는 최단 통행경로를 가까운 노드의 순서대로 단계적으로 찾아내는 데 정확도가 다소 낮은 약점을 갖고 있다. 따라서 본 연구에서는 $A^*$ 알고리즘의 평가함수와 알고리즘을 수정하여 정확성을 높일 수 있도록 하였다. 구체적으로는 평가함수를 선적인 개념에서 면적인 개념으로 전환하였고, 계산단계의 진행과정에서 실제 부하량이 적을수록 무조건 좋은 것이 아니라, 부하량이 커도 목표노드에 가까운 것이라면 더욱 최단경로에 유리하다는 개념을 도입한 것이다. 마지막으로 평가함수 값은 반복계산을 수행할수록 적어야 하는데, 이렇지 못할 경우, 피드백 기능을 부가하여 탐색 정확도를 높이도록 알고리즘을 수정하였다. 이렇게 개선된 알고리즘을 실제 네트워크상에서 적용해 본 결과, 유용성이 있는 것으로 밝혀졌다.

클러스터 기반 라우팅 프로토콜의 에너지 효율성에 관한 연구 (A Study on Energy Efficiency for Cluster-based Routing Protocol)

  • 이원석;안태원;송창영
    • 전자공학회논문지
    • /
    • 제53권3호
    • /
    • pp.163-169
    • /
    • 2016
  • 클러스터 기반 라우팅 프로토콜로 대표적인 LEACH는 에너지 부하의 공평한 분배를 위해 매 라운드 미리 정해진 확률에 따라 랜덤하게 클러스터 헤드를 선출한다. 하지만 센서 노드가 갖는 현재 에너지 레벨은 고려대상이 아니기에 만일 잔존 에너지가 적은 센서 노드가 클러스터 헤드로 선출된다면 에너지 부하가 큰 헤드의 역할을 완수하지 못하고 사망할 수 있을 것이다. 결국 노드의 첫 사망시간이 매우 빨라져 WSN의 서비스 품질도 나빠질 것이다. 이러한 점에 착안하여 본 논문에서는 클러스터 헤드의 에너지 레벨과 기지국까지의 통신거리를 고려하여 클러스터 내부에 서브 클러스터 헤드를 선택하는 방법을 제안한다. 기존 LEACH에 제안하는 방법을 적용 시 클러스터 헤드의 에너지 부담이 줄어들어 노드의 첫 번째 사망시간이 증가하였고 더욱 증가된 데이터가 기지국에 도착하였으며 이로 인한 WSN의 서비스 품질도 개선되었음을 확인할 수 있었다.

노드의 동적 다운 스케일링을 지원하는 분산 클러스터 시스템의 설계 및 구현 (Design and Implementation of Distributed Cluster Supporting Dynamic Down-Scaling of the Cluster)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제18권2호
    • /
    • pp.361-366
    • /
    • 2023
  • 빅데이터의 분산 처리를 수행하기 위한 대표적인 프레임워크인 하둡은 클러스터 규모를 수천 개 이상의 노드까지 증가시켜서 병렬분산 처리 성능을 높일 수 있는 장점이 있다. 하지만 클러스터의 규모를 줄이는 것은 결함이 있거나 성능이 저하된 노드들을 영구적으로 퇴역시키는 수준에서 제한되어 있음에 따라 소규모 클러스터에서 여러 노드들을 유연하게 운용하기에는 한계가 있다. 본 논문에서는 하둡 클러스터에서 노드를 제거할 때 발생하는 문제점을 논의하고 분산 클러스터의 규모를 탄력적으로 관리하기 위한 동적 다운 스케일링 기법을 제안한다. 일시적 다운스케일을 목적으로 노드를 제거할 때 완전히 퇴역시키는 것이 아니라 일시적으로 해제하고 필요시 다시 연결할 수 있도록 함으로써 동적 다운 스케일링을 지원할 수 있도록 시스템과 인터페이스를 설계하고 구현하였다. 실험 결과 성능저하 없이 효과적으로 다운 스케일링을 수행하는 것을 검증하였다.

VANETs에서 비정상 행위 탐지를 위한 빅 데이터 응용 (A Big Data Application for Anomaly Detection in VANETs)

  • 김식;오선진
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.175-181
    • /
    • 2014
  • 무선 기반의 모바일 컴퓨팅 네트워크 기술의 급속한 발전과 더불어, 다양한 관련 기술과의 융합을 통한 획기적인 모바일 애드 혹 네트워크 응용들이 빠르게 확산되고 있는 실정이다. 차량 애드 혹 망 (Vehicular Ad Hoc Networks: VANETs)은 일반적으로 높은 이동성을 갖는 차량 노드들로 구성되어 망 위상이 짧은 시간 유지되고 통신 링크가 불안정한 자기 조직화 모바일 애드 혹 망이다. 따라서 VANETs은 네트워크상에 센서들의 해로운 노이즈나 차량 노드들의 비정상 행위에 매우 취약하다. 본 논문에서는 이러한 VANETs에서 센싱된 센서로 부터의 상황정보에 대한 해로운 오동작이나 노이즈와 차량 노드들의 활동에 대한 비정상 행위를 효율적으로 식별할 수 있는 빅 데이터 처리기술을 응용한 비정상 행위 탐지 방법을 제안하고, 그 성능을 모의실험을 통해 임계 허용 오차에 대한 비정상 행위 탐지율과 거짓 경고율로 평가하였다.