• 제목/요약/키워드: Hive

검색결과 81건 처리시간 0.027초

빅데이터 분석 기술(Hadoop/Hive) 기반 네트워크 정상행위 규정 방법 (A Normal Network Behavior Profiling Method Based on Big Data Analysis Techniques (Hadoop/Hive))

  • 김성진;김강석
    • 정보보호학회논문지
    • /
    • 제27권5호
    • /
    • pp.1117-1127
    • /
    • 2017
  • 사물인터넷 시대의 도래로 인터넷에 연결된 다양한 기기들의 사용은 급성장 하였으나 사물인터넷 보안은 아직 취약한 상태이다. 사물인터넷은 목적에 따라 다양한 기기들이 사용되고 또한 저 전력 환경에서 동작할 수 있도록 각기 다른 프로토콜들을 사용하고 있으며, 많은 양의 트래픽을 발생시켜 기존 보안 기술들을 접목시키기 어렵다. 그러므로 본 논문에서는 이러한 문제점을 해결하기 위한 방안중의 하나로 Hadoop/Hive를 이용한 빅데이터 분석 기술 및 통계 분석 도구인 R을 활용하여 네트워크 정상행위 규정 방법을 제시하며 시뮬레이션을 통해 제안한 방법의 유효성을 검증한다.

하둡과 하이브를 이용한 BGP 아카이브 데이터의 포렌직 분석 툴 (Yet Another BGP Archive Forensic Analysis Tool Using Hadoop and Hive)

  • 이연희;이영석
    • 정보과학회 논문지
    • /
    • 제42권4호
    • /
    • pp.541-549
    • /
    • 2015
  • 지속적으로 축적되는 BGP 아카이브 파일은 데이터의 규모로 인해 관리와 분석 방법에 대한 기술적인 어려움에 처해 있다. 최근 오픈소스 분산 컴퓨팅 기반인 하둡 (Hadoop)의 발전에 힘입어 대량의 데이터를 효율적으로 다루는 것이 가능해졌다. 본 논문에서는 대량의 BGP 아카이브 데이터로부터 민첩한 분석 방법을 제공하고 저가의 컴퓨터를 이용하여 성능 확장이 가능한 하둡 기반의 BGP 분석 아키텍쳐 (BGPdoop)를 제안한다. BGPdoop은 여러 지점에서 수집하여 오랜 기간 축적된 대량의 BGP 아카이브 데이터의 효율적인 관리와 분석을 위하여 데이터의 구조와 접근 방법을 정의하고, 유연하고 민첩한 질의 기반의 BGP 분석 방법을 제시한다. 20대 노드로 구성된 테스트베드를 이용한 규모확장성 실험에서 4대 노드 대비 5배의 단위 시간당 증가된 처리량을 확인했다. 또한 하이브 (Hive) 질의를 이용한 BGP 라우팅의 포렌식 분석 사례를 통해 본 논문의 제안방법에 대한 타당성을 제시한다.

소규모 마이크로그리드 커뮤니티를 위한 하이브 전략 기반의 협력적 Peer-to-Peer 에너지 거래기법 (Cooperative Peer-to-Peer Energy Trading using a Hive Strategy for Small Microgrid Communities)

  • ;나인호
    • 스마트미디어저널
    • /
    • 제9권3호
    • /
    • pp.52-58
    • /
    • 2020
  • 최근 전 세계적 에너지 수요의 증가로 인하여 효율적 에너지 거래 기법에 대한 연구가 활발히 수행되고 있다. 이와 마찬가지로 신재생 에너지 자원을 이용한 마이크로그리드 커뮤니티의 수가 폭증함에 따라 에너지 프로슈머(prosumer)로 알려진 에너지 마켓 플레이어 간의 peer-to-peer 에너지 거래도 빠른 속도로 활성화되고 있다. 본 논문에서는 에너지 프로슈머들이 하이브(hive)로 정의된 소비자(consumer)들의 에너지 요구에 대해 에너지 거래자(worker) 역할을 수행하도록 하는 하이브 전략 기반의 새로운 에너지 거래 기법을 제안한다. 각 에너지 거래는 자신의 프로슈머 순위(prosumer rating)를 지니고 있으며 요구된 에너지 거래에 대해 최상의 프로슈머 순위를 지닌 거래자를 선택하도록 한다. 선택된 거래자는 마이크로그리드 커뮤니티 내의 에너지의 생산과 공급을 조절하여 가장 효율적인 에너지 거래가 이루어지도록 한다. 제안된 기법의 성능 평가를 위한 시뮬레이션을 수행한 결과 에너지 거래자를 이용하여 하이브들의 에너지 수요 문제를 효율적으로 처리할 수 있음을 보였다. 또한 에너지 거래자의 거래이득을 증진하고 프로슈머 순위 관리를 효과적으로 수행할 수 있음을 검증하였다.

양봉 작업의 인간공학적 위험성평가 및 개선 사례 (Risk Assessment and Intervention of Ergonomic Risk Factor in Beekeeping)

  • 이찬휘;강태선
    • 농촌의학ㆍ지역보건
    • /
    • 제44권3호
    • /
    • pp.138-143
    • /
    • 2019
  • 양봉 작업은 들기 작업이 많아 근골격계 부담이 컸으며 양봉 농업인의 대부분이 지난 1년 동안 직업과 관련된 근골격계 질환 증상을 호소했다. 보조도구인 벌통리프트를 사용하면 양봉 작업으로 인한 근골격계 부담을 줄일 수 있다.

A Study on the System for measuring the Activity of Honeybees inside and outside the Beehive

  • Kim, Joon Ho;Han, Wook;Chung, Wonki;Mo, Changyeon;Han, Xiongzhe;Kim, Subae
    • International Journal of Advanced Culture Technology
    • /
    • 제10권4호
    • /
    • pp.511-517
    • /
    • 2022
  • Recently, due to rapid climate change, the population of honey bees has decreased, posing a great threat to the existence of the Earth's ecosystem. In particular, the colony collapse phenomenon in which bees disappeared nationwide in early 2022 had devastating consequences for beekeepers. In order to solve the problems of beekeeping due to climate change, it is urgent to develop a system that can monitor the situation inside the hive through various IoT sensors. This paper develops a system that can measure the activity of bees inside the hive and uses it to measure the number of times of entry and exit of the hive. The data measured by the developed system can be monitored in real time on a smartphone through the cloud server. The system developed in this paper can monitor the ecology of bees according to climate change and measure internal and external bee activities. Using this method, it is possible to check in advance for the colony collapse phenomenon in which bees disappeared in early 2022. This is very meaningful in that it presents an alternative that can identify the cause of the problem through early detection.

꿀벌 외래 해충, 작은벌집밑빠진벌레(Aethina tumida Murray, 1867)의 초기 발견 봉장 내 공간 분포 특성 (Spatial Distribution Patterns of a Newly Invaded Honeybee Pest, Aethina tumida Murray, 1867 (Coleoptera: Nitidulidae) in an Apiary Where it was First Detected)

  • 홍석민;정철의
    • 한국양봉학회지
    • /
    • 제32권3호
    • /
    • pp.163-170
    • /
    • 2017
  • 꼬마벌집밑빠진벌레(SHB, Aethina tumida Murray(Coleoptera : Nitidulidae))는 벌통 내부에 소비와 저장식량에 피해를 주는 꿀벌 해충이다. 국내 Apis mellifera 벌통에 대한 SHB의 최초 피해 보고는 2016년 9월 23일 경남 밀양시에서 보고되었다. 그 후, 2016년 10월 5일 밀양시 양봉장에서 벌통 내부와 벌통 입구 30cm내에서 SHB 공간 분포를 조사했습니다. 총 169개의 벌통을 조사하였다. 벌통 내부에서는 SHB 유충과 성충이 발견되었으며, 토양 내에서는 성충, 유충 그리고 번데기가 발견되었다. 성충 SHB가 발견된 벌통 중 61% 벌통 내 꿀벌이 존재하였으나, 유충 SHB가 발견된 벌통에서는 꿀벌이 존재하지 않았으며, 유충에 의한 봉군 파괴를 뜻하였다. 벌통 내 꿀벌이 존재하는 경우 꿀벌 개체수가 많을수록 SHB의 밀도가 높았다. 분산 계수(CD)는 벌통 내부와 토양 내부 간의 중요한 군집 분포를 보였다. CD는 토양 내부보다 벌통 내부에서 훨씬 높았다. SHB에 의해 꿀벌이 피해를 입어 벌통을 제대로 관리하지 못하여 벌통 내 봉군의 붕괴를 일으킨다는 것을 뜻한다. 또한 10월에도 여전히 벌통 내부에서 SHB의 발육과 번식이 이루어져 늦은 가을까지 SHB의 개체군이 증가할 수 있다. SHB의 한국환경 적응에 대한 더 자세한 분석은 꿀벌에 새롭게 발견된 신규 외래해충의 관리 전략을 제시하는데 도움이 될 수 있다.

벌통 내부 꿀벌 이동량 측정을 위한 벌집 입·출입 계수 시스템 연구 (A study on the honeycomb entry and exit counting system for measuring the amount of movement of honeybees inside the beehive)

  • 김준호;서희;한욱;정원기
    • 문화기술의 융합
    • /
    • 제7권4호
    • /
    • pp.857-862
    • /
    • 2021
  • 최근 급격한 기후변화로 인해 꿀벌의 생태계에도 많은 영향을 주고 있다. 꿀벌의 개체수 감소, 개화기의 변화로 인한 양봉 농가의 채밀에 막대한 영향을 주고 있다. 이에 따라 양봉에도 IoT 기술을 도입한 스마트 양봉에 관심이 집중되고 있다. 양봉의 특성에 따라 벌통안의 벌집을 육안으로 지속적 관찰이 불가능하고, 벌집안의 상태에 대하여 대부분 경험에 의한 지식에 의존하고 있는 실정이다. 특히, 벌통 내부에 꿀벌의 이동 경로와 이동량을 측정하는 부분에 대한 연구는 전무한 상황이다. 벌통 내부의 꿀벌의 이동에 대한 부분은 양봉에서 가장 중요한 분봉 시기를 예측할 수 있는 기본적인 정보를 제공할 수 있다. 본 연구에서는 꿀벌의 이동 경로를 파악하고 벌집(소비)간 입·출입 데이터를 실시간 측정하고 기록하는 장치를 제안한다. 본 연구에서 제안한 장치를 양봉 농가에서 활용할 수 있도록 기존 벌통의 벌집(소비) 규격에 맞춰서 개발했다. 개발방법은 꿀벌의 이동을 감지할 수 있는 포토 디텍터를 활용하여 16개의 이동통로를 구성하고 꿀벌의 이동상황을 실시간 감지할 수 있도록 했다. 이렇게 측정한 꿀벌의 이동상황을 활용하게 된다면 분봉시기를 놓치지 않기 위해 육안으로 봉군을 직접 관찰해야하는 문제를 해결할 수 있다. 나아가 꿀벌의 벌집 간 입출입 기록 데이터를 AI 알고리즘을 적용하면 자동으로 봉군 확장 시기를 예측할 수 있는 시스템 구현도 가능할 것이다.

클라우드 기반의 소셜 네트워크 서비스 시각화 방법 (Visualization Method of Social Networks Service based on Cloud)

  • 김용일;박선;김철원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 춘계학술대회
    • /
    • pp.699-700
    • /
    • 2013
  • 본 논문은 소셜 네트워크상의 내부관계와 외부관계를 반영하여 사용자간의 관계를 사용자 중심으로 계층적 시각화하는 새로운 클라우드 기반의 방법을 제안한다. 제안된 방법은 하둡(hadoop)과 하이프(hive)를 이용하여 분산저장 및 병렬로 계산하며, 계산 결과는 D3를 이용하여 계층적 그래프로 시각화한다.

  • PDF

분산 병렬 환경에서 효율적인 이종 데이터 처리를 위한 SQL 데이터 전송 기법 (SQL Data Transport Technique for Efficient Hybrid Data Processing on Distributed and Parallel Environment)

  • 양현식;백나은;성미래;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1102-1105
    • /
    • 2015
  • 인터넷 발전이 가속화되고 SNS가 보급된 이후 과거와는 비교할 수 없을 정도로 큰 데이터 트래픽이 발생하고 있다. 기존의 DBMS는 이를 효과적으로 처리할 수 없었기 때문에 Hadoop과 같은 NoSQL이 탄생하였고, 최근 NoSQL 및 기존 SQL DBMS의 협업을 통해 유연하고 강력한 데이터 관리를 수행하는 연구가 진행되었다. 효율적인 질의 처리를 위한 대표적인 연구로 SQL 기반 분산 병렬 질의 처리 기법과 Hive등이 존재한다. 그러나 기존의 기법은 분산 병렬 환경을 고려하지 않아 SQL DBMS의 질의 결과를 효율적으로 Hive에 전송하지 못한다. 본 논문에서는 SQL DBMS에서 Hive로의 효율적인 SQL 데이터 이동을 위해 네트워크 비용을 최소화하는 기법을 제안하고, 제안하는 기법의 우수성을 제시한다.

Efficient Multimedia Data File Management and Retrieval Strategy on Big Data Processing System

  • Lee, Jae-Kyung;Shin, Su-Mi;Kim, Kyung-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권8호
    • /
    • pp.77-83
    • /
    • 2015
  • The storage and retrieval of multimedia data is becoming increasingly important in many application areas including record management, video(CCTV) management and Internet of Things (IoT). In these applications, the files containing multimedia that need to be stored and managed is tremendous and constantly scaling. In this paper, we propose a technique to retrieve a very large number of files, in multimedia format, using the Hadoop Framework. Our strategy is based on the management of metadata that describes the characteristic of files that are stored in Hadoop Distributed File System (HDFS). The metadata schema is represented in Hbase and looked up using SQL On Hadoop (Hive, Tajo). Both the Hbase, Hive and Tajo are part of the Hadoop Ecosystem. Preliminary experiment on multimedia data files stored in HDFS shows the viability of the proposed strategy.