• 제목/요약/키워드: Big data storage

검색결과 205건 처리시간 0.026초

Companies Entering the Metabus Industry - Major Big Data Protection with Remote-based Hard Disk Memory Analysis Audit (AUDIT) System

  • Kang, Yoo seok;Kim, Soo dong;Seok, Hyeonseon;Lee, Jae cheol;Kwon, Tae young;Bae, Sang hyun;Yoon, Seong do;Jeong, Hyung won
    • 통합자연과학논문집
    • /
    • 제14권4호
    • /
    • pp.189-196
    • /
    • 2021
  • Recently, as a countermeasure for cyber breach attacks and confidential leak incidents on PC hard disk memory storage data of the metaverse industry, it is required when reviewing and developing a remote-based regular/real-time monitoring and analysis security system. The reason for this is that more than 90% of information security leaks occur on edge-end PCs, and tangible and intangible damage, such as an average of 1.20 billion won per metaverse industrial security secret leak (the most important facts and numerical statistics related to 2018 security, 10.2018. the same time as responding to the root of the occurrence of IT WORLD on the 16th, as it becomes the target of malicious code attacks that occur in areas such as the network system web due to interworking integration when building IT infrastructure, Deep-Access-based regular/real-time remote. The concept of memory analysis and audit system is key.

Global Manager - A Service Broker In An Integrated Cloud Computing, Edge Computing & IoT Environment

  • Selvaraj, Kailash;Mukherjee, Saswati
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권6호
    • /
    • pp.1913-1934
    • /
    • 2022
  • The emergence of technologies like Big data analytics, Industrial Internet of Things, Internet of Things, and applicability of these technologies in various domains leads to increased demand in the underlying execution environment. The demand may be for compute, storage, and network resources. These demands cannot be effectively catered by the conventional cloud environment, which requires an integrated environment. The task of finding an appropriate service provider is tedious for a service consumer as the number of service providers drastically increases and the services provided are heterogeneous in the specification. A service broker is essential to find the service provider for varying service consumer requests. Also, the service broker should be smart enough to make the service providers best fit for consumer requests, ensuring that both service consumer and provider are mutually beneficial. A service broker in an integrated environment named Global Manager is proposed in the paper, which can find an appropriate service provider for every varying service consumer request. The proposed Global Manager is capable of identification of parameters for service negotiation with the service providers thereby making the providers the best fit to the maximum possible extent for every consumer request. The paper describes the architecture of the proposed Global Manager, workflow through the proposed algorithms followed by the pilot implementation with sample datasets retrieved from literature and synthetic data. The experimental results are presented with a few of the future work to be carried out to make the Manager more sustainable and serviceable.

Apache Kudu와 Impala를 활용한 Lambda Architecture 설계 (Lambda Architecture Used Apache Kudu and Impala)

  • 황윤영;이필원;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.207-212
    • /
    • 2020
  • 데이터의 양은 기술의 발전으로 크게 증가하였고 이를 처리하기 위해 다양한 빅데이터 처리 플랫폼이 등장하고 있다. 이 중 가장 널리 사용되고 있는 플랫폼이 Apache 소프트웨어 재단에서 개발한 하둡이며, 하둡은 IoT 분야에도 사용된다. 그러나 기존에 하둡 기반 IoT 센서 데이터 수집 분석 환경은 하둡의 코어 프로젝트인 HDFS의 Small File로 인한 네임노드의 과부하 문제와 임포트된 데이터의 업데이트나 삭제가 불가능하다는 문제가 있다. 본 논문에서는 Apache Kudu와 Impala를 활용해 Lambda Architecture를 설계한다. 제안하는 구조는 IoT 센서 데이터를 Cold-Data와 Hot-Data로 분류해 각 성격에 맞는 스토리지에 저장하고 배치를 통해 생성된 배치뷰와 Apache Kudu와 Impala를 통해 생성된 실시간뷰를 활용해 기존 하둡 기반 IoT 센서 데이터 수집 분석 환경의 문제를 해결하고 사용자가 분석된 데이터에 접근하는 시간을 단축한다.

Spark 프레임워크 기반 비정형 빅데이터 토픽 추출 시스템 설계 (A Design on Informal Big Data Topic Extraction System Based on Spark Framework)

  • 박기진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.521-526
    • /
    • 2016
  • 온라인상에서 다루어지는 비정형 텍스트 데이터는 대용량이면서 비구조적 형태의 특성을 가지고 있기 때문에, 기존 관계형 데이터 모델의 저장 방식과 분석 방법만으로는 한계가 있다. 더군다나, 동적으로 발생하는 대량의 소셜 데이터를 활용하여 이용자의 반응을 실시간으로 분석하기란 어려운 상황이다. 이에 본 논문에서는 대용량 비정형 데이터(문서)의 의미를 빠르고, 용이하게 파악하기 위하여 데이터 셋에 대한 사전학습 없이, 문서 내 단어 비중에 따라 자동으로 토픽(주제)이 추출되는 시스템을 설계 및 구현하였다. 제안된 시스템의 토픽 모델링에 사용될 입력 단어는 N-gram 알고리즘에 의하여 도출되어 복수 개의 단어도 묶음 처리할 수 있게 했으며, 또한, 대용량 비정형 데이터 저장 및 연산을 위하여 Hadoop과 분산 인메모리 처리 프레임워크인 Spark 기반 클러스터를 구성하여, 토픽 모델 연산을 수행하였다. 성능 실험에서는 TB급의 소셜 댓글 데이터를 읽어 들여, 전체 데이터에 대한 전처리 과정과 특정 항목의 토픽 추출 작업을 수행하였으며, 대용량 데이터를 클러스터의 디스크가 아닌 메모리에 바로 적재 후, 처리함으로써 토픽 추출 성능의 우수성을 확인할 수 있었다.

해양 정적 데이터 수집 및 DB 저장 알고리즘 구현 (Implementation of marine static data collection and DB storage algorithms)

  • 최승환;박기조;정기숙;정우석;김경석
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권2호
    • /
    • pp.95-101
    • /
    • 2023
  • 세계적으로 해양공간정보의 활용과 관리에 대한 중요성을 극대화하고 있고, 이러한 데이터를 분석하는 것을 연구 개발의 주요 추진 동력으로 부각하고 있다. 국내에서는 과거부터 현재까지 보유하고 있는 해양 데이터를 수집하고 가치를 추출해내는 것이 향후 우리나라의 과학발전에 중요한 역할을 할 것으로 기대하고 있다. 특히나 해양 정적 데이터는 거대 빅데이터베이스를 이루고 있으며, 높은 데이터 수집 비용과 고난이도 관측기술이 요구됨에 따라 수집된 데이터의 유실 없는 보관 및 저장이 필요로 하다. 또한 재난안전지능화융합센터의 "해양 디지털 트윈 구축 및 활용기반 기술 연구" 과제를 위해 해양 데이터에 대한 수집 및 분석이 필요로 하여, 이에 본 논문에서는 해양 정적 데이터의 현황 조사를 수행하였고 이를 수집하여 DB에 저장하는 일련의 알고리즘을 제시한다.

대용량 스트리밍 센서데이터 환경에서 RDFS 규칙기반 병렬추론 기법 (RDFS Rule based Parallel Reasoning Scheme for Large-Scale Streaming Sensor Data)

  • 권순현;박영택
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.686-698
    • /
    • 2014
  • 최근 스마트폰의 폭발적인 보급, IoT와 클라우드 컴퓨팅 기술의 고도화, 그리고 IoT 디바이스의 보편화로 대용량 스트리밍 센싱데이터가 출현하였다. 또한 이를 기반으로 데이터의 공유와 매쉬업 통해 새로운 데이터의 가치를 창출하기 위한 요구사항의 증대로 대용량 스트리밍 센싱데이터 환경에서 시맨틱웹 기술과의 접목에 관한 연구가 활발히 진행되고 있다. 하지만 데이터의 대용량성 스트리밍성으로 인해 새로운 지식을 도출하기 위한 지식 추론분야에서 많은 이슈들에 직면하고 있다. 이러한 배경하에, 본 논문에서는 IoT 환경에서 발생하는 대용량 스트리밍 센싱데이터를 시맨틱웹 기술로 처리하여 서비스하기 위해 RDFS 규칙기반 병렬추론 기법을 제시한다. 제안된 기법에서는 기존의 규칙추론 알고리즘인 Rete 알고리즘을 하둡프레임워크 맵리듀스를 통해 병렬로 수행하고, 공용 스토리지로서 하둡 데이터베이스인 HBase를 사용하여 데이터를 공유한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센싱데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하고, 이를 입증한다.

텍스트 데이터 시각화를 위한 MVC 프레임워크 (A MVC Framework for Visualizing Text Data)

  • 최광선;정교성;김수동
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.39-58
    • /
    • 2014
  • 빅데이터의 중요성에 대한 인식이 확산되고, 관련한 기술이 발전됨에 따라, 최근에는 빅데이터의 처리와 분석의 결과를 어떻게 시각화할 것인지가 매우 관심 받는 주제로 부각되고 있다. 이는 분석된 결과를 보다 명확하고 효과적으로 전달하는 데에 있어서 데이터의 시각화가 매우 효과적인 방법이기 때문이다. 시각화는 분석 시스템과 사용자가 소통하기 위한 하나의 그래픽 사용자 인터페이스(GUI)를 담당하는 역할을 한다. 통상적으로 이러한 GUI 부분은 데이터의 처리나 분석의 결과와 독립될 수록 시스템의 개발과 유지보수가 용이하며, MVC(Model-View-Controller)와 같은 디자인 패턴의 적용을 통해 GUI와 데이터 처리 및 관리 부분 간의 결합도를 최소화하는 것이 중요하다. 한편 빅데이터는 크게 정형 데이터와 비정형 데이터로 구분할 수 있는데 정형 데이터는 시각화가 상대적으로 용이한 반면, 비정형 데이터는 시각화를 구현하기가 복잡하고 다양하다. 그럼에도 불구하고 비정형 데이터에 대한 분석과 활용이 점점 더 확산됨에 따라, 기존의 전통적인 정형 데이터를 위한 시각화 도구들의 한계를 벗어나기 위해 각각의 시스템들의 목적에 따라 고유의 방식으로 시각화 시스템이 구축되는 현실에 직면해 있다. 더욱이나 현재 비정형 데이터 분석의 대상 중 대부분을 차지하고 있는 텍스트 데이터의 경우 언어 분석, 텍스트 마이닝, 소셜 네트워크 분석 등 적용 기술이 매우 다양하여 하나의 시스템에 적용된 시각화 기술을 다른 시스템에 적용하는 것이 용이하지 않다. 이는 현재의 텍스트 분석 결과에 대한 정보 모델이 서로 다른 시스템에 적용될 수 있도록 설계되지 못하는 경우가 많기 때문이다. 본 연구에서는 이러한 문제를 해결하기 위하여 다양한 텍스트 데이터 분석 사례와 시각화 사례들의 공통적 구성 요소들을 식별하여 표준화된 정보 모델인 텍스트 데이터 시각화 모델을 제시하고, 이를 통해 시각화의 GUI 부분과 연결할 수 있는 시스템 모델로서의 시각화 프레임워크인 TexVizu를 제안하고자 한다.

엣지컴퓨팅을 활용한 분산처리 시스템의 가용성 향상에 관한 연구 (A Study on the Improvement of Availability of Distributed Processing Systems Using Edge Computing)

  • 이건우;김영곤
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권1호
    • /
    • pp.83-88
    • /
    • 2022
  • 최근 정보통신기술의 발전에 따라 사물인터넷(이하 IoT) 관련 기술이 지속적으로 발전하고 있다. IoT 시스템은 다양한 센서들을 바탕으로 센서마다 고유한 데이터를 네트워크를 통해 주고 받는다. IoT 시스템에서 발생하는 데이터는 실시간으로 발생한다는 특징과, 그 양이 설치된 센서의 양과 비례한다는 점에서 연속적으로 수집되는 데이터들은 빅 데이터로 정의할 수 있다. 현재까지의 IoT 시스템은 중앙 집중 처리 방식을 통한 데이터 저장, 처리 및 연산을 적용하였다. 하지만, 구축 규모가 커지고 다량의 센서를 사용하는 경우 기존의 중앙 집중 처리 방식의 서버는 병목 현상으로 인한 부하가 발생할 수 있다. 따라서, 본 논문에서는 IoT 환경에서 발생하는 실시간 센서 데이터를 효율적으로 처리하기 위하여 시스템의 고가용성을 목적으로 하는 데이터의 중요도 기반 알고리즘을 적용하기 위한 분산 처리 시스템에 대해 제안하였다.

블록 체인 기반의 다중 그룹 요소를 이용한 사용자 프라이버시 관리 모델 (User Privacy management model using multiple group factor based on Block chain)

  • 정윤수;김용태;박길철
    • 융합정보논문지
    • /
    • 제8권5호
    • /
    • pp.107-113
    • /
    • 2018
  • IT 기술 중 빅 데이터와 인터넷 기술이 급속하게 발달함에 따라 중요 데이터를 USB와 같은 외부 저장장치에 저장하지 않고도 인터넷이 연결되어 있는 곳이면 어디든지 클라우드 환경에 저장된 데이터를 사용할 수 있는 환경으로 바뀌어 가고 있다. 그러나, 클라우드 환경에서 처리되는 데이터가 손쉽게 일반 사용자들이 처리할 수 있는 환경으로 바꿔가면서 사용자의 프라이버시 정보에 대한 보호의 중요성이 점점 증가하고 있다. 본 논문에서는 클라우드 환경에서 사용되는 정보를 제3자에게 노출시키지 않으면서 사용자의 서비스 질을 향상시킬 수 있는 관리 모델을 제안한다. 제안 모델은 다양한 클라우드 환경에서 처리되고 있는 데이터들 중에서 사용자의 프라이버시 정보를 제3자가 악의적으로 처리하지 못하도록 사용자 그룹을 가상의 환경으로 그룹핑한 후 identity 속성과 접근제어 정책을 블록 체인으로 처리한다. 특히, 클라우드 환경에서 처리되는 데이터의 처리 효율성에 대한 성능을 향상시키기 위해서 개인 정보와 계산 집약적인 암호 정책은 오프 체인에서 실행하도록 하였다.

클라우드 기반 한국형 스마트 온실 연구 플랫폼 설계 방안 (Research-platform Design for the Korean Smart Greenhouse Based on Cloud Computing)

  • 백정현;허정욱;김현환;홍영신;이재수
    • 생물환경조절학회지
    • /
    • 제27권1호
    • /
    • pp.27-33
    • /
    • 2018
  • 본 연구는 농업 및 정보 통신 기술의 융합을 기반으로 국내외 스마트 농장 서비스 모델을 검토하고 한국의 스마트 온실을 개선하기 위해 필요한 다양한 요인을 조사하기 위해 수행되었다. 국내 스마트 온실의 작물 생육모델 및 환경모델에 관한 연구는 제한적이었고, 연구를 위한 인프라를 구축하는 데는 많은 시간이 필요하다. 이러한 문제의 대안으로 클라우드 기반 연구 플랫폼이 필요하다. 제안된 클라우드 기반 연구 플랫폼은 통합 데이터, 생육환경모델, 구동기 제어 모델, 스마트 온실 관리, 지식 기반 전문가 시스템 및 농가 대시보드 모듈을 통해 통합적 데이터 저장 및 분석을 위한 연구 인프라를 제공한다. 또한 클라우드 기반 연구 플랫폼은 작물 생육환경, 생산성 및 액추에이터 제어와 같은 다양한 요인들 간의 관계를 정량화하는 기능을 제공하며, 연구자는 빅데이터, 기계 학습 및 인공지능을 활용하여 작물 생육 및 생장환경 모델을 분석할 수 있다.