• 한국인터넷방송통신학회논문지
• /
• 제20권2호
• /
• pp.13-20
• /
• 2020

빅 데이터 관련 주요 논제 중의 하나는 방대한 시간 기반 또는 원격 측정 데이터의 가용성에 관한 문제이다. 현재 저비용 획득 및 저장 장치의 등장은 더 세밀한 분석에 사용될 상세한 시간 데이터를 얻을 수 있어서 배후 시스템에 대해 여러 가지 지식을 갖거나 미래의 이벤트를 더 정확히 예측할 수 있다. 특히, 스마트 미터가 설치된 수많은 가정 및 기업 등을 대상으로 전기 사용에 관한 고객 맞춤형 계약을 정의하는 것은 다른 무엇보다도 중요한 문제이다. 수많은 스마트 미터 데이터를 바탕으로 공통적인 전력 소비 형태를 몇 가지 그룹으로 구분할 필요가 있다. 이에 본 연구에서는 스마트 미터 측정 관련 공개 데이터와 자바 기반 공개 소스인 KNIME 플랫폼을 사용하여 스마트 미터 관련 빅 데이터 변환과 클러스터링을 나타낸다. 빅 데이터 구성 요소는 공개 소스는 아니지만, 시험판으로 사용할 수 있다. 스마트 미터 빅 데이터를 가져오고, 정리하고, 변환한 후 전력 사용량 행위와 관련된 각 미터 ID의 해석과 클러스터링에 적합한 DTW 접근 방식을 통해 전력 사용 행위에 관한 스마트 계약을 정의할 수 있다.

• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.460-470
• /
• 2017

본 논문은 intelligent SSD (iSSD)를 통해 빅 데이터 마이닝을 효과적으로 처리하기 위한 방안에 대해서 소개한다. iSSD는 데이터 전송 비용을 줄이고 데이터가 저장된 장소와 가장 가까운 곳에서 데이터를 처리하기 위해, SSD 내부에 데이터 처리 능력을 부여한 장치이다. 본 논문에서는 먼저, iSSD의 등장 배경 및 효율적인 데이터 처리를 위한 iSSD 구조에 대해 소개한다. 더 나아가, iSSD를 이용하여 데이터 마이닝 알고리즘들을 빠르게 수행하는 방안을 소개한다. 끝으로, iSSD 뿐만 아니라 호스트 CPU, GPU 등 이질 (heterogeneous) 컴퓨팅 자원을 함께 활용하여 데이터 마이닝 알고리즘의 성능을 크게 향상시키는 협업 방안을 소개한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권6호
• /
• pp.283-288
• /
• 2016

최근 빅데이터 처리를 위한 연구들이 활발히 진행 중이며, 관련된 다양한 제품들이 개발되고 있다. 이에 따라, 기존 환경에서는 처리가 어려웠던 대용량 로그 데이터의 저장 및 분석이 가능해졌다. 본 논문은 다수의 서버에서 빠르게 생성되는 대량의 로그 데이터를 Apache Hive에서 분석할 수 있는 데이터 저장 구조를 제안한다. 그리고 저장된 로그 데이터로부터 특정 서버의 이상 유무를 판단하기 위해, 이동 평균 및 3-시그마 기반의 이상 탐지 기술을 설계 및 구현한다. 또한, 실험을 통해 로그 데이터의 급격한 증가폭을 나타내는 구간을 이상으로 판단하여, 제안한 이상 탐지 기술의 유효성을 보인다. 이 같은 결과를 볼 때, 본 연구는 하둡 기반으로 로그 데이터를 분석하여 이상치를 바르게 탐지할 수 있는 우수한 결과라 사료된다.

• 한국인터넷방송통신학회논문지
• /
• 제19권2호
• /
• pp.151-159
• /
• 2019

4차 산업의 근간이 되는 빅데이터 시대가 도래하면서 대부분의 관련 업계에서는 데이터에 대한 저장, 통계분석 및 시각화 기술 중심으로 관련 솔루션들이 개발되고 있다. 하지만 빅데이터 기술의 근본적인 발전을 위해서는 인공지능을 이용한 예측 분석기술의 발전이 필요하다. 하지만 이러한 고급기술은 현재 데이터과학자라고 불리는 일부 전문가에 의해서만 가능한 수준이다. 이를 극복하기 위해서는 데이터에 대한 통찰력을 지닌 비전문가(시민 데이터과학자)가 빅데이터 분석 과정을 저비용으로 쉽게 접근할 수 있는 기반이 마련되어야한다. 본 논문에서는 고수준의 데이터과학 지식 없이 사용하기 쉬운 빅데이터 도구 및 기술의 도움으로 데이터를 분석하기 위한 서비스 과정을 제안한다. 이를 위해 필요한 예측 분석 시스템에 필요한 구성 요소와 환경을 정의하고 전반적인 서비스 설계 방안을 제시한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권2호
• /
• pp.1043-1063
• /
• 2019

With delegating proxy to process data before outsourcing, data owners in restricted access could enjoy flexible and powerful cloud storage service for productivity, but still confront with data integrity breach. Identity-based data auditing as a critical technology, could address this security concern efficiently and eliminate complicated owners' public key certificates management issue. Recently, Yu et al. proposed an Identity-Based Public Auditing for Dynamic Outsourced Data with Proxy Processing (https://doi.org/10.3837/tiis.2017.10.019). It aims to offer identity-based, privacy-preserving and batch auditing for multiple owners' data on different clouds, while allowing proxy processing. In this article, we first demonstrate this scheme is insecure in the sense that malicious cloud could pass integrity auditing without original data. Additionally, clouds and owners are able to recover proxy's private key and thus impersonate it to forge tags for any data. Secondly, we propose an improved scheme with provable security in the random oracle model, to achieve desirable secure identity based privacy-preserving batch public auditing with proxy processing. Thirdly, based on theoretical analysis and performance simulation, our scheme shows better efficiency over existing identity-based auditing scheme with proxy processing on single owner and single cloud effort, which will benefit secure big data storage if extrapolating in real application.

• 한국컴퓨터정보학회논문지
• /
• 제23권1호
• /
• pp.111-116
• /
• 2018

Recently, IoT and Big Data dealing with voluminous and complex sensitive information is one of the key issues in the era of the 4th industrial revolution. There have been a lot of studies to store the collected and processed sensitive information safely in storage data. Especially biometric information, if it is leaked and becomes identity theft, is hard to be corrected and results in serious event. To fix the problem, methods such as FIDO or KFTC have been proposed. In this paper, we propose a modified method of TTAK.KO-12.0098 according to the environment of this paper and propose a method of safely storing the generated disposable template in a block chain. We show that our method is better by comparing the existing method and the security analysis.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2211-2232
• /
• 2018

The unstructured and semi-structured big data in social network poses new challenges in query retrieval. This requirement needs to be met by introducing quality retrieval time measures like indexing. Due to the huge volume of data storage, there originate the need for efficient index algorithms to promote query processing. However, conventional algorithms fail to index the huge amount of frequently obtained information in real time and fall short of providing scalable indexing service. In this paper, a new LIndex algorithm, which is a heuristic on Lucene is built on Neo4jHA architecture that holds the social network Big data. LIndex is a flexible and simplified adaptive indexing scheme that ascendancy decomposed shortest paths around term neighbors as basic indexing unit. This newfangled index proves to be effectual in query space pruning of graph database Neo4j, scalable in index construction and deployment. A graph query is processed and optimized beyond the traditional Lucene in a time-based manner to a more efficient path method in LIndex. This advanced algorithm significantly reduces query fetch without compromising the quality of results in time. The experiments are conducted to confirm the efficiency of the proposed query retrieval in Neo4j graph NoSQL database.

• International journal of advanced smart convergence
• /
• 제10권2호
• /
• pp.21-30
• /
• 2021

With the rapid development of artificial intelligence and big data, a lot of medical data is effectively used, and the diagnosis and analysis of diseases has entered the era of intelligence. With the increasing public health awareness, ordinary citizens have also put forward new demands for panic disorder health services. Specifically, people hope to predict the risk of panic disorder as soon as possible and grasp their own condition without leaving home. Against this backdrop, the smart health industry comes into being. In the Internet age, a lot of panic disorder health data has been accumulated, such as diagnostic records, medical record information and electronic files. At the same time, various health monitoring devices emerge one after another, enabling the collection and storage of personal daily health information at any time. How to use the above data to provide people with convenient panic disorder self-assessment services and reduce the incidence of panic disorder in China has become an urgent problem to be solved. In order to solve this problem, this research applies the context awareness to the automatic diagnosis of human diseases. While helping patients find diseases early and get treatment timely, it can effectively assist doctors in making correct diagnosis of diseases and reduce the probability of misdiagnosis and missed diagnosis.

• 한국전자통신학회논문지
• /
• 제12권5호
• /
• pp.817-828
• /
• 2017

단일 스트림 기준으로 10Gbps에 달하는 데이터 처리를 수행하는 시스템은 매우 제한적이고, 그에 관한 애플리케이션 역시 극소수에 불과한 실정이다. 하지만 이러한 시스템은 물리, 천문 등 과학연구 분야에서 더욱 그 중요성이 부각되고 있으며, 업그레이드 된 성능을 요구하고 있다. 이를 위해 해당 분야의 중소기업 지원을 위해 1년 전 10Gbps 수준으로 네트워크 입력되는 고속의 패킷 수신, 저장을 수행하는 초고속 스토리지가 개발되었다. 하지만 실제 연구 현장에서 사용되기 위해서는 객관화된 성능 평가가 수반되어야 하며 최적화가 이뤄져야 한다. 본 논문에서는 이에 필요한 시스템 환경을 구축한 것을 시작으로 객관화된 성능 지표를 얻기 위한 실험 과정 및 방법론에 대해 논의하였다.

• 사물인터넷융복합논문지
• /
• 제9권1호
• /
• pp.71-76
• /
• 2023

최근 빅데이터를 저장 및 관리하기 위해 대용량 데이터를 안정적으로 접근할 수 있는 고성능의 저장시스템 개발과 연구가 활발하게 진행되고 있다. 특히 데이터센터 및 엔터프라이즈 환경의 저장시스템에서는 대용량의 데이터를 관리하기 위해 대용량의 SSD(solid state disk)가 대량으로 사용되고 있다. 일반적으로 SSD는 미디어인 NAND 플래시 메모리의 특성을 감추고 데이터를 관리를 효율적으로 하기 위해 FTL(flash transfer layer)을 사용한다. 그러나 FTL의 알고리즘은 SSD의 용량이 커질수록 데이터가 저장된 NAND의 위치 정보를 관리하기 위해 DRAM을 많이 사용하는 한계가 있다. 따라서 본 논문에서는 FTL에서 사용하는 DRAM 자원을 줄이기 위한 가상 메모리 (virtual memory)를 적용한 FTL 정책을 소개한다. 본 논문에서 제안하는 가상 메모리 기반 FTL 정책은 LRU(least recently used) 정책을 사용하여 최근 사용된 데이터의 멥핑 정보를 DRAM 공간에 적재하고 이전에 사용된 정보는 NAND에 저장하는 방식으로 멥 데이터를 관리한다. 마지막으로 실험을 통해 가상 메모리 기반의 FTL과 일반 FTL의 데이터 쓰기 처리를 하는 동안 소모되는 성능과 자원의 사용량을 측정하고 분석한다.