• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.29 no.6
• /
• pp.1305-1317
• /
• 2019

Although encryption for data protection is essential in the big data platform environment of public institutions and corporations, much performance verification studies on encryption algorithms considering actual big data workloads have not been conducted. In this paper, we analyzed the performance change of AES, ARIA, and 3DES for each of six workloads of big data by adding data and nodes in MongoDB environment. This enables us to identify the optimal block-based cryptographic algorithm for each workload in the big data platform environment, and test the performance of MongoDB by testing various workloads in data and node configurations using the NoSQL Database Benchmark (YCSB). We propose an optimized architecture that takes into account.

• Journal of Digital Convergence
• /
• v.19 no.3
• /
• pp.211-216
• /
• 2021

Information from various heterogeneous devices is steadily increasing in distributed cloud environments. This is because high-speed network speeds and high-capacity multimedia data are being used. However, research is still underway on how to minimize information errors in big data sent and received by heterogeneous devices. In this paper, we propose a deep learning-based asymmetric storage management technique for minimizing bandwidth and data errors in networks generated by information sent and received in cloud environments. The proposed technique applies deep learning techniques to optimize the load balance after asymmetric hash of the big data information generated by each device. The proposed technique is characterized by allowing errors in big data collected from each device, while also ensuring the connectivity of big data by grouping big data into groups of clusters of dogs. In particular, the proposed technique minimizes information errors when storing and managing big data asymmetrically because it used a loss function that extracted similar values between big data as seeds.

• Annual Conference of KIPS
• /
• 2021.11a
• /
• pp.736-737
• /
• 2021

최근의 빅데이터 처리 환경은 실시간 빅데이터를 기반으로 하고 있다. 실시간 빅데이터 처리를 위해서는 기존의 배치처리 방식의 빅데이터 기술에서 발생하는 기술적 요구를 포함하여 추가적으로 요구되는 다양한 문제들을 고려해야 한다. 기계학습 모형을 활용한 의사결정 지원 시스템의 경우 모형 개발을 위한 배치처리 기술과 함께 모형의 배포와 최적화 등도 고려되어야 하며 발전 설비나 제조, 공정, 배송 등의 분야에서 발생하는 대규모 실시간 데이터를 이용하여 추론을 수행해야 한다. 본 연구에서는 센서 데이터를 활용한 예측 모형 개발과 실시간 데이터 처리 그리고 추론을 위한 모델 배포와 최적화 과정을 지원하는 시스템 환경을 제공하여 실제 현장에서 발생하고 있는 데이터를 활용하여 실증을 수행하였다.

• Annual Conference of KIPS
• /
• 2017.11a
• /
• pp.432-433
• /
• 2017

최근 ICT 기술과 의료 빅데이터를 활용한 다양한 연구가 활발하게 진행되고 있다. 이질적인 의료데이터의 공유와 확산을 위해 표준화 데이터 모델로 온톨로지 기반의 Linked Open Data가 대안으로 급부상하고 있다. 특히 의료 빅데이터의 분석을 위한 데이터 셋은 프로토콜화하기 어려운 문제점을 갖고 있다. 본 논문에서는 이러한 문제점을 해결하기 개발된 계층적 LOD 개발 환경 시스템을 기반으로 의료정보를 적용하기 위한 모델링에 중점을 두고자 한다. 본 연구는 의료 빅데이터의 검색과 분석연구 분야에 큰 영향을 줄 것으로 기대하고 있다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.9 no.7
• /
• pp.791-797
• /
• 2014

In order to create an environment for Apache Hadoop for parallel distributed processing system of Bigdata, by connecting a plurality of computers, or to configure the node, using the configuration of the virtual nodes on a single computer it is necessary to build a cloud fading environment. However, be constructed in practice for education in these systems, there are many constraints in terms of cost and complex system configuration. Therefore, it is possible to be used as training for educational institutions and beginners in the field of Bigdata processing, development of learning systems and inexpensive practical is urgent. Based on the Raspberry Pi board, training and analysis of Big data processing, such as Hadoop and NoSQL is now the design and implementation of a learning system of parallel distributed processing of possible Bigdata in this study. It is expected that Bigdata parallel distributed processing system that has been implemented, and be a useful system for beginners who want to start a Bigdata and education.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.684-687
• /
• 2013

빅데이터 환경은 수많은 데이터의 조합으로 가치를 발견하여 이를 활용하는 것이다. 이러한 환경의 전제조건은 데이터의 공개 및 공유 개방이 될 것이다. 하지만 데이터 공개 시 개인정보와 같은 정보가 포함되어 법적 도덕적인 문제나 공개된 정보의 범죄 활용 등 2차적인 피해가 발생할 수 있어 데이터 공개 시 개인정보에 대한 익명화가 반드시 필요하다. 하지만 익명화된 데이터는 다른 정보와 결합을 통하여 재식별되어 비익명화 될 가능성이 항상 존재한다. 따라서 본 논문에서는 데이터 공개 시 익명화된 데이터를 공개하기 전에 재식별성에 대한 위험을 평가하는 테스트 방법론을 제안한다. 제안하는 방법론은 실제 테스트를 수행하는 3가지 과정 및 테스트 레벨 설정과 익명화 시 고려해야 할 부분으로 이루어져 있다. 제안하는 방법론을 통하여 안전한 데이터 공개 환경이 조성되어 빅데이터 시대에 개인정보에 안전한 데이터 공유와 개방이 이루어질 것으로 기대한다.

• Journal of Digital Convergence
• /
• v.15 no.5
• /
• pp.61-69
• /
• 2017

This study aims to investigate the public big data standard analysis model developed by Ministry of the Interior and examine its accuracy and reliability of prediction. To do this, big data standard analysis index were calculated to apply them to the real world case of CCTV monitoring system prior installation in K city. The result of this case study revealed that the areas to be installed CCTV consisted with the area where residences requested and complained to install CCTV monitoring systems, which indicated that the result of big data standard analysis model provided accurate and reliable outcomes. The result of this study suggested implications on effective exploitation of big data analysis.

• Annual Conference of KIPS
• /
• 2016.04a
• /
• pp.591-594
• /
• 2016

최근 빅데이터 시대의 도래로 대량의 데이터에 대한 처리 및 분석 요구가 증가되면서 빅데이터를 저장하기 위해 개발된 NoSQL 데이터베이스 내의 조인 연산 필요성이 증대되고 있다. 빅데이터 환경에서는 다중 저장소 지속성의 개념에 따라 여러 NoSQL 데이터베이스를 동시 복합적으로 사용해야 하므로 이기종 NoSQL 데이터베이스간의 조인 연산이 중요시 되고 있다. 하지만 NoSQL 데이터베이스에서는 데이터 처리 과정에서 발생하는 오버헤드로 인해 조인 연산을 지원하지 않거나 조인 연산 시 성능저하가 발생한다. 이러한 조인 연산에 대한 오버헤드를 줄이기 위해 애플리케이션 단에서 맵리듀스 프레임워크를 활용한 다양한 조인 전략 연구들이 제시되었지만 단일 NoSQL 데이터베이스를 위한 방법이며 조인에 참여하는 데이터의 특성 및 연관성을 사전에 파악하고 있어야하는 한계점이 존재한다. 본 논문은 조인 연산에 참여하는 데이터에 대한 사전 정보 없이 빅데이터 환경에서 이기종 NoSQL 데이터베이스간의 조인 연산을 지원하기 위해 데이터 집합 분석, 질의 재배치, 조인 전략 자동 선정, 조인 결과가 저장될 데이터베이스 자동 선택 단계를 통한 지능적 조인 처리 기법을 제시한다.

• The Journal of Bigdata
• /
• v.4 no.1
• /
• pp.119-127
• /
• 2019

This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.

• Information and Communications Magazine
• /
• v.32 no.11
• /
• pp.3-7
• /
• 2015

최근 활발히 연구되고 있는 빅데이터와 의료 영역이 융합되면서, 보건의료서비스 분야에서는 데이터 집약적이고 공간을 초월한 새로운 서비스패러다임의 움직임이 진행되고 있다. 본고에서는 이러한 빅데이터를 활용하여 건강증진 및 예방을 위하여 생활 속에서 제공되고 있는 생활환경 및 보건 데이터 기반의 라이프케어 서비스동향과 기술에 관하여 알아본다.