• 인터넷정보학회논문지
• /
• 제8권3호
• /
• pp.131-143
• /
• 2007

오늘날 정보 기술 및 지능형 시스템에서는 분산 데이터베이스로부터 패턴들을 찾고 규칙들을 추출하기 위해 데이터 마이닝 기술을 사용한다. 분산환경에서 데이터 마이닝 기술을 이용해 추출된 규칙들은 동적인 중복, 적응형 부하 균형 및 기타 기술들에서 활용될 수 있다. 그러나 대량의 데이터 전송은 에러를 야기하며 신뢰할 수 없는 결과를 초래할 수 있다. 이 논문은 이동 에이전트를 사용하여 동적 그룹 바인딩을 기반으로 한 인텔리전트 분산 플랫폼을 제안한다. 그룹서비스를 통해 효율적인 객체 검색을 위한 분류 알고리즘을 구현한다. 지능형 모델은 동적 중복을 위해 추출된 규칙을 사용한다. 데이터 마이닝 에이전트와 데이터 압축 에이전트는 각각 서비스 노드 데이터베이스로부터 규칙을 추출하여 데이터를 압축한다. 제안한 알고리즘은 데이터를 전송하기 전에 neuro-fuzzy 분류기를 사용하여 빈도가 적은 데이터 ???V을 합하는 전처리 과정을 수행한다. 객체그룹 분류, 서비스 노드 데이터베이스 마이닝, 데이터 압축 및 규칙 추출에 대한 시뮬레이션을 수행했다. 효율적인 데이터 압축 및 신뢰성 있는 규칙 추출에 대한 실험 결과 제안한 알고리즘이 다른 방법들과 비교해 이러한 관점에서 성능이 우수함을 나타내었다.

• 한국콘텐츠학회논문지
• /
• 제13권9호
• /
• pp.20-27
• /
• 2013

최근 소셜 미디어의 성장과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이러한 비-전용 분산 컴퓨팅 환경을 고려한 데이터 재배치 알고리즘이 제안되었지만, 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과, 제안하는 기법이 기존 기법에 비해 성능이 우수함을 확인하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.75-78
• /
• 2017

This paper compares operational and network analysis of centralized and distributed repository for big data solutions in the IoT enabled Smart Grid environment. The comparative analysis clearly depicts that centralize repository consumes less memory consumption while distributed locality-based repository reduce network complexity issues than centralize repository in state-of-the-art Big Data Solution.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4508-4530
• /
• 2021

Today distributed data storage service are being widely used. However lack of proper means of security makes the user data vulnerable. In this work, we propose a Randomized Block Size (RBS) model for secure data storage in distributed environments. The model work with multifold block sizes encrypted with the Chinese Remainder Theorem-based RSA (C-RSA) technique for end-to-end security of multimedia data. The proposed RBS model has a key generation phase (KGP) for constructing asymmetric keys, and a rand generation phase (RGP) for applying optimal asymmetric encryption padding (OAEP) to the original message. The experimental results obtained with text and image files show that the post encryption file size is not much affected, and data is efficiently encrypted while storing at the distributed storage server (DSS). The parameters such as ciphertext size, encryption time, and throughput have been considered for performance evaluation, whereas statistical analysis like similarity measurement, correlation coefficient, histogram, and entropy analysis uses to check image pixels deviation. The number of pixels change rate (NPCR) and unified averaged changed intensity (UACI) were used to check the strength of the proposed encryption technique. The proposed model is robust with high resilience against eavesdropping, insider attack, and chosen-plaintext attack.

• 디지털콘텐츠학회 논문지
• /
• 제15권4호
• /
• pp.533-545
• /
• 2014

IT기술이 발전함에 따라, 우리가 접하는 데이터의 양은 기하급수적으로 늘어나고 있다. 이처럼 방대한 데이터들을 분석하고 관리하기 위한 기술로 등장한 것이 빅데이터 분산처리시스템이다. 기존 분산처리시스템에 대한 품질평가는 정형 데이터 중심의 환경을 바탕으로 이루어져 왔다. 그러므로, 이를 비정형 데이터 분석이 핵심인 빅데이터 분산처리시스템에 그대로 적용시킬 경우, 정확한 품질평가가 이루어질 수 없다. 따라서, 빅데이터 분석 환경을 고려한 분산처리시스템의 품질평가모델에 대한 연구가 필요하다. 본 논문에서는 소프트웨어 품질에 관한 국제 표준인 ISO/IEC9126에 근거하여 빅데이터 분산처리 시스템에서 요구되는 품질평가 요소를 도출하고, 이를 측정하기 위한 메트릭을 정의함으로써 새로이 품질평가모델을 제안한다.

• International Journal of Contents
• /
• 제12권2호
• /
• pp.6-11
• /
• 2016

We developed a pilot-job based large-scale distributed computing system to support HTC and MTC, called HTCaaS (High-Throughput Computing as a Service), which helps scientists solve large-scale scientific problems in areas such as pharmaceutical domains, high-energy physics, nuclear physics and bio science. Since most of these problems involve critical data that affect the national economy and activate basic industries, data privacy is a very important issue. In this paper, we implement a privacy enhanced data security mechanism to support HTC and MTC in a large-scale distributed computing system and show how this technique affects performance in our system. With this mechanism, users can securely store data in our system.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.73-83
• /
• 2019

4차 산업혁명의 기술 등장 이후 대규모 데이터 시대에서 새로운 가치 창출을 위한 데이터 정보 분석은 다양한 분야에서 시도되고 있다. 대용량 데이터를 빠르게 처리하는데 있어서 분산 데이터 처리는 이미 필수적이다. 하지만 아직 국방 분야에서 운용하고 있는 시뮬레이션들은 쌓여 있는 비정형 데이터를 활용할 수 있는 시스템이 미비하다. 이에 본 연구에서는 훈련간 발생하는 문제에 대응하기 위한 지휘결심에 가시화된 데이터를 제공하기 위해서 대대급 규모의 시뮬레이션 모델에 적용 가능한 분산 처리 플랫폼을 제안한다. 전략게임 데이터 50만개를 분석하는 과정으로, 데이터가 가지고 있는 여러 요인들 중 승리요인에 영향을 미치는 요소들을 분석할 수 있게 구현하였다. 결과적으로 상위 10%에 있는 팀들의 데이터를 분석하는 과정에서의 분산처리 사용한 결과를 측정 및 비교 하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.115-117
• /
• 2004

Recently, mining far association rules in distributed database environments is a central problem in knowledge discovery area. While the data are located in different share-nothing machines, and each data site grows by time. Mining global frequent itemsets is hard and not efficient in large number of distributed sewen. In many distributed databases. time component(which is usually attached to transactions in database), contains meaningful time-related rules. In this paper, we design a new DTA(distributed temporal association) algorithm that combines temporal concepts inside distributed association rules. The algorithm confirms the time interval for applying association rules in distributed databases. The experiment results show that DTA can generate interesting correlation frequent itemsets related with time periods.

• 한국군사과학기술학회지
• /
• 제15권2호
• /
• pp.147-154
• /
• 2012

In this paper, we revise the JDL data fusion model to have an ability of distributed data fusion(DDF). Data fusion is a function that produces valuable information using data from multiple sources. After the network centric warfare concept was introduced, the data fusion was required to be expanded to DDF. We identify the data transfer and control between nodes is the core function of DDF. The previous data fusion models can not be used for DDF because they don't include that function. Therefore, we revise the previous JDL data fusion model by adding the core function of DDF and propose this new model as a model for DDF. We show that our model is adequate and useful for DDF by using several examples.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권6호
• /
• pp.2606-2626
• /
• 2016

This article investigates the distributed data storage problem in the space information network (SIN) using distributed fountain codes. Since space nodes in the SIN are resource-limited, in order to reduce energy consumption while improving the storage reliability, an efficient distributed storage based on fountain codes and probabilistic broadcasting (DSFPB) strategy is proposed. In the proposed strategy, source packets are disseminated among the entire network according to probabilistic broadcasting (PBcast), and the final degree distribution is close to the desired robust soliton distribution (RSD), this is benefited from the appropriate packets encoding procedure of the proposed strategy. As presented by the analysis and simulations, the total cost of data dissemination is greatly reduced compared with existing representative strategies, while improving the decoding performance.