• Spatial Information Research
• /
• v.19 no.4
• /
• pp.55-71
• /
• 2011

Recently, interest in cloud computing which provides IT resources as service form in IT field is increasing. As a result, much research has been done on the distributed data processing that store and manage a large amount of data in many servers. Meanwhile, in order to effectively utilize the spatial data which is rapidly increasing day by day with the growth of GIS technology, distributed processing of spatial data using cloud computing is essential. Therefore, in this paper, we review the representative distributed data processing techniques and we analyze the optimization requirements for performance improvement of the distributed processing techniques for a large amount of data. In addition, we uses the Hadoop and we evaluate the performance of the distributed data processing techniques for their optimization requirements.

• Journal of Digital Contents Society
• /
• v.14 no.3
• /
• pp.313-321
• /
• 2013

In recent, proliferation of mobile smart devices have led to big-data era, the importance of location-based services is increasing due to the exponential growth of trajectory related data. In order to process trajectory data, parallel processing platforms such as cloud computing and MapReduce are necessary. Currently, the researches based on MapReduce are on progress, but due to the MapReduce's properties in using batch processing and simple key-value structure, applying MapReduce framework for real time LBS is difficult. Therefore, in this research we propose a suitable system design on efficient indexing and search techniques for real time service based on detailed analysis on the properties of MapReduce.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.4
• /
• pp.885-892
• /
• 2013

In the model Utilizing the TCP / IP socket communication to transmit and receive data, if the size of data is small and if data-transmission aren't frequently requested, the importance of communication speed between a server and a client isn't emphasized. But nowadays, it has emerged for large amounts of data transfer requests and frequent data transfer request. This paper propose the TCP/IP communication model that can be improved the data transfer rate in multi-core environment by changing the receiving structure of the client to receive large amounts of data and the transmission structure of the server to send large amounts of data.

• The KIPS Transactions:PartB
• /
• v.10B no.1
• /
• pp.33-40
• /
• 2003

Data mining plays an important role in a knowledge discovery process and various algorithms of data mining can be selected for the specific purpose. Most of traditional hierachical clustering methode are suitable for processing small data sets, so they difficulties in handling large data sets because of limited resources and insufficient efficiency. In this study we propose a hybrid neural networks clustering technique, called PPC for Pre-Post Clustering that can be applied to large data sets and find unknown patterns. PPC combinds an artificial intelligence method, SOM and a statistical method, hierarchical clustering technique, and clusters data through two processes. In pre-clustering process, PPC digests large data sets using SOM. Then in post-clustering, PPC measures Similarity values according to cohesive distances which show inner features, and adjacent distances which show external distances between clusters. At last PPC clusters large data sets using the simularity values. Experiment with UCI repository data showed that PPC had better cohensive values than the other clustering techniques.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.196-198
• /
• 2005

오늘날 우리가 사용할 수 있는 정보의 양은 실로 막대하면서도 지속적으로 늘어가고 있는 추세이며, 동시에 데이터들의 신속한 처리에 대한 관심이 늘고 있다. 특히 GIS에서 사용되는 대용량 데이터나 빠른 처리 속도가 요구되는 인증 시스템 데이터와 같은 다양한 종류의 데이터 특성을 고려하여 효율적인 관리를 하는 데이터베이스 관리 시스템을 필요로 하고 있다. 스냅샷 데이터를 갖는 다중 레벨 공간 DBMS는 대용량, 또는 빠른 트랜잭션 처리 속도가 필요한 데이터들을 효율적으로 관리하는 데이터베이스 관리 시스템으로서, 대용량 데이터는 디스크 데이터베이스에서 그리고 빠른 트랜잭션 처리를 요구하는 데이터들은 스냅샷의 형태로 메모리 데이터베이스에서 관리한다. 메모리 데이터베이스에 저장되는 스냅샷은 상대적으로 더욱 중요한 스냅샷들이 집중적으로 생성되거나 스냅샷이 가진 특성이 변화될 경우, 메모리 데이터베이스 내에서의 저장 가치를 잃을 수가 있다. 따라서 메모리 데이터베이스에 불필요한 스냅샷들이 축적되는 문제를 해결하고 메모리의 이용성과 성능을 보존하기 위해서 효율적으로 스냅샷들을 교체하는 기법이 필요하다. 본 논문에서는 다중 레벨 공간 DBMS에서 질의 패턴을 이용한 효율적인 스냅샷 교체 기법을 제안한다. 제안된 기법은 메모리 데이터베이스 내에서 스냅샷에 대한 교체요청이 있을 경우, 메모리 데이터베이스 및 메모리 관리 시스템의 상창을 분석하여 주어진 상황에 대응하는 스냅샷 교체 기법을 수행한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 1998.11a
• /
• pp.290-293
• /
• 1998

대용량 통신처리 시스템은 전화망, 패킷망 및 ISDN 망 둥 다양한 통신망으로부터 접속하는 사용자들에게 text 기반의 서비스 및 인터넷 서비스의 제공을 목표로 한다. 대용량통신처리시스템은 전화망, 패킷망 및 ISDN 망을 access 망으로 하고, 패킷망 및 Internet을 전달망으로 하여 다양한 서비스를 제공하는 구조를 갖는다. 대용량통신처리시스템은 제공하는 서비스들에 대하여 access 망에 대한 과금 및 전달망에 대한 과금 데이터를 제공하여 정확한 과금이 부과될 수 있는 기본 데이터를 제공한다. 대용량통신처리시스템은 이러한 망을 access하는 망접속 서브시스템들로 구성되는데 본 논문에서는 각 망접속 서브시스템들 및 구성요소들의 관리를 전담하는 LOMS(Local Operations and Management System)의 소프트웨어 구성 및 관리절차에 대하여 기술한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1316-1319
• /
• 2015

본 논문에서는 대규모 분산 병렬 컴퓨팅 환경인 하둡 클러스터 시스템을 이용하여, 공간 객체들 간의 위상 관계를 효율적으로 추론하는 대용량 정성 공간 추론기를 제안한다. 본 논문에서 제안하는 공간 추론기는 추론 작업의 순차성과 반복성을 고려하여, 작업들 간의 디스크 입출력을 최소화할 수 있는 인-메모리 기반의 아파치 스파크 프레임워크를 이용하여 개발하였다. 따라서 본 추론기에서는 추론의 대상이 되는 대용량 공간 지식들을 아파치 스파크의 분산 데이터 집합 형태인 PairRDD와 RDD로 변환하고, 이들에 대한 데이터 오퍼레이션들로 추론 작업들을 구현하였다. 또한, 본 추론기에서는 추론 시간의 많은 부분을 차지하는 이행 관계 추론에 필요한 조합표를 효과적으로 축소함으로써, 공간 추론 작업의 성능을 크게 향상시켰다. 대용량의 공간 지식 베이스를 이용한 성능 분석 실험을 통해, 본 논문에서 제안한 정성 공간 추론기의 높은 성능을 확인할 수 있었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.97-98
• /
• 2019

본 논문에서는 대용량의 방송 콘텐츠를 전송하기 위해 다수개의 채널을 결합하여 안정적이고 고속으로 전송하기 위한 방송콘텐츠를 전송하기 위한 테스트베드를 제안한다. 제안하는 테스트베드의 첫 번째 목적은 하나의 방송채널 용량을 초과하는 대용량 방송 콘텐츠를 다수개의 채널을 결합하여 전송하기 위한 것이며, 두 번째 목적은 다채널로 입력된 데이터를 다양한 방법의 병렬 알고리즘을 적용하여 FPGA에 적용한 후 그 결과를 테스트하기 위한 것이다. 이를 위하여 제안하는 테스트베드는 다채널을 위한 입력 보드와 전반적인 제어를 위한 CPU 보드, 병렬 알고리즘 등을 테스트하기 위한 FPGA 보드, 그리고 3개의 보드들을 연결하기 위한 베이스 보드로 구성되었다. 제안하는 테스트베드 환경에서 다채널 대용량의 데이터를 병렬처리 할 수 있는 병렬 알고리즘들을 지속적으로 개발하고 테스트하여 다채널 대용량의 실시간 처리가 가능한 영상처리 시스템을 개발하는 것이다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.13 no.4
• /
• pp.881-886
• /
• 2018

Over the last several decades, the advances in computer engineering technology have led a new paradigm of data-intensive research in the field of scientific applications. A collaborative work environment for storing, sharing and analyzing data is required for researchers of geographical distance. The Korean government supports the Research & Education network(KREONET) and the Global Science experimental Data hub Center(GSDC) to strengthen the nation's competitiveness. The KREONET has upgraded its backbone to 100Gbps to accommodate demand to transfer data fast among the global major experimental sites. This paper introduces the test result between high performance nodes reserved for big data transfer.

• The KIPS Transactions:PartB
• /
• v.12B no.4 s.100
• /
• pp.487-498
• /
• 2005

Recently, It has focused on decision tree algorithm that can handle large dataset. However, because most of these algorithms for large datasets process data in a batch mode, if new data is added, they have to rebuild the tree from scratch. h more efficient approach to reducing the cost problem of rebuilding is an approach that builds a tree incrementally. Representative algorithms for incremental tree construction methods are BOAT and ITI and most of these algorithms use a local discretization method to handle the numeric data type. However, because a discretization requires sorted numeric data in situation of processing large data sets, a global discretization method that sorts all data only once is more suitable than a local discretization method that sorts in every node. This paper proposes an incremental tree construction method that efficiently rebuilds a tree using a global discretization method to handle the numeric data type. When new data is added, new categories influenced by the data should be recreated, and then the tree structure should be changed in accordance with category changes. This paper proposes a method that extracts sample points and performs discretiration from these sample points to recreate categories efficiently and uses confidence intervals and a tree restructuring method to adjust tree structure to category changes. In this study, an experiment using people database was made to compare the proposed method with the existing one that uses a local discretization.