• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10a
• /
• pp.74-76
• /
• 2000

공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터에 대한 처리 비용 및 전용 비용으로 인한 서버 사이드의 병목 현상 및 질의 처리 속도의 저하라는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 미들웨어인 C-C Connector의 Method 및 프로토콜을 제안한다. 제안하는 C-C(Client To Client) Connector는 질의의 분석과 CIT(Client Information)의 검색을 통하여 인접한 클라이언트들의 캐쉬 데이터를 이용한 질의 처리의 가능 여부를 판단하며 인접 클라이언트와 요구 클라이언트 사이의 Connection을 형성함으로서 클라이언트-클라이언트의 질의 처리 및 데이터 전송 기능을 지원한다. 그리고 이러한 기능의 지원을 위한 서버, C-C Connector, 클라이언트 사이에서 수행되어지는 질의 처리의 프로토콜을 정의한다. 제안된 C-C Connector의 Method 및 프로토콜은 서버 사이드의 처리 비용을 현재 서버에 접속중인 클라이언트들에게 분배함으로서 서버 사이드의 병목현상과 질의 처리 시간의 지연이라는 문제점을 개선할 수 있으며 클라이언트 사이드에서의 반응 속도의 향상과 현재 연결된 시스템의 처리 성능을 최대한 활용할 수 있다는 장점을 갖는다.

• Journal of Digital Convergence
• /
• v.14 no.4
• /
• pp.251-258
• /
• 2016

Big data processing is a broad term for processing data sets so large or complex that traditional data processing applications are inadequate. Widespread use of smart devices results in a huge impact on the way we process data. Many organizations are contemplating how to incorporate or integrate those devices into their enterprise data systems. We have proposed a way to process big data by way of integrating Raspberry Pi into a Hadoop cluster as a computational grid. We have then shown the efficiency through several experiments and the ease of scaling of the proposed system.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.316-318
• /
• 2001

본 논문에서는 자기조직화 형상지도(Self-organizing Feature Maps)를 사용하여 움직이는 물체에 대해 움직임의 특성을 자동으로 분석하였다. Kohonen Network는 자기조직을 형성하는 unsupervised learning 알고리즘으로서, 이 논문에서는 생태계에서의 데이터를 Patternizing하고, Clustering 하는데 사용한다. 본 논문에서 Kohonen 신경망의 학습에 사용한 데이터는 CCD 카메라로 물고기의 움직임을 추적한 좌표 데이터이며, diazinon 0.1 ppm을 처리한 물고기 점 데이터와 처리하지 않은 점 데이터를 각각 낮.밤 약 10시간동안 수집하여, \circled1처리전 낮 데이터 \circled2처리전 밤 데이터 \circled3처리전 낮 데이터 \circled4처리후 밤 데이터 각각 4개의 group으로 분류한 후, Kohonen Network을 사용하여 물고기의 행동 차이를 분석하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.341-342
• /
• 2014

지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.932-933
• /
• 2015

최근 데이터의 양이 급격하게 증가하면서 빅데이터의 시대가 도래했다. 빅데이터는 형식이 없는 비정형 데이터이므로 기존의 정형 데이터 처리 방법으로는 분석 및 데이터 처리가 불가능해졌다. 또한, 범죄예방에 대한 관심이 증가하면서, 범죄 데이터 분석의 수요가 증가하고 있다. 본 연구에서는 비정형 범죄 데이터를 분석, 예측 등의 전산처리를 하기 위한 정규화 메트릭을 설정하는 방안을 제안하고자 한다.

• The Journal of the Korea Contents Association
• /
• v.16 no.2
• /
• pp.163-173
• /
• 2016

Recently, massive amounts of stream data have been studied for distributed processing. In this paper, we propose an incremental stream data processing method based on in-memory in big data environments. The proposed method stores input data in a temporary queue and compare them with data in a master node. If the data is in the master node, the proposed method reuses the previous processing results located in the node chosen by the master node. If there are no previous results of data in the node, the proposed method processes the data and stores the result in a separate node. We also propose a job scheduling technique considering the load and performance of a node. In order to show the superiority of the proposed method, we compare it with the existing method in terms of query processing time. Our experimental results show that our method outperforms the existing method in terms of query processing time.

• KIPS Transactions on Software and Data Engineering
• /
• v.8 no.4
• /
• pp.145-152
• /
• 2019

Unlike a single value from a sensor device, a massive data set has characteristics for various processing aspects; input data may be formed in a different format, the size of input data varies, and the processing time of analyzing input data is not predictable. Therefore, context aware systems may contain complex modules, and these modules can be implemented and used in different ways. In order to solve these problems, we propose a method to handle context information from the result of analyzing massive data. The proposed method considers analysis work as a different type of abstracting context and suggests the way of representing context information. In experiment, we demonstrate how the context processing engine works properly in a couple of steps with healthcare services.

• The Journal of Bigdata
• /
• v.4 no.2
• /
• pp.73-83
• /
• 2019

Since the emergence of the fourth industrial revolution, data analysis is being conducted in various fields. Distributed data processing has already become essential for the fast processing of large amounts of data. However, in the defense sector, simulation used cannot fully utilize the unstructured data which are prevailing at real environments. In this study, we propose a distributed data processing platform that can be applied to battalion level simulation models to provide visualized data for command decisions during training. 500,000 data points of strategic game were analyzed. Considering the winning factors in the data, variance processing was conducted to analyze the data for the top 10% teams. With the increase in the number of nodes, the model becomes scalable.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06d
• /
• pp.337-342
• /
• 2010

센서 네트워크에서 발생하는 데이터를 저장하고, 효율적으로 질의를 처리하는 기법에 대한 많은 연구가 이루어지고 있다. 대표적인 연구로 데이터 중심 저장 기법이 있다. 데이터 중심 저장 기법의 경우 질의를 효과적으로 처리하기 위해 수집한 데이터 값에 따라 저장 될 센서 노드를 지정하고, 질의 처리를 위해 질의에 해당하는 데이터를 저장하는 노드에서만 데이터를 수집한다. 하지만 노드의 결함이 발생하면 결함 노드에 저장 되어 있는 전체 데이터가 소실 됨에 따라 질의 결과 정확도가 저하 되는 문제점이 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 데이터 중심 저장 기법에서 노드 결함에 따른 데이터 소실이 발생하여도 높은 정확도를 보이는 인-네트워크 질의 처리 기법을 제안한다. 데이터 소실이 발생 하였을 경우 선형 회귀 분석 기법을 이용하여 소실 된 영역에 해당하는 보정 모델을 생성하고, 이를 통해 가상의 데이터를 포함한 질의 결과를 반환한다. 제안하는 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존의 데이터 중심 저장 기법과 성능을 비교하였으며, 그 결과 평균 98% 이상의 질의 결과 정확도를 보였고, 질의 처리 시 기존 기법에 비교하여 약 80% 이상의 에너지 소모를 감소 시켰다.

• The KIPS Transactions:PartD
• /
• v.11D no.7 s.96
• /
• pp.1375-1384
• /
• 2004

Streaming data processing is an area of interest with much research under way. There has been increasing attention on the demands for efficient processing of streaming data produced in the application areas such as monitoring and sensor network. We have developed a continuous query processing system for streaming data and evaluated its performance in this paper. XML, the standard for data exchange on the web, is used as the model for the streaming data and the XQuery appended with a time interval is adopted as the query language for expressing con-tinuous queries. In the proposed system, the result is produced through background processing and materialized for reute in subsequent query processing. Through a detailed set of performance experiments, we shoed the effectiveness of the proposed system.