• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.397-400
• /
• 2008

무한히 발생되는 실시간 데이터와 디스크에 저장된 히스토리컬 데이터를 동시에 처리하는 하이브리드 질의에 관한 연구가 활발히 이루어지고 있다. 하이브리드 질의는 디스크에 저장된 대용량의 공간 데이터 처리를 위해 빠른 디스크 입/출력을 요구한다. 이러한 데이터를 처리하기 위해 인덱스, 데이터 축소 기법등이 연구되었다. 데이터의 빠른 검색을 위한 인덱스 기법은 디스크에 분산 저장된 데이터에 대한 탐색 비용과 입/출력 비용을 줄이지 못한다. 또한, 샘플링을 통해 디스크 입/출력 시간 비용을 줄이는 데이터 축소 기법은 데이터의 정확성을 떨어뜨려 정확성을 요구하는 하이브리드 질의에서는 이용하기가 어렵다. 이논문에서는 디스크 입/출력 시간과 디스크 탐색 시간 비용을 줄이고, 정확성을 보장하는 과거 공간질의 처리를 위한 고속로딩 기법을 제아난다. 제안기법은 공간을 그리드 형태로 나누고 인접한 공간 데이터를 함께 관리함으로써 디스크 입/출력 비용을 줄 일 수 있다. 또한, 공간적으로 인접한 데이터를 물리적으로 인접한 곳에 저장하여 디스크 탐색시간 비용을 줄일 수 있다. 이렇게 저장된 데이터는 손실 없이 모두 저장되며, 정확성 또는 보장할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.99-101
• /
• 2015

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

• The KIPS Transactions:PartD
• /
• v.13D no.6 s.109
• /
• pp.755-764
• /
• 2006

In recent, data streams are generated in various application fields such as a ubiquitous computing and a sensor network, and various algorithms are actively proposed for processing data streams efficiently. They mainly focus on the restriction of their memory usage and minimization of their processing time per data element. However, in the algorithms, if data elements of a data stream are generated in a rapid rate for a time unit, some of the data elements cannot be processed in real time. Therefore, an efficient load shedding technique is required to process data streams effcientlv. For this purpose, a load shedding technique over a data stream is proposed in this paper, which is based on the predicting technique of the frequency of data element considering its current frequency. In the proposed technique, considering the change of the data stream, its threshold for tuple alive is controlled adaptively. It can help to prevent unnecessary load shedding.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.63-64
• /
• 2017

정보 기술의 끊임없는 발전에 따라 광범위한 분야에서 방대한 양의 데이터가 발생하게 되면서 이를 처리하기 위한 빅 데이터에 대한 연구 및 교육이 활발히 진행되고 있다. 이를 위하여 데이터 분석 및 처리를 위한 고성능의 서버 및 분산 처리를 위한 다수의 컴퓨터가 필요하며 이는, 개인 혹은 저사양의 수업 환경에서 빅 데이터를 학습하는 데에 어려움을 겪게 한다. 때문에 가상 환경에서 원활한 빅 데이터 학습을 위한 클라우드 기반의 시스템이 필요하다. 이에 본 논문에서는, 빅 데이터 처리 기술의 하나인 Spark를 이용한 빅 데이터 플랫폼 구축에 대하여 기술한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.109-112
• /
• 2005

수행 과정에서의 성능 측면에서 기존의 데이터 스트림 처리 방법들은 주로 수행 과정에서의 저장 공간 사용량 및 데이터 객체당 수행 시간을 줄이는데 초점을 맞추고 있다. 이들 방법들에서 일정 시간 내에 처리될 수 있는 데이터 객체의 수보다 많은 데이터 객체가 발생된다면, 그들 중 일부는 실시간으로 처리되지 못한다. 본 논문에서는 튜플 데이터 스트림에서 발생빈도 기반의 중요 튜플 선별 방법을 제안한다. 이는 해당 데이터 스트림 처리 과정에서 전처리 과정으로 간주할 수 있다. 제안된 방법에서는 데이터 스트림의 변화를 고려하여 중요 튜플 선별을 위한 임계값을 적응적으로 조절한다. 이를 지원하기 위해서 튜플의 발생빈도 예측 방법을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1265-1267
• /
• 2015

최근 IoT 기술의 등장으로 저전력 소형 컴퓨터인 라즈베리파이 클러스터가 IoT 데이터 처리를 위해 사용되고 있다. IoT 기술이 발전하면서 다양한 데이터가 생성되고 있으며 IoT 환경에서도 빅데이터 처리가 요구되고 있다. 빅데이터 처리 프레임워크에는 일반적으로 하둡이 사용되고 있으며 이를 대체하는 솔루션으로 Apache Spark가 등장했다. 본 논문에서는 PC와 라즈베리파이 클러스터에서의 성능을 Apache Spark를 통해 비교하였다. 본 실험을 위해 Yelp 데이터를 사용하며 데이터 로드 시간과 Spark SQL을 이용한 데이터 처리 시간을 통해 성능을 비교하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.107-109
• /
• 2000

최근에 데이터베이스 혹은 그 응용분야에서 이미지 데이터와 같은 멀티미디어 정보 처리에 대한 관심이 고조되고 있다. 따라서 이미지 데이터를 효율적으로 저장하고, 사용자가 원하는 질의 결과를 신속히 제공하는 것이 중요한 연구분야이다. 본 연구에서는 이미지 데이터에 대한 질의를 처리하기 이한 이미지 데이터로부터의 정보 추출과 데이터 인덱싱 방법에 관하여 논하고, 구축된 인덱싱 구조에 효율적인 질의 처리가 가능하도록 VP(Vantage Point)를 이용하여 영역질의를 처리하는 방법을 제시하였다. 또한 실험을 통하여 제안된 방법의 효율성을 나타내었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.04a
• /
• pp.109-111
• /
• 2014

SNS(Social Network Service)는 새로운 소통수단으로 인적 네트워크뿐만 아니라 사회, 문화 등에 많은 영향을 미치고 있다. 특히, 무선인터넷과 스마트폰의 보급으로 정보유통량이 기하급수적으로 증가하면서, 데이터를 처리 및 분석하는 것이 화두가 되고 있다. 본 논문에서는 급증하는 SNS 데이터를 처리 및 분석하여 의미 있는 데이터를 키워드 중심으로 추출하고자 하였다. 이를 위해 기존 데이터 처리방식이 아닌 빅데이터 처리에 적합한 MapReduce 환경에서 SNS 데이터를 필터링하고, 토픽을 예측하기 처리방법을 제시하였다. 또한, 웹 서비스를 기반으로 구현하여 분석된 데이터를 시각적으로 표현하고, 재생산하였으며, 실험을 통해 제안하는 처리방법의 성능을 검증하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.89-92
• /
• 2019

빅데이터 환경에서 대화형 분석 질의문을 수행하려는 요구사항이 늘어나면서 데이터 처리속도가 중요한 성능 지표가 되었다. 이에 Presto 는 많은 빅데이터 처리 엔진 중 메모리 기반으로 빠른 질의 처리가 가능하여 널리 사용되어 왔다. 하지만 메모리 처리 엔진인 Presto 도 디스크 기반의 저장소를 사용한 일부 경우에 성능 저하 현상이 보고되었다. 그래서 본 논문은 빅데이터 처리 성능 향상을 위해 Presto Memory Connector 를 사용하여 메모리 캐싱을 활용한 아키텍처를 제안한다. 그 과정에서 캐싱과 비 캐싱 환경에서 성능검증을 위한 데이터 처리 성능 실험을 수행하였고, 그 결과 향상된 성능을 제공할 수 있음을 확인하였다. 이를 통해 빅데이터 분산환경에서 캐싱을 활용하여 Presto 아키텍처를 설계하는데 근거를 제공하고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.532-534
• /
• 2021

최근 데이터의 양이 급격히 증가함에 따라 빅데이터 환경에서 데이터 질의 처리 수행 시 연산 시간이 많이 소요되는 문제점이 발생한다. 이러한 처리 시간을 줄이기 위한 방법으로 근사질의 처리에 대한 연구의 필요성이 대두되고 있다. 근사 질의 처리 방법은 정확도가 다소 떨어지더라도 빠른 결과를 요구하는 응용 분야에서 매우 유용하게 쓰일 수 있다. 본 논문에서는 사용자가 원하는 결과 정확도와 적시성 등을 지원하기 위한 근사 질의 처리 언어 확장, 실행 계획생성 및 질의 최적화 기술을 제안하고, 설계 방향 및 특징 등에 대해서 설명한다.