• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11c
• /
• pp.1859-1862
• /
• 2002

비공유 데이터베이스 클러스터는 그 구조의 특성 상 동적인 질의 패턴의 변화, 특정 데이터에 대한 질의 집중에 의한 부하 불균형 및 집중, 사용자 증가에 의한 처리량 한계 등의 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터베이스 클러스터는 최근에 제안된 온-라인 확장기법을 사용하며, 이 기법은 데이터 베이스의 확장성에 의해 큰 영향을 받는다. 일반적으로 클러스터 시스템에서 사용되는 데이터 분할 기법에는 키 값의 순서대로 분할하는 라운드-로빈 분할 기법, 해쉬 함수를 이용해 데이터를 분할하는 해쉬 분할 기법, 범위에 따라 각 노드에 데이터를 분할하는 범위 분할기법, 그리고 조건식에 따라 데이터를 분할하는 조건식 분할 기법이 있다. 본 논문에서는 이 네 가지 분할 기법의 특성을 정리하고, 비공유 데이터베이스 클러스터에서 확장성에 있어서 우수한 분할 기법을 각 분할 기법의 성능평가를 통해 얻는다. 성능평가에서는 각각의 분한 기법을 평가하기 위해 확장 시 발생되는 이동 데이터의 크기, 질의처리에 대한 영향, CPU 사용률, 그리고 온-라인 확장기법의 수행 시 발생되는 특성에 대한 영향을 분석하며, 얻어진 결과를 토대로 비공유 데이터베이스 클러스터에서 가장 적합하면서도 온-라인 확장 기법적용을 위해 확장성이 우수한 데이터 분할기법을 찾는다.

• Journal of KIISE:Software and Applications
• /
• v.26 no.1
• /
• pp.16-24
• /
• 1999

본 논문에서는 병렬 DBMS를 사용하는 데이터 웨어하우스의 성능을 개선하기 위한 새로운 다차원 데이터 분할 기법을 제안한다. 데이터 웨어하우스는 많은 양의 데이터를 저장하는 대용량 데이터베이스이며 분석적인 정보를 얻기 위한 다차원 범위 질의가 대부분을 차지한다. 단일 차원분할 기법으로는 다차원 질의를 효과적으로 처리하기 어렵고 기존의 다차원 분할 기법은 임의의 알 수 없는 분포를 가진 데이터에 대해 균등한 분할을 보장하기 어렵다. 본 논문에서는 hB-tree 구조를 이용하여 균등한 분할을 보장하는 다차원 분할 기법을 제안하고 그 성능을 측정하기 위한 시뮬레이터 결과를 보인다. 시뮬레이션에서 hB-tree 분할 기법은 균등 분포뿐만 아니라 비균등 분포 데이터 집합에 대해서도 균등한 분할을 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10a
• /
• pp.126-128
• /
• 1999

평균 빙산 질의란 대용량의 데이터들에 의해 avg 집단 함수를 수행한 뒤 임계값 이상인 데이터들을 결과로 출력하는 연산을 의미한다. 이 때 데이터 도메인의 크기가 메모리에 생성할 수 있는 카운터의 수보다 크기 때문에 연산 처리가 어렵다. 지난 연구에서 빙산 질의에 대해 제안한 해시 카운터는 avg 연사의 경우 착오누락이 발생한다는 문제점이 존재한다. 그래서 이런 문제점들을 해결하며 효율적으로 연산을 수행하기 위해, 데이터베이스를 분할하며 카운터를 관리하는 '메모리 Full 분할', '후보 Full 분할'의 두 알고리즘을 제안한다. 실험결과 두 알고리즘은 메모리크기, 데이터 분포, 데이터 순서에 영향을 받았는데, 데이터들이 정렬이 되어 있거나 데이터분포가 정규분포를 이룰 때 우수한 성능을 보였다.

• Journal of Korean Society for Geospatial Information Science
• /
• v.18 no.2
• /
• pp.119-129
• /
• 2010

Many algorithms for processing LIDAR data have been developed for diverse applications not limited to patch segmentation, bare-earth filtering and building extraction. However, since we cannot exactly know the true locations of individual LIDAR points, it is difficult to assess the performance of a LIDAR data processing algorithm. In this paper, we thus attempted the performance assessment of the segmentation algorithm developed by Lee (2006) using the LIDAR data generated through simulation based on sensor modelling. Consequently, based on simulation, we can perform the performance assessment of a LIDAR processing algorithm more objectively and quantitatively with an automatic procedure.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.352-354
• /
• 2002

최근 들어, 대용량의 데이터를 처리할 수 있는 결정 트리 생성 방법에 많은 관심이 집중되고 있다. 그러나, 대용량 데이터를 위한 대부분의 알고리즘은 일괄처리 방식으로 데이터를 처리하기 때문에 새로운 예제가 추가되면 이 예제를 반영한 결정 트리를 생성하기 위해 처음부터 다시 재생성해야 한다. 이러한 재생성에 따른 비용문제에 보다 효율적인 접근 방법은 결정 트리를 순차적으로 생성하는 접근 방법이다. 대표적인 알고리즘으로 BOAT와 ITI를 들 수 있다. BOAT는 대용량 데이터를 지원하는 순차적 알고리즘이 지만 분할 포인트가 노드에서 유지하는 신뢰구간을 넘어서는 경우와 분할 변수가 변경되면 그에 영향을 받는 부분은 다시 생성해야 한다는 문제점을 안고 있고, 이에 반해 ITI는 분할 포인트 변경과 분할 변수 변경을 효율적으로 처리하지만 대용량 데이터를 처리하지 못해 오늘날의 순차적인 트리 생성 기법으로 적합하지 못하다. 본 논문은 ITI의 기본적인 트리 재구조화 알고리즘을 기반으로 하여 대용량 데이터를 처리하지 못하는 ITI의 한계점을 극복하기 위해 전역적 범주화 기법을 이용한 접근방법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.520-522
• /
• 2011

위성으로부터 전송받은 Telemetry 플레이백 데이터 파일들을 적절한 크기로 또는 저장된 시간에 따라 병합하거나 분할할 수 있는 플레이백 파일 병합/분할 프로그램을 구현하였다. 기존에 플레이백 데이터가 정상적으로 수신되었는지를 점검하기 위한 플레이백 데이터 자동 분석 프로그램이 있는데, 기존의 프로그램을 윈도우 기반으로 보다 편리하게 사용할 수 있도록 전체적으로 보완하였고, 여기에 플레이백 파일 병합/분할 기능을 추가하여 전체적으로 하나로 통합하였다. 본 논문은 차세대 저궤도 위성에서 수행되는 데이터 저장 및 전송에 대한 내용과 새롭게 개선된 플레이백 데이터 자동분석 프로그램 및 플레이백 파일 병합/분할 프로그램에 대해 기술한 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11b
• /
• pp.1043-1046
• /
• 2002

서바이벌 스토리지 시스템(Survivable Storage System)은 데이터의 가용성 및 보안성을 높이기 위해 여러 가지 분할 복제 기법들을 사용한다. 이러한 기법들을 정보의 중요도를 고려하지 않고 모든 데이터에 일괄적으로 적용하면, 시스템의 성능면에서 비효율적이다. 본 논문은 이를 해결하기 위해 정보의 중요도별로 다른 정보 분할 기법(IDS : Information Dispersal Scheme)를 적용하는 레벨 단위 데이터 분할 프로토콜을 제안하고 그 성능을 평가한다. 그 결과 제안된 방식은 정보의 중요도가 높을수록 데이터의 실질적인 가용성 및 보안성을 증가시킨다는 것을 볼 수 있다.

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.509-512
• /
• 2001

본 논문은 한국어 음성에 대한 한국어 단어의 음소단위 분할을 목적으로 하였다. 대상 단어는 원광대학교 phonetic balanced 452단어 데이터 베이스를 사용하였고 분할 단위는 음성 전문가에 의해 구성된 44개의 음소셋을 사용하였다. 음소를 분할하기 위해 음성을 각각 프레임으로 나눈 후 각 프레임간의 스펙트럼 성분의 유사도를 측정한 후 측정한 유사도를 기준으로 음소의 분할점을 찾았다. 두 프레임 간의 유사도를 결정하기 위해 두 벡터 상호간의 유사성을 결정하는 방법중의 하나인 Lukasiewicz implication을 사용하였다. 본 실험에서는 기존의 프레임간 스펙트럼 성분의 유사도 측정을 이용한 하나의 어절의 유/무성음 분할 방법을 본 실험의 목적인 한국어 단어의 음소 분할 실험에 맞도록 수정하였다. 성능평가를 위해 음성 전문가에 의해 손으로 분할된 데이터와 본 실험을 통해 얻은 데이터와의 비교를 하여 평가를 하였다. 실험결과 전문가가 직접 손으로 분할한 데이터와 비교하여 32ms이내로 분할된 비율이 최고 84.76%를 나타내었다.

• Journal of Korean Society for Geospatial Information Science
• /
• v.25 no.1
• /
• pp.29-36
• /
• 2017

In this paper, we implement a spatial big data analysis prototype based on Spark which is an in-memory system and compares the performance by the spatial split algorithm on this basis. In cluster computing environments, big data is divided into blocks of a certain size order to balance the computing load of big data. Existing research showed that in the case of the Hadoop based spatial big data system, the split method by spatial is more effective than the general sequential split method. Hadoop based spatial data system stores raw data as it is in spatial-divided blocks. However, in the proposed Spark-based spatial analysis system, there is a difference that spatial data is converted into a memory data structure and stored in a spatial block for search efficiency. Therefore, in this paper, we propose an in-memory spatial big data prototype and a spatial split block storage method. Also, we compare the performance of existing spatial split algorithms in the proposed prototype. We presented an appropriate spatial split strategy with the Spark based big data system. In the experiment, we compared the query execution time of the spatial split algorithm, and confirmed that the BSP algorithm shows the best performance.

• The Journal of Korean Association of Computer Education
• /
• v.18 no.5
• /
• pp.63-70
• /
• 2015

In the environment that the complex conditions need to be satisfied, skyline query have been applied to various field. To processing a skyline query in centralized scheme, several techniques have been suggested and recently map/reduce platform based approaches has been proposed which divides data space into multiple partitions for the vast volume of multidimensional data. However, the performances of these approaches are fluctuated due to the uneven data loading between servers and redundant tasks. Motivated by these issues, this paper suggests a novel technique called MR-DEAP which solves the uneven data loading using the random sampling. The experimental result gains the proposed MR-DEAP outperforms MR-Angular and MR-BNL scheme.