• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권8호
• /
• pp.537-542
• /
• 2015

대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.703-709
• /
• 2017

아웃소싱 데이터베이스란 데이터 관리 및 질의 처리 등의 계산량이 많은 작업을 제 3자 서버에 위탁하는 것이다. 이를 통해 데이터 소유자는 비싼 인프라를 구축하지 않고 빅데이터를 관리할 수 있으며 여러 사용자로부터 받는 질의들을 빠르게 처리할 수 있다. 하지만 보안 위협이 항상 존재하는 네트워크의 특성상 제 3자 서버를 완전히 신뢰하기 어렵고, 그 서버가 처리한 결과도 신뢰하기 어렵다. 이처럼 신뢰할 수 없는 서버가 처리한 질의 결과가 정확한지 확인하는 것을 질의 인증이라고 하며 구간 질의, kNN 질의, 함수 질의 등 다양한 질의에 대한 인증 기법들이 연구되었다. 하지만 빅데이터 분석에 있어 활용도가 높은 집계 질의에 대한 깊이 있는 질의 인증 연구는 이루어지지 않았으며 기존 연구는 고차원이거나 서로 다른 값이 많은 데이터에 대해 비효율적이다. 본 연구에서는 집계 질의 인증을 위한 자료구조를 제안하고 이를 활용한 효율적인 증거 생성 방법과 증명 방법을 제안한다. 그리고 데이터의 상이 값 수, 레코드 개수, 차원 크기 등을 변경하며 진행한 실험 결과를 통해 제안한 기법의 성능이 우수함을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 춘계학술발표대회
• /
• pp.7-10
• /
• 2006

센서 네트워크는 네트워크와 센서 노드의 에너지 효율성을 크게 고려해야 하므로 데이터 처리에 있어서 네트워크상 쿼리를 주고받는 구조로 설계될 수 있다. 이때, 집계 연산이 중요한 서비스로 제공되어져야 할 필요가 있으며 기존에 지원되지 못한 쿼리를 제안하고 에너지 효율적으로 질의를 처리하기 위한 방법으로 데이터웨어하우징에서 연구되고 있는 점진적 뷰 관리 기법을 적용하였다. 센서 네트워크에서 각 센서 노드들의 집계값에 대해 새로운 값이 추가 되었을 때 실체뷰와 점진적 뷰 관리기법을 이용하여 모든 센서값을 저장하지 않고서 센서 노드의 메모리와 에너지 효율적으로 집계값을 구하는 기법을 제안하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1207-1210
• /
• 2013

최근 들어 맵리듀스는 빅데이터 처리의 표준 기술로 자리잡고 있다. 빅데이터 분석에 널리 쓰이는 질의 중 하나는 집계(aggregate) 질의이다. 본 논문에서는 서로 다른 집계 질의가 계속적으로 요청되는 환경에서, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 여러 집계 질의를 하나의 효율적인 맵리듀스 잡(job)으로 묶어 일괄 처리함으로써, 단순 방법에 비해 시간당 처리되는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 처리 성능을 크게 향상시킴을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
• /
• pp.21-25
• /
• 2008

온라인 분석 처리(On-Line Analytical Processing: OLAP)은 데이터 웨어하우스로부터 다차원 데이터를 분석하거나 의사 결정을 위한 유용한 정보를 제공하고 있다. 데이터 분석을 위해, OLAP에서는 다차원 데이터를 표현한 스프레드시트(spreadsheet) 또는 피벗 테이블(PIVOT table)을 널리 사용하고 있다. 스프레드시트와 피벗 테이블은 서로 유사한 형태로써 분석의 기준이 되는 애트리뷰트들이 많은 구조이다. 사용자들은 흔히 사용되고 있는 SQL 구문을 이용하여 스프레드시트 또는 피벗 테이블에서 손쉬운 데이터 분석을 요구한다. 그러나, RDBMS에서 제공하는 SQL 구문의 사용으로, 이는 다차원 데이터를 효과적으로 분석할 수 없다. 그 이유는 SQL 구문이 다양한 데이터 분석의 목적으로 사용되거나, 요약된 집계 정보를 도출하는 데 한계가 있기 때문이다. 따라서, 본 연구에서는 SQL 구문을 확장하여 다차원 데이터를 표현한 스프레드시트를 손쉽게 조작하고, 요약된 집계를 계산하는 셀(cell) 구문을 제안한다. 이 방법은 스프레드시트와 피벗 테이블에서 행과 열이 교차하는 좌표(coordinate)를 이용하여, 특정 셀의 조작 및 선택한 부분/전체 영역에 대한 집계 정보를 계산하는 방법이다. 결과적으로, RDBMS에서 사용되는 SQL 구문이 친숙한 사용자들이 제안한 셀 구문을 이용하면, 다양한 관점에 따라 손쉽게 스프레드시트와 피벗 테이블을 다룰 수 있을 것으로 사료된다.

• 정보기술과데이타베이스저널
• /
• 제4권1호
• /
• pp.19-30
• /
• 1997

시간지원 데이터 모델은 시간 의미를 데이터 모델에 추가하여 시간에 따라 변화된 정보를 처리할 수 있는 데이터 모델이다. 시간지원 데이터 모델은 실세계에서 사건이 발생한 시간인 유효시간을 지원하는 데이터 모델과 데이터가 수록된 시간을 지원하는 거래시간 데이터 모델 그리고 거래시간과 유효시간을 모두 지원하는 이원시간 데이터 모델이 있다. 대부분이 시간지원 데이터 모델은 관계형 모델을 확장하여 시간지원 데이터를 처리할 수 있도록 설계된다. 시간지원 데이터 모델의 두 부류는 시간을 결합하는 단위에 따라 튜플 타임스탬프와 속성 타임스탬프의 두 가지 형식이 있다. 본 논문은 데이터 모델에서 시간 추가를 위한 기본적인 시간 개념과 시간지원 데이터 모델을 위한 고려사항을 나타낸다. 그리고 시간지원 데이터 모델을 지원시간에 따라 비교하였으며, 유효시간이 지원되는 시간지원 집계에 적합한 데이터 모델을 제안하였다.

• 한국측량학회지
• /
• 제24권1호
• /
• pp.131-138
• /
• 2006

최근 점사상을 활용하는 GIS 분야에서 많은 양의 점사상 축적과 함께 점분포 패턴을 정량적으로 평가하기 위한 알고리즘의 개발이 이루어지고 있다. 여러 연구에서 K-지표를 활용하여 점사상의 공간적 밀집 여부의 검증이 가능하며, 사건과 배경의 상호 관련성 평가가 가능함을 증명하고 있다. 한편 GIS 데이터로서의 점사상은 측량에 의해 실좌표가 관측된 사상보다는 주소와 같은 위치참조에 의해 간접적으로 좌표가 주어지는 경우가 많으며, 경우에 따라서는 통계자료와 같이 행정구역과 같은 지역단위의 집계자료로 대표되어 점사상 각각이 좌표를 가지지 못하는 경우도 많다. 본 연구에서는 GIS를 이용한 공간 분석 기법으로서 K-지표를 계산할 때, 집계자료의 사용이 K-지표의 산출에 미치는 영향을 평가하기 위하여, 원데이터(지번단위), 지형적인 집계(블록 단위), 행정적인 집계(행정구역 단위) 등 세 가지 형태의 데이터로부터 산출된 K-지표를 비교, 분석하였다. 연구결과 가까운 거리에서 밀집이 심하게 일어나는 점사상의 경우에는 행정구역과 같은 큰 지역단위를 이용하면 결과의 왜곡이 심하게 발생하여 활용이 곤란하나, 블록단위의 K-지표는 원데이터의 K-지표와 거의 유사함을 알 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제14권1호
• /
• pp.217-228
• /
• 2009

데이터에 내재되어 있는 특이 패턴을 찾고자 데이터 분석을 할 때에 보통 다차원적인 데이터 집계를 하는데, 이때에 표준 SQL 쿼리를 사용해도 좋지만 쿼리가 아주 복잡해진다는 단점이 생기게 된다. 쿼리가 복잡해지면 표준 테이블을 여러 번 참조해야 되고 결과적으로 쿼리의 성능이 저하된다는 뜻이다. OLAP 쿼리는 복잡한 것이 대다수이기 때문에 SQL 쿼리를 대신할 새로운 집계용 연산자인 데이터 큐브를 간단히 불러 큐브를 만들 필요가 생기는 것이다. 집계를 하고, 부분 합을 구하는 것과 같은 OLAP 업무를 지원해 주는 것이 데이터 큐브이다. 이러한 데이터 큐브를 작성하는데 관련된 집계함수에는 여러 가지가 있는데, 이를 분배적 함수, 대수적 함수 그리고 전체관적 함수의 3가지로 분류할 수 있다. 이 중, SUM, COUNT, MAX, MIN과 같은 분배적 함수는 데이터 큐브를 작성하는 데에 직접사용 할 수 있고, AVG와 같은 대수적 함수는 매개함수를 활용하면 사용가능 하다고 알려져 있다. 즉, AVG 자체는 분배적 함수가 아니지만, (SUM, COUNT)와 같은 매개함수로 분배적 함수가되기 때문에 매개함수를 이용하여 구하면 된다는 뜻이다. 그러나 본 연구에서는 (SUM, COUNT)와 같은 매개함수를 통해 AVG를 구하는 것이 OLAP 큐브 작성에 적용시킬 수 없다는 사실을 확인했으며, 결과적으로 이 매개함수를 활용하면 잘못된 결론에 다다르고 그릇된 의사결정을 하게 된다는 사실을 확인하게 되었다. 따라서 본 연구에서는 집계함수 AVG를 OLAP 큐브에 적용시켰을 때의 여러 문제점을 밝혀내고 또한 이들 문제점을 해결할 방안을 찾고자 하는 데에 목적을 두고 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.178-180
• /
• 2004

OLAP(On-Line Analytical Processing)은 데이터 웨어하우스 내의 방대한 양의 데이터에 대해 사용자와의 상호 작용이 가능하도록 질의에 대하여 빠른 응답성능을 보장해야 한다. 이를 위해 OLAP 시스템은 데이터에 대한 다량의 다차원 집계 연산을 수행해야 하기 때문에, 일반적으로 사전 연산 결과를 저장하여 직접적인 집계 연산을 줄임으로써 응답 성능을 놓이는 방법을 사용하고 있다 OLAP 다차원 데이터의 희박성은 이러한 사전 연산 시 데이터 폭발 현상을 일으켜 도리어 성능을 저하시키는 요인으로 작용할 수 있다. 본 논문에서는 데이터의 희박성과 성능 문제에 대해 고찰하고 OLAP 응용에서 발생할 수 있는 다차원 데이터의 희박성 패턴에 대해 정의하였다. 또한 정의된 패턴에 따라 희박 데이터를 생성하는 데이터 생성기를 구현하고 이를 이용하여 생성된 데이터를 기반으로 MS SQL Server Analysis Services와 Pilot DSS의 두 OLAP 제품의 성능을 평가하고 결과를 비교하였다.

• 한국멀티미디어학회논문지
• /
• 제9권11호
• /
• pp.1421-1434
• /
• 2006

공간 데이터 웨어하우스는 SOLAP(Spatial On-Line Analytical Processing)을 이용하여 의사 결정에 필요한 분석 정보를 제공한다. SOLAP은 대용량 데이터를 분석하기 때문에 사전집계를 이용하여 분석비용을 줄이기 위한 많은 연구가 진행되었다. 기존 기법들은 고정크기노드를 갖는 색인을 이용하여 개념계층을 지원하였다. 따라서 산개분포 영역에는 빈 공간이 많이 발생하며, 밀집분포 영역에는 개념계층을 지원할 수 없다. 본 논문은 공간 데이터의 개념계층기반으로 사전집계 색인의 동적 구성 기법을 제안한다. 제안 기법은 트리구조를 이용하여 개념계층의 레벨을 트리의 레벨과 같도록 지원한다. 하나의 노드는 데이터가 적을 경우 엔트리를 분할하여 서로 다른 부모 엔트리를 가질 수 있으며, 데이터가 많을 경우 노드의 연결리스트를 이용하여 같은 레벨에 순차적으로 저장한다. 따라서 데이터가 산개된 분포의 노드에 대해서 저장 공간의 낭비를 최소화하며, 데이터가 밀집한 영역의 노드에 대해서도 노드의 연결리스트로 노드가 분할되지 않으므로 개념계층을 지원할 수 있다. 성능평가를 통하여 색인 구축 시간이 다른 기법과 비슷하고, 색인의 저장 공간이 감소하며, 집계정보의 검색 성능이 다른 기법에 비해 우수한 것을 보인다.