• 디지털콘텐츠학회 논문지
• /
• 제16권4호
• /
• pp.545-553
• /
• 2015

모든 데이터는 그 자체로 가치를 가지고 있지만, 실세계에서 수집되는 데이터들은 무작위적이며 비구조화되어 있다. 따라서 이러한 데이터를 효율적으로 활용하기 위해서 데이터에서 유용한 정보를 추출하기 위한 데이터 변환과 분석 알고리즘들을 사용하게 된다. 이러한 목적으로 사용되는 것이 데이터 마이닝이다. 오늘날에는 데이터를 분석하기 위한 다양한 데이터 마이닝 기법뿐만 아니라, 대용량 데이터를 효율적으로 처리하기 위한 연산 요건과 빠른 분석 시간을 필요로 하고 있다. 대용량 데이터를 저장하기 위하여 하둡이 많이 사용되며, 이 하둡의 데이터를 분석하기 위하여 맵리듀스 프레임워크를 사용한다. 본 논문에서는 단일 머신에서 동작하는 알고리즘을 맵리듀스 프레임워크로 개발할 때 적용의 효율성을 높이기 위한 토너먼트 기반 적용 방안을 제안하였다. 본 방법은 다양한 알고리즘에 적용할 수 있으며, 널리 사용되는 데이터 마이닝 알고리즘인 k-means, k-근접 이웃 분류에 적용하여 그 유용성을 보였다.

• 정보과학회 논문지
• /
• 제44권6호
• /
• pp.613-620
• /
• 2017

스카이라인 질의는 사용자들의 다양한 기준을 만족하는 데이터를 찾기 때문에 의사 결정 문제 등에서 폭넓게 사용되고 있다. 최근의 스카이라인 질의는 대용량 데이터베이스 처리를 위해 맵리듀스 프레임워크를 사용하는 연구들이 많이 진행되었으며 특히 맵리듀스에 기존의 색인 구조를 적용하는 방식으로 연구가 활발히 진행되고 있다. 스카이라인의 특징 중 하나는 원점에서 가까운 데이터일수록 더 많은 영역을 지배한다는 점이다. 하지만 기존의 색인 구조는 이와 같은 스카이라인의 특징을 반영하지 못하는 단점이 있었다. 본 논문에서는 그리드의 셀들을 스카이라인의 특징을 고려하여 묶는 그리드 블록 구조와 원점과 가까운 데이터가 없을 때도 사용 가능한 2계층 그리드 블록 구조, 그리고 2계층 그리드 블록 구조를 사용한 효율적인 스카이라인 질의 기법을 제안하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권8호
• /
• pp.293-298
• /
• 2014

RDF 데이터의 변경 내용을 탐지하고 이해하는 것은 데이터 웹의 진화 프로세스, 동기화 시스템, 버전 관리 시스템에서 매우 중요한 역할을 한다. 하지만 현재의 연구들은 대용량 데이터를 고려하지 않거나 정확하게 변경 내용을 탐지하지 못한다는 점에서 여전히 미흡하다. 본 논문에서는 대용량 데이터의 처리, 분석을 위해 여러 분야에서 사용되는 맵리듀스 프레임워크 기반의 확장가능하며 효과적인 변경 탐지 기법을 제안한다. 특히, RDF 데이터의 공노드를 비교하는 구조적인 변경 탐지에 초점을 둔다. 이를 위해, 두 개의 맵리듀스 작업으로 이루어진 방법을 사용한다. 첫 번째 작업에서는 공노드에 부여된 내부 아이디가 같은 트리플들을 그룹화하여 공노드에 연결된 경로를 계산한다. 두 번째 작업에서는 같은 경로를 가지는 트리플들을 그룹화하여 헝가리안 메소드를 이용하여 공노드 매칭을 수행한다. 실험을 통해 제안한 방법이 기존 방법보다 더 정확하고 효과적임을 보인다.

• Journal of the Korean Data and Information Science Society
• /
• 제27권4호
• /
• pp.911-923
• /
• 2016

빅데이터 시대에 머신러닝의 중요성은 더욱 부각되고 있고 로지스틱 회귀는 머신러닝에서 분류를 위한 방법으로 의료, 경제학, 마케팅 및 사회과학 전반에 걸쳐 널리 사용되고 있다. 지금까지 R과 Hadoop의 통합환경인 RHIPE 플랫폼은 설치 및 MapReduce 구현의 어려움으로 인해 거의 연구가 이루지 지지 않았다. 본 논문에서는 대용량 데이터에 대해 로지스틱 회귀 추정을 위한 두가지 알고리즘 즉, Gradient Descent 알고리즘과 Newton-Raphson 알고리즘에 대해 MapReduce로 구현하고, 실제 데이터와 모의실험 데이터를 가지고 이들 알고리즘 간의 성능을 비교하고자 한다. 알고리즘 성능 실험에서 Gradient Descent 알고리즘은 학습률에 크게 의존하고 또한 데이터에 따라 수렴하지 않는 문제를 갖고 있다. Newton-Raphson 알고리즘은 학습률이 불필요 할 뿐만 아니라 모든 실험 데이터에 대해 좋은 성능을 보였다.

• 한국통신학회논문지
• /
• 제35권9B호
• /
• pp.1259-1265
• /
• 2010

최근, 인터넷의 발달로 인해 온라인 사회연결망이 증가하고 있으며 이 중 블로그 서비스가 대표적이다. 본 논문에서는 블로그 연결망을 분석하기 위한 방법론을 제시하며, 대용량의 연결망 데이터를 안정적으로 분산 처리할 수 있는 방안을 제시한다. 우선, 각 연결망 데이터의 시간 경과에 따른 행위 가중치의 값을 보정하여, 최근의 행위가 과거의 행위보다 높은 연결강도를 가질 수 있도록 한다. 둘째로, 명시적으로 연결행위를 가지지 않은 블로그의 경우 블로그의 성격을 대표할 수 있는 키워드간의 유사도를 추출하여, 묵시적으로 연결망 내에 흡수하도록한다. 따라서 이전의 방법론과는 달리 더 많은 블로그 노드 간의 연결을 분석할 수 있다. 본 논문이 제시한 블로그 연결망 분석 시스템의 설계로 기존에 제시되었던 방법론보다 약 40% 더 많은 블로그 간 연결망을 추출 할 수 있음을 보였으며, 시간의 흐름에 따른 연결강도의 변화에 대한 타당성을 입증하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권7호
• /
• pp.494-499
• /
• 2015

데이터 사이즈가 증가함에 따라서 대용량 데이터를 분석하여 데이터의 특성을 파악하는 것이 매우 중요해졌다. 본 논문에서는 분산 병렬 처리 프레임워크인 맵리듀스를 활용한 k-Means 클러스터링 기반의 효과적인 클러스터링 기법인 MCSK-Means (Multi centroid set k-Means)알고리즘을 제안한다. k-Means 알고리즘은 임의로 정해지는 k개의 초기 중심점들의 위치에 따라서 클러스터링 결과의 정확도가 많은 영향을 받는 문제점을 가지고 있다. 이러한 문제를 해결하기 위하여, 본 논문에서 제안하는 MCSK-Means 알고리즘은 k개의 중심점들로 이루어진 m개의 중심점 집합을 사용하여 임의로 생성되는 초기 중심점의 의존도를 줄였다. 또한, 클러스터링 단계를 거친 m개의 중심점 집합들에 속한 중심점들에 대하여 직접 계층 클러스터링 알고리즘을 적용하여 k개의 클러스터 중심점들을 생성하였다. 본 논문에서는 MCSK-Means 알고리즘을 맵리듀스 프레임워크 환경에서 개발하여 대용량 데이터를 효율적으로 처리할 수 있도록 하였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제3권8호
• /
• pp.251-260
• /
• 2014

3D 점 데이터는 높은 정확성을 가진 사물의 표면 정보 데이터로 다양한 분야에서 사용되고 있으며, 특히 지리학에서 지형 파악과 분석에 많이 사용되고 있다. 일반적으로 3D 점 데이터의 Gridding 과정을 거치게 되는데 이는 불연속적인 점 데이터를 일정한 좌표 값으로 만드는 과정으로 긴 실행 시간과 높은 비용이 필요하다. 특히 Gridding 과정 중 보간 작업을 위해서 Kriging이 높은 정확성으로 주목받고 있지만 처리과정이 복잡하고 연산이 많아 처리속도가 상대적으로 느리기 때문에 많이 사용되지 않고 있다. 본 논문에서는 Gridding을 고성능으로 처리하기위해 Kriging 연산 과정을 병렬화했으며 격자 자료구조를 MapReduce 패러다임에 맞게 변형하여 Kriging에 적용하였다. 실험은 항공 LiDAR 데이터 약 1.6백만 개와 4.3백만 개의 점 데이터를 이용해서 제안한 MapReduce 구조에 적용하였고, 그 결과 3대의 이기종 클러스터에서 전체 실행시간이 순차적 프로그램에 비해 최대 3.4배 단축하였다.

• 제어로봇시스템학회논문지
• /
• 제20권11호
• /
• pp.1170-1174
• /
• 2014

This paper suggests using the ICP (Iterative Closet Point) algorithm to compensate a two-dimensional map. ICP algorithm is a typical algorithm method using matching distance data. When building a two-dimensional map, using data through the value of a laser scanner, it occurred warping and distortion of a two-dimensional map because of the difference of distance from the value of the sensor. It uses the ICP algorithm in order to reduce any error of line. It validated the proposed method through experiment involving matching a two-dimensional map based reference data and measured the two-dimensional map.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 춘계학술발표대회
• /
• pp.999-1002
• /
• 2008

Many schemes to reduce the inter-MAP handoff delay in hierarchical mobile IPv6 have been proposed but the previous schemes waste relatively large network resources to decrease the path rerouting delay. In this paper, we propose the 2-layered MAP concept, where the seamless inter-MAP handoff can be supported regardless of path rerouting time. As a result, the waste of wired resources and the rate of the inter-MAP handoff can be reduced. From the performance analysis and simulation, the inter-MAP handoff rate for non-real-time traffic is only about 1/3 of the conventional result. Such advantageous features of the proposed scheme neither incur any increase of the total handoff rate nor require additional MAPs.

• 정보과학회 논문지
• /
• 제42권9호
• /
• pp.1109-1116
• /
• 2015

본 논문에서는 functional 프로그래밍과 분산 메모리 환경인 Spark를 통해 SPARQL 질의문 처리의 오버헤드를 줄일 수 있는 방법을 제안한다. 최근 몇 년간 시멘팁웹의 RDF 온톨로지 데이터는 폭발적으로 증가하고 있기 때문에, 대용량 온톨로지 데이터에 대한 질의문을 효율적으로 처리할 수 있는 방법이 주요 쟁점으로 떠오르고 있다. SPARQL 질의문 처리에 대한 기존의 연구들은 하둡의 맵리듀스 프레임워크에 초점을 맞추고 있다. 그러나 하둡은 분산 파일 처리를 기반의 작업을 수행하므로 성능 저하가 발생할 수 있다. 따라서 질의문 처리 속도를 향상 시키기 위해 본 논문에서는 분산 메모리 시스템을 통해 질의문을 처리할 수 있는 방법을 제안한다. 또한 SPARQL 질의어 사이의 Binding 값을 Propagation하기 위해서 Spark의 Join방식, Functional 프로그램의 Map, Filter 방식, Spark의 캐시 기능을 활용 하는 방식을 제안하고 있다. 본 논문의 실험 결과는 다른 기법들과 비교하여 높은 성능을 얻었다. 특히 현재 가장 빠른 성능을 보이는 SPARQL 질의 엔진인 Sempala와 유사하다는 결과를 얻었다.