• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.305-306
• /
• 2016

현재 스마트 시대에 살고 있는 우리는 매우 복잡하고 거미줄처럼 연결되어 있는 빅 데이터 환경에서 살고 있다. 이런 환경에서는 대용량 데이터를 효율적으로 관리하고 활용하는 것이 개인이나 기업들이 추구하려는 목표이다. 빅 데이터 시대에 데이터의 효율적인 관리와 활용을 위해 다양한 장비에서 수집되고 저장된 대용량 데이터에 대해서 일반적인 데이터 분석을 통한 보안 기술로는 상당한 시간과 자원 낭비가 수반된다. 이를 개선하기 위해 본 논문에서는 하둡을 이용하여 대용량 데이터에 대한 처리 및 분석을 통해 효과적인 보안 시스템을 제안한다.

• Journal of Cadastre & Land InformatiX
• /
• v.45 no.1
• /
• pp.169-179
• /
• 2015

Recently, as the amount of data increases rapidly, the development of IT technology entered the 'Big Data' era, dealing with large-volume of data at once. In the spatial field, a spatial data service technology is required to use that various and big amount of data. In this study, firstly, we explained the technology of typical spatial information data services abroad, and then we have developed large KML data processing techniques those can be applied as KML format to VWorld desktop. The test was conducted using a large KML data in order to verify the development KML partitioned methods and tools. As a result, the index file and the divided files are produced and it was visible in VWorld desktop.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.352-354
• /
• 2002

최근 들어, 대용량의 데이터를 처리할 수 있는 결정 트리 생성 방법에 많은 관심이 집중되고 있다. 그러나, 대용량 데이터를 위한 대부분의 알고리즘은 일괄처리 방식으로 데이터를 처리하기 때문에 새로운 예제가 추가되면 이 예제를 반영한 결정 트리를 생성하기 위해 처음부터 다시 재생성해야 한다. 이러한 재생성에 따른 비용문제에 보다 효율적인 접근 방법은 결정 트리를 순차적으로 생성하는 접근 방법이다. 대표적인 알고리즘으로 BOAT와 ITI를 들 수 있다. BOAT는 대용량 데이터를 지원하는 순차적 알고리즘이 지만 분할 포인트가 노드에서 유지하는 신뢰구간을 넘어서는 경우와 분할 변수가 변경되면 그에 영향을 받는 부분은 다시 생성해야 한다는 문제점을 안고 있고, 이에 반해 ITI는 분할 포인트 변경과 분할 변수 변경을 효율적으로 처리하지만 대용량 데이터를 처리하지 못해 오늘날의 순차적인 트리 생성 기법으로 적합하지 못하다. 본 논문은 ITI의 기본적인 트리 재구조화 알고리즘을 기반으로 하여 대용량 데이터를 처리하지 못하는 ITI의 한계점을 극복하기 위해 전역적 범주화 기법을 이용한 접근방법을 제안한다.

• Review of KIISC
• /
• v.19 no.5
• /
• pp.95-104
• /
• 2009

최근 대용량 데이터의 급속한 생성, 유통으로 인해 데이터 서비스 사용자가 증가하고 있다. 이때, 대용량 데이터를 분산 데이터베이스 시스템에 저장 관리하는 경우, 데이터에 대한 위협문제가 발생된다. 본 논문에서는 대용량 데이터를 암호화 하여 관리할 때 복호권한을 위임함으로써 보다 안전하게 데이터를 관리하는 Proxy Re-encryption 기법에 대해 검토한다.

• Proceedings of the Korea Contents Association Conference
• /
• 2016.05a
• /
• pp.53-54
• /
• 2016

빅데이터란 대용량 데이터 활용 및 분석을 통해 가치 있는 정보를 추출하고, 이를 바탕으로 대응 방안 도출 또는 변화를 예측하는 기술을 의미한다. 그리고 빅데이터 분석에 활용되는 데이터인 페이스북과 같은 소셜 데이터, 유전자 발현과 같은 바이오 데이터, 항공망과 같은 지리정보 데이터들은 대용량 네트워크로 구성되어 있다. 네트워크 클러스터링은 서로 유사한 특성을 갖는 네트워크 내의 데이터들을 동일한 클러스터로 묶는 기법으로 네트워크 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 빅데이터가 다양한 분야에서 활용되면서 방대한 양의 네트워크 데이터가 생성되고 있고, 이에 따라서 대용량 네트워크 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. MCL(Markov Clustering) 알고리즘은 플로우 기반 무감독(unsupervised) 클러스터링 알고리즘으로 확장성이 우수해 다양한 분야에서 활용되고 있다. 하지만, MCL은 대용량 네트워크에 대해서는 많은 클러스터링 연산을 요구하며 너무 많은 클러스터를 생성하는 문제를 갖는다. 본 논문에서는 네트워크 압축을 기반으로 한 클러스터링 알고리즘을 제안함으로써 MCL보다 클러스터링 속도와 정확도를 향상시켰다. 또한, 희소행렬을 효율적으로 저장하는 CSC(Compressed Sparse Column) 자료구조와 MapReduce 기법을 제안한 클러스터링 알고리즘에 적용함으로써 대용량 네트워크에 대한 클러스터링 속도를 향상시켰다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.467-470
• /
• 2000

이 논문에서는 대용량 3 차원 데이터를 효율적 편집과 실시간 랜더링하는 방법라 자료구조를 제안한다. 3 차원 스캐닝 데이터로부터 만들어지는 대용량 폴리곤 데이터를 사용자 인터페이스를 이용하여 실시간에 편집하기 위한 효율적인 자료·구조를 제안하고, 이를 이용한 포리곤 연산자의 구현 방법 설명하고 있다. 또한, 여기서 제안한 자료구조가 기존 edge 기반 자료구조와의 성능비교를 통해 대용량 메쉬 데이터 편집시스템에 적합한 자료구조임을 보이겠다.

• Aerospace Engineering and Technology
• /
• v.11 no.2
• /
• pp.73-79
• /
• 2012

Because the contact time between satellite and ground station is very limited in LEO (Low Earth Orbit) satellite, all telemetry data generated on spacecraft bus are stored in a mass memory and downlinked to the ground together with real time data during the contact time. The mass memory is initialized in the first system initialization phase and the page status of each memory block is generated step by step. After the completion of the system initialization, the telemetry data are continuously stored and the stored data are played back to the ground by command. And the memory scrubbing is periodically performed for correction of single bit error which can be generated on harsh space environment. This paper introduces the mass memory operation method for telemetry processing of LEO satellite. It includes a general mass memory data structure, the methods of mass memory initialization, scrubbing, data storage and downlink, and mass memory management of primary and redundant mass memory.

• Spatial Information Research
• /
• v.10 no.1
• /
• pp.93-106
• /
• 2002

The traditional file system are designed to store and manage fur small size files. So. we cannot process the huge files related with geographic information data using the traditional file system such as unix file system or linux file system. In this paper, we propose new metadata structures and management mechanisms for the large file system in geographic information system. The proposed mechanisms use dynamic multi-level mode for large files and dynamic bitmap for huge file system. We implement the proposed mechanisms in the metadata structures of SANtopia is shared disk huge file system for storage area networks(SAN).

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.271-273
• /
• 2005

유전자 분석기술의 발전은 지놈 프로젝트(genome project)와 햅맵 프로젝트(hapmap project)를 가능하게 하였으며 이제는 맞춤형 진단 및 신약 개발 등 실제 사업의 구체화를 가져오게 하였다. 실제 사업에 적용시키기 위해서는 비용 절감의 문제를 해결해야 한다. 그래서 대용량의 유전자형(genotype)데이터를 정확하고 빠르게 일배체형(haplotype)으로 재구성해 줄 수 있는 시스템이 생물 산업 및 제약 산업에서 제기되어 지고 있다. 기존의 연구에서 비록 정확성이 높은 알고리즘들이 개발되어 있지만 기존의 방법들은 계산에 필요한 양이 크기 때문에 대용량 데이터에 대한 처리가 불가능하였다. 우리가 제안하는 시스템은 대용량 데이터를 유동적인 크기로 블록을 분할하여 대용량 데이터 처리 문제를 해결하였다. 또한 나누어진 블록에서 나타나는 모호한 이형접합체(heterozygote)의 위상(phase)의 결정 과정에 LD기반의 블록 분할 방법을 이용함으로써, 추론된 결과의 정확률을 높였다. 구현된 시스템의 성능평가는 ms로 구성한 인공데이터를 사용하여 수행하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.287-288
• /
• 2019

본 논문에서는 대용량 화물 DTG 데이터 분석을 위한 빅데이터 플랫폼을 설계 및 구현한다. DTG(digital tacho graph)는 차량운행기록을 실시간으로 저장하는 장치로서, 차량의 GPS, 속도, RPM, 제동유무, 이동거리 등 차량운행 관련 데이터가 1초 단위로 기록된다. 차량 운행 패턴 및 분석을 하기 위해서는 DTG 데이터의 빠른 처리가 필수적이며, 특히 대용량 DTG 데이터를 가공 및 변환하기 위해서는 별도의 플랫폼이 필요하다. 본 논문에서는 오픈소스 기반의 빅데이터 프레임워크인 스파크(Spark)를 이용하여 대용량 화물 DTG 데이터의 전처리 플랫폼을 구현하였다. 실제 대용량 화물 DTG 데이터를 대상으로 데이터를 변환 및 지도상에 표현해 보인다.