• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
• /
• pp.305-306
• /
• 2016

현재 스마트 시대에 살고 있는 우리는 매우 복잡하고 거미줄처럼 연결되어 있는 빅 데이터 환경에서 살고 있다. 이런 환경에서는 대용량 데이터를 효율적으로 관리하고 활용하는 것이 개인이나 기업들이 추구하려는 목표이다. 빅 데이터 시대에 데이터의 효율적인 관리와 활용을 위해 다양한 장비에서 수집되고 저장된 대용량 데이터에 대해서 일반적인 데이터 분석을 통한 보안 기술로는 상당한 시간과 자원 낭비가 수반된다. 이를 개선하기 위해 본 논문에서는 하둡을 이용하여 대용량 데이터에 대한 처리 및 분석을 통해 효과적인 보안 시스템을 제안한다.

• 지적과 국토정보
• /
• 제45권1호
• /
• pp.169-179
• /
• 2015

최근 IT기술의 발달로 데이터의 양이 급증함에 따라 대용량 데이터를 다루는 빅 데이터 시대가 도래하게 되었다. 다양하고 방대한 빅데이터 를 활용하기 위해서는 대용량 데이터 처리 기술을 필요로 하는데, 이러한 흐름에 따라 공간정보 분야에서도 대용량의 공간정보 데이터 서비스 기술이 요구되고 있다. 따라서 본 연구에서는 국외의 대표적인 공간정보 데이터 서비스 기술을 살펴본 후, 국내의 대표적인 지도 소프트웨어인 브이월드 데스크톱에 적용 가능한 KML 포맷의 대용량 데이터 처리 기술을 개발하였다. 개발된 분할 방법과 도구를 검증하기 위해 대용량의 KML 데이터를 이용하여 테스트를 진행하였고, 인덱스 파일과 분할 파일들이 생성되어 브이월드 데스크톱에서 가시화 되었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
• /
• pp.352-354
• /
• 2002

최근 들어, 대용량의 데이터를 처리할 수 있는 결정 트리 생성 방법에 많은 관심이 집중되고 있다. 그러나, 대용량 데이터를 위한 대부분의 알고리즘은 일괄처리 방식으로 데이터를 처리하기 때문에 새로운 예제가 추가되면 이 예제를 반영한 결정 트리를 생성하기 위해 처음부터 다시 재생성해야 한다. 이러한 재생성에 따른 비용문제에 보다 효율적인 접근 방법은 결정 트리를 순차적으로 생성하는 접근 방법이다. 대표적인 알고리즘으로 BOAT와 ITI를 들 수 있다. BOAT는 대용량 데이터를 지원하는 순차적 알고리즘이 지만 분할 포인트가 노드에서 유지하는 신뢰구간을 넘어서는 경우와 분할 변수가 변경되면 그에 영향을 받는 부분은 다시 생성해야 한다는 문제점을 안고 있고, 이에 반해 ITI는 분할 포인트 변경과 분할 변수 변경을 효율적으로 처리하지만 대용량 데이터를 처리하지 못해 오늘날의 순차적인 트리 생성 기법으로 적합하지 못하다. 본 논문은 ITI의 기본적인 트리 재구조화 알고리즘을 기반으로 하여 대용량 데이터를 처리하지 못하는 ITI의 한계점을 극복하기 위해 전역적 범주화 기법을 이용한 접근방법을 제안한다.

• 정보보호학회지
• /
• 제19권5호
• /
• pp.95-104
• /
• 2009

최근 대용량 데이터의 급속한 생성, 유통으로 인해 데이터 서비스 사용자가 증가하고 있다. 이때, 대용량 데이터를 분산 데이터베이스 시스템에 저장 관리하는 경우, 데이터에 대한 위협문제가 발생된다. 본 논문에서는 대용량 데이터를 암호화 하여 관리할 때 복호권한을 위임함으로써 보다 안전하게 데이터를 관리하는 Proxy Re-encryption 기법에 대해 검토한다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2016년도 춘계 종합학술대회 논문집
• /
• pp.53-54
• /
• 2016

빅데이터란 대용량 데이터 활용 및 분석을 통해 가치 있는 정보를 추출하고, 이를 바탕으로 대응 방안 도출 또는 변화를 예측하는 기술을 의미한다. 그리고 빅데이터 분석에 활용되는 데이터인 페이스북과 같은 소셜 데이터, 유전자 발현과 같은 바이오 데이터, 항공망과 같은 지리정보 데이터들은 대용량 네트워크로 구성되어 있다. 네트워크 클러스터링은 서로 유사한 특성을 갖는 네트워크 내의 데이터들을 동일한 클러스터로 묶는 기법으로 네트워크 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 빅데이터가 다양한 분야에서 활용되면서 방대한 양의 네트워크 데이터가 생성되고 있고, 이에 따라서 대용량 네트워크 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. MCL(Markov Clustering) 알고리즘은 플로우 기반 무감독(unsupervised) 클러스터링 알고리즘으로 확장성이 우수해 다양한 분야에서 활용되고 있다. 하지만, MCL은 대용량 네트워크에 대해서는 많은 클러스터링 연산을 요구하며 너무 많은 클러스터를 생성하는 문제를 갖는다. 본 논문에서는 네트워크 압축을 기반으로 한 클러스터링 알고리즘을 제안함으로써 MCL보다 클러스터링 속도와 정확도를 향상시켰다. 또한, 희소행렬을 효율적으로 저장하는 CSC(Compressed Sparse Column) 자료구조와 MapReduce 기법을 제안한 클러스터링 알고리즘에 적용함으로써 대용량 네트워크에 대한 클러스터링 속도를 향상시켰다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2000년도 추계학술발표논문집
• /
• pp.467-470
• /
• 2000

이 논문에서는 대용량 3 차원 데이터를 효율적 편집과 실시간 랜더링하는 방법라 자료구조를 제안한다. 3 차원 스캐닝 데이터로부터 만들어지는 대용량 폴리곤 데이터를 사용자 인터페이스를 이용하여 실시간에 편집하기 위한 효율적인 자료·구조를 제안하고, 이를 이용한 포리곤 연산자의 구현 방법 설명하고 있다. 또한, 여기서 제안한 자료구조가 기존 edge 기반 자료구조와의 성능비교를 통해 대용량 메쉬 데이터 편집시스템에 적합한 자료구조임을 보이겠다.

• 항공우주기술
• /
• 제11권2호
• /
• pp.73-79
• /
• 2012

저궤도 위성은 지상과 교신할 수 있는 시간이 매우 제한되어 있으므로 위성에서 생성되는 모든 원격측정 데이터는 대용량 메모리에 저장되었다가 지상교신 시 실시간 데이터와 함께 지상으로 전송된다. 대용량 메모리는 최초 시스템 초기화 과정에서 초기화가 시작되어 각 블록의 상태정보가 생성되고 원격측정데이터를 저장할 수 있는 준비를 한다. 운영 중에 계속적으로 대용량 메모리에 원격측정데이터를 저장하고, 저장된 데이터를 지상으로 전송한다. 그리고 우주환경에서 발생할 수 있는 메모리 오류를 제거하기 위하여 주기적으로 메모리 스크러빙을 수행한다. 본 논문은 저궤도위성 원격측정 데이터 처리를 위한 대용량 메모리 운용방식에 대한 것으로 대용량 메모리 구조, 메모리 초기화 및 메모리 스크러빙 방식, 대용량 메모리를 통한 원격측정데이터 저장 및 전송 방식, 주/부 대용량 메모리 운용 방식에 대해서 기술한다.

• Spatial Information Research
• /
• 제10권1호
• /
• pp.93-106
• /
• 2002

기존의 과일시스템은 소형의 과일을 효과적으로 저장하고 관리하기 위해서 설계되었다. 따라서 기존의 유닉스나 리눅스와 같은 과일 시스템은 지리정보시스템에서 발생되는 대용량의 지리정보 데이터를 효과적으로 처리하는 것은 어렵다. 본 논문에서는 지리정보시스템에서 발생되는 기가에서 테라바이트의 대용량 데이터 파일을 저장하기 위한 효과적인 메타데이터 구조 및 관리 기법을 제안한다. 제안된 기법에서는 대용량 파일을 저장하기 위해 동적 다단계 기법을 사용하고 있으며, 대용량의 파일 시스템을 제공하기 위하여 동적 비트맵 기법을 사용한다 본 논문에서 제안된 기법은 SAN 환경에서의 대용량 공유 디스크 파일시스템인 SANtopia에서 구현되었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.271-273
• /
• 2005

유전자 분석기술의 발전은 지놈 프로젝트(genome project)와 햅맵 프로젝트(hapmap project)를 가능하게 하였으며 이제는 맞춤형 진단 및 신약 개발 등 실제 사업의 구체화를 가져오게 하였다. 실제 사업에 적용시키기 위해서는 비용 절감의 문제를 해결해야 한다. 그래서 대용량의 유전자형(genotype)데이터를 정확하고 빠르게 일배체형(haplotype)으로 재구성해 줄 수 있는 시스템이 생물 산업 및 제약 산업에서 제기되어 지고 있다. 기존의 연구에서 비록 정확성이 높은 알고리즘들이 개발되어 있지만 기존의 방법들은 계산에 필요한 양이 크기 때문에 대용량 데이터에 대한 처리가 불가능하였다. 우리가 제안하는 시스템은 대용량 데이터를 유동적인 크기로 블록을 분할하여 대용량 데이터 처리 문제를 해결하였다. 또한 나누어진 블록에서 나타나는 모호한 이형접합체(heterozygote)의 위상(phase)의 결정 과정에 LD기반의 블록 분할 방법을 이용함으로써, 추론된 결과의 정확률을 높였다. 구현된 시스템의 성능평가는 ms로 구성한 인공데이터를 사용하여 수행하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.287-288
• /
• 2019

본 논문에서는 대용량 화물 DTG 데이터 분석을 위한 빅데이터 플랫폼을 설계 및 구현한다. DTG(digital tacho graph)는 차량운행기록을 실시간으로 저장하는 장치로서, 차량의 GPS, 속도, RPM, 제동유무, 이동거리 등 차량운행 관련 데이터가 1초 단위로 기록된다. 차량 운행 패턴 및 분석을 하기 위해서는 DTG 데이터의 빠른 처리가 필수적이며, 특히 대용량 DTG 데이터를 가공 및 변환하기 위해서는 별도의 플랫폼이 필요하다. 본 논문에서는 오픈소스 기반의 빅데이터 프레임워크인 스파크(Spark)를 이용하여 대용량 화물 DTG 데이터의 전처리 플랫폼을 구현하였다. 실제 대용량 화물 DTG 데이터를 대상으로 데이터를 변환 및 지도상에 표현해 보인다.