• The Bulletin of The Korean Astronomical Society
• /
• v.37 no.2
• /
• pp.229.1-229.1
• /
• 2012

본 논문에서는 탑재체전송자료 검증을 위한 소프트웨어 개발에 관하여 소개하고자 한다. 원격탐사위성에 탑재되는 고성능원격측정센서는 대용량 데이터를 생성하며 탑재체자료전송장치를 통하여 고주파통신에 의해 지상으로 전송된다. 지상으로 전송되는 대용량 데이터는 다양한 통신경로의 외란으로부터 보호 등을 위하여 채널코딩을 수행된다. 또한 대용량 데이터의 실시간 전송을 위하여 압축이 수행되며 보안을 위한 암호화 역시 수행 된다. 본 논문에서는 이러한 탑재체자료를 검증하기 위한 소프트웨어들과 이러한 소프트웨어의 구성 체계등에 관하여 기술하고 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.163-165
• /
• 2012

본 논문은 대용량 데이터를 분할하여 병렬 처리하는 경우 데이터간의 의존성성에 의해 발생할 수 있는 문제점을 회피하거나 극복하기 위한 방법에 대한 연구이다. 의존성 문제를 해소하기 위한 병렬 분산 처리 시스템을 개발하여, 대용량 파일 처리의 효율을 높이고자 한다. 분산처리의 성능 평가를 위하여 동영상 파일의 분산 저장 및 재인코딩 시간을 측정하여 성능의 지표로 활용한다.

• Journal of KIISE
• /
• v.41 no.9
• /
• pp.686-698
• /
• 2014

Recently, large-scale streaming sensor data have emerged due to explosive supply of smart phones, diffusion of IoT and Cloud computing technology, and generalization of IoT devices. Also, researches on combination of semantic web technology are being actively pushed forward by increasing of requirements for creating new value of data through data sharing and mash-up in large-scale environments. However, we are faced with big issues due to large-scale and streaming data in the inference field for creating a new knowledge. For this reason, we propose the RDFS rule based parallel reasoning scheme to service by processing large-scale streaming sensor data with the semantic web technology. In the proposed scheme, we run in parallel each job of Rete network algorithm, the existing rule inference algorithm and sharing data using the HBase, a hadoop database, as a public storage. To achieve this, we implement our system and evaluate performance through the AWS data of the weather center as large-scale streaming sensor data.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.18 no.9
• /
• pp.1-8
• /
• 2017

The purpose of this study is to propose a cache structure for processing large-volume building information modeling (BIM) geometry data,whereit is difficult to allocate physical memory. As the number of BIM orders has increased in the public sector, it is becoming more common to visualize and calculate large-volume BIM geometry data. Design and review collaboration can require a lot of time to download large-volume BIM data through the network. If the BIM data exceeds the physical free-memory limit, visualization and geometry computation cannot be possible. In order to utilize large amounts of BIM data on insufficient physical memory or a low-bandwidth network, it is advantageous to cache only the data necessary for BIM geometry rendering and calculation time. Thisstudy proposes acache structure for efficiently rendering and calculating large-volume BIM geometry data where it is difficult to allocate enough physical memory.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.148-150
• /
• 2012

최근 대용량 스트림 데이터에 대한 요구사항이 발생하고 있다. 이때 모든 대용량 스트림을 실시간으로 좋은 서비스를 제공하는 것은 실제적으로 불가능하다. 즉 대용량 스트림 데이터에 대한 QoS(Quality of Service: 서비스 품질)이 중요한 이슈가 되고 있다. 이러한 QoS를 정의하기 위해서는 센서 스트림 데이터에 대한 우선순위 부여방법이 가장 원천적으로 중요한 사항이 된다. 현재 센서 네트워크상에서의 서비스 품질은 연구되고 있지만 미들웨어 레이어에서의 우선순위 부여 방법에 대한 연구가 미비하다. 센서 스트림은 자체적으로는 우선순위를 가질 수 없으므로 사용자 질의 우선순위와 센서 스트림의 발생 시간등을 고려하여 대용량 센서 스트림에 대한 우선순위를 부여하는 방법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.63-65
• /
• 2020

과학응용분야의 원활한 협업 지원을 위해서는 원거리간 대용량 연구데이터의 고속 전송이 반드시 요구된다. 이와 관련하여, 본 논문은 기 구축된 대용량 파일 시스템을 다수의 데이터 전송 노드(DTN)에 연동하기 위해 필요한 요구사항들을 정리하고, 이에 기반하여 DTN 클러스터를 설계하고 구축한 사례를 제시한다. 추가적으로, 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 종단 포인트와 대용량 실험데이터를 송수신함으로써 구축된 결과물의 전송 성능을 측정하고 확인한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.18 no.2
• /
• pp.387-393
• /
• 2014

In recent years, the spread of computers is increasing, and efficient processing effort for unstructured Big Data is required. In this paper, we are proposed a system to extract the data typed in a word processor quickly by user creating and XML mapping file after converting XML data that has been entered in the office file(HWP, MS-office). In addition, we proposed a system is able to lookup the necessary data from a database by entered form in advance and convert word processor document to office files by the application program. The unstructured big data will be available to be used.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.792-795
• /
• 2002

현재 많은 관심의 대상이 되고 있는 데이터 마이닝은 대용량의 데이터베이스로부터 일정한 패턴을 분류하여 지식의 형태로 추출하는 작업이다. 데이터 마이닝의 대표적인 기법인 군집화는 군집내의 유사성을 최대화하고 군집들간의 유사성을 최소화 시키도록 데이터 집합을 분할하는 것이다. 데이터 마이닝에서 군집화는 대용량 데이터를 다루기 때문에 원시 데이터에 대한 접근 횟수를 줄이고 알고리즘이 다루어야 할 데이터 구조의 크기를 줄이는 군집화 기법이 활발하게 사용된다. 그런데 기존의 군집화 알고리즘은 잡음에 매우 민감하고, local minima에 반응한다. 또한 사전에 군집의 개수를 미리 결정해야 하고, initialization 값에 따라 군집의 성능이 좌우되는 문제점이 있다. 본 연구에서는 유전자 알고리즘을 이용하여 자동으로 군집의 개수를 결정하는 LONGEPRO 알고리즘을 제안하고, 여기서 제시하는 적합도 함수의 최적화된 군집을 찾아내여 조금더 효율적인 알고리즘을 만들어 대용량 데이터를 다루는 데이터 마이닝에 적용해 보려 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.1411-1414
• /
• 2005

볼륨 데이터는 시뮬레이션 통해 생성되거나 고성능 측정 장비를 이용해 측정된 값으로 구성되는 고차원 데이터의 한 형태로서 다양한 자연과학과 공학분야에서 폭넓게 활용되고 있다. 최근에는 각 분야에서 생성되는 계산 데이터의 용량이 점점 더 증가하고 있기 때문에 이런 대용량의 볼륨 데이터를 효과적으로 처리하기 위한 기법들에 관한 연구가 수행되고 있으며, 특히 대용량 볼륨 데이터 압축 기법에 대한 필요성이 증가하고 있다. 본 논문에서는 Daubechies 웨이블릿 변환과 zerobit 인코딩 스킴을 응용한 새로운 볼륨 데이터 압축 기법을 제안한다. 이 방법은 기존의 압축 방법에 비해 복원 데이터의 손실이 낮기 때문에 정밀한 영상을 요구하는 대용량 데이터 압축에 유용하게 사용될 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10a
• /
• pp.192-194
• /
• 2000

최근 데이터 마이닝에서 대용량 데이터를 처리하는 응용이 많아짐에 따라, 클러스터링(Clustering) 및 분류(Classification)방법이 중요한 분야가 되고 있다. 특히 분류방법에 관한 기존 연구들은 단지 메모리 상주(memory-resident) 데이터에 대해 한정되며 고차원 데이터를 효율적으로 처리할 수 없다. 따라서 본 논문에서는 대용량 고차원 데이터를 효과적으로 처리할 수 있는 새로운 분류 알고리즘을 제안한다. 이는 데이터들을 차원 공간상의 셀(cell)로 표현함으로써 수치(numerical) 애트리뷰트와 범주(categorical) 애트리뷰트 모두 처리할 수 있는 알고리즘을 제안한다. 아울러, 실험결과를 통해 제안한 알고리즘이 데이터의 양,차원 그리고 속성에 관계없이 분류를 효과적으로 수행함을 보인다.