• Title/Summary/Keyword: 대용

Search Result 6,377, Processing Time 0.045 seconds

An Index Splitting Technique for Numerous Sensor Data Archiving (대용량 센서 데이터 아카이빙을 위한 색인 분할 기법)

  • Cho, Dae-Soo
    • Journal of Korea Spatial Information System Society
    • /
    • v.9 no.1
    • /
    • pp.31-43
    • /
    • 2007
  • Sensor data have the characteristics such as numerous and continuous data. Therefore, it is required to develop an index which could retrieve a specific sensor data efficiently from numerous sensed data. The index should have an efficient delete operation for the past data to support the data archiving. In this paper, we have proposed and implemented an index splitting technique to support the sensor data archiving. These splitted indexes compose of a virtual index (that is, index management component), which is shown as single tree from outside. Experimental results show that in the case of 100,000 insert operations the splitted index performs 8% better than the traditional TB-tree maximumly. And the splitted index outperforms TB-tree with retrieving queries when the region of query is small and the size of time domain is large.

  • PDF

Design and Implementation of the Massive Underwater Acoustic Database System (대용량 해상시험자료 데이터베이스 시스템 설계 및 구현)

  • Jeong, Gi-Hyeon;Choe, Jae-Yong;Do, Gyeong-Cheol;Kim, Eung-Beom
    • The Transactions of the Korea Information Processing Society
    • /
    • v.6 no.8
    • /
    • pp.2020-2030
    • /
    • 1999
  • Data acquired about 53 gigabyte per a naval vessel is massive, expensive and impossible to be retested in a underwater acoustic measurement. So, it is required to manage systematically. In this paper, we mention MUADS (Massive Underwater Acoustic Database System) that was developed to store a long time, manage systematically and supply raw data and analyzed data. we analyze client/server performance based on 6003 input data individually in our MUADS that Unix server having a massive DC-jukebox and Windows clients.

  • PDF

Engineering Qualification Model Design and Implementation of Mass Memory Unit for STSAT-3 (과학기술위성 3호 대용량 메모리 유닛의 인증모델 설계 및 구현)

  • Seo, In-Ho;Oh, Dae-Soo
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.37 no.12
    • /
    • pp.1258-1263
    • /
    • 2009
  • This paper describes the design and test results of engineering qualification model(EQM) of mass memory unit(MMU) for STSAT-3. The MMU for STSAT-3 having 32Gb mass memory capacity is capable of receiving and transmitting the mission data from MIRIS(Multi-purpose IR Imaging System) and COMIS(Compact Imaging Spectrometer) at 100Mbps and 10Mbps. The performance of EQM MMU was verified by the tests of data receiving from two payloads and data transmission to the data receiving system. Moreover, the vibration and thermal vacuum test was performed to verify the launch vehicle and space environments.

Design and Implementation of Multi-Level Spatial DBMS with Snapshot (스냅샷 데이터를 갖는 다중레벨 공간 DBMS 설계 및 구현)

  • Cheon Jong-Hyeon;Eo Sang-Hun;Kim Ho-Seok;Bae Hae-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.217-219
    • /
    • 2005
  • 최근 들어 무선 인터넷 및 모바일 기술이 급속한 발달을 이루면서 이동 객체의 위치에 기반 한 많은 서비스들이 개발되고 있다. 이 서비스에 사용되는 않은 어플리케이션들은 비교적 용량이 큰 공간 정보를 사용하여 최근에는 기존 디스크 기반 데이터베이스 관리 시스템이 제공할 수 있는 처리 속도보다 더욱 빠른 트랜잭션 처리를 요구하고 있다. 따라서 공간 데이터와 같은 대용량 데이터의 효율적인 처리와 폭주 하는 여러 사용자들에게 빠른 응답시간을 제공하여 주는 공간 DBMS가 요구되고 있다. 기존 디스크 기반의 공간 DBMS는 공간데이터와 같은 대용량의 데이터 관리가 가능하지만, 빠른 응답속도를 요구하는 여러 어플리케이션을 지원하기에는 무리가 있다. 반면에 메인 메모리 기반의 공간 DBMS는 불필요한 디스크 I/O를 없앰으로써 더욱 빠른 트랜잭션 처리를 지원하지만, 메인 메모리의 저장 한계로 대용량 처리에는 한계가 있다. 이러한 이유로 디스크 공간 DBMS의 장점과 메인 메모리 공간 DBMS의 장점으로 이루어진 다중레벨 공간 DBMS를 제안한다. 다중레벨 공간 DBMS는 디스크 기반의 공간 DBMS인 GMS시스템에 메인 메모리 데이터베이스와 그와 관련된 여러 컴포넌트들을 추가하여 개발 하였다. 제안된 시스템은 디스크 데이터베이스 기반의 대용량 데이터의 효율적인 관리와 메모리 데이터베이스 기반의 빠른 트랜잭션 처리를 보장한다.

  • PDF

Implementation of a Platform for the Big Scientific Data Transfers (대용량 과학데이터 전송을 위한 플랫폼 구현)

  • Lee, Min-Sun;Yoo, Kwan-Jong
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.13 no.4
    • /
    • pp.881-886
    • /
    • 2018
  • Over the last several decades, the advances in computer engineering technology have led a new paradigm of data-intensive research in the field of scientific applications. A collaborative work environment for storing, sharing and analyzing data is required for researchers of geographical distance. The Korean government supports the Research & Education network(KREONET) and the Global Science experimental Data hub Center(GSDC) to strengthen the nation's competitiveness. The KREONET has upgraded its backbone to 100Gbps to accommodate demand to transfer data fast among the global major experimental sites. This paper introduces the test result between high performance nodes reserved for big data transfer.

Classification of large-scale data and data batch stream with forward stagewise algorithm (전진적 단계 알고리즘을 이용한 대용량 데이터와 순차적 배치 데이터의 분류)

  • Yoon, Young Joo
    • Journal of the Korean Data and Information Science Society
    • /
    • v.25 no.6
    • /
    • pp.1283-1291
    • /
    • 2014
  • In this paper, we propose forward stagewise algorithm when data are very large or coming in batches sequentially over time. In this situation, ordinary boosting algorithm for large scale data and data batch stream may be greedy and have worse performance with class noise situations. To overcome those and apply to large scale data or data batch stream, we modify the forward stagewise algorithm. This algorithm has better results for both large scale data and data batch stream with or without concept drift on simulated data and real data sets than boosting algorithms.

Design and Implementation of Input and Output System for Unstructured Big Data (비정형 대용량 데이터 입력 및 출력 시스템 설계 및 구현)

  • Kim, Chang-Su;Shim, Kyu-Chul;Kang, Byoung-Jun;Kim, Kyung-Hwan;Jung, Hoe-Kyung
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.18 no.2
    • /
    • pp.387-393
    • /
    • 2014
  • In recent years, the spread of computers is increasing, and efficient processing effort for unstructured Big Data is required. In this paper, we are proposed a system to extract the data typed in a word processor quickly by user creating and XML mapping file after converting XML data that has been entered in the office file(HWP, MS-office). In addition, we proposed a system is able to lookup the necessary data from a database by entered form in advance and convert word processor document to office files by the application program. The unstructured big data will be available to be used.

A Study on The Grid File Construction Method based on MapReduce for Multidimensional Data Processing (다차원 데이터 처리를 위한 맵리듀스 기반의 그리드 파일 생성기법에 관한 연구)

  • Jung, Joo-Hyuk;Lee, Sang-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.77-80
    • /
    • 2014
  • 최근 컴퓨터와 인터넷 이용의 확산, 스마트폰을 포함한 스마트 기기의 보급과 소셜 네트워크 이용의 확대, 위치 기반의 다양한 서비스 확대 등으로 처리해야 할 데이터 크기가 증가하는 추세이다. 이에 따라 대용량 데이터에 대한 처리가 큰 이슈로 떠오르고 있다. 그로 인해 대용량 데이터 처리를 위한 큰 규모의 분산 컴퓨팅 환경을 지원하는 프레임워크인 하둡이 개발되었으며 많은 기업에서 이를 활용하고 있는 추세이다. 하지만 대용량 데이터 중 영상, 의료, 센서 데이터 등 다차원 데이터 처리에 관한 연구는 미비한 상태이다. 기존의 다차원 데이터 처리를 위해 다양한 다차원 인덱스가 제안되었지만, 대용량 다차원 데이터 처리는 단일머신에서는 비효율적인 단점이 있다. 본 논문에서는 다차원 인덱스 기법인 그리드 파일을 하둡의 분산 병렬 처리 모델인 맵리듀스를 기반으로 생성하는 기법을 제안한다. 또한 앞서 생성된 그리드 파일을 가지고 맵리듀스를 이용한 질의처리 방법을 제안 한다. 이로 인해 단일머신에서의 그리드 파일 생성을 병렬처리 함으로써 생성 시간을 단축시키고 질의 처리 또한 맵리듀스를 이용하여 병렬 처리 함으로써 질의 시간 단축을 예상한다.

Discourse Analysis for Robust Spoken Dialogue System (강건한 음성 대화 시스템을 위한 담화분석 기술)

  • Lee, Chung-Hee;Jang, Myung-Gil;Oh, Hyo-Jung;Seo, Young-Hoon
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.10
    • /
    • pp.1005-1009
    • /
    • 2010
  • Elliptical and anaphoric utterances occur frequently during spoken dialogue. Because discourse analysis rests on the basic premise that linguistic items cannot be understood without reference to the context, ellipsis and anaphora resolution plays an important role in discourse analysis. In this paper, we present a spoken dialogue system improving the robustness at dialogue level based on discourse analysis, such as anaphora and ellipsis resolution. The applicability and effectiveness of the proposed method is evaluated in the TV domain.

A Fast Editing/Writing Technique for Large-scale Multimedia Files with Data Sharing based on YAFFS (YAFFS 기반의 데이터 공유를 통한 대용량 멀티미디어 파일 고속 편집 저장 기법)

  • Seung Wan Jung;Young Jin Nam;Dae Wha Seo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.1134-1137
    • /
    • 2008
  • 최근 디지털 기술의 발달로 인해 디지털 캠코더, 디지털 카메라 등의 휴대용 멀티미디어 기기가 증가하고 있고, 이러한 휴대용 장치를 위한 저장 장치로 낸드 플래시가 많이 사용된다. 이러한 장치는 고화질 미디어 컨텐츠 녹화 기능을 제공하고, 녹화된 영상물은 대용량 파일 형태로 저장된다. 대용량 파일의 필요한 부분만을 편집하여 재 저장하기 위해서는 새로운 기법이 요구된다. 본 논문은 낸드 플래시 메모리 전용 파일 시스템인 YAFFS를 사용하는 멀티미디어 휴대 장치에서 멀티미디어 파일을 고속으로 편집하고 동시에 필요한 저장 공간 소모를 최소화 하는 기법을 제안한다. 동영상 파일 편집 후 저장에 있어서 현재의 낸드 플래시 파일 시스템들은 편집 내용을 빈 공간에 새로 저장하기 때문에, 대용량의 파일일수록 많은 시간과 저장 공간이 소모 된다. 본 논문에서 제안하는 기법은 동영상 편집 후 파일 간에 중복되는 데이터를 새로 저장하지 않고 공유하도록 하면서 소모되는 시간과 공간을 최소화 한다. 이를 위해 파일 간 공유 되는 데이터를 관리하는 페이지 공유 맵을 설계하고 이를 이용한 동영상 고속 편집 저장 기법을 제시한다.