• Title/Summary/Keyword: 대용량 데이터

Search Result 2,286, Processing Time 0.034 seconds

MAHA-FS : A Distributed File System for High Performance Metadata Processing and Random IO (MAHA-FS : 고성능 메타데이터 처리 및 랜덤 입출력을 위한 분산 파일 시스템)

  • Kim, Young Chang;Kim, Dong Oh;Kim, Hong Yeon;Kim, Young Kyun;Choi, Wan
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.2
    • /
    • pp.91-96
    • /
    • 2013
  • The application field of supercomputing systems are changing to support into the field for both a large-volume data processing and high-performance computing at the same time such as bio-applications. These applications require high-performance distributed file system for storage management and efficient high-speed processing of large amounts of data that occurs. In this paper, we introduce MAHA-FS for supercomputing systems for processing large amounts of data and high-performance computing, providing excellent metadata operation performance and IO performance. It is shown through performance analysis that MAHA-FS provides excellent performance in terms of the metadata processing and random IO processing.

Bioinformatics for constructing bio-pathways (바이오 네트워크 구축을 위한 바이오인포매틱스 기반 기술)

  • 박선희
    • Proceedings of the Optical Society of Korea Conference
    • /
    • 2003.02a
    • /
    • pp.124-125
    • /
    • 2003
  • 바이오인포매틱스 기술이란 정보통신 인프라와 IT기술을 기반으로 분산되어 있는 대용량의 바이오 데이터 및 문헌 정보를 통합적으로 관리, 분석 및 처리하여 각종 바이오 정보 활용 분야(신약개발, 의료진단, 농산물 개량 등)에 효율적으로 응용 서비스하기 위한 IT-BT융합 핵심 기반 요소 기술을 의미한다. 2000. 6. 인간 유전체 초안 완성 후 대량 획득되는 바이오 데이터의 최대 부가가치 창출을 위해 대용량 바이오 데이터로부터 유용한 지식정보를 자동적으로 추출해내기 위한 효율적인 통합분석 기술이 필요하고 이는 바이오인포매틱스 기본 개념이 된다. (중략)

  • PDF

Approximate k-Nearest Neighbor Search Algorithms for Content-Based Retrieval of Multimedia Data (대용량 멀티미디어 데이터의 내용-기반 검색을 위한 근사 k-최근접 데이터 탐색 알고리즘)

  • 송광택;심춘보;장재우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.256-258
    • /
    • 1998
  • 대용량의 멀티미디어 자료를 기반으로 하는 내용-기반 멀티미디어 검색 시스템에서 k-최근접 탐색 질의는 사용자의 매우 중요한 검색 질의 중에 하나이다. 하지만, 방대한 양의 멀티미디어 데이터베이스를 기반으로하는 경우에는 적중 에러 없는 정확(exact) k-최근접 데이터 탐색을 위해서 상당히 많은 디스크 접근 횟수가 요구된다. 본 논문에서는 X-트리에서의 정확 k-최근접 탐색 질의를 개선하고, 또한 사용자의 빠른 검색 성능을 위해 다소의 적중 에러는 허용한다 하더라도 디스크 접근 횟수를 줄이는 근사(approximate) k-최근접 탐색 알고리즘을 제안한다.

XML 기반 멀티미디어 검색시스템

  • 윤미희;최동선;최병갑
    • Review of Korea Contents Association
    • /
    • v.1 no.2
    • /
    • pp.75-82
    • /
    • 2003
  • 인터넷의 보급과 더불어 대용량 저장장치의 가격이 하락하면서 멀티미디어 데이터의 저장과 공유가 보편화되었다. 또한 멀티미디어 데이터를 활용하는 지리정보시스템, 멀티미디어 의료 정보시스템, 전자신문, 전자도서관, 홈쇼핑, VOD등의 새로운 응용 분야들이 각광을 받고 있다. 이러한 환경적인 요인은 대용량의 멀티미디어 테이터를 효율적으로 추출, 저장, 검색하기 위한 멀티미디어 데이터 처리기술이 요구된다.(중략)

Building Data Warehouse System for Weblog Analysis (웹로그 분석을 위한 데이터 웨어하우스 시스템 구축)

  • Lee, Joo-Il;Baek, Kyung-Min;Shin, Joo-Hahn;Lee, Won-Suk
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2010.05a
    • /
    • pp.291-295
    • /
    • 2010
  • 최근 급격한 하드웨어 기술과 데이터베이스 시스템의 발전은 우리 주변에서 발생하는 다양한 분야의 데이터를 자동으로 수집하는 것을 가능하게 하였다. 흔히 데이터 스트림(data stream)이라고 언급되는 끊임없이 생산되는 대용량의 데이터를 효율적으로 처리하여 유용한 정보를 얻어내는 기술은 이미 많은 응용 분야에서 광범위하게 연구되고 있다. 인터넷은 이러한 데이터 스트림을 양산해 내는 주요 원천 중의 하나이다. 인터넷 비즈니스의 활성화와 더불어 웹로그 데이터 스트림은 마케팅, 전략 수립, 고객관리 등 여러 부분에 광범위하게 활용되기 시작했으며, 보다 정확하고 효율적인 분석에 대한 요구사항도 점점 늘어나고 있다. 데이터 웨어하우스(Data Warehouse)는 수집된 데이터를 주제 기반으로 통합하여 시계열 형태로 적재하는 저장소서 유용한 분석이나 의사결정에 많이 사용되어 왔다. 데이터웨어하우스는 데이터를 요약하고 통합 및 정제하는 기능을 제공하여 대용량의 데이터 처리에 적합하고 데이터의 품질을 향상시키기 때문에 데이터 마이닝 분야에서 전처리 과정으로도 많이 이용되어 왔다. 본 논문에서는 웹로그 데이터 스트림에 대한 데이터 웨어하우스를 구축하여 보다 고품질의 유용한 정보를 효율적으로 얻어내는 시스템을 제안한다.

  • PDF

A Study on the Additional Spectrum Allocation for Domestic Celluar Mobile Service (국내 이동통신 서비스의 추가 주파수분배에 관한 연구)

  • 김종호;이재욱;박덕규
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2003.11a
    • /
    • pp.253-259
    • /
    • 2003
  • 최근 각 이동통신사업별로 기존의 CDMA 방식을 이용하여 IMT-2000의 서비스에 해당되는 대용량 데이터서비스를 제공하고 있다. 그러나 각 사업자 별로 할당된 현재의 주파수대역으로는 영상서비스를 기본으로 하는 대용량 데이터서비스를 제공하기 어려운 상황이며, 새로운 주파수대역의 추가 분배가 필요한 상태이다. 본 논문에서는 ITU-R에서 제시하고 있는 권고안을 기초로 국내 이동통신서비스 확대에 요구되는 추가 스펙트럼 요구량을 산출하였으며, 디지털 이동통신서비스를 위해 필요한 스펙트럼 효율의 정량화 및 추가 소요 주파수 대역을 계산하는 방법을 정량화 하였다.

  • PDF

A Dynamic Data Replica Deletion Strategy on HDFS using HMM (HMM을 이용한 HDFS 기반 동적 데이터 복제본 삭제 전략)

  • Seo, Young-Ho;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.241-244
    • /
    • 2014
  • 본 논문에서는 HDFS(Hadoop Distributed File System)에서 문제되고 있는 복제정책의 개선을 위해 HMM(Hidden Markov Model)을 이용한 동적 데이터 복제본 삭제 전략을 제안한다. HDFS는 대용량 데이터를 효과적으로 처리할 수 있는 분산 파일 시스템으로 높은 Fault-Tolerance를 제공하며, 데이터의 접근에 높은 처리량을 제공하여 대용량 데이터 집합을 갖는 응용 프로그램에 최적화 되어있는 장점을 가지고 있다. 하지만 HDFS 에서의 복제 메커니즘은 시스템의 안정성과 성능을 향상시키지만, 추가 블록 복제본이 많은 디스크 공간을 차지하여 유지보수 비용 또한 증가하게 된다. 본 논문에서는 HMM과 최상의 상태 순서를 찾는 알고리즘인 Viterbi Algorithm을 이용하여 불필요한 데이터 복제본을 탐색하고, 탐색된 복제본의 삭제를 통하여 HDFS의 디스크 공간과 유지보수 비용을 절약 할 수 있는 전략을 제안한다.

  • PDF

An Architecture for a Spatial Big-Data Management System on Hadoop (하둡기반 공간 빅데이터 저장 관리 시스템 구조)

  • Lee, Kang-Woo;Cho, Eun-Sun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2015.01a
    • /
    • pp.1-3
    • /
    • 2015
  • 본 논문에서는 하둡 환경상에서 개발 중인 공간 빅데이터 저장 관리 시스템의 구조를 설명한다. 본 시스템은 공간 센서 및 IoT의 등장으로 대용량화된 공간 데이터로 인한 기존 공간 정보 처리 시스템의 성능적 한계를 극복하기 위한 목적으로 개발 중이다. 본 시스템은 효과적인 대용량 데이터 처리를 위해 현재 활발히 연구되고 있는 빅데이터 처리 기술과 공간 정보 처리 기술을 접목하여, 대용량의 공간 정보를 수집, 저장 관리하는 기능을 제공한다. 또한 효과적인 공간 데이터의 접근을 위해 스크립트 언어 기반의 공간 정보 처리 언어를 제공하고, SQL 형식의 선언적 공간 정보 질의 처리 기능도 제공하기 위해 개발 중에 있다.

  • PDF

100Mbps Digital Cable RF Transmission Technology Development for UHDTV Service (UHDTV 서비스를 위한 100Mbps급 디지털 케이블 전송기술 개발)

  • Kim, Sung-Hoon;Choi, Jin-Soo;Kim, Jin-Woong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2010.07a
    • /
    • pp.227-230
    • /
    • 2010
  • 본 논문은 디지털 케이불망에서 초고선명 TV(Ultra High Definition TV) 서비스를 위한 100Mbps급 1024-QAM 전송시스템 개발에 관하여 기술한다. 8K-UHD TV(해상도 7680x4320) 콘텐츠 전송을 위해서는 l개의 프로그램당 약 100-160Mbps의 대용량 데이터 전송률이 확보되어야 하며. 이러한 대용량 데이터 전송을 위해 타매체에 비해 상대적으로 전송채널 환경이 우수한 디지털 케이블망(HFC:Hybrid Fiber and Coaxial)을 이용한 대용량 실감데이터 전송기술에 대한 연구가 주목받고 있다. 본 논문에서는 이와 같은 UHD 실감콘텐즈 전송을 위하여, OpenCable(J.83 Annex B) 확장형 1024-QAM 송수신기술 및 방송망 채널본딩기법을 적용한 100Mbps급 송수신 기술개발에 대한 내용을 기술한다.

  • PDF

TV-Anytime Metadata Management System (TV-Anytime 메타데이터 관리 시스템)

  • Park, Jong-Hyun;Kim, Byung-Kyu;Kang, Ji-Hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11c
    • /
    • pp.1689-1692
    • /
    • 2002
  • TV-Anytime은 국제 표준으로 자리잡아가고 있는 차세대 디지털 방송용 메타데이터로서 사용자가 직접 원하는 방송을 검색하고 선택하여, 선택한 멀티미디어 데이터를 저장하였다가 시간과 장소에 구애받지 않고 사용할 수 있도록 하는 것을 목표로 하고 있다. TV-Anytime은 XML 스키마로 정의되어 있으며, 방송이라는 특성상 그 크기에 있어서 대용량이다. 본 연구에서는 이러한 TV-Anytime은 XML 스키마로 정의되어 있으며, 방송이라는 특성상 그 크기에 있어서 대용량이다. 본 연구에서는 이러한 TV-Anytime의 특성에 맞는 메타데이타 관리 시스템을 제안한다. 대용량의 문제를 해결하기 위하여 데이터베이스를 사용하며, TV-Anytime 스키마를 분석하여 그에 적합한 스키마를 설계한다. XML 형식의 TV-Anytime 메타데이타에 대한 질의를 위하여 XQuery를 사용한다. 이는 데이터베이스의 저장형식에 무관하게 질의하는 것을 가능하게 만들어 주며, 디지털방송 환경에서 시스템간의 상호 운용성이 확보될 수 있다. 또한, XQuery는 정보검색 기능을 가지고 있어서 향후 컨텐트 기반 정보검색을 포함하는 등 보다 풍부한 의미를 갖는 질의를 사용할 수 있을 것이다.

  • PDF