• Title/Summary/Keyword: 대용량 데이터

Search Result 2,285, Processing Time 0.062 seconds

Internet Service Management In Advanced Information Communication Processing System (대용량 통신 처리 시스템에서의 인터네트 서비스 관리)

  • 권선준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.317-319
    • /
    • 1998
  • 대용량 통신처리 시스템은 PSTN, PSDN 및 ISDN등 다양한 통신망으로부터 접속하는 사용자들에게 TEXT 기반의 서비스 및 인터넷 서비스의 제공을 목표로 한다. 유료 인터넷 서비스 제공이 있어서 유료 CP 사용에 대한 과금 데이터 생성을 위한 데이터 관리에 대하여 기술한다. 유료 CP 데이터는 데이터베이스 테이블에 저장되어 관리되며 유료 CP 데이터 관리는WARP Manager에 수행되는 유료 CP 에 대한 등록, 변경, 삭제 및 검색 기능을 포함하여 유로CP 데이터는 WARP Manager의 내용을 기준으로 WARP Manager와 각 WARP 간에 상호 일치가 되도록 관리되어야 한다. 본 논문에서는 위에서 소개된 유료 CP데이터 관리 기능 및 유료 CP 데이터에 대한 일치 기능에 대하여 기술한다.

  • PDF

Fast Volume Rendering of VKH dataset using GPU Cluster (GPU 클러스터를 이용한 VKH 데이터의 빠른 볼륨 렌더링)

  • Lee Joong-Youn
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.763-765
    • /
    • 2005
  • 볼륨 렌더링은 3차원이나 그 이상의 차원의 볼륨 데이터에서 의미있는 정보를 추출해 내어 직관적으로 표출하는 가시화 기법을 말하며 의료영상 기상학, 유체역학 등 다양한 분야에서 널리 사용되고 있다. 한편, 최근 PC 하드웨어의 급격한 발전으로 과거에는 슈퍼컴퓨터에서나 가능했던 대용량 볼륨 데이터의 가시화가 일반 PC 환경에서도 가능하게 되었다. PC 그래픽스 하드웨어의 꼭지점 및 픽셀 세이더의 수치 계산에 최적화된 벡터 연산으로 빠른 볼륨 가시화를 가능하게 한 것이다. 그러나 그래픽스 하드웨어의 메모리 용량의 한계로 대용량의 볼륨 데이터를 빠르게 가시화하는 것은 지금까지 어려운 문제로 남아있다. 본 논문에서는 한국과학기술정보연구원에서 제작한 대용량의 인체영상 데이터인 Visible Korean Human 데이터를 여러 개의 그래픽스 하드웨어 메모리에 분산시키고 이를 꼭지점 및 픽셀 쉐이더를 이용하여 빠르게 가시화하여 고해상도의 이미지를 얻고자 하였다.

  • PDF

A Large-scale RDF Storage and Retrieval System for Linked Data (링크드 데이터를 위한 대용량 RDF 저장 및 검색 시스템)

  • Lee, Yong-Ju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.523-524
    • /
    • 2016
  • 본 논문에서는 링크드 데이터를 위한 대용량 RDF 저장 및 검색 시스템을 제안한다. 현재 링크드 데이터에 대한 핵심 이슈는 링크드 데이터의 효율적인 저장과 검색, 그리고 활용 애플리케이션 개발이다. 제안 시스템은 저장 관리자, 인덱스 구조, 그리고 질의 처리기로 구성되어 있다. 저장 관리자는 대용량 RDF 데이터를 처리하기 위해 그래프 데이터베이스에 데이터를 분산 저장하며, 인덱스 구조는 다차원 히스토그램, 보조 인덱싱, 그리고 그래프 인덱싱 기법이 구현된다. 질의 처리기는 SPARQL 또는 NoSQL 질의를 사용하여 질의 최적화 및 랭킹기법이 적용된 RDF 트리플 검색을 수행한다.

Efficient Video Data Allocation Methods in a Hierarchical VOD Server (계층적 VOD서버에서의 효율적인 비디오 데이터 저장 방법)

  • Jeon, Seong-Bae;Lee, Won-Seok
    • The Transactions of the Korea Information Processing Society
    • /
    • v.5 no.3
    • /
    • pp.592-605
    • /
    • 1998
  • 주문형 비디오(VOD) 서버는 대용량의 비디오 데이터를 저장하고 사용자에게 이를 실시간으로 전송하여야 하는 제약 조건을 만족시켜야 한다. 기존의 VOD 서버 시스템은 실시간 반응 시간을 보장하기 위해 대부분 비디오 데이터의 영구 저장 장치로 하드 디스크를 사용하지만 대용량의 비디오 데이터를 저장하는 데에는 경제성과 신뢰성의 문제점이 대두된다. 본 논문은 이러한 문제점을 보완하기 위해 대용량 저장 장치인 광자기 디스크 쥬크박스를 사용하는 복합 다단계 VOD 서버에서 다양한 비디오 데이터저장 방법들을 제안하고 각 방법의 저장 비용 및 성능을 비교 분석한다. 또한, 복합 다단계 시스템과 하드 디스크를 기반으로 하는 서버의 특성을 고려하여 비디오 데이터를 저장함으로써 비용 효과적인 VOD 서버 구성 방법을 제안한다.

  • PDF

Image Machine Learning System using Apache Spark and OpenCV on Distributed Cluster (Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경 대용량 이미지 머신러닝 시스템)

  • Hayoon Kim;Wonjib Kim;Hyeopgeon Lee;Young Woon Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.33-34
    • /
    • 2023
  • 성장하는 빅 데이터 시장과 빅 데이터 수의 기하급수적인 증가는 기존 컴퓨팅 환경에서 데이터 처리의 어려움을 야기한다. 특히 이미지 데이터 처리 속도는 데이터양이 많을수록 현저하게 느려진다. 이에 본 논문에서는 Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경의 대용량 이미지 머신러닝 시스템을 제안한다. 제안하는 시스템은 Apache Spark를 통해 분산 클러스터를 구성하며, OpenCV의 이미지 처리 알고리즘과 Spark MLlib의 머신러닝 알고리즘을 활용하여 작업을 수행한다. 제안하는 시스템을 통해 본 논문은 대용량 이미지 데이터 처리 및 머신러닝 작업 속도 향상 방법을 제시한다.

Design and Implementation of Underwater Acoustic Database System (수중음향 데이터베이스 시스템 설계 및 구현)

  • 정기현;최재용;손석길;도경철;김응범
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.268-270
    • /
    • 1998
  • 수중에서 획득되는 대용량 데이터를 영구 보존하고 효율적으로 관리하기 위한 데이터베이스 시스템을 설계하고 구현하기 위해서는 대용량 데이터 관리, 다양한 저장장치 관리, 효율적 검색 기능, 융통성있는 데이터 타입 지원 등을 고려하여야 한다. 본 논문에서는 해상에서 획득되는 대용량 시험자료를 효율적으로 관리하기 위해 개발된 수주음향 데이터베이스 시스템에 대해서 논한다. 구축된 시스템은 각 시험별로 획득한 원시자료와 다양한 분석기법을 통하여 추출한 분석자료를 저장, 관리, 제공할 목적으로 개발되었으며, 속도를 고려한 효율적 저장방법, 보안 시험별 검색단어 변경 문제 및 분석자료의 다양한 그래픽 제공 등을 고려하여 대용량 CD-쥬크박스를 가진 유닉스 기반의 클라이언트/서버 환경에서 구현하였다.

Design of a Web-Scale Spatial Knowledge Extractor Using Hadoop MapReduce (하둡 맵리듀스를 이용한 웹 스케일 수준의 공간 지식 추출기 설계)

  • Lee, Seokjun;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1326-1329
    • /
    • 2015
  • 최근 들어 공간 지식을 활용한 다양한 서비스들이 개발됨에 따라, 공간 객체들 간의 정성적 공간 관계를 표현한 정성 공간 지식의 수요가 크게 늘어나고 있다. 공간 객체 각각의 세부 정보를 담은 대용량의 공간 데이터들은 개방화가 점차 확대되고 있으나, 공간 객체들 간의 정성적 관계를 표현한 정성 공간 지식은 상대적으로 확보하기 어려운 실정이다. 본 논문에서는 하둡 맵리듀스 병렬 분산 컴퓨터 환경을 이용해, 대용량의 공간 데이터로부터 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 정성 공간 지식을 자동으로 추출하는 공간 지식 추출기를 제안한다. 본 논문에서 제안하는 대용량의 공간 지식 추출기는 맵리듀스 프레임워크를 기반으로 R-트리 색인과 범위 질의들을 효과적으로 이용함으로써, 웹 스케일 수준의 정성 공간 지식을 매우 효율적으로 추출해낸다. Open Street Map (OSM) 공개 데이터를 이용한 성능 분석 실험을 통해, 본 논문에서 제안하는 대용량 공간 지식 추출기의 높은 성능을 확인할 수 있었다.

Analysis and Evaluation of DBMS Bulk Data Loading Through Multi-tiered Architecture for Heterogeneous Systems (이기종 시스템에서 다층 구조를 통한 DBMS 대용량 데이터 로딩의 분석 및 평가)

  • Tan, Hee-Yuan;Lim, Hyo-Taek
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.1
    • /
    • pp.167-176
    • /
    • 2010
  • Managing the growing number of data generated through various processes requires the aid of Database Management System (DBMS) to efficiently handle the huge amount of data. These data can be inserted into database m real time or in batch, that come from multiple sources, including those that are coming from inside and outside of a network. The insertion of large amount of data is commonly done through specific bulk loading or insertion function supplied by each individual DBMS. In this paper, we analyze and evaluate on handling data bulk loading for heterogeneous systems that is organised as multi-tiered architecture and compare the result of DBMS bulk loader against program insertion from a software development perspective. We propose a hybrid solution using staging database that can be easily deployed for enhancing bulk loading performance compared to insertion by application.

Technology for Searching Massive XML Data with Different Schema (대용량 이종 XML 데이터 검색을 위한 RDBMS기반 인덱싱 기법)

  • 이성진;박영순
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.202-204
    • /
    • 2004
  • 최근 XML은 기업간 데이터 교환의 표준으로 자리잡았다. 기업간 데이터 교환은 필연적으로 대량의 XML형태의 데이터가 로그 형태로 보전되게 된다. W3C에서는 XML자료의 검색을 위하여 XQueryl.0을 발표하고 XML 검색문의 표준화를 제시하였다. 검색운과는 별도로 XML데이터의 저장 모델에 대한 연구 또한 활발히 진행되고 있다. 본 논문에서는 대용량 XML데이터를 RDBMS를 이용하여 저장하고 빠른 검색을 지원 할 수 있는 역 인덱싱 방안을 기초로 검색 성능을 향상시킬 수 있는 방안에 대하여 연구하고 기존 방법과의 비교 실험을 통해 그 효과를 검증하였다.

  • PDF

Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving (비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐)

  • Lee, Byoung-Yup;Park, Jae-Yeol;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.15 no.5
    • /
    • pp.570-581
    • /
    • 2015
  • In recent years, many institutions predict that cloud services and big data will be popular IT trends in the near future. A number of leading IT vendors are focusing on practical solutions and services for cloud and big data. In addition, cloud has the advantage of unrestricted in selecting resources for business model based on a variety of internet-based technologies which is the reason that provisioning and virtualization technologies for active resource expansion has been attracting attention as a leading technology above all the other technologies. Big data took data prediction model to another level by providing the base for the analysis of unstructured data that could not have been analyzed in the past. Since what cloud services and big data have in common is the services and analysis based on mass amount of data, efficient operation and designing of mass data has become a critical issue from the early stage of development. Thus, in this paper, I would like to establish data processing architecture based on technological requirements of mass data for cloud and big data services. Particularly, I would like to introduce requirements that must be met in order for distributed file system to engage in cloud computing, and efficient compression technology requirements of mass data for big data and cloud computing in terms of cost-saving, as well as technological requirements of open-source-based system such as Hadoop eco system distributed file system and memory database that are available in cloud computing.