• Title/Summary/Keyword: 대용량

Search Result 4,877, Processing Time 0.043 seconds

A Design on a Streaming Big Data Processing System (스트리밍 빅데이터 처리 시스템 설계)

  • Kim, Sungsook;Kim, GyungTae;Park, Kiejin
    • Annual Conference of KIPS
    • /
    • 2015.10a
    • /
    • pp.99-101
    • /
    • 2015
  • 현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

Design of a Web-Scale Spatial Knowledge Extractor Using Hadoop MapReduce (하둡 맵리듀스를 이용한 웹 스케일 수준의 공간 지식 추출기 설계)

  • Lee, Seokjun;Kim, Incheol
    • Annual Conference of KIPS
    • /
    • 2015.10a
    • /
    • pp.1326-1329
    • /
    • 2015
  • 최근 들어 공간 지식을 활용한 다양한 서비스들이 개발됨에 따라, 공간 객체들 간의 정성적 공간 관계를 표현한 정성 공간 지식의 수요가 크게 늘어나고 있다. 공간 객체 각각의 세부 정보를 담은 대용량의 공간 데이터들은 개방화가 점차 확대되고 있으나, 공간 객체들 간의 정성적 관계를 표현한 정성 공간 지식은 상대적으로 확보하기 어려운 실정이다. 본 논문에서는 하둡 맵리듀스 병렬 분산 컴퓨터 환경을 이용해, 대용량의 공간 데이터로부터 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 정성 공간 지식을 자동으로 추출하는 공간 지식 추출기를 제안한다. 본 논문에서 제안하는 대용량의 공간 지식 추출기는 맵리듀스 프레임워크를 기반으로 R-트리 색인과 범위 질의들을 효과적으로 이용함으로써, 웹 스케일 수준의 정성 공간 지식을 매우 효율적으로 추출해낸다. Open Street Map (OSM) 공개 데이터를 이용한 성능 분석 실험을 통해, 본 논문에서 제안하는 대용량 공간 지식 추출기의 높은 성능을 확인할 수 있었다.

Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality (Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선)

  • Lee, Se-Hoon;Kim, Min-Ah;Lee, Joong-Yeon;Hur, Young-Ju
    • Annual Conference of KIPS
    • /
    • 2012.11a
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

Implementation of Test-bed for Multi-Channel Combined Broadcasting Contents Transmission (다채널 결합 방송콘텐츠 송신을 위한 테스트베드 구현)

  • Lee, Hyung
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.97-98
    • /
    • 2019
  • 본 논문에서는 대용량의 방송 콘텐츠를 전송하기 위해 다수개의 채널을 결합하여 안정적이고 고속으로 전송하기 위한 방송콘텐츠를 전송하기 위한 테스트베드를 제안한다. 제안하는 테스트베드의 첫 번째 목적은 하나의 방송채널 용량을 초과하는 대용량 방송 콘텐츠를 다수개의 채널을 결합하여 전송하기 위한 것이며, 두 번째 목적은 다채널로 입력된 데이터를 다양한 방법의 병렬 알고리즘을 적용하여 FPGA에 적용한 후 그 결과를 테스트하기 위한 것이다. 이를 위하여 제안하는 테스트베드는 다채널을 위한 입력 보드와 전반적인 제어를 위한 CPU 보드, 병렬 알고리즘 등을 테스트하기 위한 FPGA 보드, 그리고 3개의 보드들을 연결하기 위한 베이스 보드로 구성되었다. 제안하는 테스트베드 환경에서 다채널 대용량의 데이터를 병렬처리 할 수 있는 병렬 알고리즘들을 지속적으로 개발하고 테스트하여 다채널 대용량의 실시간 처리가 가능한 영상처리 시스템을 개발하는 것이다.

  • PDF

Implementation on Online Storage with Hadoop (하둡을 이용한 온라인 대용량 저장소 구현)

  • Eom, Se-Jin;Lim, Seung-Ho
    • Annual Conference of KIPS
    • /
    • 2013.05a
    • /
    • pp.56-58
    • /
    • 2013
  • 최근 페이스북이나 트위터와 같은 소셜네트워크 서비스를 포함하여 대용량의 빅데이터에 대한 처리와 분석이 중요한 이슈로 다뤄지고 있으며, 사용자들이 끊임없이 쏟아내는 데이터로 인해서 이러한 데이터들을 어떻게 다룰 것인지, 혹은 어떻게 분석하여 의미 있고, 가치 있는 것으로 가공할 것인지가 중요한 사안으로 여겨지고 있다. 이러한 빅데이터 관리 도구로써 하둡은 빅데이터의 처리와 분석에 있어서 가장 해결에 근접한 도구로 평가받고 있다. 이 논문은 하둡의 주요 구성요소인 HDFS(Hadoop Distributed File System)와 JAVA에 기반하여 제작되는 온라인 대용량 저장소 시스템의 가장 기본적인 요소인 온라인 데이터 저장소를 직접 설계하고 제작하고, 구현하여 봄으로써 대용량 저장소의 구현 방식에 대한 이슈를 다뤄보도록 한다.

An Efficient Graph Cycle Detection Technique based on Pregel (프리겔 기반의 효율적인 그래프 순환 검출 기법)

  • Kim, Taeyeon;Kim, Hyunwook;Park, Kisung;Lee, Young-Koo
    • Annual Conference of KIPS
    • /
    • 2013.11a
    • /
    • pp.152-154
    • /
    • 2013
  • 페타 바이트 이상의 규모의 빅 데이터 분석은 다양한 분야에서 연구되고 있다. 최근 소셜 네트워크, XML 등과 같은 구조적인 정보를 갖는 대용량의 그래프들을 분석하는 기술이 활발히 연구되고 있다. 이러한 대용량의 그래프를 분석하기 위한 연산중의 하나로 순환 그래프가 사용되고 있다. 대용량의 그래프 환경에서 순환을 검출하는 연산은 단일 컴퓨팅 시스템에서 처리가 불가능하거나 많은 시간 비용이 발생하여 분산처리가 필요하다. 본 논문에서는 그래프 처리에 효율적인 프리겔 프레임워크를 이용하여 효율적으로 순환을 검출하고, 중복 순환을 제거하기 위해 정규 순환 코드를 제안한다. 실험을 통하여 제안하는 기법이 대용량 그래프에서 효율적으로 순환을 찾을 수 있음을 보인다.

Designing and building a DTN cluster based on massively scalable storage (대용량 스토리지 기반의 데이터 전송 노드 클러스터 설계 및 구축)

  • Hong, Wontaek;An, Dosik;Lee, Jaekook
    • Annual Conference of KIPS
    • /
    • 2020.05a
    • /
    • pp.63-65
    • /
    • 2020
  • 과학응용분야의 원활한 협업 지원을 위해서는 원거리간 대용량 연구데이터의 고속 전송이 반드시 요구된다. 이와 관련하여, 본 논문은 기 구축된 대용량 파일 시스템을 다수의 데이터 전송 노드(DTN)에 연동하기 위해 필요한 요구사항들을 정리하고, 이에 기반하여 DTN 클러스터를 설계하고 구축한 사례를 제시한다. 추가적으로, 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 종단 포인트와 대용량 실험데이터를 송수신함으로써 구축된 결과물의 전송 성능을 측정하고 확인한다.

Study of High-capacity Foam Discharging Systems for Full Surface Fire of Big Oil Tanks (대형 유류저장탱크 전면화재 대응을 위한 대용량포방사시스템 연구)

  • Im, Joo-Yeol;Chung, Yeong-Jin
    • Fire Science and Engineering
    • /
    • v.33 no.6
    • /
    • pp.173-180
    • /
    • 2019
  • Oil tank fires need to be suppressed differently from other oil-related fires, due to the high-temperature flames and hot updraft above the tank, in the former case, that cause the destruction of large amounts of foam. We studied high-capacity foam discharge systems based on the standards of the American Petroleum Institute (API), National Fire Protection Association (NFPA), British Standard European Norm (BS EN), and the laws of Japan. The performance of a high-capacity foam discharge system was measured by conducting real fire experiments with model oil tanks. We concluded that lightweight and easily movable high-capacity foam discharge systems should be urgently introduced in domestic operations. Additionally, the obstacles faced by major tanks, such as long-distance installation of large-diameter fire hoses and narrowing of firefighting spaces, should be resolved depending on the conditions of the site.

전력용 반도체 소자

  • 한민구
    • 전기의세계
    • /
    • v.34 no.3
    • /
    • pp.141-144
    • /
    • 1985
  • 다이리스터는 power semiconduct or device중에서 가장 광범위 또한 대용량의 전류와 전압을 취급할 수 있는 소자로써 널리이용되고 있다. 또한 silicon wafer의 크기가 증가하고 있기때문에 전류의 증가가 기대가 되고 있다. 그러나 MOSFEF의 power device의 응용이 증가되고 있으나 대용량의 전류와 전압의 조절분야에서는 다이리스터의 역할을 두드러질 것이다.

  • PDF

BIM Geometry Cache Structure for Data Streaming with Large Volume (대용량 BIM 형상 데이터 스트리밍을 위한 캐쉬 구조)

  • Kang, Tae-Wook
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.18 no.9
    • /
    • pp.1-8
    • /
    • 2017
  • The purpose of this study is to propose a cache structure for processing large-volume building information modeling (BIM) geometry data,whereit is difficult to allocate physical memory. As the number of BIM orders has increased in the public sector, it is becoming more common to visualize and calculate large-volume BIM geometry data. Design and review collaboration can require a lot of time to download large-volume BIM data through the network. If the BIM data exceeds the physical free-memory limit, visualization and geometry computation cannot be possible. In order to utilize large amounts of BIM data on insufficient physical memory or a low-bandwidth network, it is advantageous to cache only the data necessary for BIM geometry rendering and calculation time. Thisstudy proposes acache structure for efficiently rendering and calculating large-volume BIM geometry data where it is difficult to allocate enough physical memory.