• 제목/요약/키워드: 대용량

검색결과 4,845건 처리시간 0.042초

스트리밍 빅데이터 처리 시스템 설계 (A Design on a Streaming Big Data Processing System)

  • 김성숙;김경태;박기진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.99-101
    • /
    • 2015
  • 현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

하둡 맵리듀스를 이용한 웹 스케일 수준의 공간 지식 추출기 설계 (Design of a Web-Scale Spatial Knowledge Extractor Using Hadoop MapReduce)

  • 이석준;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1326-1329
    • /
    • 2015
  • 최근 들어 공간 지식을 활용한 다양한 서비스들이 개발됨에 따라, 공간 객체들 간의 정성적 공간 관계를 표현한 정성 공간 지식의 수요가 크게 늘어나고 있다. 공간 객체 각각의 세부 정보를 담은 대용량의 공간 데이터들은 개방화가 점차 확대되고 있으나, 공간 객체들 간의 정성적 관계를 표현한 정성 공간 지식은 상대적으로 확보하기 어려운 실정이다. 본 논문에서는 하둡 맵리듀스 병렬 분산 컴퓨터 환경을 이용해, 대용량의 공간 데이터로부터 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 정성 공간 지식을 자동으로 추출하는 공간 지식 추출기를 제안한다. 본 논문에서 제안하는 대용량의 공간 지식 추출기는 맵리듀스 프레임워크를 기반으로 R-트리 색인과 범위 질의들을 효과적으로 이용함으로써, 웹 스케일 수준의 정성 공간 지식을 매우 효율적으로 추출해낸다. Open Street Map (OSM) 공개 데이터를 이용한 성능 분석 실험을 통해, 본 논문에서 제안하는 대용량 공간 지식 추출기의 높은 성능을 확인할 수 있었다.

Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선 (Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality)

  • 이세훈;김민아;이중연;허영주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

다채널 결합 방송콘텐츠 송신을 위한 테스트베드 구현 (Implementation of Test-bed for Multi-Channel Combined Broadcasting Contents Transmission)

  • 이형
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
    • /
    • pp.97-98
    • /
    • 2019
  • 본 논문에서는 대용량의 방송 콘텐츠를 전송하기 위해 다수개의 채널을 결합하여 안정적이고 고속으로 전송하기 위한 방송콘텐츠를 전송하기 위한 테스트베드를 제안한다. 제안하는 테스트베드의 첫 번째 목적은 하나의 방송채널 용량을 초과하는 대용량 방송 콘텐츠를 다수개의 채널을 결합하여 전송하기 위한 것이며, 두 번째 목적은 다채널로 입력된 데이터를 다양한 방법의 병렬 알고리즘을 적용하여 FPGA에 적용한 후 그 결과를 테스트하기 위한 것이다. 이를 위하여 제안하는 테스트베드는 다채널을 위한 입력 보드와 전반적인 제어를 위한 CPU 보드, 병렬 알고리즘 등을 테스트하기 위한 FPGA 보드, 그리고 3개의 보드들을 연결하기 위한 베이스 보드로 구성되었다. 제안하는 테스트베드 환경에서 다채널 대용량의 데이터를 병렬처리 할 수 있는 병렬 알고리즘들을 지속적으로 개발하고 테스트하여 다채널 대용량의 실시간 처리가 가능한 영상처리 시스템을 개발하는 것이다.

  • PDF

하둡을 이용한 온라인 대용량 저장소 구현 (Implementation on Online Storage with Hadoop)

  • 엄세진;임승호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.56-58
    • /
    • 2013
  • 최근 페이스북이나 트위터와 같은 소셜네트워크 서비스를 포함하여 대용량의 빅데이터에 대한 처리와 분석이 중요한 이슈로 다뤄지고 있으며, 사용자들이 끊임없이 쏟아내는 데이터로 인해서 이러한 데이터들을 어떻게 다룰 것인지, 혹은 어떻게 분석하여 의미 있고, 가치 있는 것으로 가공할 것인지가 중요한 사안으로 여겨지고 있다. 이러한 빅데이터 관리 도구로써 하둡은 빅데이터의 처리와 분석에 있어서 가장 해결에 근접한 도구로 평가받고 있다. 이 논문은 하둡의 주요 구성요소인 HDFS(Hadoop Distributed File System)와 JAVA에 기반하여 제작되는 온라인 대용량 저장소 시스템의 가장 기본적인 요소인 온라인 데이터 저장소를 직접 설계하고 제작하고, 구현하여 봄으로써 대용량 저장소의 구현 방식에 대한 이슈를 다뤄보도록 한다.

프리겔 기반의 효율적인 그래프 순환 검출 기법 (An Efficient Graph Cycle Detection Technique based on Pregel)

  • 김태연;김현욱;박기성;이영구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.152-154
    • /
    • 2013
  • 페타 바이트 이상의 규모의 빅 데이터 분석은 다양한 분야에서 연구되고 있다. 최근 소셜 네트워크, XML 등과 같은 구조적인 정보를 갖는 대용량의 그래프들을 분석하는 기술이 활발히 연구되고 있다. 이러한 대용량의 그래프를 분석하기 위한 연산중의 하나로 순환 그래프가 사용되고 있다. 대용량의 그래프 환경에서 순환을 검출하는 연산은 단일 컴퓨팅 시스템에서 처리가 불가능하거나 많은 시간 비용이 발생하여 분산처리가 필요하다. 본 논문에서는 그래프 처리에 효율적인 프리겔 프레임워크를 이용하여 효율적으로 순환을 검출하고, 중복 순환을 제거하기 위해 정규 순환 코드를 제안한다. 실험을 통하여 제안하는 기법이 대용량 그래프에서 효율적으로 순환을 찾을 수 있음을 보인다.

대용량 스토리지 기반의 데이터 전송 노드 클러스터 설계 및 구축 (Designing and building a DTN cluster based on massively scalable storage)

  • 홍원택;안도식;이재국
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.63-65
    • /
    • 2020
  • 과학응용분야의 원활한 협업 지원을 위해서는 원거리간 대용량 연구데이터의 고속 전송이 반드시 요구된다. 이와 관련하여, 본 논문은 기 구축된 대용량 파일 시스템을 다수의 데이터 전송 노드(DTN)에 연동하기 위해 필요한 요구사항들을 정리하고, 이에 기반하여 DTN 클러스터를 설계하고 구축한 사례를 제시한다. 추가적으로, 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 종단 포인트와 대용량 실험데이터를 송수신함으로써 구축된 결과물의 전송 성능을 측정하고 확인한다.

대형 유류저장탱크 전면화재 대응을 위한 대용량포방사시스템 연구 (Study of High-capacity Foam Discharging Systems for Full Surface Fire of Big Oil Tanks)

  • 임주열;정영진
    • 한국화재소방학회논문지
    • /
    • 제33권6호
    • /
    • pp.173-180
    • /
    • 2019
  • 유류탱크 화재는 화재진압이 쉽지 않다. 미국, 일본, 싱가포르 등의 국가에서는 오랜 시행착오 끝에 대형 유류저장탱크의 전면화재에 대응하기 위한 대용량의 포방사 시스템을 도입하였다. 본 연구에서는 American Petroleum Institute (API), National Fire Protection Association (NFPA), British Standard European Norm (BS EN)의 관련 기준과 일본의 법령 등을 바탕으로 대용량 포방사에 대한 기준과 방법 등을 연구하였고, 모형탱크 전면화재 진압 비교실험을 통해 대용량 포방사의 성능을 확인하였다. 그 결과 소용량의 노즐 여러 개를 사용하는 것보다 대용량의 노즐 하나를 사용하는 대용량 포방사가 화재진압 성능이 더 우수 하였고, 노즐의 배치를 달리하여 서로 다른 방향에서 방사하는 것보다 동일한 방향에서 집중 방사하는 것이 더욱 효과적이었다. 결국 대용량포방사시스템의 국내도입 필요성을 확인하였다. 그러나 대용량포방사시스템의 운용은 현장 여건에 따라서는 매우 제한적일 수밖에 없다. 따라서 시스템을 최대한 경량화 되고 이동이 쉬운 것으로 도입하여야 한다. 또한 주요 탱크별로 운영계획을 수립하면서 대구경 소방호스의 장거리 설치문제, 소방활동 공간의 협소문제 등 파악되는 장애요인을 현장 여건에 따라 해결해 나가는 것이 현실적 방안으로 보인다.

전력용 반도체 소자

  • 한민구
    • 전기의세계
    • /
    • 제34권3호
    • /
    • pp.141-144
    • /
    • 1985
  • 다이리스터는 power semiconduct or device중에서 가장 광범위 또한 대용량의 전류와 전압을 취급할 수 있는 소자로써 널리이용되고 있다. 또한 silicon wafer의 크기가 증가하고 있기때문에 전류의 증가가 기대가 되고 있다. 그러나 MOSFEF의 power device의 응용이 증가되고 있으나 대용량의 전류와 전압의 조절분야에서는 다이리스터의 역할을 두드러질 것이다.

  • PDF

대용량 BIM 형상 데이터 스트리밍을 위한 캐쉬 구조 (BIM Geometry Cache Structure for Data Streaming with Large Volume)

  • 강태욱
    • 한국산학기술학회논문지
    • /
    • 제18권9호
    • /
    • pp.1-8
    • /
    • 2017
  • 본 연구의 목적은 물리적 메모리 할당이 어려운 대용량 BIM(Building Information Modeling) 형상 데이터를 처리하기 위한 캐쉬(cache) 구조를 제안한다. 조달청 등 공공기관에서 BIM 발주가 많아짐에 따라 대용량 BIM 형상 데이터를 가시화하고, 계산해야 하는 경우가 많아지고 있다. 규모가 크고 복합적인 시설물의 경우, 렌더링 및 계산해야하는 형상 수가 많아 사용자가 BIM 모델을 검토하고, 단면을 확인하는 데 어려움을 겪는 경우가 있다. 예를 들어, 설계, 검토 협업 시, 대용량 BIM 데이터를 네트워크를 통해 전달받아야 할 경우, 다운로드에 많은 시간이 걸릴 수 있고, 물리적 여유 메모리 한계를 넘어가면, 에러로 가시화나 형상정보 추출이 불가능할 수도 있다. 물리적 메모리가 부족하거나 대역폭이 적은 네트워크 상에서 대용량 BIM 데이터를 활용하기 위해서는, BIM 형상 렌더링 및 계산 시점에 필요한 데이터만 메모리로 캐쉬(cache) 처리하는 것이 유리하다. 이 연구는 물리적 메모리 할당이 어려운 대용량 BIM 형상 데이터를 효과적으로 렌더링하고 계산하기 위한 BIM 형상 캐쉬 구조를 제안한다.