• 제목/요약/키워드: Bigdata Center Processing System

검색결과 7건 처리시간 0.018초

천리안해양관측위성 산출물 활용성 향상을 위한 오픈소스 R 기반 데이터 처리기술 연구 (A Study on Data Processing Technology based on a open source R to improve utilization of the Geostationary Ocean Color Imager(GOCI) Products)

  • 오정희;최현우;이철용;양현;한희정
    • 한국지리정보학회지
    • /
    • 제22권4호
    • /
    • pp.215-228
    • /
    • 2019
  • 해양관측 정지궤도 위성인 GOCI(Geostationary Ocean Color Imager) 데이터는 대용량 산출물을 효과적으로 저장, 배포하기 위해 HDF5 자료 형식을 사용하고 있다. 해양위성센터에서는 HDF5(Hierarchical Data Format version5) 포맷에 익숙지 않은 일반 사용자를 위해 GDPS(GOCI Data Processing System)를 개발하여 관측자료와 함께 제공하고 있다. 그럼에도 불구하고 위성데이터 특성에 대한 이해와 GDPS의 사용법을 익혀야 하는 점, 그리고 위치정보와 속성정보가 분리되어 있는 HDF5 형식의 자료를 병합하고 가공하는 일은 쉽지 않은 일이다. 따라서 본 연구에서는 오픈소스 R과 rhdf5, data.table, matrixStats 패키지를 이용하여 GDPS를 이용하는 과정 없이도 HDF5 형식의 위성데이터를 손쉽게 활용할 수 있는 알고리즘을 개발하였다.

Performance Optimization of Big Data Center Processing System - Big Data Analysis Algorithm Based on Location Awareness

  • Zhao, Wen-Xuan;Min, Byung-Won
    • International Journal of Contents
    • /
    • 제17권3호
    • /
    • pp.74-83
    • /
    • 2021
  • A location-aware algorithm is proposed in this study to optimize the system performance of distributed systems for processing big data with low data reliability and application performance. Compared with previous algorithms, the location-aware data block placement algorithm uses data block placement and node data recovery strategies to improve data application performance and reliability. Simulation and actual cluster tests showed that the location-aware placement algorithm proposed in this study could greatly improve data reliability and shorten the application processing time of I/O interfaces in real-time.

다기관 의료 빅데이터 연구를 위한 영상 분석 방법 및 시스템 (Image analysis method and system for multi-center Medical bigdata research)

  • 김승진;정창원;김태훈;전홍영;노시형;김지언;이윤오;윤권하
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.428-429
    • /
    • 2018
  • 본 논문에서는 다기관 의료영상 분석 방법 및 시스템을 제안한다. 다기관 연구에 참여하는 기관에게 분석 가이드 및 분석 프로그램을 제공하여 표준화된 영상분석 연구를 지원하고자 한다. 이를 위해 동일한 프로토콜로 표준화된 영상을 획득 및 분석하고 결과를 공유하는 분산형 연구방법을 제시한다. 제안하는 시스템은 개인정보보호법 및 보안문제가 강조되고 있는 의료현장에 적합한 시스템으로 다양한 다기관 의료 빅데이터 분석 연구에 활용될 것으로 기대된다.

데이터센터 장애 예방을 위한 인프라 이상징후 분석: RRCF와 Prophet Ensemble 분석 기반 (Infrastructure Anomaly Analysis for Data-center Failure Prevention: Based on RRCF and Prophet Ensemble Analysis)

  • 신현종;김성근;천병환;진경복;양승정
    • 한국빅데이터학회지
    • /
    • 제7권1호
    • /
    • pp.113-124
    • /
    • 2022
  • 데이터센터의 장애 예방을 위해 머신러닝과 빅데이터를 활용한 다양한 방법들이 적용되어 왔다. 그러나 개별 장비 기반의 성능지표를 참조하거나, 인프라 운영환경을 고려하지 않은 접근방법으로 실제 활용되는 데에는 많은 한계가 있었다. 이에 본 연구에서는 개별 인프라 장비들의 성능지표를 통합 모니터링하며, 다양한 장비들의 성능지표를 구간화, 등급화 하여 단일수치화를 진행한다. 인프라 운영에 대한 경험치 기반으로 데이터 전처리를 수행하며, RRCF(Robust Random Cut Forest)분석과 Prophet 분석 모델을 앙상블하여 이상징후 검출에 신뢰도 있는 분석결과를 도출하였다. 데이터센터 내 운영담당자들의 접근을 용이하게 하기 위해 장애분석시스템을 구현하여 데이터센터 장애의 선제 대응과 적정한 튜닝시점을 제시할 수 있다.

지속가능한 미래형 스마트교육 시스템 구축 방안 (Establishing a Sustainable Future Smart Education System)

  • 박지현;최재명;박병렬;강희조
    • 한국항행학회논문지
    • /
    • 제16권3호
    • /
    • pp.495-503
    • /
    • 2012
  • 사회의 변화에 따라 교육현장도 급격하게 발전하고 있다. 1996년 9월 1일 교수학습사이트인 에듀넷 시스템을 개발 보급한 이래 교수학습지원센터, 사이버가정학습 시스템을 비롯하여 진단처방시스템, 화상강의 및 상담시스템, 학력관리시스템을 지속하여 개발하였으나 상호 연계성이 부족하여 교육수요자들에게 큰 호응을 얻지 못하였다. 이는 여러 가지 원인이 있으나 새로운 변화를 예측하거나 비전을 제시하기보다 그 때마다 새로 구축하여 연속성이나 지속성을 고려하지 못한 결과이다. 스마트교육에 적합한 시스템은 독립된 시스템을 단순한 통합로그인에 의한 시스템보다 가장 기본이 되는 데이터베이스시스템에 빅데이터 개념을 도입, 다양한 데이터를 유용한 정보로 분석 가공하여 교육수요자에게 제공한 시스템으로 통합이 이루어 져야하며, 클라우드 컴퓨팅 시스템이 단순한 파일을 관리하고 응용프로그램을 제공하는 시스템이 아니라 다양한 형태의 콘텐츠와 데이터를 관리하고 제공할 수 있는 형태로 구축하여야 한다.

교통 분야 모빌리티 데이터의 안전한 활용을 위한 통합데이터안심구역 시스템 아키텍처 개발 (System Architecture of the Integrated Data Safety Zone for the Secured Application of Transportation-specific Mobility Data)

  • 이형근;유기동
    • 한국ITS학회 논문지
    • /
    • 제22권3호
    • /
    • pp.88-103
    • /
    • 2023
  • 최근 4차 산업혁명 기술의 발전에 힘입어 교통시스템은 차량 및 사람의 개별 이동궤적과 관련된 모빌리티 데이터를 대용량으로 산출하고 있다. 개인정보가 포함된 모빌리티 데이터를 활용하는 데에는 많은 제약이 존재하므로, 우리나라는 데이터 3법 개정과 데이터 기본법 제정을 통해 가명정보의 생성 및 가공과 이에 대한 분석 및 활용을 별도의 기관 및 기술을 적용하여 이원적으로 관리하고 있다. 그러나 이러한 이원적 접근은 데이터 생명주기 전 과정을 안전하게 지원하지 못할 뿐만 아니라 처리 시간 및 비용 측면의 비효율성의 문제를 갖고 있다. 따라서 본 연구는, 기존의 결합전문기관과 데이터안심구역이 갖는 문제점을 보완하기 위하여, 모빌리티 데이터의 생성 및 가공, 그리고 분석 및 활용 과정을 통합 및 일원화한 통합 데이터안심구역 프레임워크를 제시한다. 즉, 데이터 처리를 위한 통합 프로세스를 재설계하고 공통 요구사항 및 핵심요소기술을 도출하여 모빌리티 데이터의 생명주기 전체를 원스톱으로 활용, 관리할 수 있는 차세대형 통합 데이터안심구역 시스템의 아키텍처를 제시한다.

다기관 임상연구를 위한 인공지능 학습 플랫폼 구축 (Construction of Artificial Intelligence Training Platform for Multi-Center Clinical Research)

  • 이충섭;김지언;노시형;김태훈;윤권하;정창원
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권10호
    • /
    • pp.239-246
    • /
    • 2020
  • 인공지능 기술을 도입한 의료분야에서 진단 및 예측과 연계한 임상의사결정지원 시스템(CDSS)에 관련된 연구가 활발하게 진행되고 있다. 특히, 인공지능 기술 적용에 가장 많은 이슈를 일으키고 있는 의료영상기반의 질환진단연구가 다양한 제품으로 출시되고 있는 실정이다. 그러나 의료영상 데이터는 일관되지 않은 데이터들로 이루어져 있으며, 그것을 정제하여 연구에 사용하기 위해서는 상당한 시간이 필요한 것이 현실이다. 본 논문은 의료영상 표준인 R_CDM(Radiology Common Data Model)으로 변환하고, 그 데이터를 기반으로 인공지능 알고리즘 개발 연구를 지원하기위한 원스톱 인공지능학습 플랫폼에 대하여 기술한다. 이를 위해 기존 공통데이터모델(CDM : Common Data Model)과 연계에 중점을 두어 DICOM(Digital Imaging and Communications in Medicine) 태그정보를 기반으로 의료영상 표준 모델의 스키마와 다기관 연구를 위한 Report 정보를 포함하여 시스템을 모델링하였다. 이렇게 변환된 데이터 집합을 기반으로 인공지능 학습 플랫폼에서 수행 과정을 결과로 보인다. 제안한 플랫폼을 통해 다양한 영상기반 인공지능 연구에 활용될 것으로 기대하고 있다.