• 제목/요약/키워드: 데이터 플랫폼

검색결과 2,420건 처리시간 0.033초

"Multi-use Data Platform" 하둡 2.0과 관련 데이터 처리 프레임워크 기술

  • 김직수
    • 방송과미디어
    • /
    • 제22권4호
    • /
    • pp.11-17
    • /
    • 2017
  • 본 고에서는 멀티 응용 데이터 플랫폼으로 진화하고 있는 하둡(Hadoop) 2.0의 주요 특징과 관련된 다양한 데이터 처리 프레임워크들에 대해서 기술하고자 한다. 기존의 맵리듀스(MapReduce) 기반의 배치 처리(Batch Processing)에 최적화되어 있던 하둡 1.0과는 달리, YARN의 등장과 함께 시작된 하둡 2.0 플랫폼은 다양한 형태의 데이터 처리 워크플로우들(Batch, Interactive, Streaming 등)을 지원할 수 있는 기능을 제공하고 있다. 또한, 최근에는 고성능컴퓨팅 분야에서 주로 활용되던 기술들도 하둡 2.0 플랫폼에서 지원되고 있다. 마지막으로 YARN 어플리케이션 개발 사례로서 본 연구팀에서 개발 중에 있는 Many-Task Computing (MTC) 응용을 위한 신규 데이터 처리 프레임워크를 소개한다.

고속 빅데이터 전송 기반의 오픈 분산 컴퓨팅 플랫폼 개발 및 연구 (Open Distributed Cloud Computing based on High-Speed Big Data Transfer)

  • 김기현;문정훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.38-41
    • /
    • 2021
  • 최근 빅데이터, 인공지능 키워드를 이용한 다양한 연구들이 진행되고 있으며, 인공지능 연구를 통해 자동화 자율화를 위한 연구들이 주를 이루고 있다. 인공지능 연구를 수행하기 위해서는 거대한 데이터를 빠르게 전송해야하며, 인공지능을 손쉽게 수행하기 위한 플랫폼이 필요하다. 하지만 많은 연구기관에서는 빅데이터 전송 속도의 한계가 존재하며, 인공지능 알고리즘 수행을 위한 플랫폼 또한 부족한 것이 현실이다. 이를 해결하기 위해 ScienceDMZ 기술을 활용하여 고속의 빅데이터 전송을 위한 인프라를 구축하고, 엣지 컴퓨팅 기반의 오픈 분산 컴퓨팅 플랫폼을 개발한다. 이 시스템을 통해 사용자들에게 빅데이터를 빠르게 전송하고 전송된 데이터를 이용하여 바로 인공지능 연구를 수행하여 결과를 도출할 수 있는 시스템을 구축하고자 한다. 이 시스템을 이용하여 GPU 분산 컴퓨팅을 수행하였을 때 성능과 GPU 병렬 컴퓨팅을 수행하였을 때의 결과를 비교하여 성능을 검증하고자 한다.

고성능, 고확장성 빅데이터 분석 플랫폼 (High-performance and Highly Scalable Big Data Analysis Platform)

  • 박경석;유찬희;김유선;엄정호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.535-536
    • /
    • 2021
  • 빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

전기차 충전시설의 데이터처리와 해외진출 전략방안 (A Study on Strategy for Outbound Investment and Data Processing of EV Charging Facilities)

  • 김봉훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.351-354
    • /
    • 2023
  • 전기차의 보급에 따라 전기차 충전시설이 매 년 확대되고 있으며, 충전에 따른 데이터도 수집되고 있다. 전기차 충전시설의 2가지 방식인 플러그인 방식과 펜터그래프 방식의 특징을 반영할 수 있는 데이터 처리가 필요하고 이에 적합한 데이터 플랫폼 개발이 필요하다. 이러한 데이터 플랫폼의 구축은 향후 전기차 충전시설의 설치와 활용에 도움이 될 것이다. 또한 국내의 이러한 전기차 충전시설의 데이터 플랫폼을 향후에는 아시아 등 해외에 수출하거나 투자 진출 할 수 있는 방안들로 활용할 수 있다. 본 연구에서는 2가지 방식의 전기차 충전시설에 따른 데이터 플랫폼 개발시 고려사항을 도출하였고 이에따라 중국, 인도 및 아시아 시장 진출의 패키징 전략을 도출하였다.

KIST의 데이터 기반 R&D 환경 구축 사업

  • 이혁성;원유형;이광렬
    • 한국기술혁신학회:학술대회논문집
    • /
    • 한국기술혁신학회 2017년도 추계학술대회 논문집
    • /
    • pp.835-848
    • /
    • 2017
  • $\Box$ R&D 빅데이터 및 정보학 기술 활용을 위한 플랫폼 인프라(KiRI Note) 구축 ${\circ}$ (목표) 연구자의 통상적 연구활동이 DB화 될 수 있는 플랫폼 구축 및 주제별 계산과학 플랫폼과의 연계 프로토콜 구축 ${\circ}$ (내용) KIST R&D Data Bank 및 KIST R&D Informatics 플랫폼 구축 서비스 ${\circ}$ (계획) 연차별 연구목표 및 목표 산출물 / 추진체계 / 연구진 구성 / 투자계획

  • PDF

WIPI 기반의 XML를 이용한 야구 중계 시스템 설계 및 구현 (A Design and Implementation of a Baseball Broadcast System Using XML based on WIPI)

  • 이경미;윤성대
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.11-14
    • /
    • 2004
  • 기존의 다양한 무선인터넷 플랫폼이 WIPI(Wireless Internet Platform for Interoperability)라는 무선인터넷 플랫폼으로 표준화되면서 플랫폼 간 컨텐츠 호환성을 보장하고, 플랫폼의 이식의 용이성을 제공하여 다양하고 풍부한 컨텐츠들이 개발되고 있다. 본 논문에서는 다양한 어플리케이션간에 데이터를 교환하고 공유하기 편리한 XML 데이터를 생성하고, 실시간으로 야구 중계 서비스를 제공하는 시스템을 설계 및 구현하였다. 이러한 데이터서비스 교환에 XML을 적용함으로써 클라이언트와 서버 사이의 통신을 표준화하였다.

  • PDF

마이데이터 생태계 구축을 위한 플랫폼 모델 설계 (Designing a Platform Model for Building MyData Ecosystem)

  • 강남규;최희석;이혜진;한상준;이석형
    • 인터넷정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.123-131
    • /
    • 2021
  • 4차 산업혁명은 인공지능, 빅데이터 등과 같은 데이터 기반의 디지털 기술로 촉발되었으며, 데이터의 활용 범위를 보호 대상으로만 생각했던 개인정보의 영역까지도 확장하려는 움직임이 빠르게 진행되고 있다. 데이터 3법의 개정을 통해 본인 동의하에 개인정보가 자유롭게 이동하고 활용될 수 있는 법·제도는 마련되었으나, 개인정보의 수집부터 관리와 활용까지 전 과정을 아우를 수 있는 플랫폼의 지원도 필요할 것이다. 본 논문에서는 개인정보를 활용한 마이데이터 생태계 구축에 적용할 수 있는 플래폼 모델을 제안하고자 한다. 마이데이터 플랫폼 구축을 위해 필수적으로 갖추어야 할 6가지의 기능적 요건들과 그 기능들을 구현하기 위한 절차와 방법 등에 대하여 설명한다. 6가지 필수 기능으로 개인정보 위임열람·수집·활용·제공 동의 절차와 마이데이터 선별공유, 다운로드, 데이터 영수증 기능을 포함하며, 데이터 수집·저장·연계·융합을 위한 절차와 표준화에 대하여 설명한다. 그리고 통제적인 개인정보 접근을 위한 이용자 인증체계와 데이터 활용을 위한 API 게이트웨이, 마이데이터 플랫폼 서비스를 위한 필수 기능들에 대하여 살펴 본다. 마지막으로 본 논문에서 제안한 모델을 대전시 마이데이터 플랫폼 구축에 적용한 사례와 플랫폼 내에서 운영되는 응용서비스로서 대전시 교통약자의 이동을 지원하는 사례를 살펴본다.

국내 전력산업에서의 빅데이터 플랫폼 성과 평가 방법론 (Methodology for Evaluating Big Data Platforms Performance in the Domestic Electronic Power Industry)

  • 조치선;이난규;함유근
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.97-108
    • /
    • 2020
  • 국내 전력산업이 스마트 그리드화 되면서 이로 인해 발생하는 빅데이터를 활용하여 수요관리, 시설물관리, 대고객서비스 등을 위한 빅데이터 플랫폼들이 도입되고 있는 추세이다. 그러나 빅데이터 프로젝트의 속성상 실제로 빅데이터 플랫폼의 활용이 업무 프로세스 상에서 정착되기 위해서는 많은 시간과 업데이트가 필요하다. 따라서 기존에 알려져 있거나 이론적인 평가 방법으로는 초기 빅데이터 플랫폼의 성과를 평가하기는 적절하지 않다. 본 논문에서는 빅데이터의 규모, 다양성, 속도에 따른 정보의 완전성/충분성, 정보의 신뢰성/정확성, 정보의 적합성/관련성, 정보의 상세성/구체성, 정보의 비교가능성, 정보의 불편성, 정보의 적시성 등 특정 정보의 7 가지 품질 측면에서 전력산업에서 초기 빅데이터 플랫폼의 성과를 평가하는 방법론을 제시한다.

제조 공정 빅데이터 분석을 위한 플랫폼 연구 (A Study on the Platform for Big Data Analysis of Manufacturing Process)

  • 구진희
    • 융합정보논문지
    • /
    • 제7권5호
    • /
    • pp.177-182
    • /
    • 2017
  • IoT, 클라우드 컴퓨팅, 빅데이터와 같은 주요 ICT 기술이 제조 분야에 적용되기 시작하면서 스마트 공장 구축이 본격화 되고 있다. 스마트 공장 구현의 핵심은 공장 내외부의 데이터 확보 및 분석력에 있다. 따라서 빅데이터 분석 플랫폼에 대한 필요성이 증가하고 있다. 본 연구의 목적은 제조 공정 빅데이터 분석을 위한 플랫폼을 구성하고, 분석을 위한 통합 메소드를 제안하는데 있다. 제안하는 플랫폼은 대량의 데이터 셋을 분산 처리하기 위해 분석도구 R과 하둡을 통합한 RHadoop 기반 구조로서 자동화 시스템의 단위 공정 및 공장 내에서 수집되는 빅데이터를 하둡 HBase에 직접 저장 및 분석이 가능하다. 또한 기존 RDB 기반 분석의 한계점을 보완하였다. 이러한 플랫폼은 스마트 공장을 위한 단위 공정 적합성을 고려하여 개발되어야 하며, 제조 공정에 스마트 공장을 도입하고자 하는 중소기업에 IoT 플랫폼 구축의 가이드가 될 수 있을 것으로 전망된다.

공공데이터 인프라기반 b-Traffic 서비스 플랫폼 연구 (A Study on b-Traffic Service Platform based on Open data Infrastructure)

  • 손석현;송석현;신효섭
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.117-118
    • /
    • 2014
  • 최근 공공기관의 공공데이터 제공이 활성화 되고 있으며, 이를 활용한 응용서비스에 대한 요구도 증가하고 있는 추세이다. 현재 교통정보예측 플랫폼은 실시간 교통정보 또는 과거 교통정보이력을 분석하여 미래의 교통량이나 도착시간정보를 제공하고 있으나 날씨, 사고 등과 같은 미래 교통정보에 즉각적인 영향을 줄 수 있는 요소를 배제하고 있어 높은 신뢰도를 확보하기 어렵다. 본 논문에서는 교통정보예측에 영향을 주는 요소인 기상, 사고, 교통정보와 같은 공공데이터를 효율적으로 수집 저장 처리할 수 있는 저장방식 및 신뢰도 높은 교통정보를 예측할 수 있는 예측기술이 포함된 b-Traffic 서비스 플랫폼을 제시한다.

  • PDF