• 제목/요약/키워드: 빅데이터플랫폼

검색결과 475건 처리시간 0.021초

개인정보 보안강화 및 빅데이터 활성화를 위한 새로운 빅데이터 플랫폼 제시 (The suggestion of new big data platform for the strengthening of privacy and enabled of big data)

  • 송민구
    • 디지털융복합연구
    • /
    • 제14권12호
    • /
    • pp.155-164
    • /
    • 2016
  • 본 논문에서는 국내외에서 발표된 빅데이터 플랫폼을 조사 및 분석하였다. 분석결과 각 플랫폼에서 개인정보보안에 문제점이 있었다. 특히 빅데이터 플랫폼에 많이 사용되는 대표적인 NoSQL DB인 HBase에 저장된 빅데이터 개인정보 암호화의 취약점과, DB에 저장된 데이터를 암 복호화 할 때에 시스템에 부하가 발생하는 것이다. 이에 본 논문에서는 HBase의 암호화 방법, 암 복호화시 시스템 및 네트워크 통신의 부하를 경감시키는 방안과 빅데이터 플랫폼의 각 단계에 개인정보관리체계(PIMS)를 적용하는 방안을 제시한다. 그리고 이것이 반영된 새로운 빅데이터 플랫폼을 제안한다. 따라서 제안된 빅데이터 플랫폼은 개인정보보안강화 및 시스템 성능의 효율성 확보로 빅데이터 사용의 활성화에 크게 기여할 것이라 판단된다.

엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구 (A Study of Bigdata Platform for Supporting Engineering Services)

  • 서동우;김명일;박상진;김재성;정석찬
    • 한국빅데이터학회지
    • /
    • 제4권1호
    • /
    • pp.119-127
    • /
    • 2019
  • 본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.

  • PDF

수산과학 빅데이터 플랫폼 구축과 메타 데이터 관리방안 (Fishery R&D Big Data Platform and Metadata Management Strategy)

  • 김재성;최영진;한명수;황재동;조완섭
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.93-103
    • /
    • 2019
  • 본 논문에서는 수산과학 R&D 정보의 빅데이터 플랫폼 구축과 메타 데이터 관리기법에 관해 소개한다. 빅데이터 플랫폼에서는 다양한 유형의 수산과학 R&D 정보를 수집하여 통합 연계하고, 이를 데이터 레이크 형태로 구축하는 방안을 제시한다. 수산과학 분야에서 수집, 축적되고 있는 기존의 데이터와 함께 위성영상 데이터, 연구보고서 등 비정형 빅데이터까지 수집하여 다양한 분석을 지원하는 빅데이터 플랫폼의 구축방안을 제시한다. 다음으로 데이터 추출과 전처리 및 저장 과정에서 메타 데이터를 수집하고 관리함으로써 수산과학 빅데이터의 체계적인 관리가 가능하도록 한다. 빅데이터 플랫폼 구축과 함께 메타 데이터를 표준양식으로 구축함으로써 데이터의 수집, 저장, 활용 및 유통 등 데이터 수명주기 전반에 걸쳐 체계적이고도 지속적인 빅데이터 관리 방안을 제시하는데 의의가 있다.

  • PDF

전파 빅데이터 활용을 위한 플랫폼 구축방안 연구 (A Study on Construction of Platform Using Spectrum Big Data)

  • 김형주;나종회;전웅렬;김판구
    • 스마트미디어저널
    • /
    • 제9권2호
    • /
    • pp.99-109
    • /
    • 2020
  • 본 논문은 전파 빅데이터 활용을 위한 플랫폼 구축 방안을 제시하는 것으로 전파 분야의 빅데이터를 수집 및 분석하고 연계방안을 수립하고, 전파 및 공공분야 빅데이터를 연계 및 활용하는 지원체계 방안을 제시하여, 전파 공공분야 연계 빅데이터 플랫폼 구축 방안을 제시하였다. 전파 분야 빅데이터의 체계적 분석과 활용을 위한 지원체계가 부족한 상황에서 전파 관련 산업체의 빅데이터 활용을 위한 플랫폼 구축방안을 마련함으로써 4차 산업혁명 구현을 위한 선제적 대응과 국내 전파 분야의 위상과 국가의 혁신성장 동력을 확보하고 전파산업의 공정경쟁과 서비스 품질 증진에 기여하여 전파 및 공공분야 빅데이터 플랫폼 이용자의 편의 증진에 기여하고자 한다. 또한, 전파관리 데이터 활용가치에 대한 사회적 인식 제고 및 플랫폼 공동 활용을 통한 전파 빅데이터 활용 협업 체계 마련에 기여하고자 한다.

빅데이터 하둡 플랫폼의 활용

  • 이현종
    • 정보와 통신
    • /
    • 제29권11호
    • /
    • pp.43-47
    • /
    • 2012
  • 인터넷의 활성화 및 모바일 서비스의 등장으로 빅데이터 시대를 맞이하게 되었다. 이전에는 저장 및 처리할 수 없었던 영역. 이제는 새로운 기술의 등장과 분석을 통한 가치 창출의 가능성으로 빅데이터는 IT 업계의 최대 화두가 되어 가고 있다. 이러한 빅데이터를 바라보는 시각은 크게 기술적 관점과 분석적 관점으로 나뉘고 있다. 특히 기술적 관점에서 바라보는 빅데이터는 하둡을 표준으로 하는 오픈소스 분석 플랫폼의 대두가 고무적이다. 누구나가 대용량의 확장 가능한 시스템을 운영할 수 있는 기회가 온 것이다. 본 고에서는 빅데이터의 그 태생적 특징을 살펴보고, 비교적 저렴한 비용의 플랫폼 환경 구축을 위해 오픈소스 하둡이 널리 활용되고 있는 이유에 대해 알아본다. 또한 하둡의 용도와 어떠한 종류의 데이터 분석을 위해 사용되어지고 있는지, 그리고 하둡의 구성 및 하둡 생태계를 이루고 있는 요소들이 무엇인지 살펴본다. 끝으로 빅데이터를 활용하기 위한 6단계 절차와 이에 발맞춰 하둡 플랫폼을 어떻게 효율적으로 활용할 지에 대해 그 방법을 모색해 보고자 한다.

도서관 빅데이터 플랫폼을 활용한 공공도서관 빅데이터 분석 연구: 대전한밭도서관을 중심으로 (Big Data Analysis for Public Libraries Utilizing Big Data Platform: A Case Study of Daejeon Hanbat Library)

  • 온정미;박성희
    • 정보관리학회지
    • /
    • 제37권3호
    • /
    • pp.25-50
    • /
    • 2020
  • 2016년 1월 1일부터 공공도서관 빅데이터 플랫폼이 서비스되기 시작하여 도서관 빅데이터가 공공도서관 업무 개선에 활용되고 있다. 본 논문은 도서관 빅데이터 플랫폼 활용사례들을 살펴보고 도서관 빅데이터 플랫폼의 활용효과를 높일 수 있는 개선방안을 도출하고자 한다. 이를 위해 먼저, 도서관 빅데이터 플랫폼을 활용한 사례들에서 활용한 빅데이터와 활용유형분석 및 도출된 서비스/시행정책을 살펴본다. 다음으로, 현재 공공도서관에서 사용하는 통합도서관리시스템(ILUS)과 도서관 빅데이터 플랫폼 각각의 자료분석 방식을 비교함으로써 도서관 빅데이터 플랫폼의 한계점과 이점을 살펴본다. 사례분석 결과, 프로그램 기획 및 수행, 장서, 수서, 기타의 유형으로 빅데이터를 활용하였고 서비스/시행정책은 이용자 맞춤형 테마서가 및 독서진흥프로그램 진행, 장서활용도 증대, 특화주제에 기반한 수서 및 대출현황 데이터 공개로 요약되었다. 비교분석결과, ILUS는 자관의 자료실현황분석에 특화되어 있으며, 빅데이터 플랫폼은 다양한 속성(연령, 성별, 지역, 대출시기 등)에 따른 선택적 분석이 가능하여 분석시간단축과 유연한 분석이 가능하다. 마지막으로 사례분석과 비교분석에서 밝혀진 특징 및 한계점을 정리하고 개선방안을 제시한다.

공공 빅데이터 플랫폼 성과평가 모형 (Performance Measurement Model for Open Big Data Platform)

  • 이규엽;박상철;류성열
    • 지식경영연구
    • /
    • 제21권4호
    • /
    • pp.243-263
    • /
    • 2020
  • 본 연구는 공공데이터 개방에 있어 공공데이터 제공자의 데이터 기여 측면과 공공데이터 사용자의 데이터 활용 측면을 고려하여 공공데이터 플랫폼 성과측정을 위한 프레임워크를 개발하였다. 본 연구는 NIST(2018)의 빅데이터 참조 아키텍처와 Neely et al.(2001)의 성과 프리즘을 기반으로 공공 빅데이터 플랫폼 성과평가 모형의 5개 영역을 제시하였다. 구체적으로, 공공데이터 플랫폼 성과평가 영역은 이해관계자 기여, 빅데이터 거버넌스 역량, 빅데이터 서비스 역량, 빅데이터 정보기술(IT) 역량, 그리고 이해관계자 만족으로 구성된다. 본 연구에서 제시한 공공 빅데이터 플랫폼 성과평가 모형의 5개 영역과 24개 평가지표에 대한 측정 문항은 총 75개 항목으로 구성되었다.

국내 전력산업에서의 빅데이터 플랫폼 성과 평가 방법론 (Methodology for Evaluating Big Data Platforms Performance in the Domestic Electronic Power Industry)

  • 조치선;이난규;함유근
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.97-108
    • /
    • 2020
  • 국내 전력산업이 스마트 그리드화 되면서 이로 인해 발생하는 빅데이터를 활용하여 수요관리, 시설물관리, 대고객서비스 등을 위한 빅데이터 플랫폼들이 도입되고 있는 추세이다. 그러나 빅데이터 프로젝트의 속성상 실제로 빅데이터 플랫폼의 활용이 업무 프로세스 상에서 정착되기 위해서는 많은 시간과 업데이트가 필요하다. 따라서 기존에 알려져 있거나 이론적인 평가 방법으로는 초기 빅데이터 플랫폼의 성과를 평가하기는 적절하지 않다. 본 논문에서는 빅데이터의 규모, 다양성, 속도에 따른 정보의 완전성/충분성, 정보의 신뢰성/정확성, 정보의 적합성/관련성, 정보의 상세성/구체성, 정보의 비교가능성, 정보의 불편성, 정보의 적시성 등 특정 정보의 7 가지 품질 측면에서 전력산업에서 초기 빅데이터 플랫폼의 성과를 평가하는 방법론을 제시한다.

고성능, 고확장성 빅데이터 분석 플랫폼 (High-performance and Highly Scalable Big Data Analysis Platform)

  • 박경석;유찬희;김유선;엄정호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.535-536
    • /
    • 2021
  • 빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

클라우드 컴퓨팅 환경에서의 학습용 빅 데이터 플랫폼 설계 (Big Data Platform for Learning in Cloud Computing Environment)

  • 김준헌
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.63-64
    • /
    • 2017
  • 정보 기술의 끊임없는 발전에 따라 광범위한 분야에서 방대한 양의 데이터가 발생하게 되면서 이를 처리하기 위한 빅 데이터에 대한 연구 및 교육이 활발히 진행되고 있다. 이를 위하여 데이터 분석 및 처리를 위한 고성능의 서버 및 분산 처리를 위한 다수의 컴퓨터가 필요하며 이는, 개인 혹은 저사양의 수업 환경에서 빅 데이터를 학습하는 데에 어려움을 겪게 한다. 때문에 가상 환경에서 원활한 빅 데이터 학습을 위한 클라우드 기반의 시스템이 필요하다. 이에 본 논문에서는, 빅 데이터 처리 기술의 하나인 Spark를 이용한 빅 데이터 플랫폼 구축에 대하여 기술한다.

  • PDF