• 제목/요약/키워드: 빅데이터 서비스

검색결과 1,005건 처리시간 0.029초

전파 빅데이터 활용을 위한 플랫폼 구축방안 연구 (A Study on Construction of Platform Using Spectrum Big Data)

  • 김형주;나종회;전웅렬;김판구
    • 스마트미디어저널
    • /
    • 제9권2호
    • /
    • pp.99-109
    • /
    • 2020
  • 본 논문은 전파 빅데이터 활용을 위한 플랫폼 구축 방안을 제시하는 것으로 전파 분야의 빅데이터를 수집 및 분석하고 연계방안을 수립하고, 전파 및 공공분야 빅데이터를 연계 및 활용하는 지원체계 방안을 제시하여, 전파 공공분야 연계 빅데이터 플랫폼 구축 방안을 제시하였다. 전파 분야 빅데이터의 체계적 분석과 활용을 위한 지원체계가 부족한 상황에서 전파 관련 산업체의 빅데이터 활용을 위한 플랫폼 구축방안을 마련함으로써 4차 산업혁명 구현을 위한 선제적 대응과 국내 전파 분야의 위상과 국가의 혁신성장 동력을 확보하고 전파산업의 공정경쟁과 서비스 품질 증진에 기여하여 전파 및 공공분야 빅데이터 플랫폼 이용자의 편의 증진에 기여하고자 한다. 또한, 전파관리 데이터 활용가치에 대한 사회적 인식 제고 및 플랫폼 공동 활용을 통한 전파 빅데이터 활용 협업 체계 마련에 기여하고자 한다.

마이크로 서비스 아키텍처를 지원하는 데이터 프로파일링 소프트웨어의 개발 (Development of Data Profiling Software Supporting a Microservice Architecture)

  • 장재영;김지훈;지서우
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권5호
    • /
    • pp.127-134
    • /
    • 2021
  • 최근 빅데이터 산업의 확대로 고품질의 데이터를 확보하는 것이 중요한 이슈로 떠오르고 있다. 고품질의 데이터를 확보하기 위해서는 데이터에 품질에 대한 정확한 평가가 선행되어야 한다. 데이터의 품질은 데이터에 대한 통계와 같은 메타정보를 통해 평가할 수 있는데 이러한 메타정보를 자동으로 추출하는 기능을 데이터 프로파일링이라고 하다. 지금까지 데이터 프로파일링 소프트웨어는 기존의 데이터 품질 또는 시각화 관련 소프트웨어의 부품이나 추가적인 서비스로 제공되는 것이 일반적이었다. 따라서 프로파일링이 요구되는 다양한 환경에서 직접적으로 사용하기에는 적합하지 않았다. 본 논문에서는 이를 해결하기 위해 마이크로 서비스 아키텍처를 적용하여 다양한 환경에서 서비스가 가능한 데이터 프로파일링 소프트웨어의 개발 결과를 제시한다. 개발된 데이터 프로파일러는 restful API를 통해 데이터의 메타정보에 대한 요청과 응답을 제공하여 사용하기 쉬운 서비스를 제공한다. 또한, 특정 환경에 종속되지 않고 다양한 빅데이터 플랫폼이나 데이터 분석 도구들과 원활한 연계가 가능하다는 장점이 있다.

교통 빅데이터의 효율적 저장 및 검색 기술의 설계와 구현 (Design and Implementation of Efficient Storage and Retrieval Technology of Traffic Big Data)

  • 김기수;이재진;김홍회;장유림;함유근
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.207-220
    • /
    • 2019
  • 최근 정보통신기술의 발달은 센서를 바탕으로 수많은 데이터를 구축하고 이를 이용하여 실시간 서비스를 제공할 수 있게 한다. 교통안전공단에서는 디지털 운행기록계를 통해 전국의 상용차의 운행 정보를 수집하고 있다. 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다. 특히 국내에서는 이와 같은 기술적인 문제로 상용차 운행정보의 실시간 분석을 위한 대규모 교통 빅데이터의 처리가 이전에 시도된 적이 없다. 이런 문제를 해결하기 위해 본 연구에서는 새로운 방식의 데이터베이스 서버 시스템 최적화를 진행하였고 실시간 서비스가 가능한 수준임을 확인하였다. 구축된 데이터베이스 시스템을 이용하여 디지털 트윈, 자율주행환경을 마련하기 위한 기반 데이터를 확보할 수 있을 것으로 기대된다.

  • PDF

자동화된 트위터 데이터 수집 시스템 설계 및 구현 : 환경 데이터를 중심으로 (Design and Implementation of Automated Twitter Data Collecting System : Focus on Environmental Data)

  • 김도형;구자환;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.361-364
    • /
    • 2020
  • 소셜 네트워크 서비스의 사용자가 늘어나면서, 소셜 네트워크 서비스상에서 발생하는 빅데이터를 활용한 서비스가 늘어나고 있다. 소셜 네트워크 서비스 데이터는 실시간으로 생성되며, 따라서 데이터 수집 시스템 역시 자동화하여 준 실시간으로 데이터를 수집할 필요가 있다. 본 논문에서는 대표적인 소셜 네트워크 서비스인 트위터의 데이터를 지속적으로 수집하기 위한 자동 수집 시스템을 제안한다. 수집 시스템은 Twitter API 를 활용하는 Python 라이브러리를 통해 내용 및 메타데이터를 수집하며, 수집된 데이터를 재 검증한 뒤 저장한다. 또한 구현된 시스템에 환경 데이터를 주제로 하는 쿼리를 입력하여 실제 트위터 데이터를 수집하며 구현된 시스템을 검증해보았다.

Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석 (An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications)

  • 조나연;구민오;김바울;;민덕기
    • 정보화연구
    • /
    • 제11권4호
    • /
    • pp.449-462
    • /
    • 2014
  • 빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

이러닝 분야의 빅데이터에 관한 인식과 영향에 관한 융합적 분석 (Convergence Analysis of Recognition and Influence on Bigdata in the e-Learning Field)

  • 노규성
    • 디지털융복합연구
    • /
    • 제13권10호
    • /
    • pp.51-58
    • /
    • 2015
  • 교육 분야에서의 빅데이터 활용이 선진국을 중심으로 확산되고 있다. 그러나 국내의 경우 이와 관련된 실험적 접근만이 있을 뿐 관련 연구나 현장의 서비스는 아직 나타나지 않고 있는 실정이다. 따라서 이러닝 업계에서 빅데이터의 응용이 저조한 이유를 파악하고 이를 개선할 연구와 대안 모색이 시급한 상황이다. 연구 결과, 이러닝 산업계에서는 빅데이터의 이해 수준이 높으면 빅데이터가 이러닝에 미치는 영향이 크다고 인식하고 있으며, 매출 규모가 큰 업체일수록 영향이 크다고 인식하고 있는 것으로 종합되었다. 이에 본 연구는 매출규모에 따라 다른 빅데이터에 관한 교육 및 활용 지원 정책을 펼 것을 제언하였다.

빅데이터 기반의 식품 정보 분석 시스템의 설계 및 구현 (Design and Implementation of a Food Information Analysis System Based on Big Data)

  • 임종태;류은경;김천중;박재열;이수지;최기태;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
    • /
    • pp.295-296
    • /
    • 2014
  • 정부 3.0이 출범하면서 공공 데이터들의 개방이 활성화되기 시작했다. 공공 빅데이터로부터 다양한 분석을 수행하고 의미 있는 정보들을 도출하기 위해서는 빅데이터 분석 도구를 이용한 복잡한 분석들을 수행하여야한다. 본 논문에서는 빅데이터 분석을 이용한 식품 정보 분석 시스템을 설계하고 구현한다. 설계한 시스템은 식품에 대한 정보를 분석하여 특징에 따라 분류하고, 빅데이터 분석을 통해 실생활에서 구매자에게 유용한 서비스를 제공하는 것을 목적으로 하고 있다.

  • PDF

빅데이터 기반의 도시정보·접대중교통근성 분석 플랫폼 구축 방안에 관한 연구 -광주광역시를 중심으로- (A study on the Construction of a Big Data-based Urban Information and Public Transportation Accessibility Analysis Platforms- Focused on Gwangju Metropolitan City -)

  • 이상근;유승민;이준;김대일
    • 스마트미디어저널
    • /
    • 제11권11호
    • /
    • pp.49-62
    • /
    • 2022
  • 최근 전 세계적으로 빅데이터, AI, IoT, 자율주행, 디지털트윈 등 스마트시티 솔루션이 발달하면서 다양한 스마트기기와 SNS가 확산하고 사람들이 도처에 남긴 행적이 기록되면서 규모를 가늠할 수 없을 정도로 많은 정보와 데이터가 생산되는 '빅데이터' 환경을 활용한 스마트시티 구축이 활발하게 진행 중이다. 본 연구의 목적은 4차 산업혁명에 따른 지속가능한 스마트시티의 도시정보·대중교통 접근성에 있어 시민의 교통 편의성 향상 및 효율적인 정책수립을 위해 빅데이터 기반의 객관적이고 체계적인 분석 모델을 개발하고, 지속가능한 도시의 공공·민간 DB를 활용한 빅데이터 기반 대중교통 접근성 및 정책관리 플랫폼 구축의 방법론을 도출하는데 있다. 이를 위해 광주광역시를 대상으로 상세생활권을 구분하고 기초 생활편의시설 접근성 및 빅데이터 기반 대중교통 시스템을 분석하였다. 그 결과, 1) 대중교통 네트워크 평가를 위한 빅데이터 활용, 2) 빅데이터 기반의 교통 수단/서비스 의사결정지원, 3) 도심 교통 네트워크 모니터링 서비스 제공, 4) 주차수요 발생원 분석 및 개선방안 제공과 같은 빅데이터 기반 도시정보·대중교통 접근성 플랫폼 구축을 제안하였다.

실시간 기상 빅데이터를 활용한 홍수 재난안전 시스템 설계 및 구현 (Design and Implementation of a Flood Disaster Safety System Using Realtime Weather Big Data)

  • 김연우;김병훈;고건식;최민웅;송희섭;김기훈;유승훈;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제17권1호
    • /
    • pp.351-362
    • /
    • 2017
  • 최근 빅데이터 분석 기술을 통해 새로운 정보를 도출하기 위한 분석 기법들과 이를 활용한 다양한 서비스들이 개발되고 있다. 그 중에서도 재난안전은 생활에 밀접한 서비스로 가장 중요하게 연구되고 있다. 본 논문에서는 실시간 기상 빅데이터 분석을 이용한 홍수 재난안전 시스템을 설계하고 구현한다. 제안하는 시스템은 실시간으로 수집되는 방대한 양의 정보를 검색하고 처리한다. 더불어 실시간 정보와 과거에 수집된 정보들을 결합하여 위험요인을 분석하고, 예측 정보를 사용자에게 제공한다. 또한, 제안하는 시스템은 사용자 메시지 및 뉴스와 같은 실시간 정보와 태풍 홍수 등으로 인한 하천 범람 등과 같은 재난 위험요인을 분석한 위험 예측 정보를 제공한다. 따라서 사용자는 제안하는 시스템을 통해 향후 발생 가능성이 있는 재난안전 사고 위험에 대비할 수 있다.

외국인 관광객 재방문율 향상과 소비 활성화를 위한 빅데이터 기반의 탐색적 연구 (Exploratory research based on big data for Improving the revisit rate of foreign tourists and invigorating consumption)

  • 안성현;박성택
    • 산업융합연구
    • /
    • 제18권6호
    • /
    • pp.19-25
    • /
    • 2020
  • 빅데이터 분석은 오늘날 다양한 산업 및 공공분야에서 필수적으로 활용되고 있다. 이에 본 연구에서는 빅데이터 분석을 활용하여 국내 관광 서비스 개선 방안을 LDA분석 방법을 통해 모색하고자 한다. 특히 외국인 방문객이 가장 많은 서울을 중심으로 관광객의 만족도를 높이고 이를 통해 재방문을 향상시킬 수 있고 서비스를 개선할 수 있는 탐색적 접근을 시도하였다. 본 연구에서는 서울시와 한국관광공사의 통계 자료 및 SNS 등의 인터넷 정보들을 R을 통해 수집 및 분석을 진행하였다. 그리고 LDA를 포함한 텍스트 마이닝 기법을 활용하였다. 분석 결과 외국인들의 한국을 방문하는 목적 중 하나는 식도락 관광이었다. 이에 식도락 관광을 중심으로 서비스의 질을 높이기 위한 방안을 도출하고자 한다.