• 제목/요약/키워드: 빅데이터 수집

검색결과 1,002건 처리시간 0.027초

소셜네트워크서비스 빅데이터 분석을 위한 연구문제 설정과 통계적 제 문제-융합적 관점 (Doing social big data analytics: A reflection on research question, data format, and statistical test-Convergent aspects)

  • 박한우;최경호
    • 디지털융복합연구
    • /
    • 제14권12호
    • /
    • pp.591-597
    • /
    • 2016
  • 타당한 연구 수행을 위해서는 방법론이 중요하다. 소셜네트워크서비스로부터 수집되는 데이터를 대상으로 하는 소셜 빅데이터 연구는 최근 들어 새롭게 부각되는 연구이지만 아직 이에 합당한 연구방법이 충분하지 않은 실정이다. 이에 본 연구에서는 소셜 빅데이터 분석에 합당한 연구방법론 개발에 앞서, 연구문제의 설정에 대하여 체계적으로 정리하고 질문의 기본 유형을 제시하고자 한다. 그리고 제시되는 6가지 기본 유형에 따른 데이터 형태를 살펴보고자 한다. 나아가 SNS로부터 수집되는 빅데이터 분석과 관련된 통계적인 제 문제에 대해서도 고찰해 보도록 하겠다. 본 연구의 결과는 향후 관련 연구자들이 데이터 유형에 맞는 올바른 연구문제를 수립하고 분석함으로써 타당한 정보를 도출하는데 도움이 될 것으로 사료된다.

수난 발생 및 규모 예측을 위한 웹 크롤러 및 네트워크 분석기술 개발 (Development of Web Crawler and Network Analysis Technology for Occurrence and Prediction of Flooding)

  • 서동민;김호용;이정하;황석환
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.5-6
    • /
    • 2019
  • 빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 데이터의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서, 최근 웹 데이터는 재난대응 미디어로써 매우 중요한 역할을 하고 있다. 또한, 빅데이터 분석에 활용되는 원천 데이터는 네트워크 형태이며, 최근 소셜 네트워크 분석을 통한 효과적인 상품 광고, 핵심 유전자 발굴, 신약 재창출 등 다양한 영역에서 네트워크 분석 기술이 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하면서 네트워크 분석 기술의 중요성이 부각되고 있다. 본 논문에서는 웹에서 제공하는 뉴스와 SNS 데이터를 이용해 수난 발생 및 규모 예측을 지원하는 웹 크롤러 및 네트워크 분석기술을 제안한다.

  • PDF

IoT기반 게이트웨이를 활용한 실시간 차량 정보 관리 플랫폼 설계 (Design of Real-Time Vehicle Information Management Platform Using an IoT-based Gateway)

  • 장문수;이정일
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.548-551
    • /
    • 2018
  • 대다수 차량은 문제가 발생하면 사용자가 직접 정비소에 방문하여 정비가 이뤄지는 형태를 취하고 있다. 정비가 이뤄지는 동안 사용자는 운행을 하지 못하는 불편함과 함께, 대상 차량이 수익을 창출하는 차량이라면 경제적인 손실도 감수해야 한다. 실시간으로 차량 정보를 수집하고, 수집된 빅데이터를 기반으로 차량에서 발생할 수 있는 문제를 파악하여 사후 서비스 보다는 사전 서비스를 제공한다면, 안정된 차량 운행에 도움을 줄 수 있으며, 경제적 손실도 감소할 수 있다. 이에 본 논문에서는 IoT기반 게이트웨이를 설계하고, 실시간 차량 정보를 수집하여 빅데이터를 구성하여 실시간으로 차량 정보를 제공할 수 있는 플랫폼을 설계하였다.

  • PDF

빅 데이터(Big Data)를 활용한 사업 비즈니스 운영에 관한 연구

  • 강영모;강찬우;한경석;김종배
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.747-753
    • /
    • 2015
  • 요즘 우리의 생활 속에서 차세대 신기술로 주목할 만한 것이 바로 "빅 데이터" 이다. 하지만 빅 데이터는 아직 구체적인 개념이 모호한 상태이다. 빅 데이터란, 기존 데이터베이스 관리도구로서 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 이러한 분석된 데이터들은 여러 방면으로 활용이 가능하다. 이를 통해 기업에서는 비즈니스적인 활용이 가능하며 예측과 분석을 통해 사업전망을 내다볼 수도 있다. 따라서 본 논문에서는 비즈니스 모델 혁신을 위해 빅 데이터 기반 예측분석이 왜 필요한 지에 대해 논의하고 기업들이 혁신을 촉진하기 위해 사업전략 목표에 예측모델들을 활용하는 운영 모델을 제시하고자 한다.

  • PDF

IoT 환경에서 스트리밍 기반의 비정형 데이터 수집 프레임워크 설계 (Design of Streaming based Unstructured-Data Collecting Framework in IoT Environment)

  • 이후영;박구락;김동현
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
    • /
    • pp.57-58
    • /
    • 2017
  • 사물인터넷 환경의 다양한 기기에서는 매초마다 시스템 로그 데이터, 온도, 습도, 조도 및 위치 정보 등과 같은 데이터를 지속적으로 생성한다. 이렇게 생성된 데이터는 기기 안에서 대부분 소멸되거나 수집된다 하더라도 시스템 개선의 일부 목적으로 활용하는데 그칠 뿐이다. 본 논문에서는 각각의 사물인터넷 기기에서 발생하는 비정형 데이터를 스트리밍 방식을 통해 수집 서버로 전송하고 이를 유연한 스키마 구조를 가지는 NoSQL 데이터베이스에 적재하는 프레임워크 설계를 제안한다. 이렇게 수많은 장비로부터 수집된 로그 및 센싱 데이터는 빅데이터 분석을 통해 산업의 현장에서 생산성 향상을 위해 사용할 수 있으며 공공의 목적으로 도심지의 교통문제 해소와 재난 및 재해 예측에 활용될 수 있다.

  • PDF

한국미혼모에 대한 관점 변화와 정부정책의 방향: 1995년~2020년 소셜미디어 빅데이터 분석 (A Study on the Changes in Perspectives on Unwed Mothers in S.Korea and the Direction of Government Polices: 1995~2020 Social Media Big Data Analysis)

  • 서동희;전복선
    • 한국융합학회논문지
    • /
    • 제12권12호
    • /
    • pp.305-313
    • /
    • 2021
  • 본 연구는 1995년부터 2020년까지 기간의 '미혼모', '싱글맘', '비혼모' 키워드를 중심으로 시기별 빅데이터를 수집, 분석하여, 미혼모에 대한 관점 변화에 따른 적절한 정부의 지원정책 방향성을 제시하고자 한다. 자료수집을 위해 빅데이터 수집 플랫폼인 텍스톰을 활용하여 포털검색 사이트 네이버, 다음에서 데이터 수집 후, 데이터를 정제하는 과정을 거쳤다. 최종 정제된 데이터는 텍스톰에서 제공하는 단어빈도분석, TF-IDF 분석, N-gram 분석, UCINET6 프로그램을 통한 Network 분석과 CONCOR 분석을 진행하였다. 연구결과, 단어빈도분석, TF-IDF 분석에서는 유사한 단어들이 출현하였으나 연도별로 차이를 보였고, N-gram 분석에서는 단어 출현의 유사점은 있었으나 빈도수와 연쇄적으로 출현되는 단어들의 형태에 많은 차이가 있었으며 CONCOR 분석결과, 연도별로 다른 군집을 이루는 것을 볼 수 있었다. 본 연구는 미혼모의 관점 변화를 빅데이터의 분석을 통해 확인하고, 독립적인 여성들의 다양한 선택권을 위한 미혼모 정책, 그리고 그에 맞는 차별 없는 임신, 출산, 양육이 새로운 가족의 형태 내로 포용 되는 정책의 필요성을 제언한다.

LPWA기반의 임산물 생육환경 수집 및 빅데이터 분석 시스템 개발 (Development of LPWA-Based Farming Environment Data Collection System and Big Data Analysis System)

  • 김유빈;오연재;김응곤
    • 한국전자통신학회논문지
    • /
    • 제15권4호
    • /
    • pp.695-702
    • /
    • 2020
  • 최근 스마트 팜의 연구가 활발해지면서 시설하우스와 같은 실내 환경 제어는 높은 수준에 이르렀다. 그러나 노지에서 재배가 이루어지는 임업 분야에 ICT기술의 활용은 아직 미비한 실정이다. 본 논문에서는 ICT 기술을 적용한 LPWA 기반의 임산물 생육환경 수집 및 빅데이터 분석 시스템을 제안한다. 제안된 시스템은 oneM2M 아키텍처를 기반으로 구성하였으며 소규모 태양광 발전과 LPWA기술을 이용하여 노지에서 환경 데이터를 수집하여 서버에 전송한다. 전송된 데이터는 서버에서 빅 데이터로 구축되며 이를 활용해 임산물의 생산량과 품질을 예측한다. 제안된 시스템은 신재생 에너지와 스마트 팜의 융합을 통해 저비용, 고품질의 임산물 생산에 기여할 것으로 기대된다. 또한 노지에서 이루어지는 농작물의 생장 환경 모니터링과 oneM2M 아키텍처를 활용하는 타 산업 분야에 응용될 수 있다.

빅데이터 기반 군수품 품질정보 활용방안에 대한 연구 (A Study on the Application Method of Munition's Quality Information based on Big Data)

  • 전수연;이동헌;배만재
    • 한국산학기술학회논문지
    • /
    • 제17권6호
    • /
    • pp.315-325
    • /
    • 2016
  • 국방산업에 관련된 데이터의 양적팽창과 기술성장에 따라, 유의미한 품질정보를 추출하고 이를 통해 정책 제정 및 품질보증 업무에 활용하는 것이 요구되고 있다. 데이터에 기반한 경향 파악 및 의사결정 도출은 다수의 상황에 유연하게 대처할 수 있도록 하여 업무의 생산성을 높이고 새로운 기회를 발견하는 핵심 수단으로 활용될 수 있다. 따라서 국방산업에서는 개발단계부터 양산단계까지 다양한 품질정보들을 수집하고 이를 활용할 수 있도록 빅데이터 기반의 업무체계 구축이 필요하며, 축적된 정보를 활용하기 위한 방안이 필요하다. 본 연구는 정보체계 운용을 통해 신뢰성이 확보된 군수품의 품질정보를 수집하여 정형화된 빅데이터를 구축하는 방안을 제시하였으며, 사용자가 이를 활용할 수 있는 종합표준플랫폼을 제시하였다. 제안된 종합표준플랫폼은 군수품시험성적서 정보시스템(Test Report Information Service for Military Supplies, TRIS 시스템) 구축을 통하여 수행하였으며, TRIS 시스템을 통해 축적되는 정형 데이터의 활용방안을 제안하였다. 더불어 국방산업 비정형 데이터 활용방안에 대해 연구하였다. 본 연구의 결과는 향후 국방산업의 데이터 인프라 형성에 기여할 것으로 기대되며, 종합표준플랫폼을 통해 수집된 정보들은 군수품 품질보증에 관한 무기체계 별 전략 수립 및 동향 파악에 유용하게 활용될 것이다.

교육청 공무원의 데이터 활용실태 및 교육 빅데이터 활용에 관한 인식 연구 - A도교육청을 중심으로 (A Study on Perception of Educational Big Data Utilization and Current State of Data Utilization of Officials of the Provicial Office of Education)

  • 신종호
    • 디지털융복합연구
    • /
    • 제18권9호
    • /
    • pp.39-47
    • /
    • 2020
  • 본 연구는 교육청 공무원들의 데이터 활용 실태와 빅데이터 활용에 대한 인식을 조사하여 광역시·도교육청 차원에서의 빅데이터 활용을 위한 시사점을 도출하고자 하였다. 이를 위하여 A도교육청 공무원 440명을 대상으로 온라인 설문을 진행하였다. 조사결과 교육청 공무원들이 업무에 활용하는 데이터 유형과 출처는 다양하였으며, 데이터 활용에 있어 데이터 수집 및 정제가 가장 어려운 부분으로 인식하고 있었다. 그러나 데이터 활용을 위한 소속 교육청의 인프라는 부족한 실정으로, 빅데이터 인프라 구축이 가장 필요한 요소인 것으로 나타났다. 빅데이터에 대한 지식수준은 낮지만 빅데이터 활용의 관심과 필요성을 높게 인식하고 있었다. 빅데이터 활용 목적은 현재의 교육 문제점과 해결 대안, 미래 예측에 대한 전망과 해결, 교육 수요자들의 요구 파악 등 교육정책 의제 설정과 관련되어 있었다.

크라우드 소싱 기반의 지역 교통 이벤트 검출 기법 (Crowdsourcing based Local Traffic Event Detection Scheme)

  • 김윤아;최도진;임종태;김상혁;김종훈;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권4호
    • /
    • pp.83-93
    • /
    • 2022
  • 운전자가 모바일기기를 사용하여 직접 교통 정보를 제공하는 크라우드 소싱을 활용하여 교통 문제를 해결하려는 연구들이 진행 중이다. 크라우드 소싱을 통해 수집된 데이터를 교통 이벤트 검출에 사용한다면 관련된 데이터를 수집하는 작업이 줄어들어 시간 비용이 낮아지고 정확도는 높아지는 장점이 있다. 본 논문에서는 크라우드 소싱을 활용하여 교통과 관련된 데이터를 수집하고, 이를 통해 교통에 영향을 미치는 이벤트를 검출하는 기법을 제안한다. 제안하는 기법은 대용량 데이터 처리를 위해 기계 학습 알고리즘을 사용하여 수집된 데이터의 이벤트 유형을 판별한다. 또한, 이벤트가 발생된 위치를 추출하기 위하여 수집된 데이터에서 위치를 나타내는 키워드를 추출하고 키워드의 행정구역을 반환한다. 이를 통해 기존 제공되는 위치 정보에서 광범위하게 정의된 위치나 잘못된 위치 정보를 해결할 수 있다. 제안하는 기법의 타당성을 입증하기 위해 다양한 성능 평가를 수행한다.