• 제목/요약/키워드: Big data collection

검색결과 346건 처리시간 0.026초

빅 데이터를 이용한 재해 정보 지원에 관한 연구 (A Study on Disaster Information Support using Big Data)

  • 신봉희;전혜경
    • 한국융합학회논문지
    • /
    • 제9권8호
    • /
    • pp.25-32
    • /
    • 2018
  • 최근 우리나라에서 일어나고 있는 재해의 규모 및 유형은 과거와 달리 다양화되고 있다. 하지만 우리나라는 이러한 여러 재해를 예측하기 위한 다양한 정보지원체계를 구축하지 못하고 있다. 현재 많은 기관에서 관련정보를 제공하고 있다. 이들 정보는 주로 웹으로 제공되고 있지만 대부분 실시간정보가 아니다. 본 연구에서는 기관들이 제공하는 정보와 함께 좀 더 양질의 실시간 정보를 제공하기 위해서 빅데이터를 활용한 정보지원을 주목하게 되었다. 빅데이터는 실시간성을 갖는 많은 양의 정보가 있고, 이를 이용하여 사용자맞춤 서비스를 할 수 있다. 그 중에서 트위터나 페이스북 등의 SNS는 재난이 발생했을 때 새로운 정보수집매체로서 이용할 수 있다. 그러나 너무 많은 정보로부터 필요한 정보를 자세히 검색하는 것은 무척 어렵고, 직감적인 정보수집이 곤란하다는 문제가 있다. 이를 위해서 본 연구에서는 트위터를 이용한 정보지원시스템을 개발한다. 시스템은 트위터 해시태그를 이용하여 정보를 검색한다. 또한 직감적으로 정보를 파악할 수 있도록, 지도상에 정보 매핑을 수행한다. 시스템의 평가를 위해, 정보추출, 매핑정도, 추천속도를 평가한다.

텍스트마이닝을 활용한 패브릭 관련 DIY 의류 상품 현황 연구 (A study on the current status of DIY clothing products related to fabric using text mining)

  • 이은혜;이하은;최정욱
    • 한국의상디자인학회지
    • /
    • 제25권2호
    • /
    • pp.111-122
    • /
    • 2023
  • This study aims to collect Big Data related to DIY clothing, analyze the results on a year-by-year basis, understand consumers' perceptions, the status, and reality of DIY clothing. The reference period for the evaluation of DIY clothing trends was set from 2012 to 2022. The data in this study was collected and analyzed using Textom, a Big Data solution program certified as a Good Software by the Telecommunications Technology Association (TTA). For the analysis of fabric-related DIY products, the keyword was set to "DIY clothing", and for data cleansing following collection, the "Espresso K" module was employed. Also, via data collection on a year-by-year basis, a total of 11 lists were generated and the collected data was analyzed by period. The following are the findings of this study's data collection on DIY clothing. The total number of keywords collected over a period of ten years on search engines "Naver" and "Google" between January 1, 2012 and December 31, 2022 was 16,315, and data trends by period indicate a continuous upward trend. In addition, a keyword analysis was conducted to analyze TF-IDF (Term Frequency-Inverse Document Frequency), a statistical measure that reflects the importance of a word within data, and the relationship with N-gram, an analysis of the correlation concerning the relationship between words. Using these results, it was possible to evaluate the popularity and growing tendency of DIY clothing products in conjunction with the evolving social environment, as well as the desire to explore DIY trends among consumers. Therefore, this study is valuable in that it provides preliminary data for DIY clothing research by analyzing the status and reality of DIY products, and furthermore, contributes to the development and production of DIY clothing.

농업 빅데이터 수집 및 분석을 위한 플랫폼 설계 (Design of a Platform for Collecting and Analyzing Agricultural Big Data)

  • 뉘엔 반 퀴엣;뉘엔 신 녹;김경백
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권1호
    • /
    • pp.149-158
    • /
    • 2017
  • 빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.

A Study on User Perception of Tourism Platform Using Big Data

  • Se-won Jeon;Sung-Woo Park;Youn Ju Ahn;Gi-Hwan Ryu
    • International journal of advanced smart convergence
    • /
    • 제13권1호
    • /
    • pp.108-113
    • /
    • 2024
  • The purpose of this study is to analyze user perceptions of tourism platforms through big data. Data were collected from Naver, Daum, and Google as big data analysis channels. Using semantic network analysis with the keyword 'tourism platform,' a total of 29,265 words were collected. The collection period was set for two years, from August 31, 2021, to August 31, 2023. Keywords were analyzed for connected networks using TexTom and Ucinet programs for social network analysis. Keywords perceived by tourism platform users include 'travel,' 'diverse,' 'online,' 'service,' 'tourists,' 'reservation,' 'provision,' and 'region.' CONCOR analysis revealed four groups: 'platform information,' 'tourism information and products,' 'activation strategies for tourism platforms,' and 'tourism destination market.' This study aims to expand and activate services that meet the needs and preferences of users in the tourism field, as well as platforms tailored to the changing market, based on user perception, current status, and trend data on tourism platforms.

텍스트마이닝을 활용한 빅데이터 기반의 디지털 트랜스포메이션 연구동향 파악 (Identifying Research Trends in Big data-driven Digital Transformation Using Text Mining)

  • 김민준
    • 스마트미디어저널
    • /
    • 제11권10호
    • /
    • pp.54-64
    • /
    • 2022
  • 빅데이터 기반의 디지털 트랜스포메이션은 데이터 및 데이터 관련 기술을 통해 기업의 성과 향상, 조직 변화, 사회 공헌 등의 목적 달성을 위해 수행하는 혁신적 프로세스를 의미한다. 성공적인 빅데이터 기반의 디지털 트랜스포메이션을 위해서는 관련 연구 현황, 주요 연구토픽, 주요 연구토픽 간의 관계를 이해하는 것이 필수적이다. 그러나 여러 연구들의 서로 다른 관점 및 이들 간 연계 가능성에 대해 이해하려는 노력은 아직 미진하다. 본 논문은 텍스트마이닝을 활용하여 관련 연구동향을 분석하고, 여러 연구의 다양한 관점을 통합적으로 이해하기 위한 기반 마련을 시도해보았다. Web of Science Core Collection에서 추출한 439편의 논문을 분석하여, 10개의 주요 연구토픽을 도출하였고, 이들 간의 관계를 분석하였다. 본 연구의 결과가 빅데이터 기반의 디지털 트랜스포메이션에 대한 통합적인 이해를 촉진하고, 성공을 위한 방향성 모색에 기여할 것으로 기대한다.

LINKED-DATA 방식을 이용한 건설원천데이터 포맷 (Linked-Data based Construction Raw Data Format)

  • 최병일;이은지;고용호;한승우
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2013년도 추계 학술논문 발표대회
    • /
    • pp.86-87
    • /
    • 2013
  • Construction data is one of the most important resources in a construction project. The construction data is generally stored in the PMIS. However, it has been analyzed that the PMIS revealed limitations in suggesting valuable information by analyzing the data. In order to overcome such limitations, the linked-data methodology used in big data management has been studied. The purpose of this study is to suggest a methodology that improves the system by developing a more effective data collection and management model using the linked-data format.

  • PDF

머신러닝 기법을 활용한 에너지 데이터 분석에 관한 연구 (A Research on the Energy Data Analysis using Machine Learning)

  • 김동주;권성철;문종희;심기도;배문성
    • KEPCO Journal on Electric Power and Energy
    • /
    • 제7권2호
    • /
    • pp.301-307
    • /
    • 2021
  • After the spread of the data collection devices such as smart meters, energy data is increasingly collected in a variety of ways, and its importance continues to grow. However, due to technical or practical limitations, errors such as missing or outliers in the data occur during data collection process. Especially in the case of customer-related data, billing problems may occur, so energy companies are conducting various research to process such data. In addition, efforts are being made to create added value from data, which makes it difficult to provide such services unless reliability of data is guaranteed. In order to solve these challenges, this research analyzes prior research related to bad data processing specifically in the energy field, and propose new missing value processing methods to improve the reliability and field utilization of energy data.

빅데이터를 이용한 APT 공격 시도에 대한 효과적인 대응 방안 (Effective Countermeasure to APT Attacks using Big Data)

  • 문형진;최승현;황윤철
    • 중소기업융합학회논문지
    • /
    • 제6권1호
    • /
    • pp.17-23
    • /
    • 2016
  • 최근에 스마트 폰을 비롯한 다양한 단말기를 통한 인터넷 서비스가 가능해졌다. ICT 발달로 인해 기업과 공공기관에서 크고 작은 해킹사고가 발생하는데 그 공격의 대부분은 APT공격으로 밝혀졌다. APT공격은 공격의 목적을 달성하기 위해 지속적으로 정보를 수집하고, 장기간 동안 공격대상의 취약점을 분석하거나 악성코드를 다양한 방법으로 감염시키고, 잠복하고 있다가 적절한 시기에 자료를 유출하는 공격이다. 본 논문에서는 APT 공격자가 짧은 시간에 타겟 시스템에 침입하기 위해 빅데이터 기술을 이용하는 정보 수집 기법을 살펴보고 빅데이터를 이용한 공격기법을 보다 효율적으로 방어할 수 있는 기법을 제안하고 평가한다.

Research Trend Analysis for Sustainable QR code use - Focus on Big Data Analysis

  • Lee, Eunji;Jang, Jikyung
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권9호
    • /
    • pp.3221-3242
    • /
    • 2021
  • The purpose of the study is to examine the current study trend of 'QR code' and suggest a direction for the future study of big data analysis: (1) Background: study trend of 'QR code' and analysis of the text by subject field and year; (2) Methodology: data scraping and collection, EXCEL summary, and preprocess and big data analysis by R x 64 4.0.2 program package; (3) the findings: first, the trend showed a continuous increase in 'QR code' studies in general and the findings were applied in various fields. Second, the analysis of frequent keywords showed somewhat different results by subject field and year, but the overall results were similar. Third, the visualization of the frequent keywords also showed similar results as that of frequent keyword analysis; and (4) the conclusions: in general, 'QR code' studies are used in various fields, and the trend is likely to increase in the future as well. And the findings of this study are a reflection that 'QR code' is an aspect of our social and cultural phenomena, so that it is necessary to think that 'QR code' is a tool and an application of information. An expansion of the scope of the analysis is expected to show us more meaningful indications on 'QR code' study trends and development potential.