• 제목/요약/키워드: Big data collection

검색결과 340건 처리시간 0.029초

영유아 체온 데이터 기반 빅데이터 분석 및 학습을 위한 데이터 수집 시스템 구현 (Implementation of a data collection system for big data analysis and learning based on infant body temperature data)

  • 이현섭;허경용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.577-578
    • /
    • 2021
  • 최근 다양한 분야에서 인공지능 시스템이 활용되고 있다. 인공지능의 결정 알고리즘의 정확도는 학습량과 학습데이터의 정확도에 기인한다. 학습량의 경우 인공지능 성능에 결정적인 영향을 미치기 때문에 많은 양의 데이터가 필요하다. 학습데이터의 정확도는 여러 정제 단계를 거치면서 보정할 수 있으나 분석 이외의 자원 소모를 추가로 가져온다. 본 논문에서는 영유아의 체온 데이터를 기반으로 향후 나타날 수 있는 병증 및 유아의 상태 변화를 분석하는 시스템 구축을 위한 데이터 수집 시스템에 대하여 제안한다. 제안된 시스템은 기존 빅데이터 분석 및 학습 데이터 구축에서 서버 시스템의 자원 소모를 최소화할 수 있을 것으로 사료 된다.

  • PDF

Self-organization Scheme of WSNs with Mobile Sensors and Mobile Multiple Sinks for Big Data Computing

  • Shin, Ahreum;Ryoo, Intae;Kim, Seokhoon
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권3호
    • /
    • pp.943-961
    • /
    • 2020
  • With the advent of IoT technology and Big Data computing, the importance of WSNs (Wireless Sensor Networks) has been on the rise. For energy-efficient and collection-efficient delivery of any sensed data, lots of novel wireless medium access control (MAC) protocols have been proposed and these MAC schemes are the basis of many IoT systems that leads the upcoming fourth industrial revolution. WSNs play a very important role in collecting Big Data from various IoT sensors. Also, due to the limited amount of battery driving the sensors, energy-saving MAC technologies have been recently studied. In addition, as new IoT technologies for Big Data computing emerge to meet different needs, both sensors and sinks need to be mobile. To guarantee stability of WSNs with dynamic topologies as well as frequent physical changes, the existing MAC schemes must be tuned for better adapting to the new WSN environment which includes energy-efficiency and collection-efficiency of sensors, coverage of WSNs and data collecting methods of sinks. To address these issues, in this paper, a self-organization scheme for mobile sensor networks with mobile multiple sinks has been proposed and verified to adapt both mobile sensors and multiple sinks to 3-dimensional group management MAC protocol. Performance evaluations show that the proposed scheme outperforms the previous schemes in terms of the various usage cases. Therefore, the proposed self-organization scheme might be adaptable for various computing and networking environments with big data.

도커 기반의 실시간 데이터 연계 및 처리 환경을 고려한 빅데이터 관리 플랫폼 개발 (Development of Big-data Management Platform Considering Docker Based Real Time Data Connecting and Processing Environments)

  • 김동길;박용순;정태윤
    • 대한임베디드공학회논문지
    • /
    • 제16권4호
    • /
    • pp.153-161
    • /
    • 2021
  • Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.

부산지역 공공도서관의 빅데이터 분석 연구 - 도서관 정보나루 장서/대출데이터를 중심으로 - (A Study on Big Data Analysis of Public Library in Busan: Based on the Library Collection/Circulation Data)

  • 이순영;이수상
    • 한국문헌정보학회지
    • /
    • 제55권4호
    • /
    • pp.89-114
    • /
    • 2021
  • 본 연구는 학계와 현장의 도서관 빅데이터 관련 움직임을 살펴보고 이를 토대로 도서관 빅데이터 플랫폼인 도서관 정보나루의 장서/대출데이터를 대상으로 기초 분석을 수행하였다. 이를 위해 도서관과 빅데이터에 관한 선행연구와 활용사례를 참고하여 연도별 장서증가량, 주제별 장서구성비, 미대출 장서구성비, 주제별 장서회전율, 그리고 주제별 이용계수의 5가지 분석지표를 선정하였다. 분석에 사용된 도서관 데이터는 부산지역 33개 공공도서관의 장서/대출데이터 6,722,603건이다. 주요한 분석 결과는 다음과 같다. 첫째, 33개 공공도서관 간 장서수보다 대출수의 격차가 큰 것으로 나타났다. 둘째, 연간 장서증가량도 뚜렷한 하락세를 보였다. 셋째, 소장 장서의 주제별 구성과 미대출 장서의 주제별 구성에 있어서 각 도서관들이 비슷한 양상을 나타냈다. 넷째, 이용자들의 대출은 주제별, 도서관별로 매우 상이한 것으로 나타났다. 다섯째, 대부분의 도서관에서 자연과학 분야 장서회전율과 이용계수가 가장 높게 나타났다.

Neo-Chinese Style Furniture Design Based on Semantic Analysis and Connection

  • Ye, Jialei;Zhang, Jiahao;Gao, Liqian;Zhou, Yang;Liu, Ziyang;Han, Jianguo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권8호
    • /
    • pp.2704-2719
    • /
    • 2022
  • Lately, neo-Chinese style furniture has been frequently noticed by product design professionals for the big part it played in promoting traditional Chinese culture. This article is an attempt to use big data semantic analysis method to provide effective design research method for neo-Chinese furniture design. By using big data mining program TEXTOM for big data collection and analysis, the data obtained from typical websites in a set time period will be sorted and analyzed. On the basis of "neo-Chinese furniture" samples, key data will be compared, classification analysis of overall data, and horizontal analysis of typical data will be performed by the methods of word frequency analysis, connection centrality analysis, and TF-IDF analysis. And we tried to summarize according to the related views and theories of the design. The research results show that the results of data analysis are close to the relevant definitions of design. The core high-frequency vocabulary obtained under data analysis, such as popular, furniture, modern, etc., can provide a reasonable and effective focus of attention for the designs. The result obtained through the systematic sorting and summary of the data can be a reliable guidance in the direction of our design. This research attempted to introduce related big data mining semantic analysis methods into the product design industry, to supply scientific and objective data and channels for studies on design, and to provide a case on the practical application of big data analysis in the industry.

Designing Bigdata Platform for Multi-Source Maritime Information

  • Junsang Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권1호
    • /
    • pp.111-119
    • /
    • 2024
  • 본 논문에서는 해상에서 수집되는 다양한 출처의 정보들을 수집할 수 있는 빅데이터 플랫폼을 제안한다. 현재 운영되는 해양 관련 빅데이터 플랫폼들은 만들어진 데이터를 저장 및 공유하는데 초점이 맞추어져 있고 데이터 수집과 전처리는 데이터 제공자가 각자 담당한다. 지상 대비 열악한 통신망을 사용하는 해양 환경에서 데이터를 수집 및 통합하는 것은 높은 비용과 비효율성이 존재하며, 이로 인해 관련 인프라의 구현이 쉽지 않다. 특히 기상 정보, 레이더 및 센서 데이터 등 실시간 데이터 수집 및 분석이 필요한 분야의 경우 통신망 문제와 더불어 데이터 보안, 조직과 선박의 특성, 데이터 수집 비용 문제 등 지상 대비 다수의 문제를 고려해야 한다. 먼저 본 논문에서는 이 문제들을 정의하고 해결방안을 제시한다. 그리고 이를 반영한 빅데이터 플랫폼 설계를 위해 데이터 소스, 계층적 MEC, 데이터 전송 구조를 우선 제안한 후 이를 모두 통합한 전체 플랫폼 구조를 제시한다.

보안로그 빅데이터 분석 효율성 향상을 위한 방화벽 로그 데이터 표준 포맷 제안 (For Improving Security Log Big Data Analysis Efficiency, A Firewall Log Data Standard Format Proposed)

  • 배춘석;고승철
    • 정보보호학회논문지
    • /
    • 제30권1호
    • /
    • pp.157-167
    • /
    • 2020
  • 최근 4차 산업혁명 도래의 기반을 제공한 빅데이터와 인공지능 기술은 산업 전반의 혁신을 견인하는 주요 동력이 되고 있다. 정보보안 영역에서도 그동안 효과적인 활용방안을 찾기 어려웠던 대규모 로그 데이터에 이러한 기술들을 적용하여 지능형 보안 체계를 개발 및 발전시키고자 노력하고 있다. 보안 인공지능 학습의 기반이 되는 보안로그 빅데이터의 품질은 곧 지능형 보안 체계의 성능을 결정짓는 중요한 입력 요소라고 할 수 있다. 하지만 다양한 제품 공급자에 따른 로그 데이터의 상이성과 복잡성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하고 품질저하를 초래하는 문제가 있다. 본 연구에서는 다양한 방화벽 로그 데이터 포맷 관련 사례와 국내외 표준 조사를 바탕으로 데이터 수집 포맷 표준안을 제시하여 보안 로그 빅데이터를 기반으로 하는 지능형 보안 체계 발전에 기여하고자 한다.

비즈니스 인텔리전스와 빅데이터 분석의 비즈니스 응용 (A Business Application of the Business Intelligence and the Big Data Analytics)

  • 이기광;김태환
    • 산업경영시스템학회지
    • /
    • 제42권4호
    • /
    • pp.84-90
    • /
    • 2019
  • Lately, there have been tremendous shifts in the business technology landscape. Advances in cloud technology and mobile applications have enabled businesses and IT users to interact in entirely new ways. One of the most rapidly growing technologies in this sphere is business intelligence, and associated concepts such as big data and data mining. BI is the collection of systems and products that have been implemented in various business practices, but not the information derived from the systems and products. On the other hand, big data has come to mean various things to different people. When comparing big data vs business intelligence, some people use the term big data when referring to the size of data, while others use the term in reference to specific approaches to analytics. As the volume of data grows, businesses will also ask more questions to better understand the data analytics process. As a result, the analysis team will have to keep up with the rising demands on the infrastructure that supports analytics applications brought by these additional requirements. It's also a good way to ascertain if we have built a valuable analysis system. Thus, Business Intelligence and Big Data technology can be adapted to the business' changing requirements, if they prove to be highly valuable to business environment.

실시간 데이터 수집/분석/처리를 위한 지능형 IoT (A Study on The Real-Time Data Collection/Analysis/Processing Intelligent IoT)

  • 김희철
    • 한국전자통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.317-322
    • /
    • 2019
  • 본 연구는 데이터의 실시간 수집/분석/처리를 위한 빅데이터 기반, 데이터 자산의 창의적 분석과 유통단계를 실시간으로 측정할 수 있는 IoT 기반 지능형 처리시스템을 개발한다. 모바일 단말은 제공된 디바이스의 SDK를 이용하여 특정지역 해산물 생산유통소비에 대한 데이터 정보를 측정한다. 측정된 정보를 oneM2M 프로토콜을 이용하여 해산물 생산에 필요한 각종 정보를 제공하고 DB Server, 관리자가 UI를 이용하여 시스템을 관리할 수 있는 체계를 구현한다.

A Study on the Promotion of Yakseon Food Using Big Data

  • LEE, JINHO;KIM, AE SOOK;Hwang, Chi-Gon;Ryu, Gi Hwan
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권4호
    • /
    • pp.41-46
    • /
    • 2022
  • The purpose of this study is to confirm and analyze the impact on consumers through big data keyword analysis on weak food. For data collection, web documents, blogs, news, cafes, intellectuals, academic information, and Google Web, news, and Facebook provided by Naver and Daum were used as analysis targets. The data analysis period was set from January 2018 to December 2021. For data collection and analysis, the frequency and matrix of keywords were extracted through Textom, a social matrix site, and the relationship and connection centrality between keywords were analyzed and visualized using the Netdraw function among UCINET6 programs. In addition, CONCOR analysis was conducted to derive clusters for similar keywords. As a result of analyzing yakseon food with keywords, a total of 35,985 cases of collected data were derived. Through this, it was confirmed that medicinal food affects consumers. Furthermore, if a business model is created and developed through yakseon food, it will be possible to lead the popularization of yakseon food.