• 제목/요약/키워드: Big-data Software

검색결과 441건 처리시간 0.033초

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 (Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권2호
    • /
    • pp.127-134
    • /
    • 2019
  • IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

Research on Big Data Integration Method

  • Kim, Jee-Hyun;Cho, Young-Im
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권1호
    • /
    • pp.49-56
    • /
    • 2017
  • In this paper we propose the approach for big data integration so as to analyze, visualize and predict the future of the trend of the market, and that is to get the integration data model using the R language which is the future of the statistics and the Hadoop which is a parallel processing for the data. As four approaching methods using R and Hadoop, ff package in R, R and Streaming as Hadoop utility, and Rhipe and RHadoop as R and Hadoop interface packages are used, and the strength and weakness of four methods are described and analyzed, so Rhipe and RHadoop are proposed as a complete set of data integration model. The integration of R, which is popular for processing statistical algorithm and Hadoop contains Distributed File System and resource management platform and can implement the MapReduce programming model gives us a new environment where in R code can be written and deployed in Hadoop without any data movement. This model allows us to predictive analysis with high performance and deep understand over the big data.

효율적인 빅 데이터 마이닝을 위한 iSSD 기반 협업 처리 방안 (iSSD-Based Collaborative Processing for Big Data Mining)

  • 조용연;김상욱;배덕호
    • 한국통신학회논문지
    • /
    • 제42권2호
    • /
    • pp.460-470
    • /
    • 2017
  • 본 논문은 intelligent SSD (iSSD)를 통해 빅 데이터 마이닝을 효과적으로 처리하기 위한 방안에 대해서 소개한다. iSSD는 데이터 전송 비용을 줄이고 데이터가 저장된 장소와 가장 가까운 곳에서 데이터를 처리하기 위해, SSD 내부에 데이터 처리 능력을 부여한 장치이다. 본 논문에서는 먼저, iSSD의 등장 배경 및 효율적인 데이터 처리를 위한 iSSD 구조에 대해 소개한다. 더 나아가, iSSD를 이용하여 데이터 마이닝 알고리즘들을 빠르게 수행하는 방안을 소개한다. 끝으로, iSSD 뿐만 아니라 호스트 CPU, GPU 등 이질 (heterogeneous) 컴퓨팅 자원을 함께 활용하여 데이터 마이닝 알고리즘의 성능을 크게 향상시키는 협업 방안을 소개한다.

A Study on the Collaborative Inventory Management of Big Data Supply Chain : Case of China's Beer Industry

  • Chen, Jinhui;Jin, Chan-Yong
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권3호
    • /
    • pp.77-88
    • /
    • 2021
  • 중국에서의 빅데이터의 발전 과정은 비교적 짧아 10년 정도에 불과하다. 따라서 실제 생활에서의 구체적인 활용도는 높지 않으나, 공급망분야에서는 일부 성과를 보이고 있다. 공급망이 실제로 작동하는 과정에서 발생하는 각종 데이터를 효과적으로 분류·활용할 수 있다면, 공급망 운영 과정에서 발생하는 '채찍효과' 또한 개선될 수 있을 것이다. 본 연구의 목적은 빅데이터를 활용한 공급망 협업 재고 관리 모델과 응용 프레임워크의 개발이다. 본 연구에서는 "채찍효과"가 가장 뚜렷한 소비 업종인 중국의 맥주 업계 공급 체인을 분석하였으며, 시뮬레이션 및 민감도분석을 위해 Vensim을 사용하였다. 본 연구의 모델을 적용한 결과 맥주 업계 공급 체인의 각 참여 주체의 재고변화가 적어지는 의미 있는 결과를 발견하였다. 또한 이러한 연구가 더 큰 데이터를 갖는 공급망 협업 재고관리모델에도 적용될 수 있는 가능성을 제사하고, 공급망 협업 재고관리모델에서 발생할 수 있는 문제점 및 대응방안을 제시하였다.

A Design of Application through Physical Therapy Big Data Analytics

  • Choi, Woo-Hyeok;Huh, Jun-Ho
    • Journal of Multimedia Information System
    • /
    • 제5권3호
    • /
    • pp.171-178
    • /
    • 2018
  • According to the National Health Insurance Corporation in 2008, there were 17,764,428 physical therapy patients, exceeding 31 percent for the population covered by health insurance. This means that three out of 10 Koreans received physical therapy. And now, 10 years later, due to the aging population and the increase in the sports population, the number of patients with physical therapy is expected to be much more than a decade ago. Among them, many physical therapy patients were orthopedic and neurologic disorder. However, in the medical field applied to physical therapy, it is widely applied across all medical fields, including orthopedics, neurosurgery, pediatrics, gynecology, thoracic surgery and dentistry. It is believed that various cases of patients receiving physical therapy will be secured. as mentioned earlier, there will be a large number of patients with physical therapy treatments, making big data analytics easier. based on this, physical therapy applications are thought to be helpful in the analogy of disease and the development of effective physical therapy and will ultimately promote the development of physical therapy.

An Exploratory Study on Issues Related to chatGPT and Generative AI through News Big Data Analysis

  • Jee Young Lee
    • International Journal of Advanced Culture Technology
    • /
    • 제11권4호
    • /
    • pp.378-384
    • /
    • 2023
  • In this study, we explore social awareness, interest, and acceptance of generative AI, including chatGPT, which has revolutionized web search, 30 years after web search was released. For this purpose, we performed a machine learning-based topic modeling analysis based on Korean news big data collected from November 30, 2022, when chatGPT was released, to August 31, 2023. As a result of our research, we have identified seven topics related to chatGPT and generative AI; (1)growth of the high-performance hardware market, (2)service contents using generative AI, (3)technology development competition, (4)human resource development, (5)instructions for use, (6)revitalizing the domestic ecosystem, (7)expectations and concerns. We also explored monthly frequency changes in topics to explore social interest related to chatGPT and Generative AI. Based on our exploration results, we discussed the high social interest and issues regarding generative AI. We expect that the results of this study can be used as a precursor to research that analyzes and predicts the diffusion of innovation in generative AI.

Deep Learning-Based Smart Meter Wattage Prediction Analysis Platform

  • Jang, Seonghoon;Shin, Seung-Jung
    • International journal of advanced smart convergence
    • /
    • 제9권4호
    • /
    • pp.173-178
    • /
    • 2020
  • As the fourth industrial revolution, in which people, objects, and information are connected as one, various fields such as smart energy, smart cities, artificial intelligence, the Internet of Things, unmanned cars, and robot industries are becoming the mainstream, drawing attention to big data. Among them, Smart Grid is a technology that maximizes energy efficiency by converging information and communication technologies into the power grid to establish a smart grid that can know electricity usage, supply volume, and power line conditions. Smart meters are equient that monitors and communicates power usage. We start with the goal of building a virtual smart grid and constructing a virtual environment in which real-time data is generated to accommodate large volumes of data that are small in capacity but regularly generated. A major role is given in creating a software/hardware architecture deployment environment suitable for the system for test operations. It is necessary to identify the advantages and disadvantages of the software according to the characteristics of the collected data and select sub-projects suitable for the purpose. The collected data was collected/loaded/processed/analyzed by the Hadoop ecosystem-based big data platform, and used to predict power demand through deep learning.

소셜 미디어 데이터 분석을 활용한 빅데이터에 대한 인식 변화 비교 분석 (A Comparative Analysis of Cognitive Change about Big Data Using Social Media Data Analysis)

  • 윤유동;조재춘;허윤아;임희석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권7호
    • /
    • pp.371-378
    • /
    • 2017
  • 최근 모바일의 확산과 웹 서비스의 도입으로 온라인 상에 데이터가 급격히 증가하게 되어 다양한 분야에서 활용되고 있다. 특히, 빅데이터 분야에서 소셜 미디어의 등장은 축적되는 비정형 데이터의 양이 급격하게 증가하는 계기가 되었다. 이러한 비정형 데이터로부터 의미 있는 정보를 추출하기 위해 다양한 분야에서 빅데이터 기술에 대한 관심이 증가하고 있다. 빅데이터는 선진국을 중심으로 다양한 분야에서 핵심 자원으로서 중요성이 부각되고 있다. 그러나 빅데이터의 긍정적인 미래 전망과 함께 데이터의 침해 및 개인정보 보호에 대한 우려가 지속적으로 언급되고 있다. 이와 같이 긍정적인 시각과 부정적인 시각이 공존하는 빅데이터에 대해 사람들의 의견을 분석하는 연구는 현재 매우 부족한 상황이다. 이에 본 연구에서는 텍스트 마이닝을 활용하여 소셜 미디어에서 수집한 비정형 데이터를 기반으로 빅데이터에 대한 사람들의 인식 변화를 비교하였다. 텍스트 마이닝 결과, 국내 빅데이터에 대한 연도별 키워드와 함께 시간의 흐름에 따라 감소하는 긍정적인 의견과 증가하는 부정적인 의견이 관찰되었다. 그리고 이러한 분석 결과를 기반으로 국내 빅데이터에 대한 흐름을 예측할 수 있었다.

Self-organization Scheme of WSNs with Mobile Sensors and Mobile Multiple Sinks for Big Data Computing

  • Shin, Ahreum;Ryoo, Intae;Kim, Seokhoon
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권3호
    • /
    • pp.943-961
    • /
    • 2020
  • With the advent of IoT technology and Big Data computing, the importance of WSNs (Wireless Sensor Networks) has been on the rise. For energy-efficient and collection-efficient delivery of any sensed data, lots of novel wireless medium access control (MAC) protocols have been proposed and these MAC schemes are the basis of many IoT systems that leads the upcoming fourth industrial revolution. WSNs play a very important role in collecting Big Data from various IoT sensors. Also, due to the limited amount of battery driving the sensors, energy-saving MAC technologies have been recently studied. In addition, as new IoT technologies for Big Data computing emerge to meet different needs, both sensors and sinks need to be mobile. To guarantee stability of WSNs with dynamic topologies as well as frequent physical changes, the existing MAC schemes must be tuned for better adapting to the new WSN environment which includes energy-efficiency and collection-efficiency of sensors, coverage of WSNs and data collecting methods of sinks. To address these issues, in this paper, a self-organization scheme for mobile sensor networks with mobile multiple sinks has been proposed and verified to adapt both mobile sensors and multiple sinks to 3-dimensional group management MAC protocol. Performance evaluations show that the proposed scheme outperforms the previous schemes in terms of the various usage cases. Therefore, the proposed self-organization scheme might be adaptable for various computing and networking environments with big data.