• KIISE Transactions on Computing Practices
• /
• v.24 no.1
• /
• pp.24-32
• /
• 2018

This paper proposes a Big Data system for energy Big Data which is aggregated in real-time from industrial and public sources. The constructed Big Data system is based on Hadoop and the Spark framework is simultaneously applied on Big Data processing, which supports in-memory distributed computing. In the paper, we focus on Big Data, in the form of heat energy for district heating, and deal with methodologies for storing, managing, processing and analyzing aggregated Big Data in real-time while considering properties of energy input and output. At present, the Big Data influx is stored and managed in accordance with the designed relational database schema inside the system and the stored Big Data is processed and analyzed as to set objectives. The paper exemplifies a number of heat demand plants, concerned with district heating, as industrial sources of heat energy Big Data gathered in real-time as well as the proposed system.

• Journal of Digital Contents Society
• /
• v.18 no.1
• /
• pp.149-158
• /
• 2017

Big data have been presenting us with exciting opportunities and challenges in economic development. For instance, in the agriculture sector, mixing up of various agricultural data (e.g., weather data, soil data, etc.), and subsequently analyzing these data deliver valuable and helpful information to farmers and agribusinesses. However, massive data in agriculture are generated in every minute through multiple kinds of devices and services such as sensors and agricultural web markets. It leads to the challenges of big data problem including data collection, data storage, and data analysis. Although some systems have been proposed to address this problem, they are still restricted either in the type of data, the type of storage, or the size of data they can handle. In this paper, we propose a novel design of a platform for collecting and analyzing agricultural big data. The proposed platform supports (1) multiple methods of collecting data from various data sources using Flume and MapReduce; (2) multiple choices of data storage including HDFS, HBase, and Hive; and (3) big data analysis modules with Spark and Hadoop.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.126-128
• /
• 2013

빅데이터(Big Data)는 현재 생산되고 있는 데이터 중 그 규모가 방대하고, 생성 주기가 짧으며, 수치 데이터 뿐 아니라 텍스트 이외의 멀티미디어 등 비정형화된 데이터를 포함하는 대규모 데이터를 말한다. 빅데이터를 처리하여 가치 있는 정보를 추출하는 방법에 관한 연구가 활발하게 진행되고 있으며, 이를 바탕으로 빅데이터가 다양한 분야에서 활용되고 있다. 현재 국내 주식시장에서도 빅데이터를 이용하여 기업의 투자에 활용하고 있다. 이 논문에서는 인터넷의 증권과 관련된 뉴스를 수집하여 수집된 뉴스와 주가 지수를 이용하여 기업 뉴스 평가 시스템을 개발하는 방법을 제안한다.

• Journal of the Korea Convergence Society
• /
• v.12 no.7
• /
• pp.45-51
• /
• 2021

In accordance with the rapid non-face-to-face environment and mobile first strategy, the explosive increase and creation of many structured/unstructured data every year demands new decision making and services using big data in all fields. However, there have been few reference cases of using the Hadoop Ecosystem, which uses the rapidly increasing big data every year to collect and load big data into a standard platform that can be applied in a practical environment, and then store and process well-established big data in a relational database. Therefore, in this study, after collecting unstructured data searched by keywords from social network services based on Hadoop 2.0 through three virtual machine servers in the Spring Framework environment, the collected unstructured data is loaded into Hadoop Distributed File System and HBase based on the loaded unstructured data, it was designed and implemented to store standardized big data in a relational database using a morpheme analyzer. In the future, research on clustering and classification and analysis using machine learning using Hive or Mahout for deep data analysis should be continued.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2022.11a
• /
• pp.302-304
• /
• 2022

항만 서비스 의미가 선박의 양적하뿐만 아니라 육로를 통해 반출입되는트레일러의 하역도 포함 디지털프랜스포메이션가속화에 따라 IoT, 빅데이타, 인공지능을 활용한 항만의 생산성 증대 방안으로 선박의 TAT뿐만 아니라 항만 반출입트럭TAT 감축의 중요성도 같이 높아지고 있음 컨테이너 이송 트럭의 TAT에 대한 정확한 측정과 TAT에 영향을 미치는 요인의 규명은 컨테이너 운송에 중요한 역할을 한다고 할 수 있음 따라서 본 연구의 목적은 IoT 기술로 수집된 빅데이터를 활용해 실질적인 차량 반출입시간을 분석한 새로운 항만 반출입차량 TAT 데이터와 기후, 부두 실적, 기항 선박 사이즈, 시간대 등 다양한 항만물류빅데이터를이용하여 항만 반출입차량 TAT에 영향을 미치는 요인을 분석하고 나아가 항만물류빅데이터분석을 위한 빅데이터 수집 방법을 연구하는데 목적이 있음

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.81-81
• /
• 2020

4차산업 혁명 이후, 빅 데이터는 사이버 공간을 통한 사회적 파장이 큰 사건들에 대한 대중의 정보 수집 패턴을 이해하는 데에 있어서 전에 경험하지 못한 급속한 발전을 이루어 왔다. 사이버 공간에서 이루어지는 대중들의 정보수집 활동을 모니터링하므로서 대중들사이에서 떠오르는 주제나 사건을 파악하기에 좋은 인덱스로 여러 사회 경제분야에 활용되어 왔다. 하지만, 수자원 관리 및 방재관점에서는 이런 빅데이터을 활용한 연구 사례는 찾아 보기 힘들다. 하지만, 이런 빅데이터를 가뭄기에 대중들이 어떻게 반응하였는지를 연구하는 데에 활용될 수 있다. 이 발표에서 발표자는 미국 2011-17년 캘리포니아 가뭄의 선례연구들을 통해 주 또는 국가 범위에서 구글 이용자들의 정보수집 활동을 기록한 구글트렌즈 데이터를 가뭄기동안 대중의 정보 수집량을 바탕으로 가뭄 위험 인지도를 정의하고 대중의 행동 양식을 이해하는 데에 어떻게 활용할 수 있는 지를 소개한다. 첫번째로, 최근 캘리포니아에서 발생한 다년간의 가뭄동안 그 주안의 주민들의 행동양식 분석 결과를 소개한다. 두번째로는 미국 49개의 주에서 지난 2004년부터 2018년동안의 지역적 가뭄에 대한 대중의 가뭄 위험인지도를 시공간적인 양식을 주성분분석기술을 통해 분석한 결과을 소개한다. 끝으로, 발표자는 지난 미국 선례 연구들에서 발표자가 제안한 기술이 어떻게 대한민국에서 홍수나 가뭄 방재에 적용할 수 있으며 앞으로 대한민국을 수재해에 준비된 나라로 만드는 데에 있어서 빅데이터의 역할을 제시하고자 한다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2015.07a
• /
• pp.348-350
• /
• 2015

VTS 센터는 선박관제를 위해서 생성하는 실시간적인 해상교통정보를 생성하고 잇으며, 항만물류정보, 해양기상정보, 조선소 시운전 정보, 해상교통 환경정보, 선종별 운항정보, 사고 선박정보, 준사고 선박정보, 기타 정보 등을 수집하여 선박의 통항관제에 활용하고 있음에 따라 해상교통관제 시스템에 수집된 빅데이터의 처리방안에 대하여 고찰해 보았다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2018.10a
• /
• pp.422-424
• /
• 2018

Recently there has been growing interest in big data analysis and methods for collecting data have been developed diversely but researchers are still not easy to collect and use these large scale data. In this paper, researchers try to compare and analyze the method of collecting big data by using several methods and present it. I hope that you can provide the results of your research if you select and use methods that match your research objectives.

• The Journal of Bigdata
• /
• v.4 no.1
• /
• pp.119-127
• /
• 2019

This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.

• Information and Communications Magazine
• /
• v.29 no.11
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.