• 디지털콘텐츠학회 논문지
• /
• 제18권1호
• /
• pp.149-158
• /
• 2017

빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.

• 한국인터넷방송통신학회논문지
• /
• 제16권6호
• /
• pp.225-230
• /
• 2016

최근 네트워크와 인터넷의 발전으로 웹상에 대용량의 데이터가 생겨났으며, 이를 처리하기 위해 빅데이터 기술이라는 패러다임이 생겨났다. 빅데이터 기술은 기존의 정형 데이터뿐만 아니라 소셜 데이터 등 다양한 비정형 데이터를 이용해 다각적이고 정확한 분석을 목표로 연구되고 있다. 그러나 소셜 데이터는 전문성과 객관성을 가지고 있다고 보기는 힘들고 정보의 조작 및 은폐, 왜곡 등의 문제성이 제기되고 있다. 따라서, 본 논문에서는 신뢰성 빅데이터 플랫폼에 대하여 제안하며, 세부 관리자와 모듈에 대하여 설명한다. 본 논문에서 제안하는 신뢰성 빅데이터 플랫폼은 데이터 정제 관리자, 데이터 분석 관리자, 상호 신뢰 관리자, 시각화 관리자, 검색 관리자로 구성되어진다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권3호
• /
• pp.974-992
• /
• 2021

Recently, the healthcare field has undergone rapid changes owing to the accumulation of health big data and the development of machine learning. Data mining research in the field of healthcare has different characteristics from those of other data analyses, such as the structural complexity of the medical data, requirement for medical expertise, and security of personal medical information. Various methods have been implemented to address these issues, including the machine learning model and cloud platform. However, the machine learning model presents the problem of opaque result interpretation, and the cloud platform requires more in-depth research on security and efficiency. To address these issues, this paper presents a recent technology for Internet-of-Things-based (IoT-based) health big data processing. We present a cloud-based IoT health platform and health big data processing technology that reduces the medical data management costs and enhances safety. We also present a data mining technology for health-risk prediction, which is the core of healthcare. Finally, we propose a study using explainable artificial intelligence that enhances the reliability and transparency of the decision-making system, which is called the black box model owing to its lack of transparency.

• 대한산업공학회지
• /
• 제42권2호
• /
• pp.112-121
• /
• 2016

This paper focuses on competencies of data scientists and behavioral intention that affect big data analysis performance. This experiment examined nine core factors required by data scientists. In order to investigate this, we conducted a survey to gather data from 103 data scientists who participated in big data competition at Kaggle platform and used factor analysis and PLS-SEM for the analysis methods. The results show that some key competency factors have influential effect on the big data analysis performance. This study is to provide a new theoretical basis needed for relevant research by analyzing the structural relationship between the individual competencies and performance, and practically to identify the priorities of the core competencies that data scientists must have.

• Journal of information and communication convergence engineering
• /
• 제21권3호
• /
• pp.216-224
• /
• 2023

Smart lighting systems have become increasingly popular in several public sectors because of trends toward urbanization and intelligent technologies. In this study, we designed and implemented a web application platform to explore and monitor data acquired from lighting devices at Thammasat University (Rangsit Campus, Thailand). The platform provides a convenient interface for administrative and operative staff to monitor, control, and collect data from sensors installed on campus in real time for creating geographically specific big data. Platform development focuses on both back- and front-end applications to allow a seamless process for recording and displaying data from interconnected devices. Responsible persons can interact with devices and acquire data effortlessly, minimizing workforce and human error. The collected data were analyzed using an exploratory data analysis process. Missing data behavior caused by system outages was also investigated.

• International journal of advanced smart convergence
• /
• 제8권1호
• /
• pp.82-86
• /
• 2019

We aim to use public data different from the remote BEMS energy diagnostics technology and already established and then switch the conventional operation environment to a big-data-based integrated management environment to operate and build a building energy management environment of maximized efficiency. In Step 1, various network management environments of the system integrated with a big data platform and the BEMS management system are used to collect logs created in various types of data by means of the big data platform. In Step 2, the collected data are stored in the HDFS (Hadoop Distributed File System) to manage the data in real time about internal and external changes on the basis of integration analysis, for example, relations and interrelation for automatic efficient management.

• Spatial Information Research
• /
• 제21권5호
• /
• pp.43-51
• /
• 2013

본 연구에서는 최근 이슈가 되고 있는 공간빅데이터에 대한 개념과 효과적으로 공간빅데이터체계를 구축하기 위한 방안을 제시하였다. 공간빅데이터는 3V(volume, variety, velocity)로 정의되고 있는 빅데이터를 6V(volume, variety, velocity, value, veracity, visualization)의 빅데이터로 진화시키는 기반이라 할 수 있다. 공간빅데이터를 효과적으로 구축하기 위해서는 공간빅데이터체계 구축으로 추진되어야 하며, 공간빅데이터체계는 국가공간정보기반, 융합플랫폼, 서비스제공자, 생산요소제공자로서의 역할을 수행해야 한다. 이러한 공간빅데이터체계의 구성요소는 인프라(하드웨어), 기술(소프트웨어), 공간빅데이터(데이터), 인력, 법 제도 등이며, 공간빅데이터체계 구축을 위한 목표로 공간기반 정책수립 지원, 공간빅데이터 플랫폼 기반 산업활성화, 공간 빅데이터 융합기반 조성, 공간관련 사회현안의 적극적 해결로 제시하였다. 그리고 목표에 대한 추진전략은 범정부적 협력체계 구축, 신산업 창출 및 활용 활성화, 성과활용 중심의 공간빅데이터 플랫폼 구축, 공간빅데이터 관련 기술경쟁력 확보로 제시하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.661-664
• /
• 2017

Recently, during disasters occurrence, dealing with emergencies has been handled well by the early transmission of disaster relating notifications on social media networks (e.g., Twitter or Facebook). Intuitively, with their characteristics (e.g., real-time, mobility) and big communities whose users could be regarded as volunteers, social networks are proved to be a crucial role for disasters response. However, the amount of data transmitted during disasters is an obstacle for filtering informative messages; because the messages are diversity, large and very noise. This large volume of data could be seen as Social Big Data (SBD). In this paper, we proposed a big data platform for collecting and analyzing disasters' data from SBD. Firstly, we designed a collecting module; which could rapidly extract disasters' information from the Twitter; by big data frameworks supporting streaming data on distributed system; such as Kafka and Spark. Secondly, we developed an analyzing module which learned from SBD to distinguish the useful information from the irrelevant one. Finally, we also designed a real-time visualization on the web interface for displaying the results of analysis phase. To show the viability of our platform, we conducted experiments of the collecting and analyzing phases in 10 days for both real-time and historical tweets, which were about disasters happened in South Korea. The results prove that our big data platform could be applied to disaster information based systems, by providing a huge relevant data; which can be used for inferring affected regions and victims in disaster situations, from 21.000 collected tweets.

• 한국빅데이터학회지
• /
• 제8권2호
• /
• pp.83-95
• /
• 2023

스마트 플랜트 발전에 있어서 빅데이터 분석과 인공지능은 중요한 역할을 한다. 본 연구에서는 플랜트 데이터를 위한 빅데이터 플랫폼과 인공지능 기반 플랜트 유지 관리를 위한 'AutoML 플랫폼'을 개발하였다. 빅데이터 플랫폼은 하둡, 스파크, 카프카를 활용하여 플랜트에서 발생하는 대용량의 데이터를 수집, 처리, 적재하는 플랫폼이다. AutoML 플랫폼은 설비의 예지보전 및 공정 최적화를 위한 예측 모델을 구축하는 머신러닝 자동화 시스템이다. 위 플랫폼은 기존 플랜트 운영 정보 시스템과의 호환성을 고려하여 데이터 파이프라인을 구성하고, 웹 기반 GUI를 통해 작업자의 접근성과 편의성을 향상하였으며, 데이터 처리와 학습 알고리즘에 사용자 정의 모듈을 탑재하는 기능을 통해 유연성을 증대시켰다. 본 논문은 국내 정유회사의 특정 공정을 대상으로 플랫폼을 실제 운영해보았고, 이를 통해 스마트 플랜트를 위한 효과적인 데이터 활용 플랫폼 사례를 제시한다.

• 디지털산업정보학회논문지
• /
• 제14권4호
• /
• pp.57-68
• /
• 2018

This paper presents a smart firefighting appliances monitoring system based on big data analytics platform using GS1 for Smart City. Typical firefighting appliances are fire hydrant, fire extinguisher, fire alarm, sprinkler, fire engine, etc. for the fire of classes A/B/C/D/E. Among them, the dry chemical fire extinguisher have been widely supplied and 6 millions ones were replaced for the aging ones over 10 years in the past year. However, only 5% of them have been collected for recycling of chemical materials included the heavy metals of environment pollution. Therefore, we considered the trace of firefighting appliances from production to disposal for the public open service. In the paper, we suggest 1) a smart firefighting appliances system using GS1, 2) a big data analytics platform and 3) a public open service and visualization with the analyzed information, for fire extinguishers from production to disposal. It can give the information and the visualized diagrams with the analyzed data through the public open service and the free Apps.