• 한국전자통신학회논문지
• /
• 제14권3호
• /
• pp.547-552
• /
• 2019

최근, 빅데이터 분야에서는 빅 데이터의 양적 팽창이 주요 이슈로 떠오르고 있다. 더군다나 이러한 빅데이터는 기계학습의 입력값으로 사용되어지고 있으며 이들의 성능을 향상시키기 위해 정규화 전처리가 필요하다. 이러한 성능은 빅데이터 컬럼의 범위나 정규화 전처리 방식에 따라 크게 좌우된다. 본 논문에서는 다양한 종류의 정규화 전처리 방식과 빅데이터 컬럼의 범위를 조절하면서 서포트벡터머신(SVM)의 기계학습방식에 적용함으로써 더욱 효과적인 정규화 전처리 방식을 파악하고자 하였다. 이를 위하여 파이썬언어와 주피터 노트북 환경에서 기계학습을 수행하고 분석하였다.

• Journal of Advanced Research in Ocean Engineering
• /
• 제3권1호
• /
• pp.32-40
• /
• 2017

Recently, the amount of data to be processed and the complexity thereof have been increasing due to the development of information and communication technology, and industry's interest in such big data is increasing day by day. In the shipbuilding and offshore industry also, there is growing interest in the effective utilization of data, since various and vast amounts of data are being generated in the process of design, production, and operation. In order to effectively utilize big data in the shipbuilding and offshore industry, it is necessary to store and process large amounts of data. In this study, it was considered efficient to apply Hadoop and R, which are mostly used in big data related research. Hadoop is a framework for storing and processing big data. It provides the Hadoop Distributed File System (HDFS) for storing big data, and the MapReduce function for processing. Meanwhile, R provides various data analysis techniques through the language and environment for statistical calculation and graphics. While Hadoop makes it is easy to handle big data, it is difficult to finely process data; and although R has advanced analysis capability, it is difficult to use to process large data. This study proposes a big data platform based on Hadoop for applications in the shipbuilding and offshore industry. The proposed platform includes the existing data of the shipyard, and makes it possible to manage and process the data. To check the applicability of the platform, it is applied to estimate the weights of offshore structure topsides. In this study, we store data of existing FPSOs in Hadoop-based Hortonworks Data Platform (HDP), and perform regression analysis using RHadoop. We evaluate the effectiveness of large data processing by RHadoop by comparing the results of regression analysis and the processing time, with the results of using the conventional weight estimation program.

• Journal of Electrical Engineering and Technology
• /
• 제10권6호
• /
• pp.2384-2392
• /
• 2015

The technical development and practical applications of big-data for health is one hot topic under the banner of big-data. Big-data medical image fusion is one of key problems. A new fusion approach with coding based on Spherical Coordinate Domain (SCD) in Wireless Sensor Network (WSN) for big-data medical image is proposed in this paper. In this approach, the three high-frequency coefficients in wavelet domain of medical image are pre-processed. This pre-processing strategy can reduce the redundant ratio of big-data medical image. Firstly, the high-frequency coefficients are transformed to the spherical coordinate domain to reduce the correlation in the same scale. Then, a multi-scale model product (MSMP) is used to control the shrinkage function so as to make the small wavelet coefficients and some noise removed. The high-frequency parts in spherical coordinate domain are coded by improved SPIHT algorithm. Finally, based on the multi-scale edge of medical image, it can be fused and reconstructed. Experimental results indicate the novel approach is effective and very useful for transmission of big-data medical image(especially, in the wireless environment).

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 춘계학술대회
• /
• pp.545-548
• /
• 2016

빅데이터는 디지털 환경에서 생성되는 모든 데이터를 의미하며 규모가 방대하고 생성주기가 짧고 다양한 형태를 가지는 특성이 있다. 스마트폰과 인터넷이 대중화되면서 사용자들이 남기는 데이터의 양과 종류는 점점 더 큰 규모로 생성되고 있으며 생성된 빅 데이터로 부터 사용가치가 있는 정보만을 추출하여 활용하는 시기로 전환되고 있다. 빅데이터는 또한 의료 산업이나 보건 분야에도 응용될 수 있으며 IoT, 스마트 헬스케어등의 기술과 함께 융합되어 시너지 효과를 창출하고 있다. 그러나 방대한 데이터를 의미있고 안전하게 활용하기 위해서는 정보보호 등의 선행과제가 존재한다. 따라서 본 연구에서는 의료 빅데이터 활용사례와 기대효과, 해결과제, 마지막으로 의료 빅데이타의 미래전망을 분석한다.

• 한국멀티미디어학회논문지
• /
• 제22권2호
• /
• pp.194-202
• /
• 2019

In the information society represented by the Fourth Industrial Revolution, various types of data and information that are difficult to see are produced, processed, and processed and circulated to enhance the value of existing goods. The IoT(Internet of Things) paradigm will change the appearance of individual life, industry, disaster, safety and public service fields. In order to implement the IoT paradigm, several elements of technology are required. It is necessary that these various elements are efficiently connected to constitute one system as a whole. It is also necessary to collect, provide, transmit, store and analyze IoT data for implementation of IoT platform. We designed and implemented a big data processing IoT platform for IoT service implementation. Proposed platform system is consist of IoT sensing/control device, IoT message protocol, unstructured data server and big data analysis components. For platform testing, fixed IoT devices were implemented as solar power generation modules and mobile IoT devices as modules for table tennis stroke data measurement. The transmission part uses the HTTP and the CoAP, which are based on the Internet. The data server is composed of Hadoop and the big data is analyzed using R. Through the emprical test using fixed and mobile IoT devices we confirmed that proposed IoT platform system normally process and operate big data.

• 한국건축시공학회:학술대회논문집
• /
• 한국건축시공학회 2018년도 춘계 학술논문 발표대회
• /
• pp.290-291
• /
• 2018

The purpose of this study is to analyze the trends and changes in the environment of construction technology and industry through big data analysis and to draw out implications. Based on this research, this study will be used as a basic research for the vision of industrial competitiveness in the field of construction engineering technology and the policy task.

• KNOM Review
• /
• 제22권2호
• /
• pp.12-21
• /
• 2019

과학빅데이터 실험 장비와 ICT 기술의 비약적인 발전으로 엑사바이트 이상 규모의 데이터가 생성되고 있으나, 이러한 빅데이터를 전송하는 기술은 응용과학연구자의 요구에 맞는 수준에 이르지 못하고 있다. 과학빅데이터에 대한 고성능 데이터 전송을 위하여 QoS(Quality of Service) 기반의 다양한 기술이 개발되고 있지만, 기반이 되는 인프라 네트워크의 전반적인 변경을 요구하기도 한다. 반면 ScienceDMZ 기술은 전송 성능에 큰 지장을 초래하는 방화벽을 우회함으로써, 과학빅데이터 전송 성능 향상을 도모하며, 또한 기존 네트워크의 큰 변화 없이 구현이 가능하다. 본 논문에서는, KREONET(국가과학기술연구망) 기반의 국제간 장거리 환경에서 과학빅데이터 고속 전송을 통하여 ScienceDMZ를 구축하고 성능을 검증하였다. 또한, ScienceDMZ의 확장으로써, GPU 플랫폼을 분산 환경에서 연계하는 방안을 소개하고자 한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 춘계학술대회
• /
• pp.693-696
• /
• 2013

정보보호시스템(Information protection system)기반의 IT 환경 구축이 보편화되면서 공공기관 및 기업체에서는 정보시스템 자원의 활용과 통합을 위한 하나의 필수적인 환경으로 인식하기 시작하였고, 클라우드 시스템(Cloud System), 클라우드 보안(Cloud Security), 빅데이터(Big Data), 빅데이터 보안(Big Data Security), 산업보안(Industry Security)등이 이슈화 되고 있다. 이러한 영향으로 인해 정보보호시스템(Information protection system) 구축에 따른 내외부적인 보안 위협요소 분석과 대응방안 수립하고자 한다. 본 논문에서는 정보보호시스템(Information protection system) 도입에 따른 여러 가지 보안 위협요소를 알아보고 특히 산업보안적인 측면과 내외부 보안위협요소에 관한 측면을 조명하여 대응방안 수립에 관한 기반 지식을 제공하고자 한다.

• The Journal of Asian Finance, Economics and Business
• /
• 제6권3호
• /
• pp.185-192
• /
• 2019

This study is to explore the relationship between the Fourth Industrial Revolution and the environment using the big data methodology. We scrutinize the trend of the Fourth Industrial revolution, in association with the environment, and provide implications for a more desirable future environmental policy. The results show that the Industrial Revolution has been generally perceived as negative to environment before the 2010s, while it has been widely regarded as positive after the period. It is highly expected that the Fourth Industrial Revolution will be capable of functioning as a new alternative to enhance the quality of the biophysical and social environment. This study justifies that the new wave of technological development may serve as a cure for the enhancement of the environmental quality. The positive linkage between the new technological development and the environment from this study clearly indicates that the environmental industry and environmental technologies will be key economic factors in the next-generation society. They should be of critical importance in shaping our cities into clearer and greener spaces, and people will continuously depend on the development of new environmental technologies in order to correct environmental damages.

• 한국인터넷방송통신학회논문지
• /
• 제19권1호
• /
• pp.117-126
• /
• 2019

IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.