• Journal of Integrative Natural Science
• /
• v.13 no.3
• /
• pp.114-119
• /
• 2020

IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.507-509
• /
• 2022

농업은 우리의 삶에서 빼놓을 수 없는 중요한 분야이며, 농업은 토지를 이용하여 다양한 작물들을 길러 음식을 만드는 기본이라고 말할 수 있다. 이렇게 중요한 농업 분야를 ICT 분야에서 가장 이슈가 되는 기술인 인공지능 기술과 결합하여 스마트팜과 같은 농업의 디지털화를 구축할 수 있다. 이와 같은 스마트팜 구축을 위해서는 기본적으로 다양한 작물의 빅데이터를 제공하고, 이 데이터를 바탕으로 인공지능을 수행하여 다양한 결과를 제공할 수 있다. 하지만 인공지능 연구를 수행하기 위한 시스템 및 플랫폼의 부재라는 문제점이 존재한다. 이러한 문제점을 해결하기 위해 농업 빅데이터 관리 및 인공지능 연구 플랫폼 개발을 위한 과제를 통해 농업 빅데이터를 관리하고 인공지능을 연구자들이 손쉽게 수행할 수 있는 플랫폼을 개발하여 농업 분야의 작물 생산성 향상에 기여하고자 한다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2021.11a
• /
• pp.57-59
• /
• 2021

현재 국내 해양에 설치된 항로표지를 통해 해양 상태에 대한 다양한 정보가 수집/관리되고 있으며, 기상청에서 제공되는 기상 데이터 등 항로표지 데이터와 연계를 통해 유용한 서비스 개발이 가능한 데이터가 생상되고 있으나, 각 데이터의 관리 주체/시스템이 분산되어 효율적으로 활용되기 어려운 실정이다. 이에, 본 논문에서는 항로표지 데이터와 타 시스템에서 수집/관리되고 있는 데이터의 연계/분석을 통해 항로표지 데이터 기반의 다양한 서비스 개발에 활용 가능한 스마트 항로표지 빅데이터 플랫폼 구축 기술을 제안한다.

• Journal of Convergence for Information Technology
• /
• v.11 no.5
• /
• pp.23-29
• /
• 2021

Recently, a situation in which a specific content service is impossible worldwide has occurred due to a failure of the platform service and a significant social and economic problem has been caused in the global service market. In order to secure the stability of platform services, intelligent platform operation management is required. In this study, big data flow management(BDFM) and implementation method were proposed to quickly detect to abnormal service status in the platform operation environment. As a result of analyzing, BDFM technique improved the characteristics of abnormal failure detection by more than 30% compared to the traditional NMS. The big data flow management method has the advantage of being able to quickly detect platform system failures and abnormal service conditions, and it is expected that when connected with AI-based technology, platform management is performed intelligently and the ability to prevent and preserve failures can be greatly improved.

• Journal of Digital Convergence
• /
• v.12 no.9
• /
• pp.169-175
• /
• 2014

The ICT (information and communication technology) paradigm shift, including the burgeoning use of mobile, SNS, and smart devices, has resulted in an explosion of data along with lifestyle changes. We have thus arrived at the age of big data. In the meantime, a number of difficulties have arisen in terms of cost or on the technical side with respect to the use of large quantities of data. However, big data has begun to receive attention with the advent of efficient big data technologies such as Hadoop. In this paper, we discuss the patent analysis of big data platform technology research and development in major countries. Especially, we analyzed 2,568 patent applications and registered patents in four countries on December 2010.

• Information and Communications Magazine
• /
• v.29 no.11
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.

• Journal of Platform Technology
• /
• v.11 no.4
• /
• pp.50-61
• /
• 2023

The advancement of various big data technologies has had a tremendous impact on many industries. Diverse big data research studies have been conducted to process and analyze massive data quickly. Under these circumstances, new emerging technologies such as high-capacity persistent memory (PMEM) and Compute Express Link (CXL) have lately attracted significant attention. However, little investigation into a big data "search" platform has been made. Moreover, most big data software platforms have been still optimized for traditional DRAM-based computing systems. This paper first evaluates the basic performance of Intel Optane PMEM, and then investigates both indexing and searching performance of Elasticsearch, a widely-known enterprise big data search platform, on the PMEM-based computing system to explore its effectiveness and possibility. Extensive and comprehensive experiments shows that the proposed Optane PMEM-based Elasticsearch achieves indexing and searching performance improvement by an average of 1.45 times and 3.2 times respectively compared to DRAM-based system. Consequently, this paper demonstrates the high I/O, high-capacity, and nonvolatile PMEM-based computing systems are very promising for big data search platforms.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.287-288
• /
• 2019

본 논문에서는 대용량 화물 DTG 데이터 분석을 위한 빅데이터 플랫폼을 설계 및 구현한다. DTG(digital tacho graph)는 차량운행기록을 실시간으로 저장하는 장치로서, 차량의 GPS, 속도, RPM, 제동유무, 이동거리 등 차량운행 관련 데이터가 1초 단위로 기록된다. 차량 운행 패턴 및 분석을 하기 위해서는 DTG 데이터의 빠른 처리가 필수적이며, 특히 대용량 DTG 데이터를 가공 및 변환하기 위해서는 별도의 플랫폼이 필요하다. 본 논문에서는 오픈소스 기반의 빅데이터 프레임워크인 스파크(Spark)를 이용하여 대용량 화물 DTG 데이터의 전처리 플랫폼을 구현하였다. 실제 대용량 화물 DTG 데이터를 대상으로 데이터를 변환 및 지도상에 표현해 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.335-336
• /
• 2019

5G를 비롯한 무선 네트워크의 발달과 인터넷의 보급이 보편화되어 가고 있다. 또한, 스마트폰 등의 모바일 기기 등이 일상화됨에 따라 방대하고 다양한 유형의 데이터들이 발생되고 있다. 이와 같은 범람하기 시작한 정보와 데이터들을 연결하여 새로운 가치를 창출하는 초지능 연결의 4차 산업혁명 시대가 도래하였다. 이러한 4차 산업혁명은 ICBM(IoT, Cloud, Big data, Mobile) 기술이 발달함에 따라 가능했으며. 그중 빅데이터는 초지능 연결의 근간이 되고 있다. 하지만, 빅데이터에서의 데이터는 다양한 목적에 의해 다양한 유형의 데이터를 모두 포함하고 있음에도 데이터 포맷 및 데이터 셋 등의 불일치에 의해 즉각적인 연결은 불가능하다. 본 논문에서는 스마트 공장을 중심으로 서로 다른 형태의 이기종 데이터를 통합하여 처리할 수 있는 빅데이터 처리 플랫폼을 제안한다.

• Review of Korea Contents Association
• /
• v.12 no.1
• /
• pp.32-37
• /
• 2014