• Journal of Platform Technology
• /
• v.11 no.4
• /
• pp.50-61
• /
• 2023

The advancement of various big data technologies has had a tremendous impact on many industries. Diverse big data research studies have been conducted to process and analyze massive data quickly. Under these circumstances, new emerging technologies such as high-capacity persistent memory (PMEM) and Compute Express Link (CXL) have lately attracted significant attention. However, little investigation into a big data "search" platform has been made. Moreover, most big data software platforms have been still optimized for traditional DRAM-based computing systems. This paper first evaluates the basic performance of Intel Optane PMEM, and then investigates both indexing and searching performance of Elasticsearch, a widely-known enterprise big data search platform, on the PMEM-based computing system to explore its effectiveness and possibility. Extensive and comprehensive experiments shows that the proposed Optane PMEM-based Elasticsearch achieves indexing and searching performance improvement by an average of 1.45 times and 3.2 times respectively compared to DRAM-based system. Consequently, this paper demonstrates the high I/O, high-capacity, and nonvolatile PMEM-based computing systems are very promising for big data search platforms.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.281-282
• /
• 2021

본 논문에서는 항공 수요예측을 위한 빅데이터 기반 플랫폼의 설계 및 실증 결과를 제시한다. 항공 수요예측 통합 플랫폼은 항공산업 관련 데이터를 Open API, RSS Feed, 웹크롤러(Web Crawler) 등을 이용하여 수집 및 분석하여 자체 개발한 항공 수요예측 알고리즘을 기반으로 결과를 시각화하여 보여주도록 구현되어 있다. 또한, 제안하는 플랫폼의 사용자 인터페이스를 통해 변수 설정을 하여 단위별(Global, National 등), 기간별(단기, 중장기 등), 유형별(여객, 화물 등) 예측 통계 자료를 도출할 수 있다. 플랫폼의 성능 검증을 위해 정형화된 데이터를 비롯하여 소셜네트워크서비스(SNS), 검색엔진 등에서 수집한 비정형 데이터까지 활용하여 특정 키워드의 빈도와 특정 노선에 대한 항공 수요간 상관관계를 분석하였다. 개발한 통합 플랫폼의 지능형 항공 수요예측 알고리즘을 통해 전반적인 공항 운영 및 공항 운영 정책 수립에 기여할 것으로 예상한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.04a
• /
• pp.932-933
• /
• 2014

최근에는 의료 빅데이터 분야에서 의료기기, 의료전문가로부터 생성 또는 감지되는 사운드 생체신호(심장박동, 호흡, 맥박, 진맥) 데이터의 특징을 디지털 데이터로 추출하여 패턴 데이터로 변환한 후, 이를 빅데이터 분석 플랫폼 기반으로 분석하여 진료, 처방, 예방 등에 유용한 정보를 생성하는 모델 구축 연구가 활성화되고 있다. 본 논문에서는 사운드 생체신호 특징을 디지털 데이터로 추출하여 (주)리아컴즈 NeoQubit 빅데이터 플렛폼을 기반으로 패턴 데이터를 분석하고 예측할 수 있는 모델을 제시한다.

• Journal of Integrative Natural Science
• /
• v.13 no.3
• /
• pp.114-119
• /
• 2020

IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.63-64
• /
• 2017

정보 기술의 끊임없는 발전에 따라 광범위한 분야에서 방대한 양의 데이터가 발생하게 되면서 이를 처리하기 위한 빅 데이터에 대한 연구 및 교육이 활발히 진행되고 있다. 이를 위하여 데이터 분석 및 처리를 위한 고성능의 서버 및 분산 처리를 위한 다수의 컴퓨터가 필요하며 이는, 개인 혹은 저사양의 수업 환경에서 빅 데이터를 학습하는 데에 어려움을 겪게 한다. 때문에 가상 환경에서 원활한 빅 데이터 학습을 위한 클라우드 기반의 시스템이 필요하다. 이에 본 논문에서는, 빅 데이터 처리 기술의 하나인 Spark를 이용한 빅 데이터 플랫폼 구축에 대하여 기술한다.

• Review of Korea Contents Association
• /
• v.12 no.1
• /
• pp.32-37
• /
• 2014

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.503-505
• /
• 2021

정보통신 기술(ICT)의 발달로 이루어진 4 차 산업혁명으로 '빅데이터'의 시대가 도래하고 있다. 소셜 네트워크 서비스(SNS), 사물인터넷(IOT), 인공지능(AI) 등 다양한 장소에서 다양한 형태로 데이터들이 쌓이고 있다. 그중 MBTI 성격유형 검사를 통한 다양한 분석 시스템이 많아지고 있다. 사람들은 재미를 위해 자신의 성향을 입력하고 정해진 MBTI 검사 기준을 통해 결과를 받는다. 이러한 개개인의 성향 데이터를 모으면 거대한 빅데이터 플랫폼을 만들 수 있을 것이라 기대한다. 이에 본 논문은 구체적인 방안을 제시하고자 한다.

• Information and Communications Magazine
• /
• v.31 no.11
• /
• pp.14-26
• /
• 2014

본고는 빅데이터 시대에 새로운 가치를 창출할 수 있는 정보 분석을 위한 기계학습을 설명하고자 한다. 기계학습의 일반적 정의와 특성, 그리고 빅데이터 특성에 의한 기계학습의 변화를 확인하고 특별히 다양한 변화 중에서 분산 및 병렬화를 통한 스케일러블 기계학습을 중점으로 주어진 빅데이터를 효율적으로 분석할 수 있는 다양한 플랫폼들과 프레임워크들을 설명한다. 더불어 실제 다양한 응용 활용을 제공하고 있는 Google API 같은 빅데이터 분석 기계학습 프로젝트들을 통해서 기계학습을 통한 빅데이터 분석에 대한 폭넓은 이해를 전달하고자 한다.

• Journal of Convergence for Information Technology
• /
• v.11 no.5
• /
• pp.23-29
• /
• 2021

Recently, a situation in which a specific content service is impossible worldwide has occurred due to a failure of the platform service and a significant social and economic problem has been caused in the global service market. In order to secure the stability of platform services, intelligent platform operation management is required. In this study, big data flow management(BDFM) and implementation method were proposed to quickly detect to abnormal service status in the platform operation environment. As a result of analyzing, BDFM technique improved the characteristics of abnormal failure detection by more than 30% compared to the traditional NMS. The big data flow management method has the advantage of being able to quickly detect platform system failures and abnormal service conditions, and it is expected that when connected with AI-based technology, platform management is performed intelligently and the ability to prevent and preserve failures can be greatly improved.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.29 no.6
• /
• pp.1305-1317
• /
• 2019

Although encryption for data protection is essential in the big data platform environment of public institutions and corporations, much performance verification studies on encryption algorithms considering actual big data workloads have not been conducted. In this paper, we analyzed the performance change of AES, ARIA, and 3DES for each of six workloads of big data by adding data and nodes in MongoDB environment. This enables us to identify the optimal block-based cryptographic algorithm for each workload in the big data platform environment, and test the performance of MongoDB by testing various workloads in data and node configurations using the NoSQL Database Benchmark (YCSB). We propose an optimized architecture that takes into account.