• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.11 no.5
• /
• pp.593-600
• /
• 2018

Owing to the advancement of Internet and smart devices, access to various media such as social media became easy; thus, a large amount of big data is being produced. Particularly, the companies that provide various Internet services are analyzing the big data by using the MapReduce-based big data analysis techniques to investigate the customer preferences and patterns and strengthen the security. However, with MapReduce, when the big data is analyzed by defining the number of reducer objects generated in the reduce stage as one, the processing rate of big data analysis decreases. Therefore, in this paper, a MapReduce-based split big data analysis method is proposed to improve the log analysis processing rate. The proposed method separates the reducer partitioning stage and the analysis result combining stage and improves the big data processing rate by decreasing the bottleneck phenomenon by generating the number of reducer objects dynamically.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2022.11a
• /
• pp.291-292
• /
• 2022

최근 4차 산업혁명이 대두됨에 따라 빅데이터 시장의 지속적인 성장과 다양한 데이터 시각화 플랫폼이 개발되고 있다. 해양 산업에서도 선박, 다이버, 기상 API 등 다양한 해양 데이터를 통해 꾸준한 연구가 이루어지고 있으며 본 연구에서는 해양 데이터를 기반으로 데이터 분석 및 시각화를 통해 사용자에게 정보를 제공하는 플랫폼을 제시하고, 기하급수적으로 늘어날 빅데이터를 효과적으로 분석하기 위해 데이터 분석 및 시각화 기법 연구의 필요성을 제시하였음.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.01a
• /
• pp.395-396
• /
• 2014

최근 소셜 네트워크 서비스로 대표되는 정보유통 매체의 급격한 발전으로 인해 데이터 빅뱅(Data Big Bang)이라 할 수 있는 데이터의 폭발적인 증가 현상에 따라 빅데이터에 대한 관심이 급격히 증대되고 있다. 빅데이터 관련 기술들은 기본적으로 대용량 데이터를 하나의 노드로 관리하는 것이 아닌 여러 노드를 연결하기 때문에 효율적인 데이터 관리를 위해서 노드 간 연결을 담당하는 라우팅 알고리즘의 중요성 역시 대두되고 있다. 본 논문에서 대용량 데이터를 위한 효율적 라우팅 알고리즘을 위해 새로운 라우팅 메시지 재전송 기법을 위한 혼잡 확률 연산 알고리즘을 제안한다.

• The Journal of the Convergence on Culture Technology
• /
• v.6 no.4
• /
• pp.715-720
• /
• 2020

In Big data analysis, text data is mostly unstructured and large-capacity, so analysis was difficult because analysis techniques were not established. Therefore, this study was conducted for the possibility of commercialization through verification of usefulness and problems when applying the big data word cloud technique, one of the text data analysis techniques. In this paper, the limitations and problems of this technique are derived through visualization analysis of the "President UN Speech" using the R program word cloud technique. In addition, by proposing an improved model to solve this problem, an efficient method for practical application of the word cloud technique is proposed.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.513-516
• /
• 2022

본 논문에서는 텍스트 마이닝 기법을 이용하여 MZ 세대를 이해하는 키워드를 도출하고자 한다. MZ 세대의 비중이 높아지면서, MZ 세대를 분석하려고 하는 많은 연구들이 수행되고 있다. 이에 본 연구에서는 MZ 세대를 이해하기 위하여 네이트 판의 연령별 게시판 크롤링을 통해 빅데이터를 수집하였다. 그리고 텍스트 마이닝 기법을 활용하여 10대, 20대, 30대의 각각의 키워드를 도출할 수 있었다. 본 논문에서 도출된 키워드는 이는 MZ 세대를 이해하는데 중요한 키워드로 볼 수 있을 것이다. 향후 연구로는 MZ 세대와 기성 세대를 비교하기 위하여 추가 크롤링을 통해 세대 간 비교 연구를 수행하고자 한다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2019.11a
• /
• pp.116-117
• /
• 2019

자율운항선박 (MASS [Maritime Autonomous Surface Ship]) 선박은 육상 관제 센터에서 선박 기자재를 상태를 실시간 모니터링하고, 컨트롤 할 수 있는 기능을 탑재하는 걱이 필수적이다. 해상과 육상을 연결하는 통신 기술 발달 뿐 아니라, 4차 산업혁명시대에 따라 빅데이터 처리 기술과 이런 빅데이터를 딥러닝 기법을 통해 분석/예측할 수 있는 기반이 마련되고 있다. 따라서 선박 기자재를 빅데이터 기반 딥러닝 등의 기법을 활용하여 원격 진단 및 유지보수 할 수 있는

• Journal of Korea Game Society
• /
• v.15 no.4
• /
• pp.59-68
• /
• 2015

The progress in Information & Communication Technology enables data scientists to analyze big data for identifying peoples' daily lives and tacit preferences. A variety of industries already aware the potential usefulness of analyzing big data. However limited use of big data has been performed in game industry. In this research, we adopt data mining technique to analyze data gathered from a strategic simulation game. Decision Tree, Random Forest, Multi-class SVM, and Linear Regression techniques are used to find the most important variables to users' game levels. We provide practical guides for game design and usability based on the analyzed results.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.185-185
• /
• 2020

기후변화의 영향으로 국지적 규모의 홍수, 가뭄 등의 피해 규모가 증가하고 있으며, 복사에너지 변화에 기인한 전지구적 대류활동의 변화는 단발성 피해에 확산되어 특정 지역의 기후 패턴 변화로 이어질 수 있다. 대류활동의 변화는 국가별 물순환의 변화로 이어질 수 있으며, 이로 인한 수자원의 변동성은 국가적 수자원 이용에 있어 중요한 요소로 작용될 수 있다. 수자원의 중요성으로 인해 국제적인 기관들은 전지구적 대류활동에 기인한 물순환 과정을 파악하고자 노력하였으며, 그 일환으로 GCMs (Global climate modeling) 등과 같은 모형이 개발되었고, 위성을 통한 전지구 강우량 측정망을 구축하였다. 위성을 통한 전구 강우량 자료와 GCMs에서 산출된 대류과정과 연관된 기후변량 자료들은 빅데이터로 구축되어 제한 없이 제공되고 있다. 정상성 강우 모의 기법은 데이터에 한정된 패턴을 반영하는 모형들로서 기후변화로 인한 기후 변동성 증가를 반영하는데 한계가 존재한다. 본 연구에서는 기상 빅데이터 자료를 기반으로 한반도의 강우량과 기상학적 특성을 연관할 수 있는 머신러닝의 일종인 딥러닝 방법을 접목시킨 강우 모의 기법을 적용하였다. 본 연구의 모형은 기후변화로 인한 기상학적 패턴의 변화를 딥러닝 기법을 통해 식별하고 식별된 기상학적 특성에 기반한 한반도의 강우량을 모의할 수 있다. 본 모형은 단기 및 장기 예측 모형과 결합하여 불확실성을 고려한 단/장기 강우량 평가에 활용될 수 있을 것으로 기대된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.591-594
• /
• 2016

최근 빅데이터 시대의 도래로 대량의 데이터에 대한 처리 및 분석 요구가 증가되면서 빅데이터를 저장하기 위해 개발된 NoSQL 데이터베이스 내의 조인 연산 필요성이 증대되고 있다. 빅데이터 환경에서는 다중 저장소 지속성의 개념에 따라 여러 NoSQL 데이터베이스를 동시 복합적으로 사용해야 하므로 이기종 NoSQL 데이터베이스간의 조인 연산이 중요시 되고 있다. 하지만 NoSQL 데이터베이스에서는 데이터 처리 과정에서 발생하는 오버헤드로 인해 조인 연산을 지원하지 않거나 조인 연산 시 성능저하가 발생한다. 이러한 조인 연산에 대한 오버헤드를 줄이기 위해 애플리케이션 단에서 맵리듀스 프레임워크를 활용한 다양한 조인 전략 연구들이 제시되었지만 단일 NoSQL 데이터베이스를 위한 방법이며 조인에 참여하는 데이터의 특성 및 연관성을 사전에 파악하고 있어야하는 한계점이 존재한다. 본 논문은 조인 연산에 참여하는 데이터에 대한 사전 정보 없이 빅데이터 환경에서 이기종 NoSQL 데이터베이스간의 조인 연산을 지원하기 위해 데이터 집합 분석, 질의 재배치, 조인 전략 자동 선정, 조인 결과가 저장될 데이터베이스 자동 선택 단계를 통한 지능적 조인 처리 기법을 제시한다.

• Railway Journal
• /
• v.18 no.5
• /
• pp.87-91
• /
• 2015