• 대한임베디드공학회논문지
• /
• 제16권4호
• /
• pp.153-161
• /
• 2021

Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.

• 인터넷정보학회논문지
• /
• 제19권1호
• /
• pp.123-130
• /
• 2018

With the emergence of a new paradigm called Open Science and Big Data, the need for data sharing and collaboration is also emerging in the computational science field. This paper, we analyzed data-driven research cases for computational science by field; material design, bioinformatics, high energy physics. We also studied the characteristics of the computational science data and the data management issues. To manage computational science data effectively it is required to have data quality management, increased data reliability, flexibility to support a variety of data types, and tools for analysis and linkage to the computing infrastructure. In addition, we analyzed trends of platform technology for efficient sharing and management of computational science data. The main contribution of this paper is to review the various computational science data repositories and related platform technologies to analyze the characteristics of computational science data and the problems of data management, and to present design considerations for building a future computational science data platform.

• 디지털융복합연구
• /
• 제20권5호
• /
• pp.627-635
• /
• 2022

본 최근 코로나19로 인해 비대면 상황이 장기간 지속화됨에 따라 사회 전반에 걸쳐 IOT, AR, VR, 빅데이터와 같은 4차 산업 혁명의 기반 기술이 메타버스 플랫폼에 전반적으로 영향을 미치고 있다. 이러한 사회, 문화 등 외부 환경의 변화는 학문의 발전에 영향을 미칠 수 있으며, 변화에 대비하여 기존 성과물을 체계적으로 정리하는 일은 매우 중요하다. 한국 교육학술정보원(RISS)에서 키워드에 '메타버스 플랫폼'을 포함하는 자료를 수집하여 빅데이터 분석 중 하나인 텍스트 마이닝 기법을 사용하였다. 수집된 데이터 자료를 워드 클라우드 빈도 분석, 키워드 간 연결강도, 구조등위성 분석을 하여 메타버스 플랫폼 연구 동향을 살펴보았다. 연구결과 워드 클라우드 분석에서는 '활용', '디지털', '기술', '교육' 순으로 키워드가 나타났다. 키워드 간 연결강도(N-gram) 분석 결과 '에듀→테크'의 연결강도가 가장 높게 나타났으며, 워드 연쇄 군집 수의 총 3개의 군집이 도출되었다. 세부 연구영역은 '디지털 기술'을 포함 다섯 영역으로 분류되었다. 종합적으로 고려했을 때 메타버스 플랫폼 분야의 학문적 연구 주제 범위는 그리 넓지 않았으며, 장기 지향적 관점에서 보다 적극적인 연구 주제의 발굴 및 논의가 필요해 보인다.

• 한국산학기술학회논문지
• /
• 제19권3호
• /
• pp.669-678
• /
• 2018

본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권1호
• /
• pp.20-25
• /
• 2016

디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

• 한국인터넷방송통신학회논문지
• /
• 제19권1호
• /
• pp.171-178
• /
• 2019

한국의 조선 산업은 대내외 환경 변화로 인해 심각한 위기 상황에 처해 있다. 이 위기를 극복하기 위해서, 선박 신수요 예측을 통한 제품 및 기술의 선제적 개발이 필요하다. 본 연구의 목표는 선박 신수요 예측을 위해 선박 빅데이터에 기반한 인공지능 알고리즘의 개발이다. 본 연구에서는 선박 수요 예측에 특화된 빅데이터 분석 플랫폼을 개발하고 데이터 분석을 통한 선박 신수요 예측 결과를 신제품 기획/개발에 활용하고자 한다. 이를 통해 장비 및 기자재 제조업체를 위한 지속 가능한 신사업 모델 개발로 조선소 및 선박 기자재 업체에 대한 신성장동력을 창출할 수 있을 것이다. 또한 조선 업체들은 측정 가능한 성과를 기반으로 비즈니스 사례를 창출하고 시장 지향적 인 제품과 서비스를 계획하며 높은 시장 파괴력을 가진 혁신을 지속적으로 달성 할 수 있을 것으로 기대된다.

• 산업경영시스템학회지
• /
• 제39권2호
• /
• pp.54-63
• /
• 2016

As technology has developed and cost for data processing has reduced, big data market has grown bigger. Developed countries such as the United States have constantly invested in big data industry and achieved some remarkable results like improving advertisement effects and getting patents for customer service. Every company aims to achieve long-term survival and profit maximization, but it needs to establish a good strategy, considering current industrial conditions so that it can accomplish its goal in big data industry. However, since domestic big data industry is at its initial stage, local companies lack systematic method to establish competitive strategy. Therefore, this research aims to help local companies diagnose their big data capabilities through a reference model and big data capability assessment system. Big data reference model consists of five maturity levels such as Ad hoc, Repeatable, Defined, Managed and Optimizing and five key dimensions such as Organization, Resources, Infrastructure, People, and Analytics. Big data assessment system is planned based on the reference model's key factors. In the Organization area, there are 4 key diagnosis factors, big data leadership, big data strategy, analytical culture and data governance. In Resource area, there are 3 factors, data management, data integrity and data security/privacy. In Infrastructure area, there are 2 factors, big data platform and data management technology. In People area, there are 3 factors, training, big data skills and business-IT alignment. In Analytics area, there are 2 factors, data analysis and data visualization. These reference model and assessment system would be a useful guideline for local companies.

• International journal of advanced smart convergence
• /
• 제12권4호
• /
• pp.202-207
• /
• 2023

In this paper, we discuss the design and implementation of a recommendation platform actually built in the field. We survey deep learning-based recommendation models that are effective in reflecting individual user characteristics. The recently proposed RNN-based sequential recommendation models reflect individual user characteristics well. The recommendation platform we proposed has an architecture that can collect, store, and process big data from a company's commercial services. Our recommendation platform provides service providers with intuitive tools to evaluate and apply timely optimized recommendation models. In the model evaluation we performed, RNN-based sequential recommendation models showed high scores.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.117-118
• /
• 2014

최근 공공기관의 공공데이터 제공이 활성화 되고 있으며, 이를 활용한 응용서비스에 대한 요구도 증가하고 있는 추세이다. 현재 교통정보예측 플랫폼은 실시간 교통정보 또는 과거 교통정보이력을 분석하여 미래의 교통량이나 도착시간정보를 제공하고 있으나 날씨, 사고 등과 같은 미래 교통정보에 즉각적인 영향을 줄 수 있는 요소를 배제하고 있어 높은 신뢰도를 확보하기 어렵다. 본 논문에서는 교통정보예측에 영향을 주는 요소인 기상, 사고, 교통정보와 같은 공공데이터를 효율적으로 수집 저장 처리할 수 있는 저장방식 및 신뢰도 높은 교통정보를 예측할 수 있는 예측기술이 포함된 b-Traffic 서비스 플랫폼을 제시한다.

• Journal of Platform Technology
• /
• 제8권4호
• /
• pp.38-46
• /
• 2020

본 연구에서는 민간기업들이 전체적인 보안관제 인프라를 구축 할 수 있도록 오픈소스 빅데이터 솔루션을 이용하여 보안관제 체계를 구축하는 방법을 기술한다. 특히, 보안관제 시스템을 구축할 때 비용·개발시간을 단축 할 수 있는 하나의 방법으로 무료 오픈소스 빅데이터 분석 솔루션 중 하나인 Elastic Stack을 활용하여 인프라를 구축했으며, 산업에 많이 도입되는 제품인 Splunk와 비교실험을 진행했다. 또한 두 솔루션을 기능, 사용의 용이성, 서비스지원, 기술지원 등을 비교해석 한 결과, Elastic Stack이 사용자간 커뮤니티, 오픈 솔루션면에서 빅데이터의 보안관제가 유리함을 알 수 있었다. Elastic Stack을 활용해 보안 로그를 단계별로 수집-분석-시각화 하여 대시보드를 만들고 대용량 로그를 입력 후 보안관제 검색 속도를 측정하였다. 이를 통해 Elastic Stack이 Splunk를 대체할 수 있는 빅데이터 분석 솔루션으로 기업들이 접근 가능성을 얻을 수 있다.