• Title/Summary/Keyword: 빅데이터 분석 플랫폼

Search Result 344, Processing Time 0.033 seconds

Development of a Water Information Data Platform for Integrated Water Resources Management in Seoul (서울시 통합물관리를 위한 물정보 데이터 플랫폼 구축방안)

  • Yoon, Sun Kwon;Choi, Hyeonseok;Cho, Jaepil;Jang, Suk Hwan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.76-76
    • /
    • 2020
  • 국가 물관리일원화 이후, 지방하천 관리에 대한 지자체 역할과 권한이 커지고 있으며, 중앙정부의 물관리 수준에 부합하는 데이터관리 체계구축 및 지속적인 품질관리(Quality Control, QC)와 표준화(Standardization) 기술개발이 요구되고 있다. 지자체의 경우 기존의 행정구역별로 분산 관리해오던 물관리 시스템을 유역단위로 전환할 필요가 있으며, 국가하천 구간과 연계한 종합적인 관리가 필요한 실정이다. 서울시의 물관리 시스템은 자치구별로 산재해 있으며, 관리 주체 및 해당 변수에 따라 제공되는 정보가 다르고 하천유역 단위로 분류되어 있지 않다. 따라서, 서울시와 자치구, 중앙정부 및 관련 기관과의 연계성 있는 정보제공을 위한 데이터 플랫폼 구축 기술개발이 필요한 실정이다. 본 연구에서는, 빅데이터, AI 기술을 활용한 물정보의 품질관리 자동화 기술개발과 지속적인 유지관리 및 표준화 정보제공 시스템 구축 기능을 포함하는 서울시 통합물관리 데이터 플랫폼 구축 목표 모델을 제시하였으며, 서울시 물관리 체계와 관련하여 SWAT 분석을 통한 단계별 사업추진 로드맵을 도출하였다. 분석결과, 서울시 통합물관리 플랫폼 구축을 위해서는 유역별 수량-수질 통합 모니터링 및 모델링 기술개발, 빅데이터 기반 물 정보화 플랫폼 구축 기술개발, 지방하천 유역 거버넌스 구축 및 법제도 정비 방안 마련이 요구되며, 관련하여 주요 이슈(3대 핵심전략, 10개 단위과제)를 도출하여 관련 연구과제를 제안하였다. 마지막으로, 서울시 통합물관리 정책 실현을 위해서는 법제도 마련이 시급하며, 서울시 '통합물관리 기본조례' 제정을 통한 기반을 조성할 필요가 있음을 시사하였다. 또한, 다양한 분야 이해관계자 협의체인 '서울시 통합물관리위원회(가칭)'의 거버넌스를 구성하여 운영하는 것이 현실적이며, 한강유역관리 및 지방하천 관리와 관련한 중추적인 역할 수행과 쟁점 논의 등 합리적 합의가 가능할 것으로 기대한다.

  • PDF

A Study on Research Trends in Metaverse Platform Using Big Data Analysis (빅데이터 분석을 활용한 메타버스 플랫폼 연구 동향 분석)

  • Hong, Jin-Wook;Han, Jung-Wan
    • Journal of Digital Convergence
    • /
    • v.20 no.5
    • /
    • pp.627-635
    • /
    • 2022
  • As the non-face-to-face situation continues for a long time due to COVID-19, the underlying technologies of the 4th industrial revolution such as IOT, AR, VR, and big data are affecting the metaverse platform overall. Such changes in the external environment such as society and culture can affect the development of academics, and it is very important to systematically organize existing achievements in preparation for changes. The Korea Educational Research Information Service (RISS) collected data including the 'metaverse platform' in the keyword and used the text mining technique, one of the big data analysis. The collected data were analyzed for word cloud frequency, connection strength between keywords, and semantic network analysis to examine the trends of metaverse platform research. As a result of the study, keywords appeared in the order of 'use', 'digital', 'technology', and 'education' in word cloud analysis. As a result of analyzing the connection strength (N-gram) between keywords, 'Edue→Tech' showed the highest connection strength and a total of three clusters of word chain clusters were derived. Detailed research areas were classified into five areas, including 'digital technology'. Considering the analysis results comprehensively, It seems necessary to discover and discuss more active research topics from the long-term perspective of developing a metaverse platform.

An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications (Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석)

  • Cho, Nayun;Ku, Mino;Kim, Baul;Xuhua, Rui;Min, Dugki
    • Journal of Information Technology and Architecture
    • /
    • v.11 no.4
    • /
    • pp.449-462
    • /
    • 2014
  • In big data era, there are a number of considerable parts in processing systems for capturing, storing, and analyzing stored or streaming data. Unlike traditional data handling systems, a big data processing system needs to concern the characteristics (format, velocity, and volume) of being handled data in the system. In this situation, virtualized computing platform is an emerging platform for handling big data effectively, since virtualization technology enables to manage computing resources dynamically and elastically with minimum efforts. In this paper, we analyze resource utilization of virtualized computing resources to discover suitable deployment models in Apache Hadoop and HBase-based big data processing environment. Consequently, Task Tracker service shows high CPU utilization and high Disk I/O overhead during MapReduce phases. Moreover, HRegion service indicates high network resource consumption for transfer the traffic data from DataNode to Task Tracker. DataNode shows high memory resource utilization and Disk I/O overhead for reading stored data.

클라우드 기반 차세대 VTS 통합 플랫폼 설계에 관한 연구

  • 이상길;이정진
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.06a
    • /
    • pp.4-6
    • /
    • 2022
  • 전국 23개소에 설치되어 운영중인 해상교통관제시스템(Vessel Traffic System, VTS)의 관제 데이터 실시간 공유를 위해 클라우드 신기술을 적용한 통합 플랫폼을 개발하고 있으며, 이를 위해서는 관제 데이터의 수집, 처리, 분석에서부터 관제 운영 절차에 이르는 전 분야에 대한 새로운 정의가 필요하다. 본 논문에서는 클라우드 기반 차세대 VTS 통합 플랫폼에 대한 다양한 분야에서의 설계를 제시하고자 한다.

  • PDF

A Study on the Application of Macro Model in the Housing Market with Integrated Information Platform (주택시장의 통합정보 플랫폼과 연계한 거시 모형 적용성 방안 연구)

  • Jung, Hoi-Min;Lee, Sang-Hun;Moon, Sung-Min
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.17-18
    • /
    • 2019
  • 오픈플랫폼 기반 주택시장 분석 플랫폼은 Linux(CentOS) 서버를 운영체제로 주택 분야 빅데이터 수집/가공/분석/예측을 위하여 Hadoop 기반으로 구축한 플랫폼이다. 오픈소스 플랫폼을 기반으로 다양한 대규모 데이터를 분석하고, 미시/거시 모델을 적용하여 그 예측력을 검증하고자 한다. 본 연구에서는 기존 방식으로 분석하던 Windows 기반의 E-Views 거시 분석 모형을 오픈소스 분석 플랫폼을 구축하고 이와 연계하여 결과를 도출하는 방안을 제시하고자 한다.

Development and Application of a Big Data Platform for Education Longitudinal Study Analysis (교육종단연구 분석을 위한 빅데이터 플랫폼 개발 및 적용)

  • Park, Jung;Cho, Wan-Sup
    • The Journal of Bigdata
    • /
    • v.5 no.1
    • /
    • pp.11-27
    • /
    • 2020
  • In this paper, we developed a big data platform to store, process, and analyze effectively on such education longitudinal study data. And it was applied to the Seoul Education Longitudinal Study(SELS) to confirm its usefulness. The developed platform consists of data preprocessing unit and data analysis unit. The data preprocessing unit 1) masking, 2) converts each item into a factor 3) normalizes / creates dummy variables 4) data derivation, and 5) data warehousing. The data analysis unit consists of OLAP and data mining(DM). In the multidimensional analysis, OLAP is performed after selecting a measure and designing a schema. The DM process involves variable selection, research model selection, data modification, parameter tuning, model training, model evaluation, and interpretation of the results. The data warehouse created through the preprocessing process on this platform can be shared by various researchers, and the continuous accumulation of data sets makes further analysis easier for subsequent researchers. In addition, policy-makers can access the SELS data warehouse directly and analyze it online through multi-dimensional analysis, enabling scientific decision making. To prove the usefulness of the developed platform, SELS data was built on the platform and OLAP and DM were performed by selecting the mathematics academic achievement as a measure, and various factors affecting the measurements were analyzed using DM techniques. This enabled us to quickly and effectively derive implications for data-based education policies.

Big Data Platform for Utilizing and Analyzing Real-Time Sensing Information in Industrial Sites (산업현장 실시간 센싱정보 활용/분석을 위한 빅데이터 플랫폼)

  • Lee, Yonghwan;Suh, Jinhyung
    • Journal of Creative Information Culture
    • /
    • v.6 no.1
    • /
    • pp.15-21
    • /
    • 2020
  • In order to utilize big data in general industrial sites, the structured big data collected from facilities, processes, and environments of industrial sites must first be processed and stored, and in the case of unstructured data, it must be stored as unstructured data or converted into structured data and stored in a database. In this paper, we study a method of collecting big data based on open IoT standards that can converge and utilize measurement information, environmental information of industrial sites to collect big data. The platform for collecting big data proposed in this paper is capable of collecting, processing, and storing big data at industrial sites to process real-time sensing information. For processing and analyzing data according to the purpose of the stored industrial, various big data technologies also can be applied.

Analysis and Forecast of Technology Trends from S&T Big Data (과학기술 빅 데이터 기반 기술 동향 분석 및 예측)

  • Jung, Hanmin
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2012.05a
    • /
    • pp.169.1-169.1
    • /
    • 2012
  • 최근 높은 관심과 기술적 이슈를 끌어내고 있는 빅 데이터는 과학기술 분야에도 무수히 존재한다. 위성사진, 동영상을 비롯하여 링크드 데이터 (Linked Data)에 이르기까지 데이터 유형과 무관하게 처리해야 할 대상은 계속 늘어가고 있는 실정이다. 최근 몇 년동안 과학기술 문헌을 대상으로 시맨틱 기술과 자연어처리 기술을 이용하여 기술 동향을 분석하고 예측하는 연구를 수행해 온 KISTI는 빅 데이터 환경에 맞추어 분석 플랫폼을 분산/병렬화하는 동시에 모바일 서비스 플랫폼을 통해 신속한 의사 결정을 지원하는 전략을 취하고 있다. 또한, 법무부, 국방기술품질원, 관세청에 적용한 분석 기술을 더욱 고도화하여 사용자 적응형 가이드 서비스를 개발하고 이를 통해 연구 개발 전략 수립을 실제적으로 지원할 수 있도록 노력하고 있다.

  • PDF

Trend of Big data Analysis Platform Service (빅 데이터 분석 플랫폼 서비스 동향)

  • Park, Byeon-Yong;Kim, Sung-Soo;Kang, Jeong-ho;Jun, Moon-Seog
    • Annual Conference of KIPS
    • /
    • 2018.10a
    • /
    • pp.589-591
    • /
    • 2018
  • 인터넷이 발달함에 따라 데이터의 생산량은 기하급수적으로 증가하고 있고, 생성된 막대한 양의 데이터를 사용하는 목적에 맞게 분석하여 이익이 될 수 있는 유의미한 정보를 얻을 수 있다. 본 논문에서는 빅 데이터 분석을 위한 여러 가지 기술들과 분석 플랫폼 동향을 알아보고, 국내에서 빅 데이터가 발전하기 위한 방안에 대해서 알아본다.

A Construction Plan of Media Big Data Platform Through the Smart Media Meta-data Utilization (스마트 미디어 메타데이터 활용을 통한 미디어 빅데이터 플랫폼 구축 방안)

  • Hong, Jin-Woo
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.05a
    • /
    • pp.646-649
    • /
    • 2022
  • Media is a means for exchanging one's emotions or objective information in human society. Due to the spread of smart media due to the advent of digital media, media in modern society is not a simple means but encompasses the entire society in which humans live. It even took over the control function. Therefore, by examining the types and characteristics of media according to the service platform in which smart media is used, and building a big data hub for media based on this, new development and research directions for digital media can be explored. In this paper, we analyze various metadata generated through smart media and propose a plan for building a big data platform using it.

  • PDF