• 제목/요약/키워드: Framework data

검색결과 4,673건 처리시간 0.043초

Development of a software framework for sequential data assimilation and its applications in Japan

  • Noh, Seong-Jin;Tachikawa, Yasuto;Shiiba, Michiharu;Kim, Sun-Min;Yorozu, Kazuaki
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2012년도 학술발표회
    • /
    • pp.39-39
    • /
    • 2012
  • Data assimilation techniques have received growing attention due to their capability to improve prediction in various areas. Despite of their potentials, applicable software frameworks to probabilistic approaches and data assimilation are still limited because the most of hydrologic modelling software are based on a deterministic approach. In this study, we developed a hydrological modelling framework for sequential data assimilation, namely MPI-OHyMoS. MPI-OHyMoS allows user to develop his/her own element models and to easily build a total simulation system model for hydrological simulations. Unlike process-based modelling framework, this software framework benefits from its object-oriented feature to flexibly represent hydrological processes without any change of the main library. In this software framework, sequential data assimilation based on the particle filters is available for any hydrologic models considering various sources of uncertainty originated from input forcing, parameters and observations. The particle filters are a Bayesian learning process in which the propagation of all uncertainties is carried out by a suitable selection of randomly generated particles without any assumptions about the nature of the distributions. In MPI-OHyMoS, ensemble simulations are parallelized, which can take advantage of high performance computing (HPC) system. We applied this software framework for several catchments in Japan using a distributed hydrologic model. Uncertainty of model parameters and radar rainfall estimates is assessed simultaneously in sequential data assimilation.

  • PDF

The MapDS-Onto Framework for Matching Formula Factors of KPIs and Database Schema: A Case Study of the Prince of Songkla University

  • Kittisak Kaewninprasert;Supaporn Chai-Arayalert;Narueban Yamaqupta
    • Journal of Information Science Theory and Practice
    • /
    • 제12권3호
    • /
    • pp.49-62
    • /
    • 2024
  • Strategy monitoring is essential for business management and for administrators, including managers and executives, to build a data-driven organization. Having a tool that is able to visualize strategic data is significant for business intelligence. Unfortunately, there are gaps between business users and information technology departments or business intelligence experts that need to be filled to meet user requirements. For example, business users want to be self-reliant when using business intelligence systems, but they are too inexperienced to deal with the technical difficulties of the business intelligence systems. This research aims to create an automatic matching framework between the key performance indicators (KPI) formula and the data in database systems, based on ontology concepts, in the case study of Prince of Songkla University. The mapping data schema with ontology (MapDSOnto) framework is created through knowledge adaptation from the literature review and is evaluated using sample data from the case study. String similarity methods are compared to find the best fit for this framework. The research results reveal that the "fuzz.token_set_ratio" method is suitable for this study, with a 91.50 similarity score. The two main algorithms, database schema mapping and domain schema mapping, present the process of the MapDS-Onto framework using the "fuzz.token_set_ratio" method and database structure ontology to match the correct data of each factor in the KPI formula. The MapDS-Onto framework contributes to increasing self-reliance by reducing the amount of database knowledge that business users need to use semantic business intelligence.

하천 네트워크 기반의 유역관리시스템 개발을 위한 프레임워크 공간 DB 구축에 관한 연구 (A Study on the Construction of the Framework Spatial DB for Developing Watershed Management System Based on River Network)

  • 김경탁;최윤석;김주훈
    • 한국지리정보학회지
    • /
    • 제7권2호
    • /
    • pp.87-96
    • /
    • 2004
  • 유역의 공간 DB를 DEM을 이용하여 구축할 경우에는 DEM으로부터 유역의 수문학적 지형특성 인자를 손쉽게 추출할 수 있으며, 이들이 자동으로 공간 DB의 속성으로 입력되어 관리될 수 있다. 본 연구에서는 유역정보를 관리하기 위한 기반정보인 프레임워크 공간 DB의 구축방안에 대하여 기술하였다. 이롤 위하여 프레임워크 공간 데이터의 범위를 결정하고, 이들의 상호 연관관계를 정의하였으며 실제 유역을 대상으로 프레임워크 공간 DB률 구축하였다. 한편 본 연구에서는 순수 국내기술로 수자원 공간자료 생성 및 수자원 시스템 개발 모듈인 HyGIS(Hydrological Geographic Information System)를 개발하였다. HyGIS를 이용하여 수문학적 지형특성인자 및 공간자료를 추출하였으며, 이들 자료를 실제 유역의 프레임워크 공간 DB를 구축하는 기본 데이터로 이용하였다. 본 연구에서는 이러한 과정을 통하여 하천 네트워크 기반의 유역관리시스템 개발을 위한 프레임워크 공간 DB의 구축방안을 제시하고자 한다.

  • PDF

수명주기가 긴 제품의 설계정보관리를 위한 다층 제품정보 모델링 방안 (Multi-level Product Information Modeling for Managing Long-term Life-cycle Product Information)

  • 이재현;서효원
    • 한국CDE학회논문집
    • /
    • 제17권4호
    • /
    • pp.234-245
    • /
    • 2012
  • This paper proposes a multi-level product modeling framework for long-term lifecycle products. The framework can help engineers to define product models and relate them to physical instances. The framework is defined in three levels; data, design model, modeling language. The data level represents real-world products, The model level describes design models of real-world products. The modeling language level defines concepts and relationships to describe product design models. The concepts and relationships in the modeling language level enable engineers to express the semantics of product models in an engineering-friendly way. The interactions between these three levels are explained to show how the framework can manage long-term lifecycle product information. A prototype system is provided for further understanding of the framework.

DART: Fast and Efficient Distributed Stream Processing Framework for Internet of Things

  • Choi, Jang-Ho;Park, Junyong;Park, Hwin Dol;Min, Ok-gee
    • ETRI Journal
    • /
    • 제39권2호
    • /
    • pp.202-212
    • /
    • 2017
  • With the advent of the Internet-of-Things paradigm, the amount of data production has grown exponentially and the user demand for responsive consumption of data has increased significantly. Herein, we present DART, a fast and lightweight stream processing framework for the IoT environment. Because the DART framework targets a geospatially distributed environment of heterogeneous devices, the framework provides (1) an end-user tool for device registration and application authoring, (2) automatic worker node monitoring and task allocations, and (3) runtime management of user applications with fault tolerance. To maximize performance, the DART framework adopts an actor model in which applications are segmented into microtasks and assigned to an actor following a single responsibility. To prove the feasibility of the proposed framework, we implemented the DART system. We also conducted experiments to show that the system can significantly reduce computing burdens and alleviate network load by utilizing the idle resources of intermediate edge devices.

하드웨어와 소프트웨어가 포함된 제품개발을 위한 프레임워크 (A Framework for Product Development including HW and SW Components)

  • 도남철;채경석
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2006년도 춘계공동학술대회 논문집
    • /
    • pp.1329-1333
    • /
    • 2006
  • This paper proposes a framework for product development including hardware and software components. The framework provides separation of the hardware dependent software, an integrated product development process, and integration of software components with product configurations and product structures. In order to separates the hardware dependent software, the framework considers product configuration modules and engineering changes of associated hardware and software components. The proposed product development process integrates development of the hardware dependent software into the existing product development process. In order to integrates the hardware dependent software with product configurations and product structures, the framework represents software components by existing product data models in Product Data Management (PDM). The framework is applied to development of a robot system including hardware and software components in order to show its effectiveness.

  • PDF

무선 공간 데이터 방송 환경에서 범위 질의 처리를 위한 시뮬레이션 프레임워크의 설계와 구현 (Design and Development of Simulation Framework for Processing Window Query in Wireless Spatial Data Broadcasting Environment)

  • 임석진;황희정
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권5호
    • /
    • pp.173-178
    • /
    • 2014
  • 스마트폰과 초고속 네트워크에 연결된 스마트폰과 같은 클라이언트는 다양한 위치기반 서비스를 언제 어디서나 사용할 수 있게 해주고 있다. 이런 환경에서 무선 데이터 방송 시스템은 대규모의 클라이언트들의 다양한 데이터 요구를 효과적으로 처리할 수 있게 한다. 효율적인 무선 데이터 방송 시스템을 구축하기 위해 다양한 데이터 스케줄링 기법과 인덱싱 기법이 개발되고 있으나 이러한 기법들을 신속히 평가하기 위한 시뮬레이션 프레임워크의 개발은 보고된 것이 없다. 본 논문에서는 시뮬레이션 기반의 무선 데이터 방송 시스템 성능 평가를 위한 시뮬레이션 프레임워크를 설계 및 구현한다. 개발된 프레임워크는 무선 데이터 방송 시스템의 성능을 빠르게 평가할 수 있으며 다양한 데이터 스케줄링 기법과 인덱싱 기법을 적용할 수 있는 확장성을 가진다.

Big data-based piping material analysis framework in offshore structure for contract design

  • Oh, Min-Jae;Roh, Myung-Il;Park, Sung-Woo;Chun, Do-Hyun;Myung, Sehyun
    • Ocean Systems Engineering
    • /
    • 제9권1호
    • /
    • pp.79-95
    • /
    • 2019
  • The material analysis of an offshore structure is generally conducted in the contract design phase for the price quotation of a new offshore project. This analysis is conducted manually by an engineer, which is time-consuming and can lead to inaccurate results, because the data size from previous projects is too large, and there are so many materials to consider. In this study, the piping materials in an offshore structure are analyzed for contract design using a big data framework. The big data technologies used include HDFS (Hadoop Distributed File System) for data saving, Hive and HBase for the database to handle the saved data, Spark and Kylin for data processing, and Zeppelin for user interface and visualization. The analyzed results show that the proposed big data framework can reduce the efforts put toward contract design in the estimation of the piping material cost.

객체 기반의 기본지리정보 갱신시스템 개발 (Development of an Object-Oriented Framework Data Update System)

  • 이진수;최윤수;서창완;전창동
    • 한국지리정보학회지
    • /
    • 제11권1호
    • /
    • pp.31-44
    • /
    • 2008
  • 우리나라의 국가지리정보체계(NGIS) 제1단계 기본지리정보 구축사업은 권역별 수정주기가 5년인 1/5,000 수치지도를 사용하여 권역별 최신성이 결여 되었으며, 이는 기본지리정보 데이터베이스의 활용에 저해되는 주요 요인으로 지적되었다. 따라서 본 연구에서는 기본지리정보의 효율적인 갱신을 위하여 위치기반의 객체 기반의 데이터 관리 방법 및 시스템을 구현하는 기술적인 방법을 제시하였다. 주요 내용으로는 첫째, 위치 기반 지형지물 식별자(UFID: Unique Feature IDentifier)를 이용한 객체 기반의 데이터모델과 데이터베이스를 설계하고, 둘째, UML(Unified Modeling Language)을 적용하여 위치 기반의 UFID 생성, 입 출력, 공간 및 속성 편집, 객체 기반의 데이터 처리를 하는 갱신시스템을 개발하였으며, 셋째, 시범지역을 선정하여 시스템을 적용하여 품질검수에서 정확도 99%의 우수한 양질의 데이터를 생산하였고, 기존 방법보다 35%의 인건비 절감 효과가 있음을 도출하게 되었다. 본 연구에서 제안한 방법은 사용자 요구에 만족하는 최신의 기본지리정보 데이터베이스를 제공하여 민간 GIS 및 생활 GIS의 활용극대화를 창출하고, 국가 기본지리정보의 유지관리와 GIS 시장의 활성화 촉진에 기여할 것이며, 또한 객체 기반의 데이터 관리로 지형지물 변화 모델링과 지형지물 모니터링 방법도 가능할 것으로 기대된다.

  • PDF

대규모 로그를 사용한 유저 행동모델 분석 방법론 (The Analysis Framework for User Behavior Model using Massive Transaction Log Data)

  • 이종서;김성국
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.1-8
    • /
    • 2016
  • 사용자로그는 많은 숨겨진 정보를 포함하고 있지만 데이터 정형화가 이루어지지 않았고, 데이터 크기도 너무 방대하여 처리하기 까다로워서 아직 밝혀져야 할 부분들을 많이 내포하고 있다. 특히 행동마다의 모든 시간정보를 포함하고 있어서 이를 응용하여 많은 부분을 밝혀낼 수 있다. 하지만 로그데이터 자체를 바로 분석으로 사용할 수는 없다. 유저 행동 모델 분석을 위해서는 별도의 프레임워크를 통한 변환과정들이 필요하다. 이 때문에 유저 행동모델 분석 프레임워크를 먼저 파악을 하고 데이터에 접근해야 한다. 이 논문에서는, 우리는 유저 행동모델을 효과적으로 분석하기 위한 프레임워크 모델을 제안한다. 본 모델은 대규모 데이터를 빨리 처리하기 위한 분산환경에서의 MapReduce 프로세스와 유저별 행동분석을 위한 데이터 구조 설계에 대한 부분을 포함한다. 또한 실제 온라인 서비스 로그의 구조를 바탕으로 어떤 방식으로 MapReduce를 처리하고 어떤 방식으로 유저행동모델을 분석을 위해 데이터 구조를 어떤식으로 변형할지 설명하고, 이를 통해 어떤 방식의 모델 분석으로 이어질지에 대해 상세히 설명한다. 이를 통해 대규모 로그 처리방법과 분석모델 설계에 대한 기초를 다질 수 있을 것이다.

  • PDF