• 제목/요약/키워드: Extract transform and load

검색결과 9건 처리시간 0.024초

Short-term Electric Load Forecasting Based on Wavelet Transform and GMDH

  • Koo, Bon-Gil;Lee, Heung-Seok;Park, Juneho
    • Journal of Electrical Engineering and Technology
    • /
    • 제10권3호
    • /
    • pp.832-837
    • /
    • 2015
  • The group method of data handling (GMDH) algorithm has proven to be a powerful and effective way to extract rules or polynomials from an electric load pattern. However, because it is nonstationary, the load pattern needs to be decomposed using a discrete wavelet transform. In addition, if a load pattern has a complicated curve pattern, GMDH should use a higher polynomial, which requires complex computing and consumes a lot of time. This paper suggests a method for short-term electric load forecasting that uses a wavelet transform and a GMDH algorithm. Case studies with the proposed algorithm were carried out for one-day-ahead forecasting of hourly electric loads using data during the years 2008-2011. To prove the effectiveness of our proposed approach, the results were evaluated and compared with those obtained by Holt-Winters method and artificial neural network. Our suggested method resulted in better performance than either comparison group.

통합수자원관리의 ETL, ELT 비교 연구 (The comparative study of IWRM between ETL and ELT)

  • 김순연;원영진
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.392-392
    • /
    • 2023
  • 통합수자원관리 IWRM(Integrated Water Resources Management)를 위한 다각도의 연구가 진행되고 있다. 구축된 정보의 활용 증진, 정책적 측면 등이 어우러져 고려되어야 비로소 통합으로서의 가치가 확보될 것이다. 본 고에서는 그중 데이터 측면을 살펴본다. 데이터 관점에서도 정보의 수집, 유통, 품질 등 여러 관점의 주제가 존재한다. 예를 들어 유통을 위한 메타데이터는 ISO 19139의 채택에서 추가 보완할 부분이 무엇인지, 유통을 위한 포맷과 인터페이스는 XML과 OGC WFS를 채택시 충분한 호환성이 확보되는지 등 이 주요한 검토요소가 될 것이다. 본 고에서는 이러한 고민에 앞서, 초기 절차인 시스템 적재 과정의 ETL(Extract, Transform and Load)과 ELT(Extract, Load and Transform) 방법을 비교하고자 한다. 수자원 분야 데이터를 사용한 예시 사례를 통하여, 최근 데이터 산업 분야에서 ETL과 ELT 차이가 이슈화되고 있는 이유를 살펴보고, 온프레미스와 클라우드 상황에 대하여 두 가지 방법의 장단점을 비교함으로서 다양한 데이터를 직면하게 되는 IWRM에서의 데이터 적응에 대한 힌트를 얻고자 한다. 기본적으로는 ETL보다 ELT의 효율성이 높을 것으로 전망된다. 그러나 해당 변환 과정이 일회성인지 반복적인지 고려해야 한다. 또한 변환에 있어 지배적인 요소가 변환 프로세스의 복잡도인지, 레코드 건수인지도 유불리에 영향을 준다. 비용측면에서는 ETL보다 ELT의 저장 비용이 증가할 수 있고, 이는 온프레미스 DBMS에서 PaaS 유형의 DBMS로 전환되어감에 따라 더 큰 부담이 될 수 있다. 무엇보다 ETL, ELT에서는 요구되는 변환 기술의 종류가 다르다. 예를 들어 Desktop GIS 도구와 ANSI 표준 SQL 기술로 대표될 수 있으며 각 수행조직에서는 보유 인적자원의 기술 현황과 학습곡선 등을 고려해야 한다. 결론적으로 ETL, ELT의 비교에 있어서는 처리시간과 동시에, 비용과 인적 자원 그리고 전략적 측면도 함께 검토되어야 한다.

  • PDF

Relational Data Extraction and Transformation: A Study to Enhance Information Systems Performance

  • Forat Falih, Hasan;Muhamad Shahbani Abu, Bakar
    • Journal of information and communication convergence engineering
    • /
    • 제20권4호
    • /
    • pp.265-272
    • /
    • 2022
  • The most effective method to improve information system capabilities is to enable instant access to several relational database sources and transform data with a logical structure into multiple target relational databases. There are numerous data transformation tools available; however, they typically contain fixed procedures that cannot be changed by the user, making it impossible to fulfill the near-real-time data transformation requirements. Furthermore, some tools cannot build object references or alter attribute constraints. There are various situations in which tool changes in data type cause conflicts and difficulties with data quality while transforming between the two systems. The R-programming language was extensively used throughout this study, and several different relational database structures were utilized to complete the proposed study. Experiments showed that the developed study can improve the performance of information systems by interacting with and exchanging data with various relational databases. The study addresses data quality issues, particularly the completeness and integrity dimensions of the data transformation processes.

전력계통의 고임피던스 고장 검출 기법에 관한 연구 (A Study on High Fault Detection In Power System)

  • 임화영;유창완;고재호
    • 대한전기학회논문지:전력기술부문A
    • /
    • 제48권1호
    • /
    • pp.16-21
    • /
    • 1999
  • The analysis of distribution line faults is essential to the proper protections of the power system. A high impedance fault test, which was carried in Korean electric power systems, it was found that a arcing phenomenon occurred during the high level portion of conductor voltage in each cycle. In this paper, we propose a new method for detection of high impedance faults, which uses the arcing fault current difference during high voltage and low voltage portion of conductor voltage waveform. To extract this difference, we diveded one cycle fault current into equal spanned four data windows according to the magnitude of voltage waveform and applied fast fourier transform(FFT) to each data window. The frequency spectrum of current wavefrom in each portion are used as the inputs of neural network and is trained to detect high impedance faults. The proposed method shows improved accuracy when applied to staged fault data and fault-like load.

  • PDF

디지털제어기를 기반으로 하는 단상 능동전력필터 (Single-Phase Active Power Filter based on Digital Controller)

  • 배병열;이지헌;이혜연;주영아;한병문;박병주;윤동철
    • 전기학회논문지
    • /
    • 제57권5호
    • /
    • pp.789-796
    • /
    • 2008
  • This paper describes a single-phase active power filter based on a newly developed digital controller. The developed controller utilizes FFT(Fast Fourier Transform) algorithm to extract the reference signal from the load current, considering the phase-angle delay of each order of harmonics. Optimized technique was applied for whole control algorithm to implement the real-time operation of developed controller. The performance of developed controller for a single-phase active power filter was verified through computer simulations with PSCAD/EMTDC. The feasibility of hardware implementation was confirmed by building and testing a prototype. The developed digital controller for a single-phase active power filter can compensate the harmonic current generated by the power supply for digital equipment.

재배 작물 추천을 위한 셀프서비스 비즈니스 인텔리전스 시스템 (A Self-Service Business Intelligence System for Recommending New Crops)

  • 김삼근;김광채;김현우;정우진;안재근
    • 한국산학기술학회논문지
    • /
    • 제22권3호
    • /
    • pp.527-535
    • /
    • 2021
  • 전통적인 BI(Business Intelligence) 시스템은 제 시간에 더 나은 의사결정을 위한 도구로 널리 사용되어 왔다. 그러나 급증하는 데이터에 대한 효율적 분석을 위해 데이터 웨어하우스를 구축하는 일은 시간이 오래 걸리고 복잡하다. 특히, 데이터 웨어하우스 구축에 요구되는 ETL(Extract, Transform, Load) 프로세스는 BI 플랫폼이 클라우드 환경으로 전환되면서 훨씬 더 복잡해졌다. 이러한 ETL 이슈를 극복하기 위해 MongoDB와 같은 NoSQL 데이터베이스에 기반한 다양한 BI 솔루션들이 제안되었다. 한편, 의사 결정권자는 IT 부서나 BI 전문가 의 도움 없이 데이터에 쉽게 접근할 수 있기를 원한다. 최근, 이러한 BI 이슈들을 해결하기 위한 방안으로 셀프서비스 BI가 등장하였다. 본 논문에서는 귀농 귀촌인의 재배 작물 선택을 지원하기 위해 MongoDB 클라우드를 데이터 웨어하우스로 하는 농업 데이터 기반의 셀프서비스 BI 시스템을 제안한다. 제안 시스템은 의사 결정권자에게 통찰력을 제공하기 위해 MongoDB 차트를 이용한 데이터 시각화 기능, 고급 데이터 검색을 위한 리포팅 기능, 실시간 데이터 분석을 위한 모니터링 기능을 지원한다. 의사 결정권자는 다양한 방식으로 데이터에 직접 접근할 수 있고, 제안 시스템의 기능들을 활용하여 셀프서비스 방식으로 데이터를 분석할 수 있다.

Agro-Ecosystem Informatics for Rational Crop and Field Management - Remote Sensing, GIS and Modeling -

  • INOUE Yoshio
    • 한국작물학회:학술대회논문집
    • /
    • 한국작물학회 2005년도 국제학술회의
    • /
    • pp.22-46
    • /
    • 2005
  • Spatial and timely information on crop and filed conditions is one of the most important basics for rational and efficient planning and management in agriculture. Remote sensing, GIS, and modeling are powerful tools for such applications. This paper presents an overview of the state of the art in remote sensing of crop and field conditions with some case studies. It is also shown that a synergistic linkage between process-based models and remote sensing signatures enables us to estimate the multiple crop/ecosystem variables at a dynamic mode. Remotely sensed information can greatly reduce the uncertainty of simulation models by compensating for insufficient availability of data or parameters. This synergistic approach allows the effective use of infrequent and multi-source remote sensing data for estimating important ecosystem variables such as biomass growth and ecosystem $CO_2$ flux. This paper also shows a geo-spatial information system that enables us to integrate, search, extract, process, transform, and calculate any part of the data based on ID#, attributes, and/or by river-basin boundary, administrative boundary, or boundaries of arbitrary shape/size all over Japan. A case study using the system demonstrates that the nitrogen load from fertilizer was closely related to nitrate concentration of groundwater. The combined use of remote sensing, GIS and modeling would have great potential for various agro-ecosystem applications.

  • PDF

기어 물림 상태의 타행 주행 저항을 이용한 엔진 운전 조건의 분석 (Analysis of Engine Operation Condition by Using Coastdown Test under Gear Engaged Condition)

  • 심범주;박경석;박준수;민병두
    • 한국자동차공학회논문집
    • /
    • 제20권6호
    • /
    • pp.61-66
    • /
    • 2012
  • Conventional method to transform vehicle driving condition to engine operation mode is to use vehicle road load under neutral gear and mechanical efficiency of drivetrain. But this method requires additional measurement of efficiency of drivetrain on a test rig. And this measurement is normally done at fixed speed and thus estimated accuracy of engine operation mode is not considered to be high enough. This study suggests new method to calculate engine operation mode for prescribed driving mode such as NEDC using vehicle coastdown test under gear engaged condition without measurement of mechanical efficiency of drivetrain. Coastdown test was done under neutral and gear engaged condition for comparison and also trial to extract mechanical loss of drivetrain was carried out. Calculated engine torque by conventional and newly suggested method was compared with actually measured torque of a vehicle on a chassis dynamometer during NEDC. Newly suggested method showed slightly higher accuracy of accumulated brake work during NEDC.

BIM과 이기종 솔류션 데이터 통합을 고려한 시설물관리 시스템 아키텍처 개발에 관한 연구 (A Study on BIM-based Facility Management System Architecture Development considering the heterogeneous solution data integration)

  • 강태욱;최현상
    • Spatial Information Research
    • /
    • 제21권4호
    • /
    • pp.25-34
    • /
    • 2013
  • 연구의 목적은 BIM과 다양한 이기종 솔류션 데이터 통합을 고려한 시설물 관리 시스템 아키텍처를 개발하는 것이다. 이기종 솔류션 데이터는 시설물 관리 시스템, 자산 관리 시스템, 시설물 센서 데이터베이스 시스템 뿐 아니라 모델러로 부터 생성된 파일이 될 수도 있다. 본 연구에서 이기종 솔류션 데이터 통합을 위한 고려사항을 도출하고 이를 구현하기 위해 ETL (Extract, Transform and Load)을 사용한 BIM기반 데이터 통합 방법을 제안한다. 이와 관련된 연구동향을 조사하고, BIM기반 이기종 솔류션 데이터 통합 지원 아키텍처 개발을 위한 유스케이스를 도출하였다. 이를 통해 BIM기반으로 시설물 객체와 관련된 데이터를 확인할 수 있도록 FM 데이터베이스 스키마를 개발하였다. 마지막으로 아키텍처 적용 가능성을 확인하기 위해 제안된 방법을 이용하여 프로토타입을 구현하였다.