• 제목/요약/키워드: Data Validation

검색결과 3,256건 처리시간 0.036초

Multiclass LS-SVM ensemble for large data

  • Hwang, Hyungtae
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권6호
    • /
    • pp.1557-1563
    • /
    • 2015
  • Multiclass classification is typically performed using the voting scheme method based on combining binary classifications. In this paper we propose multiclass classification method for large data, which can be regarded as the revised one-vs-all method. The multiclass classification is performed by using the hat matrix of least squares support vector machine (LS-SVM) ensemble, which is obtained by aggregating individual LS-SVM trained on each subset of whole large data. The cross validation function is defined to select the optimal values of hyperparameters which affect the performance of multiclass LS-SVM proposed. We obtain the generalized cross validation function to reduce computational burden of cross validation function. Experimental results are then presented which indicate the performance of the proposed method.

CROSS- VALIDATION OF LANDSLIDE SUSCEPTIBILITY MAPPING IN KOREA

  • LEE SARO
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2004년도 Proceedings of ISRS 2004
    • /
    • pp.291-293
    • /
    • 2004
  • The aim of this study was to cross-validate a spatial probabilistic model of landslide likelihood ratios at Boun, Janghung and Yongin, in Korea, using a Geographic Information System (GIS). Landslide locations within the study areas were identified by interpreting aerial photographs, satellite images and field surveys. Maps of the topography, soil type, forest cover, lineaments and land cover were constructed from the spatial data sets. The 14 factors that influence landslide occurrence were extracted from the database and the likelihood ratio of each factor was computed. 'Landslide susceptibility maps were drawn for these three areas using likelihood ratios derived not only from the data for that area but also using the likelihood ratios calculated from each of the other two areas (nine maps in all) as a cross-check of the validity of the method For validation and cross-validation, the results of the analyses were compared, in each study area, with actual landslide locations. The validation and cross-validation of the results showed satisfactory agreement between the susceptibility map and the existing landslide locations.

  • PDF

Introduction to the Validation Module Design for CMDPS Baseline Products

  • Kim, Shin-Young;Chung, Chu-Yong;Ou, Mi-Lim
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.146-148
    • /
    • 2007
  • CMDPS (COMS Meteorological Data Processing System) is the operational meteorological products extraction system for data observed from COMS (Communication, Ocean and Meteorological Satellite) meteorological imager. CMDPS baseline products consist of 16 parameters including cloud information, water vapor products, surface information, environmental products and atmospheric motion vector. Additionally, CMDPS includes the function of calibration monitoring, and validation mechanism of the baseline products. The main objective of CMDPS validation module development is near-real time monitoring for the accuracy and reliability of the whole CMDPS products. Also, its long time validation statistics are used for upgrade of CMDPS such as algorithm parameter tuning and retrieval algorithm modification. This paper introduces the preliminary design on CMDPS validation module.

  • PDF

Diagnostic In Spline Regression Model With Heteroscedasticity

  • Lee, In-Suk;Jung, Won-Tae;Jeong, Hye-Jeong
    • Journal of the Korean Data and Information Science Society
    • /
    • 제6권1호
    • /
    • pp.63-71
    • /
    • 1995
  • We have consider the study of local influence for smoothing parameter estimates in spline regression model with heteroscedasticity. Practically, generalized cross-validation does not work well in the presence of heteroscedasticity. Thus we have proposed the local influence measure for generalized cross-validation estimates when errors are heteroscedastic. And we have examined effects of diagnostic by above measures through Hyperinflation data.

  • PDF

2차원 관로형 지하시설물 정보 품질검증기술 개발 (Development of 2D Data Quality Validation Techniques for Pipe-type Underground Facilities)

  • 배상근;김상민;유은진;임거배;정다운
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.285-292
    • /
    • 2023
  • As various accidents have occurred in underground spaces, we aim to improve the quality validation standards and methods as specified in the Regulations on Producing Integrated Map of Underground Spaces devised by the Ministry of Land, Infrastructure and Transport of the Republic of Korea for a high-quality integrated map of underground spaces. Specifically, we propose measures to improve the quality assurance of pipeline-type underground facilities, the so-called life lines given their importance for citizens' daily activities and their highest risk of accident among the 16 types of underground facilities. After implementing quality validation software based on the developed quality validation standards, the adequacy of the validation standards was demonstrated by testing using data from two-dimensional water supply facilities in some areas of Busan, Korea. This paper has great significance in that it has laid the foundation for reducing the time and manpower required for data quality inspection and improving data quality reliability by improving current quality validation standards and developing technologies that can automatically extract errors through software.

BIM 모델의 품질검증 사례연구 (Case Study of BIM Quality Assurance)

  • 정연석;이상일;이상호
    • 한국전산구조공학회:학술대회논문집
    • /
    • 한국전산구조공학회 2010년도 정기 학술대회
    • /
    • pp.379-382
    • /
    • 2010
  • This study proposes a way to validate BIM data quality in BIM applications. Solibri model checker is adopted as a module development platform, which is based on Java programming language. The platform makes application developers implement BIM model checker for their own purpose. This study has developed a BIM validation module for circulation analysis of building design. The validation module enables end-users to automatically detect data corrupted or not defined. In case studies, the module found that an IFC file generated from a BIM software has wrong relation information between a space and boundary elements. A building model should satisfy modeling requirements and then domain users can get analysis results. The BIM data validation module needs to be developed in each BIM application domain.

  • PDF

The Simulation and Research of Information for Space Craft(Autonomous Spacecraft Health Monitoring/Data Validation Control Systems)

  • Kim, H;Jhonson, R.;Zalewski, D.;Qu, Z.;Durrance, S.T.;Ham, C.
    • 한국산학기술학회논문지
    • /
    • 제2권2호
    • /
    • pp.81-89
    • /
    • 2001
  • 우주 항공위성 시스템은 변하는 불확실한 우주항공 환경에(서) 운행되고 지상기지국으로부터의 원격통신 없이 장시간 동안 동작해야 할 자율적인 능력이 요구되고, 결함 없이 임무를 수행하여야 하며, 시스템에서 계측된 데이터의 신뢰성을 유지하기 위한 고장 상태 검출과 오류 수정 시스템을 차보하는 것이 중요하다. 본 논문에서는 확장 칼만 필터 기법을 적용한 동적모델 시뮬레이션 기법(High Fidelity, Dynamic Model-based Simulation)을 제안하였으며, 제안된 시스템은 비정상적인 데이터의 효과적인 검출과 대응이 가능해짐으로써 신뢰성 있는 우주항공위성시스템을 구축하도록 자동 상태 진단/데이터 시스템에 고장검출/오류수정 시스템을 적용하는 것이다. (Autonomous Spacecraft Health Monitoring/Data Validation Control System : ASHMDVCS).

  • PDF

시계열 교차검증을 적용한 2,3-BDO 분리공정 온도예측 모델의 초매개변수 최적화 (Application of Time-series Cross Validation in Hyperparameter Tuning of a Predictive Model for 2,3-BDO Distillation Process)

  • 안나현;최영렬;조형태;김정환
    • Korean Chemical Engineering Research
    • /
    • 제59권4호
    • /
    • pp.532-541
    • /
    • 2021
  • 최근 인공지능에 대한 관심이 높아짐에 따라 화학공정분야에서도 인공지능을 활용한 연구가 많아지고 있다. 그러나 인공지능 기반 모델이 충분히 일반화되지 않아 학습에 이용되지 않은 새로운 데이터에 대한 예측률이 떨어지는 과적합 현상이 빈번하게 일어나고 있으며, 교차검증은 과적합을 해결하는 방법 중 하나이다. 본 연구에서는 2,3-BDO 분리 공정 온도 예측 모델의 초매개변수 중에서 배치 개수와 반복횟수를 조정하기 위해 시계열 교차검증을 적용하고 일반적으로 사용되는 K 겹 교차검증과 비교하였다. 결과적으로 K 겹 교차검증을 사용했을 때 보다 시계열 교차검증 방식을 사용했을 때 MAPE는 0.61% 증가한 반면 RMSE는 9.06% 감소하였고 학습 시간은 198.29초 적게 소요되었다.

Subset 샘플링 검증 기법을 활용한 MSCRED 모델 기반 발전소 진동 데이터의 이상 진단 (Anomaly Detection In Real Power Plant Vibration Data by MSCRED Base Model Improved By Subset Sampling Validation)

  • 홍수웅;권장우
    • 융합정보논문지
    • /
    • 제12권1호
    • /
    • pp.31-38
    • /
    • 2022
  • 본 논문은 전문가 독립적 비지도 신경망 학습 기반 다변량 시계열 데이터 분석 모델인 MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder)의 실제 현장에서의 적용과 Auto-encoder 기반인 MSCRED 모델의 한계인, 학습 데이터가 오염되지 않아야 된다는 점을 극복하기 위한 학습 데이터 샘플링 기법인 Subset Sampling Validation을 제시한다. 라벨 분류가 되어있는 발전소 장비의 진동 데이터를 이용하여 1) 학습 데이터에 비정상 데이터가 섞여 있는 상황을 재현하고, 이를 학습한 경우 2) 1과 같은 상황에서 Subset Sampling Validation 기법을 통해 학습 데이터에서 비정상 데이터를 제거한 경우의 Anomaly Score를 비교하여 MSCRED와 Subset Sampling Validation 기법을 유효성을 평가한다. 이를 통해 본 논문은 전문가 독립적이며 오류 데이터에 강한 이상 진단 프레임워크를 제시해, 다양한 다변량 시계열 데이터 분야에서의 간결하고 정확한 해결 방법을 제시한다.

교차타당성을 이용한 확률밀도함수의 불연속점 추정의 띠폭 선택 (Bandwidth selections based on cross-validation for estimation of a discontinuity point in density)

  • 허집
    • Journal of the Korean Data and Information Science Society
    • /
    • 제23권4호
    • /
    • pp.765-775
    • /
    • 2012
  • 교차타당성은 커널추정량의 평활모수인 띠폭의 선택 방법으로 흔히 활용되고 있다. 연속인 확률밀도함수의 커널추정량의 띠폭 선택으로 널리 쓰이는 교차타당성 방법으로는 최대가능도교차타당성과 더불어 최소제곱교차타당성과 편의교차타당성이 있다. 확률밀도함수가 하나의 불연속점을 가질 때, Huh (2012)는 불연속점 추정을 위한 커널추정량의 띠폭 선택으로 최대가능도교차타당성을 이용한 방법을 제시하였다. 본 연구에서는 Huh (2012)에 의해 최대가능도교차타당성으로 제안된 띠폭선택의 방법과 같이 한쪽방향커널함수를 이용한 최소제곱교차타당성과 편의교차타당성으로 띠폭 선택 방법을 제시하고, 이들 띠폭 선택 방법들과 Huh (2012)의 최대가능도교차타당성을 이용한 띠폭 선택 방법을 모의실험을 통하여 비교연구 하고자 한다.