When there is a missing value in the raw data, if ignore the missing values and proceed with the analysis, the accuracy decrease due to the decrease in the number of sample. The method of imputation and analyzing patterns and significant values can compensate for the problem of lower analysis quality and analysis accuracy as a result of bias rather than simply removing missing values. In this study, we proposed to study irregular data patterns and missing processing methods of data using machine learning techniques for the study of correction of missing values. we would like to propose a plan to replace the missing with data from a similar past point in time by finding the situation at the time when the missing data occurred. Unlike previous studies, data correction techniques present new algorithms using DNN and KNN-MLE techniques. As a result of the performance evaluation, the ANAE measurement value compared to the existing missing section correction algorithm confirmed a performance improvement of about 0.041 to 0.321.
Normalized Difference Vegetation Index (NDVI) is utilized as an indicator to represent the vegetation condition on the land surface in various applications such as land cover, crop yield, agricultural drought, soil moisture, and forest disaster. However, satellite optical sensors for visible and infrared rays cannot see through the clouds, so the NDVI of the cloud pixel is not a valid value for the land surface. This study proposed a real-time correction of the underestimation noise for GEO-KOMPSAT-2A (GK2A) daily NDVI and made sure its feasibility through the quantitative comparisons with Moderate Resolution Imaging Spectroradiometer (MODIS) NDVI and the qualitative interpretation of time-series changes. The underestimation noise was effectively corrected by the procedures such as the time-series correction considering vegetation phenology, the outlier removal using long-term climatology, and the gap filling using rigorous statistical methods. The correlation with MODIS NDVI was higher, and the difference was lower, showing a 32.7% improvement compared to the original NDVI product. The proposed method has an extensibility for use in other satellite products with some modification.
In this study, we estimated missing evapotranspiration (ET) data at a eddy-covariance flux tower in the Cheongmicheon farmland site using the Artificial Neural Network (ANN). The ANN showed excellent performance in numerical analysis and is expanding in various fields. To evaluate the performance the ANN-based gap-filling, ET was calculated using the existing gap-filling methods of Mean Diagnostic Variation (MDV) and Food and Aggregation Organization Penman-Monteith (FAO-PM). Then ET was evaluated by time series method and statistical analysis (coefficient of determination, index of agreement (IOA), root mean squared error (RMSE) and mean absolute error (MAE). For the validation of each gap-filling model, we used 30 minutes of data in 2015. Of the 121 missing values, the ANN method showed the best performance by supplementing 70, 53 and 84 missing values, respectively, in the order of MDV, FAO-PM, and ANN methods. Analysis of the coefficient of determination (MDV, FAO-PM, and ANN methods followed by 0.673, 0.784, and 0.841, respectively.) and the IOA (The MDV, FAO-PM, and ANN methods followed by 0.899, 0.890, and 0.951 respectively.) indicated that, all three methods were highly correlated and considered to be fully utilized, and among them, ANN models showed the highest performance and suitability. Based on this study, it could be used more appropriately in the study of gap-filling method of flux tower data using machine learning method.
Proceedings of the Korea Water Resources Association Conference
/
2007.05a
/
pp.2029-2033
/
2007
오늘날 특정 유역에서의 수문현상 및 수문순환에 대한 분석을 위한 연구가 활발히 진행되고 있다. 이를 위해서는 수문자료의 관측은 반드시 수반되어야 하며, 관측자료의 품질관리 및 원시자료의 관리 등이 요구되고 있는 실정이다. 관측된 수문자료의 품질관리라 함은 자료의 신뢰도 분석과 자료의 보완의 두 과정을 포함한다. 여기서, 신뢰도 분석이라 함은 자료 속에 포함된 불확실성을 판별하는 작업을 의미하며, 자료의 불확실성은 위에서 언급된 자료의 불충분 및 불안정을 제외한 부정확, 불일관성에서 비롯된다. 자료의 보완이라 함은 자료의 신뢰도 분석을 통하여 자료 속에 포함된 불확실한 성분들을 찾아내고, 이를 제거한 후 완전한 자료로 대체하고, 자료가 결측된 경우 공백을 연결함으로써 자료의 완전성을 유지하거나 또는 불충분한 자료를 확장하는 일련의 보완작업이라고 정의한다. 자료의 품질을 결정하는 주요 인자는 크게 관측소 관리의 하드웨어적인 측면과 자료 분석의 소프트웨어적인 측면이 있다. 하드웨어적인 측면에서의 수문자료 품질관리를 위해서 본 과제에서는 현장에 설치된 수위계, 강우량계의 센서 등에 대한 장비를 점검하고, 현장실측을 통해 지속적으로 측정값을 보정해주는 역할을 수행하고 있으며, 소프트웨어적인 측면에서 수문자료의 품질관리를 위해서는 수문자료의 수집 단계부터 시작하여 데이터베이스 저장, 필터링, 통계분석, 웹 및 C/S(Client Server)를 통한 배포 등의 일련의 자료 처리 과정을 수행할 수 있는 수문자료관리 프로그램을 웹 시스템과 C/S로 분류하여 정의내릴 수 있다. 본 연구에서는 수문자료의 관리자 입장에서의 보다 효율적이고 체계적으로 자료를 관리하고 분석하기 위한 방안으로 수문자료관리시스템(Hydrologic Data Aquisition and Management System, HDAMS)을 개발하였다. 이 시스템은 안양천 유역에서 시범 적용하고 있으며, 범용성을 전제로 개발되었다. 또한 수문자료 관리 프로그램의 DB 구조 및 DB 자료를 활용한 다양한 분석기능은 갖도록 설계하였으며 계획된 데이터베이스 구조를 바탕으로 계측기 인터페이스와 사용자 인터페이스, 데이터베이스 간의 연동이 원활히 이루어지도록 개발하고자 한다.
The Journal of The Korea Institute of Intelligent Transport Systems
/
v.7
no.4
/
pp.13-24
/
2008
Real-time traffic data are readily obtainable by traffic surveillance systems of intelligent transportation systems (ITS). Such data greatly support further applications in the field of traffic operations, planning, and safety. However, traffic data should be appropriately processed to fully exploit the benefits of data collection capability. Rather than developing individual data processing techniques, which is major concern of existing studies, this study proposes a novel methodology for evaluating data processing techniques in an integrated manner. Also, a tool for implementing the proposed methodology is developed. Users can extract useful and more reliable traffic data based upon their ultimate purpose of data usage by the evaluation tool developed in this study. Actual freeway traffic data are, as an example, fed into the evaluation tool, and results are discussed.
Kim, Min Kuk;Kim, Jeong Bae;Park, Jong-Pyo;Jeong, Ui-Seok;Bae, Deg Hyo
Proceedings of the Korea Water Resources Association Conference
/
2017.05a
/
pp.468-468
/
2017
최근 기후변화로 인해 수자원 위험요소인 가뭄 및 홍수피해가 증가하고 있으며, 인구증가에 따른 수량감소로 수자원관리가 더욱 어려워지고 있는 실정이다. 효율적인 수자원관리 및 기후변화 대응을 위해 세계 물시장은 점점 증가하고 있으며, 이에 따라 국내기업 또한 해외사업 진출을 추진하고 있으나, 사업에 필수적인 기상, 수문 등 기초자료의 부재로 어려움을 겪고 있다. 본 연구에서는 국내기업의 해외사업 진출 시 필요한 기상, 지형, 수문, 인문 사회 등 기초자료를 제공하는 글로벌 수자원정보제공시스템(Global Water Bank, GWB)을 설계 및 개발하고자 한다. 국내 외 예비타당성보고서 및 국내에서 수집 가능한 국외 정보현황을 분석하여 자료 제공인자를 도출하였으며, 이를 토대로 시스템 내 제공항목을 기상, 지형, 수문해석, 인문 사회, 기후변화 자료로 구분하였다. 해외시장 진출범위를 고려하여 자료의 공간적인 범위를 전지구로 설정하였으며, 전지구 자료의 가용성을 검토하여 제공자료를 구축하였다. 기상자료는 NCDC (National Climate Data Center)의 관측 지점자료와 APHRODITE (Asian Precipitation - Highly-Resolved Observational Data Integration Towards Evaluation) 격자자료를 수집하였으며, 오 결측 자료는 품질검토를 수행하여 보정하였다. 지형자료의 경우 USGS (U.S. Geological Survey)의 DEM, FAO (Food and Agriculture Organization of the United Nations)의 토양도, UMD (University of Maryland)의 토지피복도를 구축하였다. 수문자료는 GRDC(Global Runoff Data Centre)의 관측 지점자료를 수집하였으며, 미계측 지역의 수문자료 구축을 위해 VIC(Variable Infiltration Capacity) 수문모형을 활용하여 $0.5^{\circ}$ 공간해상도의 격자 유출량 자료를 생산하였다. 인문 사회자료로 World Bank의 국가별 통계자료를 수집하였으며, 구축된 각 자료는 GWB 시스템을 통해 제공된다. 시스템의 시범운영을 위해 아시아 지역을 대상으로 GWB- 버전을 개발하였으며, 시범지역 내 관측자료와 비교분석하여 자료의 활용성을 검증하였다. 추후 GWB 시스템은 해외진출 사업 우선지역 선정 근거로 활용될 수 있는 가상수 및 물산업지수 등의 추가정보를 제공하고 타 지역으로 확대적용 예정이다.
Park, Jin Su;Jeong, Ji Seong;Yang, Chul Seung;Lee, Jeong Gi
The Journal of the Convergence on Culture Technology
/
v.8
no.6
/
pp.899-904
/
2022
As the world becomes an aging society due to a decrease in the birth rate and an increase in life expectancy, a system for health management of the elderly population is needed. Among them, various studies on occupancy and activity types are being conducted for smart home care services for indoor health management. In this paper, we propose a random forest model that classifies activity type as well as occupancy status through indoor temperature and humidity, CO2, fine dust values and UWB radar positioning for smart home care service. The experiment measures indoor environment and occupant positioning data at 2-second intervals using three sensors that measure indoor temperature and humidity, CO2, and fine dust and two UWB radars. The measured data is divided into 80% training set data and 20% test set data after correcting outliers and missing values, and the random forest model is applied to evaluate the list of important variables, accuracy, sensitivity, and specificity.
In territorial ecosystem, soil has stored considerable amount of carbon, and it is vulnerable to weakness release much of the carbon to atmosphere. In this study, we have been effort realization and discussion to the error between inter-instruments and measurement methods, time and special variations, gap filling and separation from each source included in soil respiration, used to collect soil respiration data in various ecosystems in Korea. In conclusion, it have to collect calibration data throughout comparison test between methods and instruments because accumulated data from past and accumulating data in present did not calibrated. In predicting change of soil carbon dynamic using the model method, it needs important data such as longterm and short-term data, artificial handling data of major factor, data from various ecosystem, soil texture, soil depth etc. In company with, we should collect highly qualified data through deep consideration of present problems.
KSCE Journal of Civil and Environmental Engineering Research
/
v.12
no.4_1
/
pp.107-119
/
1992
A heavy storm hit the central part of the Korean Peninsula especially on the Chungju Dam Basin from the 9th to 12th of September 1990. The Chungju multipurpose dam is the largest water project in Korea completed in 1986. The storm recorded a peak inflow of about $21,000m^3/sec$ at the dam site which is equivalent to 500 to 1000 years recurring frequency according to the designed concept. Extensive hydrological analyses including field investigation were performed to identify the storm. The result of the field investigation showed that 6 gages among the 22 telemetering rain-gages located in the basin were proved to be out-of-normal operation during the storm. The corrected basin average rainfall was estimated to be 458.6 mm ranging from 206 to 665 mm. The correction of the rainfall depth included the adjustment of the rainfall depths of the 6 gages using the Kriging interpolation technique, and adjustment according to the heights of the gage mouths. For the maintenance and operation of the Chungju Dam, new design floods were suggested from the trend analysis which showed that the design flood have to be increased because of the increasing tendency of the annual flood peaks.
Sulfur dioxide (SO2) in the atmosphere is mainly generated from anthropogenic emission sources. It forms ultra-fine particulate matter through chemical reaction and has harmful effect on both the environment and human health. In particular, ground-level SO2 concentrations are closely related to human activities. Satellite observations such as TROPOMI (TROPOspheric Monitoring Instrument)-derived column density data can provide spatially continuous monitoring of ground-level SO2 concentrations. This study aims to propose a 2-step residual corrected model to estimate ground-level SO2 concentrations through the synergistic use of satellite data and numerical model output. Random forest machine learning was adopted in the 2-step residual corrected model. The proposed model was evaluated through three cross-validations (i.e., random, spatial and temporal). The results showed that the model produced slopes of 1.14-1.25, R values of 0.55-0.65, and relative root-mean-square-error of 58-63%, which were improved by 10% for slopes and 3% for R and rRMSE when compared to the model without residual correction. The model performance by country was slightly reduced in Japan, often resulting in overestimation, where the sample size was small, and the concentration level was relatively low. The spatial and temporal distributions of SO2 produced by the model agreed with those of the in-situ measurements, especially over Yangtze River Delta in China and Seoul Metropolitan Area in South Korea, which are highly dependent on the characteristics of anthropogenic emission sources. The model proposed in this study can be used for long-term monitoring of ground-level SO2 concentrations on both the spatial and temporal domains.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.