• Title/Summary/Keyword: 결측자료

Search Result 302, Processing Time 0.036 seconds

Imputation method for missing data based on measure of property (특성도를 이용한 결측치 대체방법)

  • Kim, Hyungju;Kim, Dongjae
    • The Korean Journal of Applied Statistics
    • /
    • v.30 no.3
    • /
    • pp.463-473
    • /
    • 2017
  • How to handle missing data is a main issue in clinical trials. We impute missing data based on missing data that follows a mechanism according to the intention-to-treat rule. However, using the right imputation method for missing data is very important because this supposition is unclear. We suggest a new imputation method for missing data using agreement and maintenance introduced by Kang and Kim (1997). We give an example and adapt a Monte Carlo simulation to compare the performance between the established method and the suggested method.

Development of Truck Axle Load Estimation Model Using Weigh-In-Motion Data (WIM 자료를 활용한 화물차량의 축중량 추정 모형 개발에 관한 연구)

  • Oh, Ju Sam
    • KSCE Journal of Civil and Environmental Engineering Research
    • /
    • v.31 no.4D
    • /
    • pp.511-518
    • /
    • 2011
  • Truck weight data are essential for road infrastructure design, maintenance and management. WIM (Weigh-In-Motion) system provides highway planners, researchers and officials with statistical data. Recently high speed WIM data also uses to support a vehicle weight regulation and enforcement activities. This paper aims at developing axle load estimating models with high speed WIM data collected from national highway. We also suggest a method to estimate axle load using simple regression model for WIM system. The model proposed by this paper, resulted in better axle load estimation in all class of vehicle than conventional model. The developed axle load estimating model will used for on-going or re-calibration procedures to ensure an adequate level of WIM system performance. This model can also be used for missing axle load data imputation in the future.

Missing values imputation for time course gene expression data using the pattern consistency index adaptive nearest neighbors (시간경로 유전자 발현자료에서 패턴일치지수와 적응 최근접 이웃을 활용한 결측값 대치법)

  • Shin, Heyseo;Kim, Dongjae
    • The Korean Journal of Applied Statistics
    • /
    • v.33 no.3
    • /
    • pp.269-280
    • /
    • 2020
  • Time course gene expression data is a large amount of data observed over time in microarray experiments. This data can also simultaneously identify the level of gene expression. However, the experiment process is complex, resulting in frequent missing values due to various causes. In this paper, we propose a pattern consistency index adaptive nearest neighbors as a method of missing value imputation. This method combines the adaptive nearest neighbors (ANN) method that reflects local characteristics and the pattern consistency index that considers consistent degree for gene expression between observations over time points. We conducted a Monte Carlo simulation study to evaluate the usefulness of proposed the pattern consistency index adaptive nearest neighbors (PANN) method for two yeast time course data.

A longitudinal data analysis for child academic achievement with Korea welfare panel study data (경시적 자료를 이용한 아동 학업성취도 분석)

  • Lee, Naeun;Huh, Jib
    • Journal of the Korean Data and Information Science Society
    • /
    • v.28 no.1
    • /
    • pp.1-10
    • /
    • 2017
  • Longitudinal data of Korean child academic achievement have been used to find the significant exploratory variables under the assumption of independent repeated measured data. Using the exploratory variables in previous research works, we analyze the linear mixed model incorporating the fixed and random effects for child academic achievement to detect the significant exploratory variables. Korea welfare panel study data observed three times between 2006 and 2012 by additional survey for children. The child academic achievement is evaluated by the sum of academic achievements of Korean, English and Mathematics. We also investigate the multicollinearity and the missing mechanism and select some popular correlation matrices to analyze the linear mixed model.

Assessment of Water Quality Ananlysis using EFDC Model in Nakdong River Basin (낙동강유역에서의 EFDC 모형에 의한 수질해석 적용성 평가)

  • Choi, Hyun-Gu;Park, Se-Jin;Rho, Hong-Sik;Han, Kun-Yeun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2012.05a
    • /
    • pp.142-142
    • /
    • 2012
  • 지금까지 국내 연구에서 EFDC 모형의 활용은 WASP 모형과 연계하여 저수지 수리해석에 주로 이용되었으며, 하천의 수리해석에서도 많이 활용되었다. 이에 본 연구에서는 EFDC 모형의 Full 버전을 이용하여 하천 수질모델링을 수행하고 적용성과 수질해석의 재현성을 검토하고자 한다. 국립환경과학원의 8일 간격 실측자료를 사용하기 위하여 대상구간을 낙동강 본류 C에서 낙동강 본류 K까지를 선정하였고, 2차원 수리해석과 수질해석을 수행하였다. 수리해석의 결과를 확인하기 위하여 유량을 실측자료와 비교하였으며, 수질인자는 수온, COD, TOC, DO, TN, TP에 대해 모의하였으며, 모형에서 직접 계산되지 않는 BOD는 COD와 환산을 통해 간접적인 방법으로 산정하여 실측자료와 비교하였다. EFDC 모형의 하천에서의 수질해석 적용성을 평가하기 위하여 모의 결과와 실측자료를 이용하여 통계분석을 수행하여 수리 수질해석의 재현성을 평가하였다. 본 연구에서 수행한 EFDC를 이용한 수리 및 수질 모델링의 모의의 예측결과는 우수한 것으로 판단되나, BOD의 경우 다른 인자들의 모의결과에 비해 다소 낮게 나타나고 있는데, 이는 COD나 TOC와 관련된 BOD의 환산에 대한 연구의 부족으로 인한 결과로 보이며, 향후 보다 향상된 기법을 이용한다면 이러한 문제는 개선될 것으로 판단된다. 검증을 위한 실측치로 8일 간격 실측치를 이용하였는데 이 자료의 경우 8일 간격이므로 실제로 결측치가 많이 발생을 하고, 또한 유량이 많이 발생하는 홍수기시에는 관측을 하지 않는 문제가 있어 실제로 자료의 변동이 큰 경우에는 모의 결과가 실측치의 경향을 잘 쫓아가지 못하는 문제가 발생하게 된다. 따라서 모의결과 신뢰도 향상을 위해 일간격의 실측치를 확보하거나 또는 결측치를 보완할 수 있는 기법에 대한 선행 연구가 필요할 것으로 판단된다.

  • PDF

Operating Direction of Integrated Real-time Discharge Measurement System: By Applying Information and Communication Technology (ICT 기술을 적용한 수문조사시설 운영·관리 효율화 및 방향)

  • Dong Heon Oh;Sang Uk Cho
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.439-439
    • /
    • 2023
  • 근래 국내에서는 기후변화로 인한 국지성 호우가 점점 늘어나는 추세로 급격한 하천 수위상승 및 유량 증가로 인해 지속적으로 홍수피해가 발생하고 있으며, 이를 예방하기 위한 실시간 자료수집의 중요성이 증대되고 있다. 이러한 사회적 환경을 고려하여 우리는 물 순환에 관한 자료를 실시간으로 수집하고 홍수예보를 위한 수문조사시설을 설치하여 운영하고 있으나, 대부분 하천과 인접한 곳에 설치되는 시설 특성상 시스템 오류, 전원 이상 발생 등 다양한 요인으로 발생하는 자료 결측·손실에 즉각적인 조치가 어려운 실정이다. 이에, 현장 기반 시설의 안정적인 운영을 통한 연속성 있는 자료 제공을 위해 수문조사시설 중 하천 내 설치된 유량측정시스템에 ICT·사물인터넷(IoT, Internet of Things)을 적용하여 현장 환경-정보 등 언택트(non-contact) 모니터링을 통해 실시간 점검을 수행하였다. 그 결과 2022년 기준 총 508회(현장점검 358회) 점검 중 150회 원격점검을 수행하였고, 이중 74회 즉각 점검 및 복구 조치가 이루어져 점검 시간 단축을 통한 자료 결측 최소화, 현장점검 최소화를 통해 효율적인 시설 운영이 가능하도록 하였다. 또한, 점검을 위해 현장 이동 시 발생하는 이산화탄소 배출량 저감으로 탄소중립 효과도 나타낼 수 있었다. 코로나바이러스감염증-19 이후 사회환경 패러다임 전환에 따라 비대면 활성화, 탄소중립, 안전하고 건전한 사회환경 조성 등과 같이 대면 위주로 운영되는 현장 시설의 관리 방향 또한 사회적 상황을 고려하여 효율적인 시설물 운영, 예산 절감, 자료의 연속성 확보 등을 위해 적극적인 운영 방향의 전환이 필요하다고 판단된다.

  • PDF

User Interface of Data Processing, Design and Construction Techniques of Traffic Database Supporting Archived data (교통정보 이력자료 분석을 위한 통합 교통 데이터베이스의 설계 및 구축과 자료처리 이용자 인터페이스)

  • Lee, Yoon-Kyung;Lee, Min-Soo;NamGung, Sung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.55-59
    • /
    • 2008
  • 분산되어 있는 여러 운영계 시스템에서 대용량의 교통자료를 가져와 교통정보 이력자료를 분석할 수 있는 단일 통합 교통 데이터베이스를 구축한다. 품질 평가, 오류 판단, 결측보정과 평활화 등의 자료처리 과정을 거친 교통자료는 자료의 신뢰도를 판단하고 활용도를 높일 수 있게 해주며 이용자에게 고속도로 통행료 수납자료, 고속도로 전자통행료 수납자료, 차량검지장치자료, 도로전광표지자료, 돌발상황자료, 기상자료, 차량번호인식장치자료 등에 대한 검색 및 자료 처리 기능을 제공한다.

  • PDF

Interpolation of Missing Groundwater-Level Data at the National Groundwater Monitoring Wells (장기 관측 지하수위 결측자료 보완)

  • 정상용;심병완;강동환;원종호;김규범
    • Proceedings of the Korean Society of Soil and Groundwater Environment Conference
    • /
    • 2000.11a
    • /
    • pp.15-22
    • /
    • 2000
  • Long ranged groundwater-level data often have the missing intervals because of the trouble of monitoring systems at the national groundwater monitoring wells. Geostatistical methods are very useful for the supplement of the missing data. Ordinary kriging was applied for the interpolation of the missing groundwater-level data with a smooth sinusoidal variation. Conditional simulation was used for the reproduction of the missing data with high fluctuations. Two geostatistical methods produced the very accurate estimates at the missing intervals and reproduced their original variations. This fact is proved by the cross validation test and graphical method, respectively.

  • PDF

On the Use of Sequential Adaptive Nearest Neighbors for Missing Value Imputation (순차 적응 최근접 이웃을 활용한 결측값 대치법)

  • Park, So-Hyun;Bang, Sung-Wan;Jhun, Myoung-Shic
    • The Korean Journal of Applied Statistics
    • /
    • v.24 no.6
    • /
    • pp.1249-1257
    • /
    • 2011
  • In this paper, we propose a Sequential Adaptive Nearest Neighbor(SANN) imputation method that combines the Adaptive Nearest Neighbor(ANN) method and the Sequential k-Nearest Neighbor(SKNN) method. When choosing the nearest neighbors of missing observations, the proposed SANN method takes the local feature of the missing observations into account as well as reutilizes the imputed observations in a sequential manner. By using a Monte Carlo study and a real data example, we demonstrate the characteristics of the SANN method and its potential performance.

Estimation of South Korea Spatial Soil Moisture using TensorFlow with Terra MODIS and GPM Satellite Data (Tensorflow와 Terra MODIS, GPM 위성 자료를 활용한 우리나라 토양수분 산정 연구)

  • Jang, Won Jin;Lee, Young Gwan;Kim, Seong Joon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.140-140
    • /
    • 2019
  • 본 연구에서는 Terra MODIS 위성자료와 Tensorflow를 활용해 1 km 공간 해상도의 토양수분을 산정하는 알고리즘을 개발하고, 국내 관측 자료를 활용해 검증하고자 한다. 토양수분 모의를 위한 입력 자료는 Terra MODIS NDVI(Normalized Difference Vegetation Index)와 LST(Land Surface Temperature), GPM(Global Precipitation Measurement) 강우 자료를 구축하고, 농촌진흥청에서 제공하는 1:25,000 정밀토양도를 기반으로 모의하였다. 여기서, LST와 GPM의 자료는 기상청의 종관기상관측지점의 LST, 강우 자료와 조건부합성(Conditional Merging, CM) 기법을 적용해 결측치를 보간하였고, 모든 위성 자료의 공간해상도를 1 km로 resampling하여 활용하였다. 토양수분 산정 기술은 인공 신경망(Artificial Neural Network) 모형의 딥 러닝(Deep Learning)을 적용, 기계 학습기반의 패턴학습을 사용하였다. 패턴학습에는 Python 라이브러리인 TensorFlow를 사용하였고 학습 자료로는 농촌진흥청 농업기상정보서비스에서 101개 지점의 토양수분 자료(2014 ~ 2016년)를 활용하고, 모의 결과는 2017 ~ 2018년까지의 자료로 검증하고자 한다.

  • PDF