• Title/Summary/Keyword: 자료 품질 검사

Search Result 183, Processing Time 0.035 seconds

A study on applicability of the digit frequency analysis to Hydrological Data (수문학적 데이터의 자릿수 빈도 분석 적용가능성 연구)

  • Jung Eun Park;Seung Jin Maeng;Kwang Suop Lim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.102-102
    • /
    • 2023
  • 벤포드 법칙(Benford's Law)은 실생활에서 관찰되는 수치 데이터를 첫 자리 숫자에 따라 분류할 때 첫 자리의 숫자가 커질수록 그 분포가 점차 감소되는 현상을 말한다. 이러한 벤포드 법칙은 일반식으로 도출하여 다양한 자릿수로 확장하여 적용할 수 있는 연구결과가 제시되었으며, 회계학, 사회과학, 물리학, 컴퓨터과학, 생물학 등 다방면의 수치 자료에서 그 유효성이 확인되고 있다. 자릿수의 관찰빈도를 분석하는 것만으로 많은 양의 실생활 데이터에서 빠르고 쉽게 데이터 조작여부를 탐지하거나 1차적인 데이터 품질검사에 효과적으로 활용되고 있다. 본 연구에서는 다학제적 연구의 측면에서 수학·물리적 법칙인 벤포드 법칙을 일유량 등 다양한 수문학 측정자료에 적용하여 그 적용가능성을 확인하고 자료의 불균질성과 신뢰성을 빠르게 탐지할 수 있는 방법론을 제시하고자 한다. 수문자료는 공인심의를 통해 자료의 신뢰도를 확보하고 있으나 확정·배포까지 약 2년이 소요되어 활용기간 단축에 대한 사용자 요구가 지속되고 있는 실정이다. 따라서 본 연구에서는 분석대상 데이터의 자릿수 관찰빈도가 벤포드 법칙에 의한 예상자릿수 빈도를 따르는지 여부에 대한 가설을 설정하고 카이제곱 검정 또는 Kolmogorov-Smirnov(K-S) 검정 등을 통해 적합도에 대한 통계적 유의미함을 분석함으로써 대략적으로나마 빠르고 쉽게 측정자료의 신뢰성을 판단할 수 있다. 본 연구는 다양한 학문과의 결합을 통한 새로운 접근을 시도함으로써 빅데이터 시대에 효과적으로 수자원의 개발, 관리 및 운영의 의사결정을 하는데 도움이 될 수 있을 것으로 판단된다.

  • PDF

Application of ISMN method for quality control of soil moisture data (토양수분 측정자료의 품질관리를 위한 ISMN 방식 적용)

  • Shin, Hyung Jin;Lee, Jae Nam;Hwang, Seon Ah;Ok, Jung hun;Lee, Ki Won;Park, Chan Gi;Lim, Kyoung Jae
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.254-254
    • /
    • 2022
  • 밭 용수관리 및 가뭄 대응을 위한 토양수분 실측자료의 품질관리가 필수적으로 수행되어야 한다. 토양수분 자료의 체계적인 유지관리를 위해 국제 토양수분 네트워크(International Soil Moisture Network; ISMN)가 설립되었고, 전세계 1,400여개 지점의 토양수분량 자료의 품질관리하고 있다. ISMN 품질관리 방식은 토양특성, 강우에 대한 반응, 토양온도, 시계열특성을 이용한다. 지표면 최상 토층에 저장되어있는 수분인 토양수분은 기후 예측, 홍수 예보, 농업가뭄평가, 수자원 관리, 온실가스 산정, 인프라 보전, 수인성 전염병 모델링 등 다양한 분야에 활용될 수 있다(Dorigo et al., 2011). 본 연구에서는 FDR(Frequency Domain Reflectometry) 기기를 이용한 토양수분 측정자료의 품질관리를 위해 ISMN에서 제시한 총6개의 단계별 품질관리 체계를 적용하였다. 단계는 1) 토양수분이 0 m3m-3보다 작은지, 2) 또는 0.6 m3m-3보다 큰지, 3) 토양수분값이 공극률보다 큰지, 4) 토양온도가 영하인지, 5) 토양수분이 강우 이벤트 없이 증가하는지, 그리고 5) 토양수분 시계열 자료에 spike 가 있는지 6) break나 plateau가 있는지를 검사하여 Quality Flag를 설정하였다. 이를 기반으로 토양수분 데이터 자동 프로그램을 개발하여 이상치를 보정하였다. 향후, ISMN의 Quality Flag (QF1-QF10)를 적용하여 모니터링 자료의 품질관리 자동 프로그램을 개발하고자 한다.

  • PDF

Developement of Soil Moisture Quality Control System - Evaluation of Spike Detecting Algorithm (토양수분 품질관리 시스템 개발 - 튀는 값 검출 알고리즘 평가)

  • Lee, Yong Jun;Kim, Ki young
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.407-407
    • /
    • 2021
  • 토양수분량은 그 양은 작지만 다양한 수문현상에 관여하는 주요한 수문인자 중 하나이다. 특히, 강우, 유출, 홍수 및 가뭄 등과 직접적인 연관이 있어 국내에서도 그 중요성이 점차 강조되고 있다. 일찍이 해외에서는 토양수분량 위성자료나 관측기기의 검증 및 교정을 위해 다수의 지상 관측소를 운영해왔으며, ISMN(International Soil Moisture Network)과 같은 기관을 통해 자료의 취합 및 품질관리, 배포 등도 활발하게 이루어지고 있다. 최근 국내에서도 최신 관측기기의 도입이나 수자원위성의 개발 등 토양수분량에 관한 연구가 점차 활발하게 이루어지고 있으며, 위성자료와 관측기기의 검증 및 교정을 위한 지상관측소도 점차 확대되고 있는 추세이다. 하지만, 국내 지상관측소는 현재 다양한 기관과 단체에 의해 운영되고 있으며, 품질관리 기준이 통일되어 있지 않아 자료의 접근 및 활용 측면에서 개선이 필요한 실정이다. 이에 한국수자원조사기술원은 국내 환경에 맞는 품질관리 기준을 제시하고, 자료의 접근성 및 활용성 개선의 토대를 마련하고자 품질관리 시스템을 개발하고 있다. 본 연구는 정량화된 품질관리 기준을 바탕으로 spike를 판별하는 알고리즘에 대한 성능평가를 다루고 있으며, 청미천 토양수분량 관측소 2020년 자료에 임의의 튀는 값(spike)을 추가하고, 해당 이상치의 검출여부를 확인하는 방식으로 진행되었다. 각각의 지점자료에서 강우사상 중 하강부, 무강우기간 중 하강부를 1개씩 선정하고, 해당 구간에 positive spike를 추가한 case와 negative spike를 추가한 case를 생성해 강우조건 및 spike 유형에 따른 검출성능 차이를 평가했다. 평가 결과, 강우기간 검출률 84.3%, 무강우기간 검출률 96.3%로 강우조건에 따른 성능차이가 명확하게 나타났으며, positive spike는 91.7%, negative spike는 88.9%로 spike 유형에 따른 검출성능차이는 미미했다. 강우조건과 spike 유형을 동시에 고려했을 때는 무강우기간의 positive spike가 98.2%로 가장 높은 검출률을 보인 반면에 강우기간의 negative spike는 83.3%로 가장 낮은 검출률을 보였다. 알고리즘이 검사시간대를 중심으로 24시간 동안의 토양수분량 변화를 감지하기 때문에 강우기간에 검출성능이 저하되는 것으로 판단되며, 이를 개선하기 위해선 강우사상에 따른 유동적인 window size 조절 알고리즘의 추가가 필요할 것으로 판단된다.

  • PDF

Study on the Inspection Guidelines for Performance Improvement of CNC Lathe (CNC LATHE 성능개선을 위한 검사방법에 대한 연구)

  • Kim, Bong-Hun;Yun, Jae-Woong;Kang, Byung-Han
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2009.05a
    • /
    • pp.179-183
    • /
    • 2009
  • 본 연구는 공작기계중 대표적인 CNC LATHE의 검사항목에 관한 문헌연구를 통하여 기초 정밀도 개선 부품 적용 및 정적, 동적 정밀도 보정을 위한 기초 자료를 제시 한다. 그리고 공작기계의 기본 성능과 검사항목과의 관계를 정량적으로 연구하여 각 항목별 허용치를 제시함으로 고품질의 제품을 생산할 수 있는 데이터베이스와 관련 지침을 소개한다.

  • PDF

A Status Report on Dual Energy X-ray Absorptiometry Quality Control in Korea (이중에너지 방사선흡수 골밀도 장치의 품질관리 현황)

  • Kim, Jung-Su;Rho, Young-Hoon;Lee, In-Ju;Kim, Sung-Su;Kim, Kyoung-Ah;Kim, Jung-Min
    • Journal of radiological science and technology
    • /
    • v.39 no.4
    • /
    • pp.527-534
    • /
    • 2016
  • Dual-energy X-ray absorptiometry (DEXA) is the most widely used technical instrument for evaluating bone mineral content (BMC) and density (BMD) in patients of all ages. In 2016, DEXA devices operating is 5617 in Korea. In this study we investigated the quality of management practices survey for DEXA equipment and we analyzed it. We got a survey response rate of 12.6%. Accurate bone densitometry test is used data for estimation a patient's risk of fracture. However, improper bone densitometry will increase the possibility of causing a false positive. Therefore. it is essential to use the proper aids accurate bone densitomenty to be performed, and the quality control of the device to reduce the error factor of the tester through the training to reduce error for the device and the attitude.

A Study on the Frequency of Errors for National Digital Basemap (국가기본도 수치지도 오류발생빈도의 분석연구)

  • Yeu, Bock-Mo;Shin, Dong-Bin
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.5 no.2 s.10
    • /
    • pp.13-27
    • /
    • 1997
  • For the National Geo-Spatial Information System the development of the National Digital Basemap database is actively underway in Korea. For the National Digital Basemap database to be truly useful for various applications development it is essential to maintain its reliability. To maintain the reliability of the database it is necessary to understand the nature and the frequency of the errors in it. In general, a data inspection under the standardized quality control process is required to maintain the quality of a large database. In addition, it is important to maintain complete and detailed records of the inspection results so as to understand the relationship between the m and other factors causing errors. These records can be used as a reference for map updates and future application development. The goal of this study is to count the frequency of errors based on the typology of errors found in the digitized map inspection process and to analyze the correlation between errors and topographic composite quotient This study also provides guidelines for the inspection process regarding the error-prone cartographic elements in the digital map generation process.

  • PDF

Development of gap filling technique for statistical downscaling of cimate change scenario data (기후변화 시나리오 자료의 통계적 상세화를 위한 결측자료 보정 기법 개발)

  • Cho, Jaepil;Kim, Kwang-Hyung;Park, Jihoon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.16-16
    • /
    • 2019
  • 기후변화 시나리오 및 계절예측 자료를 포함한 기후정보를 수자원 분야에 활용하기 위해서는 기후정보의 시 공간적인 상세화(donwscaling)을 필요로 한다. 상세화의 경우 역학적 상세화와 통계학적 상세화로 구분될 수 있으며, 통계학적 상세화를 위해서는 대상 지역의 기후특성을 대표할 수 있는 장기 관측 자료의 확보가 중요하다. 국내의 경우에는 자동기상관측장비(Automatic Weather System, AWS)와 종관기상관측장비(Automatic Synoptic Observation System, ASOS)로 부터 수집된 기상관측자료를 사용할 수 있으나 기후변화 시나리오의 통계적 상세화를 위해서는 30년 이상의 자료 기간을 포함하는 ASOS 자료가 적합하다. 하지만 개발도상국과 같이 기상관측기반이 열악한 지역에서는 잦은 결측 등으로 인하여 품질이 좋은 관측자료의 획득이 어려운 상황이다. 따라서 본 연구에서는 측이 포함된 장기 기상관측 자료로부터 대상 지역의 기후특성을 재현할 수 있도록 기본적인 QC(Quality Control)을 거쳐 결측 자료를 보완할 수 있는 기법 및 R 기반패키지를 개발하여 적용성을 평가하였다. 개발된 기법의 적용성 평가를 위해서 기상청에서 QC를 통해 제공하고 있는 60개 ASOS 지점의 관측자료 중 강수량과 기온 변수를 사용하였다. 최대 50%까지의 현실적인 결측 패턴을 임의로 생성하기 위해 실제 개발도상국 관측자료의 일단위 결측 패턴을 이용하였다. 자료의 QC는 관측일 누락/중복 및 문자형 관측값 등 기본적인 오류 검사, 기온의 경우 물리적 허용 범위에 대한 검사, 최고기온과 최저기온의 비교 및 계측기 오작동에 의한 동일한 값의 반복 등을 포함한 내적 일치성 검사를 우선적으로 수행한다. 이후 결측값에 대해서 인근 기상관측소와의 상관성 분석 결과를 기반으로 결측값을 채우고, 최종적으로는 다양한 위성자료 및 재분석 자료 중에서 일단위 기후특성의 재현성 평가를 통해 선정된 격자형 자료와의 상관성 분석 결과를 기반으로 결측값을 보정하였다. 기온의 경우는 결측률이 높더라도 월평균 기후특성에 큰 영향을 미치지 않았지만 강수의 경우에는 5% 이상의 결측이 발생하는 경우 월평균 강수량에 영향을 미쳐 지역의 강수량을 과소 추정하는 결과를 보였다. 개발된 QC 기법을 강수 자료에 적용한 결과 월평균 기후특성을 잘 복원하는 결과를 보였지만, 일단위 강우 사상의 재현에 있어서는 미흡한 결과를 보였다.

  • PDF

Development of Web-based Process Management System for Spatial Data Construction (웹기반의 공간데이터 구축공정 관리시스템 개발)

  • Choi, Byoung-Gil;Kim, Sung-Soo;Cho, Kwang-Hee
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.14 no.3 s.37
    • /
    • pp.63-70
    • /
    • 2006
  • This study aims to development of web-based process management system for spatial data construction. For developing this system work classification of basic surveying was standardized and quality management method for spatial data was established. Production process and work classification system for basic surveying such as control point surveying using GPS, leveling, aerial photographing, digital mapping, topographic mapping, digital elevation modeling, aerial photographic DB construction and digital orthophotomap was standardized. The status of the output and quality inspection for basic surveying project were analyzed, and the elements of quality inspection and data format for the type of outputs were analyzed. Based on standardized and analyzed contents, web-based process management system was developed after database and process was designed. The process management system consisted of process management, quality control, metadata management, and system management.

  • PDF

Study for the Changes of Annual and Seasonal Mean Temperature Using Adjusted Temperature Data in the Republic of Korea (고품질의 기온자료를 이용한 연.계절평균기온의 변화에 관한 연구)

  • Park, Chang-Yong;Choi, Young-Eun
    • Journal of the Korean Geographical Society
    • /
    • v.46 no.1
    • /
    • pp.20-35
    • /
    • 2011
  • This study suggested the systematic steps for quality control, construction of the climatological reference series and homogeneity test and adjustment of temperature series in the Republic of Korea. It also attempted to evaluate more accurate magnitude of change using adjusted temperature data. All erroneous values produced by quality control were detected by internal inconsistency check. The method selected for homogeneity test in this study well defined fairly correct signals of station relocations. Therefore, this method might be regarded as the appropriate one to test homogeneity of temperature series of the Republic of Korea. The increase of temperature of the Republic of Korea after the adjustment were bigger than before the adjustment of annual and seasonal mean temperature. Adjusted temperature data produced by these steps will enable to evaluate more accurate characteristics and magnitude of climate change.