• 제목/요약/키워드: 결측 복원

검색결과 19건 처리시간 0.03초

시계열 지자기 측정 자료의 복원, 예측 및 잡음 분석 연구 (Restoration, Prediction and Noise Analysis of Geomagnetic Time-series Data)

  • 지윤수;오석훈;서백수;이덕기
    • 한국지구과학회지
    • /
    • 제32권6호
    • /
    • pp.613-628
    • /
    • 2011
  • 한반도에서 측정되고 있는 시계열 지자기 자료에 대해 결측 자료에 대한 복원과 측정 자료에 기반한 예측, 그리고 기관별 관측 자료에 대한 잡음도를 분석하였다. 결측 자료의 복원을 위해 주성분 분석을 통한 최적화 기법과 지구 통계학적 접근에 의한 방법을 적용하고 그 효과를 비교하였다. 주성분 기법은 자료의 주기성을 효율적으로 반영하는 특성을 보였으며, 지구통계학적 방법은 안정적인 복원 능력을 보였다. 관측소 별 잡음도를 파악하기 위해 이천 및 청양에서 동일 기간에 관측한 지자기 자료에 대해 공간적 분산성을 스캐터그램을 이용해 파악하였다. 그 결과 청양 관측소의 자료가 이천 관측소의 자료보다 연속적이며 안정적인 측정이 이루어진 것을 알 수 있었으며, 복원을 위한 크리깅 추정에서도 실제 자료의 추정이 매우 정확하게 이루어졌다. 결측자료의 복원의 경우 20분 이내의 결측 자료에 대해서는 크리깅 기법과 주성분 기법 모두 유사한 결과를 보였으나, 그 이상의 결측에 대한 복원과 지자기 자료의 예측이 필요한 경우에는 주성분 기법을 적용해야 주파수 영역에서의 특성이 실제와 더욱 유사하게 나타났다. 또한 지자기 자료의 예측을 위해서는 주성분 분석이 효율적으로 이용될 수 있음을 파악하였으며, 하루 정도의 지자기장을 예측할 수 있는 것으로 보인다.

연속적 결측이 존재하는 기온 자료에 대한 결측복원 기법의 비교 (A comparison of imputation methods for the consecutive missing temperature data)

  • 김희경;강인경;이재원;이영섭
    • 응용통계연구
    • /
    • 제29권3호
    • /
    • pp.549-557
    • /
    • 2016
  • 장기간의 기후 자료가 누적되다 보면 자료의 수집과정에서 시스템적 오류나 측정 장비의 고장 등으로 인하여 연속적 결측이 종종 발생하게 된다. 연속적인 결측 형태를 갖는 경우 시계열 결측 자료를 대체하는 것에 어려움이 따른다. 이러한 경우 참조시계열을 이용하여 결측값을 대체할 수 있다. 참조시계열은 결측이 발생한 시계열과 관련성이 높은 주변지점의 시계열로 구성할 수 있다. 본 연구에서는 결측값을 대체시킬 수 있는 3가지 결측복원 기법-수정된 정규화비율 방법, 회귀 방법, IDW 방법-을 비교하는 시뮬레이션을 수행하였다. 우리나라 14개 지점의 기후관측소의 일평균기온값을 대상으로 비교한 결과 남쪽 해안가에 위치한 기후관측소의 자료에 대해서는 IDW 방법이 가장 정확한 것으로 나타났으며, 그 외 지역의 기후관측소 자료에 대해서는 회귀 방법이 가장 정확한 것으로 나타났다.

GOCI Chlorophyll-a 결측 자료의 복원을 위한 DINEOF 방법 적용 (Application of DINEOF to Reconstruct the Missing Data from GOCI Chlorophyll-a)

  • 황도현;정한철;안재현;최종국
    • 대한원격탐사학회지
    • /
    • 제37권6_1호
    • /
    • pp.1507-1515
    • /
    • 2021
  • 해색 원격 탐사를 통해 chlorophyll-a를 추정하면 식물성 플랑크톤, 해양일차생산력의 전 지구적 분포를 파악할 수 있다. 하지만 위성으로 관측된 해색 자료는 구름이나 기상 상황 등에 의하여 결측 데이터가 발생한다. 본 연구에서는 DINEOF를 이용하여 GOCI chlorophyll-a 산출물의 결측 자료를 복원하고자 하였다. DINEOF는 시·공간 자료에 기반을 두어 결측 자료를 복원하는 방법으로, 정확도는 GOCI chlorophyll-a 영상의 일부를 제거한 뒤 복원 영상과 비교하여 교차 검증하였다. 연구지역에서 DINEOF를 위한 최적의 EOF 모드는 10-13이었다. 시·공간 복원 자료 결과에서는 오후 시간대 chlorophyll-a 농도가 증가하는 경향이 반영되었고, 노이즈에 해당되는 이상치는 필터링 되는 효과를 보였다. 따라서 DINEOF는 결측이 발생한 영상에 대하여 복원 자료로 활용 가능할 것으로 보이며, 이를 통해 해양 환경 모니터링을 위한 기초 자료로 사용 가능할 것으로 판단된다.

격자자료 결측복원을 위한 DCT-PLS 기법의 활용성 평가 (Evaluation of the DCT-PLS Method for Spatial Gap Filling of Gridded Data)

  • 윤유정;김서연;정예민;조수빈;이양원
    • 대한원격탐사학회지
    • /
    • 제36권6_1호
    • /
    • pp.1407-1419
    • /
    • 2020
  • 지구환경 변화를 파악하는 데 있어서는 장기 시계열의 격자자료가 필수적이며, 기후 재분석장과 위성자료는 대기 및 지표면 변수에 대하여 전 지구 규모에서 주기적이고 정량적인 정보로 활용되고 있다. 본 연구에서는 위성자료의 결측 문제를 해결하기 위한 방안으로 DCT-PLS (penalized least square regression based on discrete cosine transform) 기반의 결측복원 기법을 서로 다른 특성을 가진 복수의 격자자료에 적용하고, 정량적인 검증을 통하여 그 활용성을 평가하였다. 원본 자료와의 객관적인 비교를 위하여 결측이 없는 LDAPS (Local Data Assimilation and Prediction System) 모델로부터 상대습도, 풍속 일자료를 추출하고, MODIS (Moderate Resolution Imaging Spectroradiometer)의 월간 합성 LST (land surface temperature), NDVI (normalized difference vegetation index) 영상을 사용하여, 임의로 생성된 결측 블록이 원본에 매우 가깝게 복원됨을 확인하였고, 4가지 변수 모두에서 상관계수 0.95 이상의 일치도를 나타내었다. DCT-PLS 기반 결측복원 기법은 별도의 보조자료를 필요로 하지 않고, 필요시 시간 및 공간 정보를 모두 활용할 수 있으며, 처리속도가 비교적 빠르기 때문에 현업시스템에 사용될 수 있을 것으로 사료된다.

기후변화 시나리오 자료의 통계적 상세화를 위한 결측자료 보정 기법 개발 (Development of gap filling technique for statistical downscaling of cimate change scenario data)

  • 조재필;김광형;박지훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.16-16
    • /
    • 2019
  • 기후변화 시나리오 및 계절예측 자료를 포함한 기후정보를 수자원 분야에 활용하기 위해서는 기후정보의 시 공간적인 상세화(donwscaling)을 필요로 한다. 상세화의 경우 역학적 상세화와 통계학적 상세화로 구분될 수 있으며, 통계학적 상세화를 위해서는 대상 지역의 기후특성을 대표할 수 있는 장기 관측 자료의 확보가 중요하다. 국내의 경우에는 자동기상관측장비(Automatic Weather System, AWS)와 종관기상관측장비(Automatic Synoptic Observation System, ASOS)로 부터 수집된 기상관측자료를 사용할 수 있으나 기후변화 시나리오의 통계적 상세화를 위해서는 30년 이상의 자료 기간을 포함하는 ASOS 자료가 적합하다. 하지만 개발도상국과 같이 기상관측기반이 열악한 지역에서는 잦은 결측 등으로 인하여 품질이 좋은 관측자료의 획득이 어려운 상황이다. 따라서 본 연구에서는 측이 포함된 장기 기상관측 자료로부터 대상 지역의 기후특성을 재현할 수 있도록 기본적인 QC(Quality Control)을 거쳐 결측 자료를 보완할 수 있는 기법 및 R 기반패키지를 개발하여 적용성을 평가하였다. 개발된 기법의 적용성 평가를 위해서 기상청에서 QC를 통해 제공하고 있는 60개 ASOS 지점의 관측자료 중 강수량과 기온 변수를 사용하였다. 최대 50%까지의 현실적인 결측 패턴을 임의로 생성하기 위해 실제 개발도상국 관측자료의 일단위 결측 패턴을 이용하였다. 자료의 QC는 관측일 누락/중복 및 문자형 관측값 등 기본적인 오류 검사, 기온의 경우 물리적 허용 범위에 대한 검사, 최고기온과 최저기온의 비교 및 계측기 오작동에 의한 동일한 값의 반복 등을 포함한 내적 일치성 검사를 우선적으로 수행한다. 이후 결측값에 대해서 인근 기상관측소와의 상관성 분석 결과를 기반으로 결측값을 채우고, 최종적으로는 다양한 위성자료 및 재분석 자료 중에서 일단위 기후특성의 재현성 평가를 통해 선정된 격자형 자료와의 상관성 분석 결과를 기반으로 결측값을 보정하였다. 기온의 경우는 결측률이 높더라도 월평균 기후특성에 큰 영향을 미치지 않았지만 강수의 경우에는 5% 이상의 결측이 발생하는 경우 월평균 강수량에 영향을 미쳐 지역의 강수량을 과소 추정하는 결과를 보였다. 개발된 QC 기법을 강수 자료에 적용한 결과 월평균 기후특성을 잘 복원하는 결과를 보였지만, 일단위 강우 사상의 재현에 있어서는 미흡한 결과를 보였다.

  • PDF

재난 모니터링을 위한 Landsat 8호 영상의 구름 탐지 및 복원 연구 (Cloud Detection and Restoration of Landsat-8 using STARFM)

  • 이미희;천은지;어양담
    • 대한원격탐사학회지
    • /
    • 제35권5_2호
    • /
    • pp.861-871
    • /
    • 2019
  • Landsat 위성영상은 재난 피해 지역에 대해 주기적이며 광역적인 관측이 가능하여 재난 피해분석, 재난 모니터링 등 활용도가 증가하고 있다. 하지만 광학위성영상 특성상 구름으로 인한 결측된 영역으로 인해 주기적인 재난 모니터링에는 한계가 있어 결측된 영역의 복원 연구가 필요하다. 본 연구에서는 Landsat 8호 영상 취득 시 제공되는 QA밴드를 이용하여 구름 및 구름그림자를 탐지 및 제거하고, STARFM 알고리즘을 통해 제거된 영역의 영상 복원을 수행하였다. 복원된 영상은 기존의 영상 복원 방법으로 복원된 영상과 MLC 기법을 통해 정확도를 비교하였다. 그 결과, STARFM으로 인한 복원방법이 전체정확도 89.40%로, 기존의 영상 복원 방법보다 효율적인 복원방법임을 확인하였다. 따라서 본 연구결과를 통해 향후 Landsat 위성영상을 이용한 재난분석 수행 시 활용도를 높일 수 있을 것으로 기대된다.

웨어러블 디바이스 서비스 향상을 위한 개인 맞춤형 데이터 복원 알고리즘 (Personalized Data Restoration Algorithm to Improve Wearable Device Service)

  • 박기군;배혜림
    • 한국빅데이터학회지
    • /
    • 제6권2호
    • /
    • pp.51-60
    • /
    • 2021
  • 웨어러블 디바이스의 시장규모는 매년 가파르게 성장하고 있으며, 그 슈요에 발맞춰 전세계 제조업체들은 각자만의 특성을 살린 제품들을 선보이고 있다. 그중 스마트워치는 판매량 지분이 매우 높은 웨어러블 디바이스이며, 실시간으로 수집하는 정보를 활용해 사용자들에게 다양한 서비스를 제공하고 있다. 서비스의 품질은 스마트워치가 수집하는 데이터의 정확성에 의존하게 되는데, 상황에 따라 데이터 측정이 되지 않는 경우가 발생한다. 본 논문은 스마트워치가 수집하지 못한 데이터를 복원하는 방법을 소개한다. 데이터 복원을 위해 시간의 흐름에 따라 측정되는 운동궤적(Trajectory) 정보의 유사도 계산 방법을 다루며, 유사도에 따라 결측 구간을 복원하는 절차를 소개한다. 제안된 방법의 성능을 입증하기 위해 기계학습 알고리즘과의 비교실험을 진행하였으며 마지막으로 본 연구의 기대효과와 향후 연구 방향에 대해 다룬다.

3차원 스캔한 인체 샅부위의 결측부위 복원 방법 비교 (Comparison of the Editing Method of Missing Area in 3D Scanned Image of Men's Crotch)

  • 김소영;홍경희
    • 한국의류학회지
    • /
    • 제33권3호
    • /
    • pp.401-409
    • /
    • 2009
  • The shape of crotch area is very important to develop functional clothing as well as other ergonomic goods such as chair or saddle etc. However, it is inevitable that 3D scanned image of crotch would have missing part due to its folded shape including overlapping legs nearby. Therefore, the objectives of this research was to compare reconstruction methods of missing parts at crotch using seven dummies of real men's replicas. Two reconstruction methods adopted were kinds of 'fill- hole' in Rapidform 2004, one was 'smooth' and the other was 'curvature'. Each restored image was compared with the original shape of the dummies. As results, the average distance was 0.66mm between original and 'smooth' treated images and 0.59mm between original and 'curvature' treated, which was not statistically different. Average area of restored crotch region was $8740.04cm^2$ by 'smooth' method and $8405.02cm^2$ by 'curvature' method which is close to the original area of $8413.76cm^2$. Statistical difference was found between images of original and 'smooth' ones$(p=0.04^*)$. However, there was no difference between original and 'curvature' treated images, which indicates that 'curvature' method is more useful to fill the hole compared with 'smooth' method.

Sentinel-1 레이더 식생지수와 AutoML을 이용한 Sentinel-2 NDVI 결측화소 복원 (Gap-Filling of Sentinel-2 NDVI Using Sentinel-1 Radar Vegetation Indices and AutoML)

  • 윤유정;강종구;김서연;정예민;최소연;임윤교;서영민;원명수;천정화;김경민;장근창;임중빈;이양원
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1341-1352
    • /
    • 2023
  • 위성영상 기반의 정규식생지수(normalized difference vegetation index, NDVI)는 넓은 영역에서 주기적인 정보를 수집할 수 있어 산림 및 농업 모니터링에 주로 사용된다. 그러나 광학센서 기반 식생지수는 구름 등의 영향으로 일부 지역에서 결측을 가지기 때문에, 본 연구는 전천후 및 주야에 관계없이 관측 가능한 Sentinel-1의 합성 개구 레이더(synthetic aperture radar, SAR) 영상을 활용하여 Sentinel-2 NDVI 결측값을 복원하는 모델을 개발하였다. 이는 광학적으로 관측이 어려운 구름 조건이나 야간에도 NDVI를 추정할 수 있는 잠재력을 보여준다. Automated machine learning (AutoML)을 활용한 비선형 결측복원모델의 5폴드(fold) 교차검증 결과, 절대오차 7.214E-05, 상관계수 0.878의 NDVI 복원 성능을 보였다. 이를 통해 시공간 연속적인 NDVI 생산 방법론을 발전시켜, 전천후 식생 모니터링에 필요한 정보 생산에 기여할 수 있을 것으로 기대된다.

기상모델자료와 기계학습을 이용한 GK-2A/AMI Hourly AOD 산출물의 결측화소 복원 (Spatial Gap-filling of GK-2A/AMI Hourly AOD Products Using Meteorological Data and Machine Learning)

  • 윤유정;강종구;김근아;박강현;최소연;이양원
    • 대한원격탐사학회지
    • /
    • 제38권5_3호
    • /
    • pp.953-966
    • /
    • 2022
  • 에어로솔(aerosol)은 대기 질을 악화시키는 등 인체 건강에 악영향을 끼치므로 에어로솔의 분포 및 특성에 대한 정량적인 관측이 필수적이다. 최근 전 지구 규모에서의 주기적이고 정량적인 정보 획득 수단으로 위성관측 Aerosol Optical Depth (AOD) 영상이 다양한 연구에 활용되지만 광학센서 기반의 위성 AOD 영상은 구름 등의 조건을 가진 일부 지역에서 결측을 가진다. 이에 본 연구는 위성자료의 결측복원을 위하여 격자형 기상자료와 지리적 요소를 입력변수로 하여 Random Forest (RF) 기반 gap-filling 모델을 생성한 이후, gap-free GK-2A/AMI AOD hourly 영상을 산출하였다. 모델의 정확도는 -0.002의 Mean Bias Error (MBE), 0.145의 Root Mean Square Error (RMSE)로, 원자료의 목표 정확도보다 높으며 상관계수 0.714로 복원 대상이 대기변수인 점을 감안하면 상관계수 측면에서도 충분한 설명력을 갖춘 모델이다. 정지궤도 위성의 높은 시간 해상도는 일변화 관측에 적합하며 대기보정을 위한 입력, 지상 미세먼지 농도 추정, 소규모 화재 또는 오염원 분석 등 타 연구를 위한 자료 활용 측면에서 중요하다.