• 제목/요약/키워드: 결측 복원

검색결과 19건 처리시간 0.044초

머신러닝 기반의 강우추정 방법 개발 (Development of Machine Learning Based Precipitation Imputation Method)

  • 한희찬;김창주;김동현
    • 한국습지학회지
    • /
    • 제25권3호
    • /
    • pp.167-175
    • /
    • 2023
  • 강우 데이터는 습지관리, 수문모의, 수자원 관리와 같은 다양한 분야에서 활용되는 필수 입력자료 중 하나이다. 강우 데이터를 활용하여 효율적인 수자원관리를 위해서는 기본적으로 데이터의 결측률을 최소화 시킴으로써 최대한 많은 데이터를 확보하는 것이 필수적이다. 또한 미계측 지역에 대한 강우 데이터를 확보한다면 보다 효율적인 수문모의가 가능하다. 그러나 결측 강우 데이터는 주로 통계학적 기법에 의해 추정되어 왔다. 본 연구의 목적은 데이터 간의 상관관계를 기반으로 새로운 데이터를 예측할 수 있는 머신러닝 알고리즘을 활용하여 결측 강우 데이터를 복원할 수 있는 새로운 방법을 제안하고자 한다. 또한, 기존의 통계적 방법들과 비교하여 머신러닝 기법의 결측 강우 데이터 복원을 위한 활용가치를 평가하고자 한다. 평가를 위해 대표적인 머신러닝 알고리즘인 Artificial Neural Network (ANN)과 Random Forest (RF)을 적용하였다. 강우의 발생 유무를 분류하는 성능은 RF 알고리즘이 ANN 알고리즘보다 강우 발생유무의 분류 정확도가 높은 것으로 나타났다. 분류 모형의 평가 지표인 F1-score나 Accuracy값이 RF는 0.80, 0.77인 반면에, ANN은 0.76, 0.71로 계산되었다. 또한 강우량을 추정하는 성능 역시 RF가 ANN 알고리즘보다 보다 높은 정확도를 보였다. RF과 ANN 알고리즘의 RMSE은 2.8mm/day과 2.9mm/day이고, R2값은 0.73, 0.68으로 계산되었다.

Landsat 8호 영상 복원을 위한 SSG 기법 활용성 평가 (Evaluation of the Utility of SSG Algorithm for Image Restoration of Landsat-8)

  • 이미희;이달근;유정흠;김진영
    • 대한원격탐사학회지
    • /
    • 제36권5_4호
    • /
    • pp.1231-1244
    • /
    • 2020
  • Landsat 위성은 지구표면을 장기간 관측한 대표적인 광학위성으로 재난 대비/복구 모니터링, 토지 이용 변화, 변화 탐지, 시계열 모니터링 등의 장기적인 변화에 활용하기 적합한 위성이다. 본 연구에서는 간단하고 효율적으로 구름을 탐지 및 제거하기 위해 QA밴드를 이용하여 구름 및 구름 그림자를 탐지하였다. 그 다음, 참조영상의 화소값을 직접 참조하는 것이 아닌 복원을 수행할 영상 내 화소값으로 복원을 수행하는 SSG 알고리즘을 통해 영상의 결측영역을 복원하였다. 본 연구를 통하여 지표를 관측하는 기존의 가시광선 영역뿐만 아니라 열 파장대역의 다양한 토지피복 상태의 정보를 복원하여 정량·정성적으로 평가함으로써 변형된 SSG 알고리즘의 활용 가능성을 제시하고자 하였다.

다변량 통계 분석을 이용한 결측 데이터의 예측과 센서이상 확인 (Missing Value Estimation and Sensor Fault Identification using Multivariate Statistical Analysis)

  • 이창규;이인범
    • Korean Chemical Engineering Research
    • /
    • 제45권1호
    • /
    • pp.87-92
    • /
    • 2007
  • 최근 공정의 이상을 감지하고 진단하기 위한 공정 모니터링 시스템의 개발이 공정 시스템 분야에서 많은 주목을 받고 있다. 공정으로부터 얻어지는 데이터는 공정의 특성에 대한 유용한 정보를 제공하고 이는 공정의 모델링과 모니터링 그리고 제어에 사용된다. 현대의 화학 및 환경 공정은 고차원적인 특성과 변수간의 강한 상관관계와 동특성 그리고 비선형적 특성을 가지고 있어 모델 기반 접근을 통해 공정을 분석하는 것을 쉽지 않다. 이러한 모델 기반 접근의 한계를 극복하기 위해 많은 시스템 엔지니어와 연구자들이 주성분 분석법(principal component analysis, PCA) 또는 부분 최소 자승법(partial least squares, PLS)과 같은 다변량 분석을 접목한 통계 기반 접근법에 초점을 맞추고 있다. 또한 동특성, 비선형성 등과 같은 특성을 가진 공정에 적용하기 위해 많은 다변량 분석법들이 보완되었다. 여기에서는 동적 주성분 분석법(dynamic PCA)과 케노니컬 변수 분석법(canonical variate analysis)을 이용한 결측 데이터의 예측법과 공정 변수의 복원을 통한 센서 오작동의 판별법에 대해 언급해 보고자 한다.

딥러닝 기법을 활용한 위성 관측 해수면 온도 자료의 결측부 복원에 관한 연구 (Restoration of Missing Data in Satellite-Observed Sea Surface Temperature using Deep Learning Techniques)

  • 박원빈;최흥배;한명수;엄호식;송용식
    • 해양환경안전학회지
    • /
    • 제29권6호
    • /
    • pp.536-542
    • /
    • 2023
  • 인공위성은 최첨단 기술로써 시공간적 관측제약이 적어 해양 사고에 효과적 대응과 해양 변동 특성 분석 등으로 각국의 국가기관들이 위성 정보를 활용하고 있다. 하지만 고해상도 위성 관측 기반 해수면 온도 자료(Operational Sea Surface Temperature and Sea Ice Analysis, OSTIA)는 위성의 기기적, 또는 지리적 오류와 구름으로 인해 낮게 관측되거나 공백으로 처리되며 이를 복원하기까지 수 시간이 소요된다. 본 연구는 최신 딥러닝 기반 알고리즘인 LaMa 기법을 활용하여 결측된 OSTIA 자료를 복원하고, 그 성능을 기존에 이용되어 온 세 가지 영상처리 기법들의 성능과 비교하여 평가하였다. 결정계수(R2)와 평균절대오차(MAE) 값을 이용하여 각 기법의 위성 영상 복원 성능을 평가한 결과, LaMa 알고리즘을 적용하였을 때의 R2과 MAE 값이 각각 0.9 이상, 0.5℃ 이하로, 기존에 사용되어 온 쌍 선형보간법, 쌍삼차보간법, DeepFill v1 기법을 적용한 것보다 더 우수한 성능을 보였다. 향후에는 현업 위성 자료 제공 시스템에 LaMa 기법을 적용하여 그 가능성을 평가해 보고자 한다.

Neyman-Scott Rectangular Pulse 모형 기반의 다지점 강수모의 기법 개발 (A development of multisite hourly rainfall simulation technique based on neyman-scott rectangular pulse model)

  • 문장원;김장경;문영일;권현한
    • 한국수자원학회논문집
    • /
    • 제49권11호
    • /
    • pp.913-922
    • /
    • 2016
  • 유역의 신뢰성 있는 수자원계획을 수립하기 위해서는 장기간의 강수자료가 필수적으로 요구된다. 그러나 시간강수시계열의 경우 결측치가 상대적으로 많으며, 연속적인 시계열을 확보하는데 어려움이 있다. 이러한 점에서 본 연구에서는 대표적인 시간강수모의기법인 Neyman-Scott Rectangular Pulse Model (NSRPM) 기반의 강수모의기법을 활용하여, 모의기반의 장기강수자료를 생산할 수 있는 기법을 개발하고자 한다. 이와 더불어, 신뢰성 있는 면적강수량을 추정하기 위한 방안으로 유역 내 여러 지점의 강수량을 동시에 모의할 수 있는 다지점 시간강수모의기법을 개발하였다. 개발된 모형은 서울 우이천 유역 강수지점에 적용하여 모형의 적합성을 평가하였다. 모형 적용결과 다양한 지속시간에 대해서 강수량의 효과적인 모의(평균, 분산, 1차 자기상관계수)가 가능하였으며, 지점간의 공간성도 효과적으로 복원 가능하였다.

머신러닝 알고리즘을 이용한 결측 강우 데이터 추정에 관한 연구 (Imputation of missing precipitation data using machine learning algorithms)

  • 한희찬
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.320-320
    • /
    • 2023
  • 강우 데이터는 수문기상, 환경, 농업, 자연재해, 그리고 수자원 시스템 분야에서 가장 필수적인 기본 요소 중 하나이다. 또한 강우 데이터는 수문학적 분석에서 활용되는 필수 입력 자료 중 하나로 관측 데이터의 품질에 따라 수문 모형을 이용한 모의 결과물의 정확도가 결정된다고 할 수 있다. 따라서, 강우 관측소별로 강우 데이터의 품질을 어떻게 관리하느냐에 따라 수문 모형의 활용 범위 및 수자원 관리의 효율성이 결정될 수 있다. 강우의 시공간적 변동성은 수 많은 인자들과 직간접적으로 연계되어 있기 때문에 미계측 강우 자료에 대해 직접 관측이 아닌 수치 모형을 이용하여 강우의 발생과 강우량을 산정하는 것은 매우 복잡한 과제 중 하나이다. 현재 국내에서 운용되고 있는 강우 관측소의 경우에도 미계측 된 강우 데이터가 존재함으로써 강우 데이터의 활용에 제한이 생기는 경우가 있다. 따라서, 이러한 미계측 데이터의 추정 및 보완은 보다 효과적인 수재해 방지, 수자원 관리를 위한 필수 과제 중 하나이다. 일반적으로, 미계측 강우를 산정하기 위해서 Kriging, Thiessen, 등우선법, 그리고 역거리 관측법 등 다양한 수문학적 방법들이 적용되고 있다. 이러한 방법들은 산악효과나 강우 관측소의 분포 상태 등을 고려하지 못하기 때문에 측정하는 지역에 따라 강우 추정 오차가 커질 수 있다는 한계가 있다. 최근에는 데이터 관측 시스템과 빅데이터 기술의 발전과 활용 가능한 데이터의 양이 증가함에 따라 머신러닝을 활용한 사례가 증가하고 있다. 머신러닝은 데이터 사이의 관계를 기반으로 분류, 회귀, 그리고 예측 문제에 주로 사용되는 기법 중 하나이다. 따라서, 본 연구에서는 광주광역시 지역에 위치한 주요 강우 관측 지점들을 대상으로 미계측 된 시강우 데이터를 추정 및 복원하고자 한다. 여기서 데이터 추정 기술이란 미계측 강우의 발생 유무 및 강우량을 추정할 수 있는 기술을 의미한다. 이를 위해 대표적인 머신러닝 알고리즘인 인공신경망(Artificial Neural Network) 및 랜덤포레스트(Random Forest)를 적용하였다.

  • PDF

GK2A 일단위 NDVI의 과소추정 노이즈 실시간 보정 (A Real-time Correction of the Underestimation Noise for GK2A Daily NDVI)

  • 이수진;윤유정;손은하;김미자;이양원
    • 대한원격탐사학회지
    • /
    • 제38권6_1호
    • /
    • pp.1301-1314
    • /
    • 2022
  • Normalized Difference Vegetation Index (NDVI)는 간단한 수식으로 식생 활력도를 파악할 수 있기 때문에, 토지피복, 곡물수확, 농업가뭄, 토양수분, 산림재해 등의 분야에서 지표면의 식생 상태를 나타내는 지시자로 활용되고 있다. 그러나 가시광선과 적외선을 감지하는 광학위성센서는 구름을 투과하여 센싱(sensing)할 수 없으므로, 구름 화소에 대해서는 지표면의 NDVI가 계산될 수 없다. 본 연구에서는 천리안위성 2A호(GEO-KOMPSAT-2A, GK2A) 일단위 NDVI의 과소추정 노이즈를 개선하기 위한 실시간 보정기법을 개발하였으며, Moderate Resolution Imaging Spectroradiometer (MODIS) NDVI와의 정량적 비교 및 시계열 변화에 대한 정성적 해석을 통해 제안된 기법의 유용성을 확인하였다. 식생의 생장 주기를 반영한 시계열 보정, 장기간 기후치를 이용한 이상치 제거, 엄밀한 통계기반의 결측화소 복원 등의 과정을 거친 보정 NDVI에서는 구름에 의한 과소추정이 효과적으로 개선되었다. MODIS NDVI와의 상관성이 원값보다 높고, 그 차이가 감소한 경향을 보여주었으며, 특히 여름철에는 32.7%의 향상률을 보였다. 본 연구에서 제안한 방법은 일부 수정을 거쳐 타 위성산출물에도 적용될 수 있는 확장성을 가지고 있다.

산악기상관측정보를 이용한 위성정보 기반의 전천후 기온 자료의 평가 - 강원권역을 중심으로 (Evaluation of the Satellite-based Air Temperature for All Sky Conditions Using the Automated Mountain Meteorology Station (AMOS) Records: Gangwon Province Case Study)

  • 장근창;원명수;윤석희
    • 한국농림기상학회지
    • /
    • 제19권1호
    • /
    • pp.19-26
    • /
    • 2017
  • 지표면 기온($T_{air}$ surface air temperature)은 기상 및 기후학 분야에서 대표적인 기상인자일 뿐만 아니라 육상생태계 기능을 조절하는 주요 환경조건 인자이다. MODIS와 같은 인공위성정보 활용 기술은 지표면 기온을 연속적으로 모니터링 할 수 있는 기회를 제공한다. 하지만 복잡 산악지역에서의 관측 정확도의 한계와 구름 등에 의한 자료 결측은 연속적인 모니터링을 제한한다. 이 연구에서는 위성정보를 기반으로 복잡 산악지역에서 인 강원도 지역을 대상으로 전천후 기온정보를 생산하여 산악기상관측자료를 이용하여 평가하였다. 산악지역에 대한 정확도 개선을 위해 Aqua MODIS 기온정보(MYD07_L2)에 대기기온감률 방법을 적용한 결과, 기존보다 약 4% RMSE 개선효과(ME의 경우 95%)가 나타났다. 전천후 기온정보 산출을 위해 MYD07_L2 기온정보와 GCOM-W1 AMSR2 37 GHz 밝기온도 자료간의 픽셀 기반의 회귀모형 방법을 적용하였다. 산악기상 관측 자료와 비교한 결과 전반적으로 좋은 일치도를 보였으나(r=0.80, RMSE=7.9K), 겨울철에 다소 과소모의의 경향을 나타냈다. 그럼에도 불구하고 전체 자료 중 결측되었던 61.4%의 자료(n=2,657)를 복원하여 복잡 산악지역에 대해 위성정보 기반의 전천후 기온정보 생산이 가능함을 확인하였다. 향후 이 연구에서 사용한 간단하고 효과적인 회귀모형 방법은 과거 및 최신 위성정보를 활용을 통한 시공간적인 확장이 가능할 것으로 사료된다.

국내 지역안전도 평가의 개선방안 연구 (A Study on Improvement Plans for Local Safety Assessment in Korea)

  • 김용문
    • 한국방재안전학회논문집
    • /
    • 제14권4호
    • /
    • pp.69-80
    • /
    • 2021
  • 본 연구는 매년 실시되는 지역안전도 평가제도중 문제점이나 개선을 요하는 사항들을 발굴하여 개선방안을 제시하고자 하였다. 연구의 구성 및 내용을 간략하게 소개하면, 서론인 도입부에서는 2020년도에 행정안전부에서 새롭게 적용한 지역안전도 평가 방법에 대하여 기술하였다. 지자체에서 최종 평가받은 지역안전도 등급에 따른 활용 방안도 소개하였다. 본론에서는 지역안전도 관련 선행 연구자들의 다양한 견해를 요약 기술하였다. 또한 지역안전도의 지표구성, 지수 산출 방법, 현행 지표를 적용함에 있어서 문제점을 도출하였다. 첫째, 재해위험요인 분야의 「사회적 취약성 지표」 "반지하 가구 수"는 "기초생활 수급자 가구 수"로 대체한다. 또한 "비닐하우스 면적"은 "비닐하우스에 거주하는 가구 수, 컨테이너 가구 수, 쪽방촌 가구 수" 등을 합한 자료로 대체하여 평가한다. 둘째, 상습 가뭄재해지역 관리 평가부문은 시군구의 상수도 보급률이 95% 이상인 지자체는 "결측" 처리한다. 수도권 및 도시화가 이루어진 자치단체에는 가뭄재난이 거의 발생하지 않기 때문이다. 셋째, 방재대책추진 대응분야의 「지역자율방재단 활성화」 평가지표 내용에 지역자율방재단과 더불어 안전보안관, 안전모니터봉사단, 재난안전 실버감시단 등의 활동도 평가에 추가한다. 다만 각 지자체 마다 지역자율 방재조직의 명칭이 상이할 수 있기 때문에 재난 예방을 위해 조직되어 활동하는 자율 방재조직이면, 그 활동 실적을 모두 합산하여 평가하는 것이 타당할 것이다. 넷째, 유엔재해위험경감사무국(UNDRR)에서 사용하고 있는 안전도시 평가도구인 스코어카드 평가 항목 중 자연재난과 연관이 깊은 "자연생태계가 제공하는 보호기능 강화를 위한 자연 완충재 보존"항목을 차용한다. 스코어카드 평가는 UNDRR에서 강조하는 "기후 위기와 재해에 강한 도시 만들기"라는 캠페인을 전개하면서 지자체의 재난 복원력(resilience)을 향상시키는 데 초점이 맞추어져 있는 평가 지표이다. 끝으로 "지역안전도"와 "지역안전지수"명칭이 유사하여 지역안전도의 용어를 "자연재난 안전도" 또는 "자연재해 안전도"라는 명칭으로 변경한다. 그래야만 일반인 누구나 지역안전도와 지역안전지수를 구분할 수 있기 때문이다.