• 제목/요약/키워드: 결측 구조

검색결과 31건 처리시간 0.033초

신경망 모형을 이용한 결측 강우 자료 추정방법의 적용성 연구 (Applicability of Missing Rainfall Data Estimation using Artificial Neural Networks)

  • 조혜린;박희성;김형섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.512-512
    • /
    • 2015
  • 시 공간적 관측에서 다양한 원인에 의해 강우 자료에 결측이나 오측이 발생할 수 있다. 강우를 측정하고 자료를 수집 관리하는 측면에서 결측 되거나 오측된 자료를 추정 보완할 필요가 있다. 현재까지 결측 강우 자료를 추정하기 위한 방법으로 결측 지점 인근의 관측소를 이용한 단순 가중 평균치 방법에서부터 복잡한 통계적 기반의 보간 방법에 이르기까지 많은 연구들이 진행되고있다. 본 연구에서는 결측 된 강우 자료를 추정하기 위해 인공 신경망을 이용하여 모형을 구축하고 주변 관측소의 강우자료를 이용해 신경망 학습을 실시하여 적용해 보았으며, 최근 관측의 단위가 짧아지고 있는 점을 고려하여 10분, 30분, 1시간 등 다양한 시간간격의 강우자료를 구축하고 선형회귀모형과 RDS 방법, 신경망 모형을 이용한 방법 등을 적용한 결과를 비교하여 신경망 모형의 적용성을 살펴보았다. 단순한 구조면에서는 기존의 RDS 방법에 대한 적용성이 높은 것으로 판단되었으나, 성능의 개선을 위한 별다른 방법이 없는 반면 신경망 모형은 입력 자료를 다양하게 변환하여 구성하는 경우 성능을 개선하여 적용성이 더 높아 질 수 있는 것으로 판단되었다. 향후 신경망 모형을 이용해 잘못 측정된 강우를 적절히 선별하고 결측된 보완함으로써 관측된 강우 자료의 활용성을 높일 수 있을 것이다.

  • PDF

결측값이 있는 정준상관 행렬도의 형상변동 연구 (A Study on Shape Variability in Canonical Correlation Biplot with Missing Values)

  • 홍현욱;최용석;신상민;강창완
    • 응용통계연구
    • /
    • 제23권5호
    • /
    • pp.955-966
    • /
    • 2010
  • 정준상관 행렬도는 두 변수군 사이에 연관성이 있는 데이터 행렬을 시각적으로 묘사하고 데이터가 가진 패턴을 찾는데 유용하고, 분석의 더욱 정형화된 방법으로써 결과를 보여주기에도 유용하다. 그럼에도 불구하고, 자료에 결측값이 존재하는 경우에 대부분의 행렬도는 바르게 적용되지 않는다. 이 문제를 해결하기 위해, 결측률에 따라 중앙값과 평균, EM알고리즘, MCMC대체법을 사용해서 결측 자료를 추정한다. 완전하지 않은 자료의 행렬도의 결측값을 추정하더라도, 대체법과 결측률에 따라 행렬도의 모양이 달라진다. 따라서 Shin 둥 (2008)에서 제안한 RMS(root mean square)와 원 행렬도와 추정된 행렬도간의 형상 변동을 측정하고 비교하기 위한 PS(Procrustes statistic)를 사용한다.

상호정보량 기법과 인공신경망을 이용한 실시간 강우 자료 보정 (Calibration of Real Time Rainfall Data Using Mutual Information and Artificial Neural Network)

  • 성경민;구여주;김태순;허준행
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1269-1273
    • /
    • 2010
  • 이러한 강우자료의 결측값이나 오자료를 보정하는 것은 그 유역의 정확한 수문학적 특성 파악 및 안전한 수공구조물의 설계에 영향을 미치게 되므로 매우 중요하다고 할 수 있다. 최근 이러한 강우자료를 비선형적 모델인 인공신경망(Artificial Neural Network)을 이용하여 보정하는 연구가 활발히 진행되고 있다(오재우 등, 2008). 그러나 이러한 인공신경망을 적용하는 경우, 선택한 신경망 구조의 형태와 학습(training)을 위해 사용되는 자료가 전체 자료의 특성을 반영하고 있는 정도에 따라 정확도에 차이를 보인다(한광희 등, 2010). 따라서 자료보정을 위한 입력 자료의 선택은 인공신경망을 이용한 결측치 보정의 중요한 과정이다. 본 연구에서는 이러한 입력 자료의 선택을 위한 여러 가지 기법 중 입력 변수간의 상호정보량 (Mutual Information)을 이용한 방법을 적용하여 대상 결측 지점을 보정할 강우지점을 선별한 후 선택된 지점만으로 인공신경망을 구성하여 강우자료를 보정하고 주변 자료를 모두 이용한 결과와 상관성분석으로 얻어진 결과와 비교하였다.

  • PDF

적응형 뉴로-퍼지 기법을 이용한 수문자료 결측치 추정에 관한 연구 (A Study on the Estimation of Missing Hydrological Data Using Adaptive Network-based Fuzzy Inference System(ANFIS))

  • 신희재;이태희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.264-264
    • /
    • 2020
  • 최근 기후변화로 우리나라는 과거에 비해 태풍이나 국지성 집중호우 및 가뭄 등 극심한 수문현상이 빈번하게 발생하고 그 피해가 더욱 커지고 있는 추세이다. 특히 우리나라의 경우 산지가 많으며 대부분의 하천이 유역면적이 작고 유로연장이 짧아 단시간에 유출이 발생하며 수문학적 특성이 연중 큰 편차를 보이고 있다. 이러한 이상기후에 따른 수문현상 파악 및 피해 경감을 위해 신뢰성 있는 수문자료는 매우 중요하다. 따라서 수문자료에 대한 품질관리는 필수적이지만 자료 결측 및 오측에 대한 신뢰성 높은 품질관리가 이뤄지지 못하고 있는 실정이다. 현재 수위자료의 결측이 발생한 경우 해당 관측소의 수위 자료를 사용해 선형보간 및 운형자법으로 수정하거나 상·하류 관측소의 관계를 이용하여 회귀분석을 통해 자료 결측의 수정 및 보완을 수행하는 등 담당자의 주관적 판단에 의존하고 있다. 본 논문에서는 신뢰성 높은 수문자료의 결측치 보완 및 예측을 위한 방안을 제시하고자 상류의 관측소의 수문자료를 이용한 하류의 단시간 수문 자료예측에 관한 연구를 수행하였다. 이를 위해 자료지향형 모델인 적응형 뉴로-퍼지 기법(Adaptive Network-based Fuzzy Inference System, ANFIS)을 이용한 모형을 적용하였다. 기존의 연구에서 가장 일반적으로 사용되는 물리적 모형은 수문자료를 활용하여 수위 및 유출을 산정함에 있어 매개변수의 결정이 어렵고 많은 오차들을 내포하고 있다. 본 연구에서 사용한 ANFIS는 입력자료와 출력자료만을 고려하여 구축할 수 있기 때문에 자료 수집단계에서 유역의 물리적 자료 및 지형 자료와 같은 방대한 양의 자료 수집이 필요가 없다. 이후 모형이 구축이 된다면 입·출력 자료만을 이용하여 신뢰성 높은 결과를 획득할 수 있지만 입력 자료의 품질에 따라 결과가 좌우되기 때문에 자료의 구성이 매우 중요하다. 본 연구에서는 ANFIS를 통해 무주남대천 유역의 무주군(여의교) 관측소의 수위자료를 입력자료를 사용하여 하류에 위치한 무주군(취수장) 관측소의 수문자료의 결측 보완 및 예측하는 모형을 구축하고 모형의 구조 변화를 통해 가장 정확도 높은 모형을 결정하였다.

  • PDF

통행사슬 구조를 이용한 교통카드 이용자의 대중교통 통행종점 추정 (Inferring the Transit Trip Destination Zone of Smart Card User Using Trip Chain Structure)

  • 신강원
    • 대한교통학회지
    • /
    • 제34권5호
    • /
    • pp.437-448
    • /
    • 2016
  • 본 연구는 선행연구에서 제시하고 있는 통행기점 정보만을 제공하고 있는 불완전한 대중교통카드 자료로부터 대중교통 통행의 종점을 통행사슬 구조를 이용하여 추정할 수 있는 모형의 국내 자료 적용 가능성을 살펴보고 모형 적용 결과를 제시하였다. 이를 위해 본 연구는 부산에서 2014년 10월 주중에 수집된 선불 교통카드 승 하차 태그 원시자료 1,846,252건을 대상으로 하루 동안 한 대중교통 이용자가 발생시킨 일련의 통행들을 시 공간적으로 연계시켜 통행사슬을 형성하고, 대중교통 이용자의 결측 종점을 연속된 다음 통행의 승차지점 또는 최초 승차지점이 속한 교통존으로 추정하였다. 모형 검증을 위해 대중교통 통행종점이 관측된 자료에 모형을 적용한 결과 실제 통행종점과 추정 통행종점의 일치도는 82.4%로 나타났으며 이 때 통행종점으로 추정된 정류장과 실제 하차 정류장간 거리의 오차는 최소가 되는 것으로 나타나 제안모형의 유용성은 높은 것으로 분석되었다. 통행사슬 구조를 이용한 통행종점 추정 모형을 종점결측 통행에 적용했을 때 종점결측 통행의 비율은 적용 전 71.40%(718,915통행)에서 21.74%(218,907통행)로 감소하였으며 종점추정이 불가한 218,907통행의 대부분은 모형 적용이 불가한 일일 통행횟수 '1회'인 통행(169,359통행, 77.37%)인 것으로 나타났고, 일일 통행횟수가 '2회 이상'인 통행의 종점결측 비율은 69.56%에서 모형 적용 후 6.27%로 크게 감소하였다. 한편 통행종점 추정 모형 적용에 따른 존간 통행 및 존내 통행분포의 변화를 비교하기 위해 순위상관계수 및 카이제곱 적합도 검정을 수행하였으며, 분석 결과 통행종점 추정 모형 적용에 따라 각 중존별 통행량의 순위는 변화하지 않으나 통행량 분포는 유의한 변화를 보였다. 따라서 통행사슬 구조를 이용한 교통카드 이용자의 통행종점 추정 모형 적용은 통행종점이 결측된 불완전 대중교통카드 자료가 수집되고 있는 도시의 대중교통 통행패턴을 보다 현실적으로 반영할 수 있게 도움을 줄 것으로 판단된다.

반복비율적합에 의한 다차원 분할표의 결측칸값 추정 (Estimating Missing Cells in Contingency Table with IPE)

  • 최현집;신상준
    • 응용통계연구
    • /
    • 제13권1호
    • /
    • pp.197-206
    • /
    • 2000
  • 반복비율적합 방법을 확장하여 준독립성모형하에서 불완전한 다차원 분할표에 포함된 결측칸의 최우추정값을 얻기 위한 추정방법을 제안하였다. 제안된 방법은 주변합이 영이 아닌 모든 불완전한 분할표에 적용할 수 있으며 주어진 준로그선형모형의 구조를 해치지 않는다. 또한 결측칸의 위치와 수에 영향을 받지 않고 항상 수렴한다는 것을 확인하였다.

  • PDF

여울과 소의 형성 조건에 따른 어류 서식처 환경 영향 (Estimating the Influence of the Riffle and Pool on the Habitat of Fish)

  • 성영두;박봉진;이삼희;정관수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.1007-1011
    • /
    • 2006
  • 본 연구에서는 어류 생태계 유지를 위해 필요한 생태학적 추천유량을 산정하고, 어류의 서식처 환경인 여울과 웅덩이의 형성조건을 검토함으로써 '작용'인 '흐름'과 '응답'인 '하상구조'와의 상관 관계를 규명하고자 하였다. 본 연구의 대상하천인 금호강에서는 하상변동이 활발한 자연 상태를 벗어나 하상의 이동성 상당히 둔화된 상태이며, 저수로내 여울과 웅덩이도 대표어종이 서식할 수 있는 자갈하상 구조에 변화가 일어나고 있는 것으로 분석되었다. 이것은 금호강 상류에 영천댐 건설의 영향이 어느 정도 미치고 있음을 유황분석 결과를 통해 간접적으로 파악할 수 있었다. 댐과 같은 수공구조물의 건설로 인하여 하도가 고정화된 상태에서 장기간에 걸치게 되면 여울과 웅덩이와 같은 하상구조가 축소되거나 소멸되어 금호강에서의 대표어종 서식처 환경에 영향을 미칠 것으로 추정된다. 금번 연구결과, 금호강에서 어류의 생식에 필요한 생태학적 추천유량 $8.2m^3/sec$가 필요하였으며, 어류의 서식처 환경인 여울과 웅덩이를 지속적으로 유지되기 위해서는 $250m^3/sec$ 이상의 유량이 연간 한번 이상 흘러야 하고, 2.5년 내지 3년 마다 약 $500m^3/sec$ 정도의 유량이 흐를 필요가 있다고 분석되었다. 본 연구 대상지점에서 흐름과 하상구조를 하천생태계와 연계해서 볼 때, 생태추천유량은 어디까지나 대표어종이 서식할 수 있는 최소조건에 불과하다. 대표어종이 장기간에 걸쳐 서식할 수 있는 하상구조가 존재하기 위해서는 대표어종이 선호하는 여울과 웅덩이가 필요하다. 결국 대표어종이 서식하기 위한 필요충분조건은 생태추천유량 확보와 아울러 대표어종이 선호하는 하상구조를 유지하기 위해서는 하도의 이동성을 유발할 유황변화가 필요하다는 것이 입증되었다.대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.9년, 그리고 2010년${\sim}$2019년까지 총 4구간으로 나누어 결과를 도출하였으며 예상한 바와 같이 후반기 20년 동안에 세 가지 지표가 취약해 지는 것을 확인할 수 있었고, 특히 2000년부터 2009년까지 10년 동안에는 더욱 취약해짐을 확인할 수 있었다.를 보임에 따라 그 정책적 효과는 때로 역기능적인 결과로 초래하였다. 그럼에도 불구하고 이 연구결과를 통하여 최소한 주식시장(株式市場)에서 위탁증거금제도는 그 제도적 의의가 여전히 있다는 사실이 확인되었다. 또한 우리나라 주식시장에서 통상 과열투기 행위가 빈번히 일어나 주식시장을 교란시킴으로써 건전한 투자풍토조성에 저해된다는 저간의 우려가 매우 커왔으나 표본 기간동안에 대하여 실증분석을 한 결과 주식시장 전체적으로 볼 때 주가변동율(株價變動率), 특히 초과주가변동율(超過株價變動率)에 미치는 영향이 그다지 심각한 정도는 아니었으며 오히려 우리나라의 주식시장은 미국시장에 비해 주가가 비교적 안정적인 수준을 유지해 왔다고 볼 수 있다.36.4%)와 외식을 선호(29.1%)${\lrcorner}$ 하기 때문에 패스트푸드를 이용하게 된 것으로 응답 하였으며, 남 여 대학생간에는 유의한 차이(p<0.05)가 인정되었다. 응답자의 체형은 ${\ulco

  • PDF

3D 프린팅 소재 화학물질의 독성 예측을 위한 Data-centric XAI 기반 분자 구조 Data Imputation과 QSAR 모델 개발 (Data-centric XAI-driven Data Imputation of Molecular Structure and QSAR Model for Toxicity Prediction of 3D Printing Chemicals)

  • 정찬혁;김상윤;허성구;;신민혁;유창규
    • Korean Chemical Engineering Research
    • /
    • 제61권4호
    • /
    • pp.523-541
    • /
    • 2023
  • 3D 프린터의 활용이 높아짐에 따라 발생하는 화학물질에 대한 노출 빈도가 증가하고 있다. 그러나 3D 프린팅 발생 화학물질의 독성 및 유해성에 대한 연구는 미비하며, 분자 구조 데이터의 결측치로 인해 in silico 기법을 사용한 독성예측 연구는 저조한 실정이다. 본 연구에서는 화학물질의 분자구조 정보를 나타내는 주요 분자표현자의 결측치를 보간하여 3D 프린팅의 독성 및 유해성을 예측한 Data-centric QSAR 모델을 개발하였다. 먼저 MissForest 알고리즘을 사용해 3D 프린팅으로 발생되는 유해물질의 분자표현자 결측치를 보완하였으며, 서로 다른 4가지 기계학습 모델(결정트리, 랜덤포레스트, XGBoost, SVM)을 기반으로 Data-centric QSAR 모델을 개발하여 생물 농축 계수(Log BCF)와 옥탄올-공기분배계수(Log Koa), 분배계수(Log P)를 예측하였다. 또한, 설명 가능한 인공지능(XAI) 방법론 중 TreeSHAP (SHapley Additive exPlanations) 기법을 활용하여 Data-centric QSAR 모델의 신뢰성을 입증하였다. MissForest 알고리즘 기반 결측지 보간 기법은, 기존 분자구조 데이터에 비하여 약 2.5배 많은 분자구조 데이터를 확보할 수 있었다. 이를 바탕으로 개발된 Data-centric QSAR 모델의 성능은 Log BCF, Log Koa와 Log P를 각각 73%, 76%, 92% 의 예측 성능으로 예측할 수 있었다. 마지막으로 Tree-SHAP 분석결과 개발된 Data-centric QSAR 모델은 각 독성치와 물리적으로 상관성이 높은 분자표현자를 통하여 선택함을 설명할 수 있었고 독성 정보에 대한 높은 예측 성능을 확보할 수 있었다. 본 연구에서 개발한 방법론은 다른 프린팅 소재나 화학공정, 그리고 반도체/디스플레이 공정에서 발생 가능한 오염물질의 독성 및 인체 위해성 평가에 활용될 수 있을 것으로 사료된다.

Spark GraphX를 활용한 개인 추천 시스템 개발 (A Development of Personalized Recommendation System using Spark GraphX)

  • 김성숙;박기진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.41-43
    • /
    • 2018
  • 소설 데이터는 인터넷 상의 수 많은 개인과 개인의 상호 작용에 의하여 연결되어 있으며, 이러한 데이터를 분석하여, 분석 대상에 내재하고 있는 구조와 특성을 파악하는 일은 중요하다. 특히, 개인 추천을 위해서는 개별 데이터들의 관계 그래프를 활용하여 빠르고 정확하게 추천 값을 도출하는 것이 효율적이다. 하지만, 기존 추천 기법으로는 신규 사용자와 아이템이 끊임없이 등장하는 상황을 즉각적으로 반영하기가 어렵고, 또한 많은 결측값을 포함하는 sparse 한 데이터일 경우에는 추천 시스템의 연산 공간과 시간에 많은 제약이 있다. 이에 본 논문에서는 Spark GraphX 를 활용한 개인 추천 시스템을 설계 및 개발하였으며, 이를 통하여 사용자와 아이템간에 내재하는 복합 요인이 반영된 그래프 기반 추천을 실행하여, 개인 추천 결과의 우수성을 확인하였다.

인공 위성과 기상 모형을 이용한 증발산 추정 (Estimation of Evapotranspiration using Satellite data and Meteorological Model)

  • 장근창;강신규;김재철;김준
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2009년도 춘계학술대회 논문집
    • /
    • pp.213-218
    • /
    • 2009
  • 에너지 전달 과정과 밀접한 관계가 있는 증발산(Evapotranspiration)은 기후 변화나 육상 생태계 생산성에서 매우 중요한 요소이며, 수문학적 순환과 지역적 물 관리 측면에서 매우 중요하다. 최근 인공위성을 이용하여 증발산을 추정하기 위한 노력이 많이 진행되고 있으며, 특히 MODIS (Moderate Resolution Imaging Spectroradiometer)는 증발산을 추정하기 위한 좋은 정보를 제공하고 있다 하지만, 구름 등에 의한 증발산 입력 자료 결측은 전체 자료의 획득률을 낮추고, 연속적인 증발산 모니터 링을 제한한다. 따라서 본 연구에서는 MODIS 기반의 증발산 입력 자료의 개선하여 서로 다른 식생과 지형 구조를 갖는 플럭스 연구지에 대한 증발산의 추정 및 평가하고, 남한에 대한 MODIS 기반의 증발산 지도 작성하였다. 또한 구름에 의해 결측된 날에 대해서는 MODIS-MM5 4차원 자료동화 기법을 이용한 증발산의 연속적인 모니터링 기법을 개발하였다. MODIS 기반의 증발산을 추정하기 위해 Revised RS-PM 알고리즘을 사용하였다. 증발산을 평가하기 위해 4 곳의 플럭스 연구지(광릉, 해남 이상 대한민국, 타카야마, 토마코아미 이상 일본) 자료와 비교하였고, 매우 신뢰성 있는 결과를 얻을 수 있었다. MODIS 입력 자료의 개선으로 획득률은 2배 가량 증가하였다. 남한에 대한 연간 증발산은 평균적으로 약 35%의 획득률 (365일 중 약 120일)과 함께 산출되었고, 시 공간적인 분포를 잘 나타내었다. 구름 낀 날에 대한 MODIS-MM5 자료 동화 기법의 적용은 증발산의 연속적인 모니터링을 가능하게 하였다.

  • PDF