• Title/Summary/Keyword: 결측치

검색결과 100건 처리시간 0.028초

태양광 발전량 데이터의 시계열 모델 적용을 위한 결측치 보간 방법 연구 (A Research for Imputation Method of Photovoltaic Power Missing Data to Apply Time Series Models)

  • 정하영;홍석훈;전재성;임수창;김종찬;박철영
    • 한국멀티미디어학회논문지
    • /
    • 제24권9호
    • /
    • pp.1251-1260
    • /
    • 2021
  • This paper discusses missing data processing using simple moving average (SMA) and kalman filter. Also SMA and kalman predictive value are made a comparative study. Time series analysis is a generally method to deals with time series data in photovoltaic field. Photovoltaic system records data irregularly whenever the power value changes. Irregularly recorded data must be transferred into a consistent format to get accurate results. Missing data results from the process having same intervals. For the reason, it was imputed using SMA and kalman filter. The kalman filter has better performance to observed data than SMA. SMA graph is stepped line graph and kalman filter graph is a smoothing line graph. MAPE of SMA prediction is 0.00737%, MAPE of kalman prediction is 0.00078%. But time complexity of SMA is O(N) and time complexity of kalman filter is O(D2) about D-dimensional object. Accordingly we suggest that you pick the best way considering computational power.

한반도의 과거 기후 데이터 구축을 위한 누락된 기록 추정 (Estimation of Missing Records in Daily Climate Data over the Korean Peninsula)

  • 노규호;안국현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.135-135
    • /
    • 2020
  • 우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.

  • PDF

2×2 교차계획법에서 결측치가 있을 때의 결측치 처리 방법 비교에 관한 연구 (Comparison of Single Imputation Methods in 2×2 Cross-Over Design with Missing Observations)

  • 조보배;김동재
    • 응용통계연구
    • /
    • 제28권3호
    • /
    • pp.529-540
    • /
    • 2015
  • 의과학 분야에서 교차계획법은 임상시험을 통한 두 처리의 비교 검정에 이용되고 있으며 생물학적 동등성 시험에 자주 이용되고 있다. $2{\times}2$ 교차계획법에서 2시기에 결측치가 발생했을 때 통상적으로 결측치가 발생한 개체를 삭제하고 모수적 검정을 한다. 하지만 소표본으로 진행되는 $2{\times}2$ 교차계획법에서 일부 관측치의 삭제가 통계적 분석에 크게 영향을 미칠 수 있다. 본 논문에서는 소표본으로 이루어지는 $2{\times}2$ 교차계획법에서 2시기에 결측치가 발생했을 때 단순대체법들을 적용한 후 Hills-Armitage (1979)의 모수적 검정법과 Koch (1972)와 Kim (1999)이 제안한 비모수적 검정법들의 제 1종오류와 검정력을 몬테카를로 모의실험(Monte-Carlo simulation)을 통하여 비교하였다.

실시간 교통자료 기반 고속도로 교통사고 발생 가능성 추정 모형 (Estimation of Freeway Accident Likelihood using Real-time Traffic Data)

  • 박준형;오철;남궁성
    • 대한교통학회지
    • /
    • 제26권2호
    • /
    • pp.157-166
    • /
    • 2008
  • 본 연구에서는 실시간으로 수집되는 고속도로의 검지기 자료를 이용하여 교통사고 발생 가능성을 확률적 관측값으로 나타낼 수 있는 모형을 개발하였다. 사고발생 지점을 기준으로 상류부 및 하류부에서 수집된 사고발생 이전의 교통자료를 모형의 독립변수로 설정하였다. 이항 로지스틱 회귀분석 기법을 적용하여 교통사고 발생을 유발할 잠재력이 높은 교통상황을 교통사고와는 무관한 교통상황으로부터 추출하는 분류문제(classification problem)로 설정하고 모형을 개발하였다. 최근 3년간 서해안 고속도로에서 발생한 사고자료와 검지기 자료를 맵핑하였으며, 유효한 검지기 자료를 모형에 적용하기 위하여 이상치 제거 및 결측치 보정을 위한 자료처리 과정을 별도로 수행하였다. 본 연구에서 개발한 모형에서 산출되는 계량화된 교통사고 발생가능성은 고속도로상에서 실시간 경고정보 제공 및 다양한 교통운영관리 전략의 교통안전 측면에서의 효과를 평가하는데 유용하게 적용될 수 있을 것으로 기대된다.

히스토리컬 프로파일 구축과 시.공간 자료합성에 의한 단속류 통행시간 예측 (Travel Time Forecasting in an Interrupted Traffic Flow by adopting Historical Profile and Time-Space Data Fusion)

  • 여태동;한경수;배상훈
    • 대한교통학회지
    • /
    • 제27권2호
    • /
    • pp.133-144
    • /
    • 2009
  • 현재 국내에서는 지역간 교통의 이동성 및 안전성을 향상시키기 위해 국도를 대상으로 ITS사업을 추진중에 있다. 이러한 ITS 사업을 통해 교통정보를 이용자에게 실시간으로 제공해 줌으로써 기존의 교통시설의 이용을 극대화 하는데 목적을 두고 있다. 이러한 정보 제공시 운전자에게 보다 정확한 통행시간정보를 제공해 주는것이 가장 중요하므로 본 연구에서는 자료의 전처리를 통해 원시데이터의 이상치 제거 및 결측처리를 실시하였다. 이를 통해 통행시간 예측의 기본이 되는 원시데이터의 정확성을 향상시켜 정보의 신뢰도를 높일 수 있는 방안을 모색하였다. 그리고 통행시간 예측을 위해 단속류 도로의 특성을 보다 정확히 반영할 수 있는 히스토리컬 프로파일 모형을 구축하였으며 실제 교통류의 특성을 적극적으로 반영하기 위해 보정식을 개발하였다. 따라서 제안된 모형과 히스토리컬 프로파일 모형과 보정식을 통해 통행시간을 예측한 후 기존의 방식인 신경망 모형, 칼만필터 모형과의 비교검증을 실시하였다. 결과적으로 일반적인 상황에서는 칼만필터 모형과 비슷한 예측력을 보였으나, 첨두시나 유고상황에서는 개발모형이 실제 교통흐름을 상대적으로 정확히 반영하여 예측을 수행함을 확인하였다.

분 단위 강우자료의 품질 개선방안에 관한 연구 (A Study on Quality Control Method for Minutely Rainfall Data)

  • 김민석;문영일
    • 대한토목학회논문집
    • /
    • 제35권2호
    • /
    • pp.319-326
    • /
    • 2015
  • 수자원 설계 및 홍수 예 경보 등을 위한 수문분석 시, 강우자료는 필수요소이다. 현재 수문분석 시 비교적 장기간의 자료를 보유하고 있는 기상청, 국토교통부 등의 지상기상관측지점(SSS, Surface Synoptic Stations)에 시 강우자료를 이용하고 있으나, 집중호우가 빈번히 발생하는 현실정과 집중호우의 발생빈도가 증가할 것으로 예상되는 향후에는 더욱 조밀한 관측망을 구성하고 있는 방재기상관측지점(AWS, Automatic Weather Stations)의 분 단위 강우자료를 이용한 분석이 필요하다. 그러나 방재기상관측지점의 분 단위 강우자료는 자동으로 관측되고 있어, 자료품질에 대한 문제점이 매번 지적되고 있다. 본 연구에서는 서울지역을 중심으로 기상청 방재기상관측지점의 분 단위 강우자료의 품질개선 방안에 관한 연구를 실시하였다. 분 단위 강우자료의 품질관리방안은 크게 3단계로 결측치 품질관리, 이상치 품질관리 그리고 강우 보완 품질관리로 구분하여 품질관리 방안을 제시하고 분석을 수행하였다. 마지막으로 서울지점의 분 단위 강우자료와 시 단위 강우자료의 비교분석을 통해 강우 품질관리에 대한 평가를 실시하였다. 이는 향후 분 단위 강우자료를 이용한 수문분석 시, 강우자료 품질관리 방안으로 활용될 것으로 판단된다.

평균필터 조합을 통한 최대수요전력 예측기법 (A Maximum Power Demand Prediction Method by Average Filter Combination)

  • 유찬직;김재성;노경우;조완섭
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.227-239
    • /
    • 2020
  • 본 논문에서는 산업현장에서 통신 오류에도 불구하고 최대전력수요를 예측하는 방법을 소개한다. 최근 국내의 탈원전 정책으로 전력가격상승은 불가피하며, 이에 따른 전력수요 관리를 위한 전력사용량과 최대부하관리는 중요한 문제로 부상하고 있다. 이에 따라, 피크전력을 예측하고 관리하는 것이 중요하다. 하지만 실제 산업현장에서는 각종 설비 및 센서에서 발생하는 노이즈 등으로 인해 측정된 전력데이터의 손실 및 변조 등의 문제가 발생한다. 측정된 유효전력 데이터가 손실된 경우 정확한 값을 예측하기 어렵다. 이 연구는 측정된 유효전력 데이터가 손실될 경우 이상 징후와 결측값을 예측하고 수정하는 모델을 제시한다. 본 연구에 사용된 모델은 산업현장에서 통신 오류가 발생할 경우 최대 전력수요를 예측하는 데 유용할 것으로 예상한다.

한국복지패널 자료를 이용한 아동기 공격성에 대한 경시적 자료 분석 (A longitudinal study for child aggression with Korea Welfare Panel Study data)

  • 최나연;허집
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권6호
    • /
    • pp.1439-1447
    • /
    • 2014
  • 한국 학생들의 아동기 혹은 청소년기의 공격성에 대한 연구들은 대부분 횡단자료를 이용한 것들이다. 경시적 자료를 이용한 연구가 있지만, 반복측정된 자료들이 서로 독립이라는 가정 하에 연구되었다. 본 연구에서는 2006년부터 2012년까지 세 차례 반복측정에 의해 얻어진 한국복지패널 자료를 이용하여, 횡단자료 분석 연구의 결과인 아동 혹은 청소년의 공격성에 영향을 미치는 요인들로 알려진 학교 적응, 자아존중감, 우울 및 불안, 비행, 학교 폭력 피해 경험, 부모로부터 학대 경험과 인터넷 사용시간이 경시적 자료 분석에서도 공격성에 영향을 주는 지를 분석하고자 한다. 한국복지패널 자료의 결측치는 임의결측을 가정하고, 제한적 최우추정량을 이용한 선형혼합모형을 적합하고자 한다.

산.연 협력 공동연구개발 과제의 성과 결정요인에 관한 연구 (Determinants of successful R&D cooperations between SMEs and Public Research Institutes in Korea)

  • 박일수;김병근
    • 기술혁신학회지
    • /
    • 제15권4호
    • /
    • pp.783-814
    • /
    • 2012
  • 본 연구는 중소기업과 정부출연(연)이 수행한 공동연구개발 과제의 성과에 영향을 주는 요인들을 연구책임자의 역량과 파트너십 통합, 공동연구경험 등을 중심으로 분석하였다. 실증연구를 위해 우리나라의 대표적인 중소기업 공동연구개발 지원 정부출연연구기관인 K 연구원과 공동연구 프로젝트를 수행한 중소기업에 대해 설문조사를 실시하였다. 772개 기업을 대상으로 설문지를 발송하여 이 중 256개의 설문지가 회수되었으며, 회수된 설문지 중 결측치 등을 제외한 총 149개의 응답 자료를 대상으로 분석하였다. 실증 분석 결과를 살펴보면, 연구책임자의 역량과 산 연 간 연구주체 간의 연구 성과에 대한 시각차이 등으로 인하여 발생하는 갈등을 해소시켜 주는 정서적 통합, 과정적 통합 및 계약적 통합 등의 파트너십 통합이 경제적 성과와 기술적 성과에 영향을 주는 것으로 밝혀졌다. 또한, 참여기업의 최근 3년간 공동연구경험을 조절변수로 하여 연구책임자 역량과 파트너십 통합이 경제적 성과와 기술적 성과에 어떠한 영향을 미치는 지에 대한 분석 결과, 경제적 성과는 조절효과가 없었으며, 기술적 성과에는 연구책임자 역량, 계약적 통합, 과정적 통합만이 조절효과가 있다고 분석됨으로써 부분적인 조절효과가 있는 것으로 분석되었다.

  • PDF

청소년의 교사와의 관계가 내재적 삶의 목표에 미치는 영향 -자아존중감의 매개효과를 중심으로- (The effect of adolescents' relationship with teachers on intrinsic life goals: Focusing on the mediation effect of self-esteem)

  • 이의빈;한창근
    • 한국아동복지학
    • /
    • 제59호
    • /
    • pp.87-114
    • /
    • 2017
  • 본 연구는 청소년이 지각한 교사와의 관계가 자아존중감을 매개로 청소년의 내재적 삶의 목표에 미치는 영향에 대하여 파악하고자 하였다. 아동 청소년패널의 6차 년도 데이터를 사용하였고, 변수들의 결측치들을 제거하고 난 1,776명의 케이스를 대상으로 하였다. 변수들의 특성을 파악하기 위하여 빈도분석과 기술통계를 진행하였고, 변수 간의 상관을 알아보기 위하여 상관분석을 실시하였다. 또한 청소년이 지각한 교사와의 관계가 자아존중감을 매개로 청소년의 삶의 목표에 어떤 영향을 미치는지 파악하기 위하여 회귀분석을 진행하였고, 매개변수의 매개효과가 유의한지를 살펴보기 위하여 Sobel-Test를 진행하였다. 분석 결과, 청소년이 지각한 교사와의 관계가 긍정적일수록, 중학생의 내재적 목표 지향 정도가 증가함을 확인하였다. 또한 교사와의 관계가 내재적 삶의 목표와의 관계에서 자아존중감이 통계적으로 유의미한 수준에서 부분매개효과를 가지는 것을 확인하였다. 이러한 연구결과에 기초하여 연구의 함의, 한계, 그리고 후속연구 제언을 제시하였다.