This paper discusses missing data processing using simple moving average (SMA) and kalman filter. Also SMA and kalman predictive value are made a comparative study. Time series analysis is a generally method to deals with time series data in photovoltaic field. Photovoltaic system records data irregularly whenever the power value changes. Irregularly recorded data must be transferred into a consistent format to get accurate results. Missing data results from the process having same intervals. For the reason, it was imputed using SMA and kalman filter. The kalman filter has better performance to observed data than SMA. SMA graph is stepped line graph and kalman filter graph is a smoothing line graph. MAPE of SMA prediction is 0.00737%, MAPE of kalman prediction is 0.00078%. But time complexity of SMA is O(N) and time complexity of kalman filter is O(D2) about D-dimensional object. Accordingly we suggest that you pick the best way considering computational power.
우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.
의과학 분야에서 교차계획법은 임상시험을 통한 두 처리의 비교 검정에 이용되고 있으며 생물학적 동등성 시험에 자주 이용되고 있다. $2{\times}2$ 교차계획법에서 2시기에 결측치가 발생했을 때 통상적으로 결측치가 발생한 개체를 삭제하고 모수적 검정을 한다. 하지만 소표본으로 진행되는 $2{\times}2$ 교차계획법에서 일부 관측치의 삭제가 통계적 분석에 크게 영향을 미칠 수 있다. 본 논문에서는 소표본으로 이루어지는 $2{\times}2$ 교차계획법에서 2시기에 결측치가 발생했을 때 단순대체법들을 적용한 후 Hills-Armitage (1979)의 모수적 검정법과 Koch (1972)와 Kim (1999)이 제안한 비모수적 검정법들의 제 1종오류와 검정력을 몬테카를로 모의실험(Monte-Carlo simulation)을 통하여 비교하였다.
본 연구에서는 실시간으로 수집되는 고속도로의 검지기 자료를 이용하여 교통사고 발생 가능성을 확률적 관측값으로 나타낼 수 있는 모형을 개발하였다. 사고발생 지점을 기준으로 상류부 및 하류부에서 수집된 사고발생 이전의 교통자료를 모형의 독립변수로 설정하였다. 이항 로지스틱 회귀분석 기법을 적용하여 교통사고 발생을 유발할 잠재력이 높은 교통상황을 교통사고와는 무관한 교통상황으로부터 추출하는 분류문제(classification problem)로 설정하고 모형을 개발하였다. 최근 3년간 서해안 고속도로에서 발생한 사고자료와 검지기 자료를 맵핑하였으며, 유효한 검지기 자료를 모형에 적용하기 위하여 이상치 제거 및 결측치 보정을 위한 자료처리 과정을 별도로 수행하였다. 본 연구에서 개발한 모형에서 산출되는 계량화된 교통사고 발생가능성은 고속도로상에서 실시간 경고정보 제공 및 다양한 교통운영관리 전략의 교통안전 측면에서의 효과를 평가하는데 유용하게 적용될 수 있을 것으로 기대된다.
현재 국내에서는 지역간 교통의 이동성 및 안전성을 향상시키기 위해 국도를 대상으로 ITS사업을 추진중에 있다. 이러한 ITS 사업을 통해 교통정보를 이용자에게 실시간으로 제공해 줌으로써 기존의 교통시설의 이용을 극대화 하는데 목적을 두고 있다. 이러한 정보 제공시 운전자에게 보다 정확한 통행시간정보를 제공해 주는것이 가장 중요하므로 본 연구에서는 자료의 전처리를 통해 원시데이터의 이상치 제거 및 결측처리를 실시하였다. 이를 통해 통행시간 예측의 기본이 되는 원시데이터의 정확성을 향상시켜 정보의 신뢰도를 높일 수 있는 방안을 모색하였다. 그리고 통행시간 예측을 위해 단속류 도로의 특성을 보다 정확히 반영할 수 있는 히스토리컬 프로파일 모형을 구축하였으며 실제 교통류의 특성을 적극적으로 반영하기 위해 보정식을 개발하였다. 따라서 제안된 모형과 히스토리컬 프로파일 모형과 보정식을 통해 통행시간을 예측한 후 기존의 방식인 신경망 모형, 칼만필터 모형과의 비교검증을 실시하였다. 결과적으로 일반적인 상황에서는 칼만필터 모형과 비슷한 예측력을 보였으나, 첨두시나 유고상황에서는 개발모형이 실제 교통흐름을 상대적으로 정확히 반영하여 예측을 수행함을 확인하였다.
수자원 설계 및 홍수 예 경보 등을 위한 수문분석 시, 강우자료는 필수요소이다. 현재 수문분석 시 비교적 장기간의 자료를 보유하고 있는 기상청, 국토교통부 등의 지상기상관측지점(SSS, Surface Synoptic Stations)에 시 강우자료를 이용하고 있으나, 집중호우가 빈번히 발생하는 현실정과 집중호우의 발생빈도가 증가할 것으로 예상되는 향후에는 더욱 조밀한 관측망을 구성하고 있는 방재기상관측지점(AWS, Automatic Weather Stations)의 분 단위 강우자료를 이용한 분석이 필요하다. 그러나 방재기상관측지점의 분 단위 강우자료는 자동으로 관측되고 있어, 자료품질에 대한 문제점이 매번 지적되고 있다. 본 연구에서는 서울지역을 중심으로 기상청 방재기상관측지점의 분 단위 강우자료의 품질개선 방안에 관한 연구를 실시하였다. 분 단위 강우자료의 품질관리방안은 크게 3단계로 결측치 품질관리, 이상치 품질관리 그리고 강우 보완 품질관리로 구분하여 품질관리 방안을 제시하고 분석을 수행하였다. 마지막으로 서울지점의 분 단위 강우자료와 시 단위 강우자료의 비교분석을 통해 강우 품질관리에 대한 평가를 실시하였다. 이는 향후 분 단위 강우자료를 이용한 수문분석 시, 강우자료 품질관리 방안으로 활용될 것으로 판단된다.
본 논문에서는 산업현장에서 통신 오류에도 불구하고 최대전력수요를 예측하는 방법을 소개한다. 최근 국내의 탈원전 정책으로 전력가격상승은 불가피하며, 이에 따른 전력수요 관리를 위한 전력사용량과 최대부하관리는 중요한 문제로 부상하고 있다. 이에 따라, 피크전력을 예측하고 관리하는 것이 중요하다. 하지만 실제 산업현장에서는 각종 설비 및 센서에서 발생하는 노이즈 등으로 인해 측정된 전력데이터의 손실 및 변조 등의 문제가 발생한다. 측정된 유효전력 데이터가 손실된 경우 정확한 값을 예측하기 어렵다. 이 연구는 측정된 유효전력 데이터가 손실될 경우 이상 징후와 결측값을 예측하고 수정하는 모델을 제시한다. 본 연구에 사용된 모델은 산업현장에서 통신 오류가 발생할 경우 최대 전력수요를 예측하는 데 유용할 것으로 예상한다.
Journal of the Korean Data and Information Science Society
/
제25권6호
/
pp.1439-1447
/
2014
한국 학생들의 아동기 혹은 청소년기의 공격성에 대한 연구들은 대부분 횡단자료를 이용한 것들이다. 경시적 자료를 이용한 연구가 있지만, 반복측정된 자료들이 서로 독립이라는 가정 하에 연구되었다. 본 연구에서는 2006년부터 2012년까지 세 차례 반복측정에 의해 얻어진 한국복지패널 자료를 이용하여, 횡단자료 분석 연구의 결과인 아동 혹은 청소년의 공격성에 영향을 미치는 요인들로 알려진 학교 적응, 자아존중감, 우울 및 불안, 비행, 학교 폭력 피해 경험, 부모로부터 학대 경험과 인터넷 사용시간이 경시적 자료 분석에서도 공격성에 영향을 주는 지를 분석하고자 한다. 한국복지패널 자료의 결측치는 임의결측을 가정하고, 제한적 최우추정량을 이용한 선형혼합모형을 적합하고자 한다.
본 연구는 중소기업과 정부출연(연)이 수행한 공동연구개발 과제의 성과에 영향을 주는 요인들을 연구책임자의 역량과 파트너십 통합, 공동연구경험 등을 중심으로 분석하였다. 실증연구를 위해 우리나라의 대표적인 중소기업 공동연구개발 지원 정부출연연구기관인 K 연구원과 공동연구 프로젝트를 수행한 중소기업에 대해 설문조사를 실시하였다. 772개 기업을 대상으로 설문지를 발송하여 이 중 256개의 설문지가 회수되었으며, 회수된 설문지 중 결측치 등을 제외한 총 149개의 응답 자료를 대상으로 분석하였다. 실증 분석 결과를 살펴보면, 연구책임자의 역량과 산 연 간 연구주체 간의 연구 성과에 대한 시각차이 등으로 인하여 발생하는 갈등을 해소시켜 주는 정서적 통합, 과정적 통합 및 계약적 통합 등의 파트너십 통합이 경제적 성과와 기술적 성과에 영향을 주는 것으로 밝혀졌다. 또한, 참여기업의 최근 3년간 공동연구경험을 조절변수로 하여 연구책임자 역량과 파트너십 통합이 경제적 성과와 기술적 성과에 어떠한 영향을 미치는 지에 대한 분석 결과, 경제적 성과는 조절효과가 없었으며, 기술적 성과에는 연구책임자 역량, 계약적 통합, 과정적 통합만이 조절효과가 있다고 분석됨으로써 부분적인 조절효과가 있는 것으로 분석되었다.
본 연구는 청소년이 지각한 교사와의 관계가 자아존중감을 매개로 청소년의 내재적 삶의 목표에 미치는 영향에 대하여 파악하고자 하였다. 아동 청소년패널의 6차 년도 데이터를 사용하였고, 변수들의 결측치들을 제거하고 난 1,776명의 케이스를 대상으로 하였다. 변수들의 특성을 파악하기 위하여 빈도분석과 기술통계를 진행하였고, 변수 간의 상관을 알아보기 위하여 상관분석을 실시하였다. 또한 청소년이 지각한 교사와의 관계가 자아존중감을 매개로 청소년의 삶의 목표에 어떤 영향을 미치는지 파악하기 위하여 회귀분석을 진행하였고, 매개변수의 매개효과가 유의한지를 살펴보기 위하여 Sobel-Test를 진행하였다. 분석 결과, 청소년이 지각한 교사와의 관계가 긍정적일수록, 중학생의 내재적 목표 지향 정도가 증가함을 확인하였다. 또한 교사와의 관계가 내재적 삶의 목표와의 관계에서 자아존중감이 통계적으로 유의미한 수준에서 부분매개효과를 가지는 것을 확인하였다. 이러한 연구결과에 기초하여 연구의 함의, 한계, 그리고 후속연구 제언을 제시하였다.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.