• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.399-402
• /
• 2022

본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2019.05a
• /
• pp.63-63
• /
• 2019

최근 기후변화로 인한 도시지역 침수 피해를 저감하기 위한 다양한 연구가 수행되고 있으며 침수해석을 위한 기초자료로써 GIS 기반 하수관망 자료 활용의 중요성이 증대되고 있다. 그러나 이러한 하수관망 자료의 대부분은 지자체 수준의 행정단위에 의해 작성/관리 되고 있으며 하수관 망의 유지보수에 중점을 두어 제작되었기 때문에 침수해석을 위한 속성자료가 누락되어 있는 경우가 상당수 존재한다. 따라서 고유의 제작 목적과 침수해석이라는 활용 목적이 일치 하지 않아 속성 데이터 값이 존재하지 않거나 침수 모델링에 필요한 필수 정보가 누락되어 개별 연구자들이 별도의 보완작업을 수행한 후 침수해석에 활용하고 있는 실정이다. 이러한 개인연구자들의 주관적 판단에 의한 하수관망의 단순화 또는 보완작업은 상황에 따라 자료의 불확실성을 증대시키며 연구자의 숙련도와 배경지식에 따라 침수 해석 결과에 많은 영향을 미치고 있다. 따라서 GIS기반 하수관망 자료를 침수 모의에 활용 가능한 입력 자료로 변환 하는 경우 개별 연구자들의 주관적 개입이 최대한 배제된 형태의 자료를 만들기 위한 기본 알고리즘 개발이 시급한 상태이다. 본 연구에서는 서울시 사당역 인근 유역과 부산시 온천천 유역의 GIS 기반 하수관망 자료의 형식에 대해서 알아보고 누락 자료를 보완하기 위한 알고리즘을 개발하였다. 개발된 알고리즘을 활용하여 누락자료가 보완된 하수관망 자료는 향후 개별 연구자들의 주관적 판단을 배제하여 도시침수 해석 시 하수관망 자료의 불확실성을 최소화 하는데 기여할 수 있을 것으로 판단된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.14-14
• /
• 2015

공간보간기법은 미계측지역의 강수예측을 위해 통상적으로 사용되는 방법 중의 하나이다. 이 연구에서는 기상청에서 제공하고 있는 RCP 8.5 시나리오에 의한 남한상세 강수자료 중 지형이 복잡한 도서지역에서 제공되지 않는 데이터 누락격자에 대하여 최적의 공간보간기법을 선정하여 강수자료를 생성할 수 있도록 하였다. 적합한 보간기법을 선정하기 위해 데이터 누락지역에 대한 분석을 수행하였고, 최신 행정구역도에 맞추어 $1km{\times}1km$ 격자를 한반도 전체지역에 맞추어 생성된 격자를 사용하였다. ESRI사의 ArcGIS 프로그램을 이용하여 공간보간기법을 적용하였다. 사용된 보간법은 역거리가중치법(IDW), 정규크리깅(Ordinary Kriging), 보편크리깅(Universal Kriging), 스플라인(Spline)이며 가장 적합한 공간보간기법을 선정하기 위해 기후변화시나리오에 의한 데이터 중 해안선 주변 특정격자에서의 값을 누락시켜 공간보간기법을 통해 생성된 값과 기후변화 시나리오에 의한 값을 정량적으로 비교하였다. 공간보간기법의 적합도 평가를 위해 MAE(Mean Absolute Error), MSE(Mean Squared Error), PBIAS(Percent of BIAS), G(goodness of prediction) 분석을 수행하였고, 산점도 분석을 통해 실제값과 보간값의 오차율 평가를 병행하여 최적 공간보간기법을 결정하였다. 사용된 강수데이터는 RCP 8.5 시나리오에서 2015~2019년 중 강수가 높게 나타난 8월 자료를 이용하였다. 해안선 지역의 강수량 추정시 역거리 가중치법과 크리깅방법은 일부 지점에서 과다 추정되는 경향이 있고, 스플라인 방법이 전체적인 총 강수량이 기후변화시나리오에 의한 실제값과 유사한 것으로 나타났다. 실제값과 보간값의 교차검증을 수행한 결과 정규크리깅 기법이 가장 높은 정확도를 보였으며, 전체적으로 실제값과 유사한 범위내의 강수량이 생성되는 것으로 나타났다.

• The Journal of Engineering Geology
• /
• v.31 no.1
• /
• pp.31-42
• /
• 2021

Database of Cut-slope management system (CSMS) has been constructed based on investigations of all slopes on the roads of the whole country. The investigation data is documented by human, so it is inevitable to avoid human-error such as missing-data and incorrect entering data into computer. The goal of this paper is constructing a prediction model based on several machine-learning algorithms to solve those imperfection problems of the CSMS data. First of all, the character-type data in CSMS data must be transformed to numeric data. After then, two algorithms, i.g., multinomial logistic regression and deep-neural-network (DNN), are performed, and those prediction models from two algorithms are compared. Finally, it is identified that the accuracy of DNN-model is better than logistic model, and the DNN-model will be utilized to improve data-quality.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.135-135
• /
• 2020

우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.518-518
• /
• 2015

이 연구에서는 ESRI사의 ArcGIS 프로그램을 이용하여, 한반도 남한지역 중 기후변화시나리오에 의한 강수량이 제공되지 않는 해안선지역에 대해 기후변화시나리오를 이용하여 장래 강수량을 생성할 수 있는 모형을 개발하였다. 기상청에서 제공하는 기후변화 시나리오에 의한 장래강수데이터의 경우 복잡한 해안선지역에 대해 장래 강수데이터를 제공하고 있지 않기 때문에 최근의 지형도를 적용하여 기상청에서 제공하지 않는 지역에 대해 보완격자를 생성하고, 공간보간 기법을 이용하여 이를 해결할 수 있다. 1km 격자단위의 강수데이터를 생성하기 위하여 GIS내에 여러 툴(tools)의 기능을 단계적으로 모형화하여 순서화된 작업을 자동적으로 수행할 수 있는 model builder를 사용하였다. 데이터 변환작업을 위한 전처리, 데이터 보간 추출 기능과 공간보간기법을 적용하여 기후변화 시나리오가 적용된 데이터누락지역에서의 장래 강수예측데이터를 생성할 수 있도록 하였다. 기상청에서 제공하는 RCP 8.5 시나리오를 이용하였고, 일부 해안선과 섬 지역에 대해 장래강수량을 생성할 수 있는 보간기법이 적용된 모형으로 한반도 남한지역 중 강수자료가 제공되지 않는 총 4,186개의 격자에 대해 적합한 공간보간기법을 선택하여, 일단위 및 월단위 강수자료를 생산할 수 있도록 하였다. 기상청에서 제공하는 강수데이터의 경우 'ASCII' 파일 형식으로 기후변화 데이터를 제공하기 때문에 사용자가 별도의 프로그램을 이용하여 강수예측자료를 얻어야 하는 문제가 있다. 강수예측자료를 텍스트파일 형태로 사용자가 원하는 좌표를 선택 한 후 데이터를 추출할 수 있도록 격자화하여 저장되도록 하였다.

• Journal of Korean Society of Transportation
• /
• v.18 no.6
• /
• pp.63-75
• /
• 2000

Stated Preference (SP) data has been regarded as more useful than Revealed Preference (RP) data, because researchers can investigate the respondents\` Preference and attitude for a traffic condition or a new traffic system by using the SP data. However, the SP data has two bias: the first one is the bias inherent in SP data and the latter one is the attrition bias in SP panel data. If the biases do not corrected, the choice model using SP data may predict a erroneous future demand. In this Paper, six route choice models are constructed to deal with the SP biases, and. these six models are classified into cross-sectional models (model I∼IH) and dynamic models (model IV∼VI) From the six models. some remarkable results are obtained. The cross-sectional model that incorporate RP choice results of responders with SP cross-sectional model can correct the biases inherent in SP data, and also the dynamic models can consider the temporal variations of the effectiveness of state dependence in SP responses by assuming a simple exponential function of the state dependence. WESML method that use the estimated attrition probability is also adopted to correct the attrition bias in SP Panel data. The results can be contributed to the dynamic modeling of SP Panel data and also useful to predict more exact demand.

• Journal of Software Assessment and Valuation
• /
• v.15 no.1
• /
• pp.43-53
• /
• 2019

BigCloneBench has recently been used for performance evaluation of code clone detection tool using machine learning. However, since BigCloneBench is not a benchmark that is optimized for machine learning, incorrect learning data can be created. In this paper, we have shown through experiments using machine learning that the set of Type-4 clone methods provided by BigCloneBench can additionally be found. Experimental results using Tree-Based Convolutional Neural Network show that our proposed method is effective in improving BigCloneBench's dataset.

• Journal of Information Management
• /
• v.41 no.4
• /
• pp.165-186
• /
• 2010

This study aims to suggest the basis and criterion for the data deletion guideline to make the information systems effective and reduce the cost of system management. To make a frame of the guideline, we researched the laws and policies of USA, UK and Australia and the domestic laws and regulations related with the deletion of records. From this paper research, we prepared the draft guideline and gathered the opinion about it. Through this research and survey, we produced out the guideline including the criteria, the process and the way of data deletion. Adopting the guideline to a sample organization, we couldn't find any problem in deleting the unused data.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.23 no.2
• /
• pp.119-131
• /
• 2024

Understanding accurate traffic performance is crucial for ensuring efficient highway operation and providing a sustainable mobility environment. On the other hand, an immediate and precise estimation of highway traffic performance faces challenges because of infrastructure and technological constraints, data processing complexities, and limitations in using integrated big data. This paper introduces a framework for estimating traffic performance by analyzing real-time data sourced from toll collection systems and dedicated short-range communications used on highways. In particular, this study addresses the data errors arising from segmented information in data, influencing the individual travel trajectories of vehicles and establishing a more reliable Origin-Destination (OD) framework. The study revealed the necessity of trip linkage for accurate estimations when consecutive segments of individual vehicle travel within the OD occur within a 20-minute window. By linking these trip ODs, the daily average highway traffic performance for South Korea was estimated to be248,624 thousand vehicle kilometers per day. This value shows an increase of approximately 458 thousand vehicle kilometers per day compared to the 248,166 thousand vehicle kilometers per day reported in the highway operations manual. This outcome highlights the potential for supplementing previously omitted traffic performance data through the methodology proposed in this study.