• Smart Media Journal
• /
• v.8 no.4
• /
• pp.80-84
• /
• 2019

As a result of AMI rapidly expanding and distributing its products, variety of services that utilize data on the use of electricity are increasing. In order to make these services more effective, missing metric data needs to be corrected, compensating for which Euclidean similarity is used to find customers with similar usage patterns. Throughout such a process, we propose a method for correcting missing data and provide comparison with the preceding methods.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.399-402
• /
• 2022

본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.5
• /
• pp.495-507
• /
• 2019

Data sparsity is one of the main challenges for the recommender system. The recommender system contains massive data in which only a small part is the observed data and the others are missing data. Most studies assume that missing data is randomly missing from the dataset. Therefore, they only use observed data to train recommendation model, then recommend items to users. In actual case, however, missing data do not lost randomly. In our research, treat these missing data as negative examples of users' interest. Three sample methods are seamlessly integrated into SVD++ algorithm and then propose SVD++_W, SVD++_R and SVD++_KNN algorithm. Experimental results show that proposed sample methods effectively improve the precision in Top-N recommendation over the baseline algorithms. Among the three improved algorithms, SVD++_KNN has the best performance, which shows that the KNN sample method is a more effective way to extract the negative examples of the users' interest.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2011.06a
• /
• pp.123-125
• /
• 2011

울산항은 1996년 9월부터 입출항 선박의 항행안전을 위해 VTS 시스템을 설치운영하고 있으나 많은 선박통항량과 위험화물 운송선박의 잦은 운항으로 여러 가지 위험요소가 상존하고 있는 개항장이다. VTS 시스템은 레이더의 자동물표추적장치에 의한 데이터, PORT-MIS의 선박관련 데이터 등 많은 정보들이 분산 처리되어 관제사에게 제공되고 있으나 최근 선박에 설치 운영되고 있는 선박자동식별장치(AIS)에 의해 선박의 정보들이 더욱 신속하고 정확하게 처리되는 것으로 평가되고 있다. 그러나 인위적인 과실에 의한 AIS의 오류정보들과 원활하지 못한 데이터통신에 의한 데이터 누락현상에 의해 VTS 시스템 운용에 막대한 영향을 초래하고 있다. 이러한 인위적인 과실에 의한 AIS의 오류 데이터는 PSC 검사관들의 적극적인 개선의지로 정책적인 계도작업을 수행하고 있으므로 점차 개선될 것으로 기대된다. 따라서 본 연구에서 AIS의 원활하지 못한 통신망에 의한 데이터 누락 현상에 의한 VTS 시스템에서의 영향을 조사 분석하고 이에 따른 개선 방안을 제시하고자 한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.14-14
• /
• 2015

공간보간기법은 미계측지역의 강수예측을 위해 통상적으로 사용되는 방법 중의 하나이다. 이 연구에서는 기상청에서 제공하고 있는 RCP 8.5 시나리오에 의한 남한상세 강수자료 중 지형이 복잡한 도서지역에서 제공되지 않는 데이터 누락격자에 대하여 최적의 공간보간기법을 선정하여 강수자료를 생성할 수 있도록 하였다. 적합한 보간기법을 선정하기 위해 데이터 누락지역에 대한 분석을 수행하였고, 최신 행정구역도에 맞추어 $1km{\times}1km$ 격자를 한반도 전체지역에 맞추어 생성된 격자를 사용하였다. ESRI사의 ArcGIS 프로그램을 이용하여 공간보간기법을 적용하였다. 사용된 보간법은 역거리가중치법(IDW), 정규크리깅(Ordinary Kriging), 보편크리깅(Universal Kriging), 스플라인(Spline)이며 가장 적합한 공간보간기법을 선정하기 위해 기후변화시나리오에 의한 데이터 중 해안선 주변 특정격자에서의 값을 누락시켜 공간보간기법을 통해 생성된 값과 기후변화 시나리오에 의한 값을 정량적으로 비교하였다. 공간보간기법의 적합도 평가를 위해 MAE(Mean Absolute Error), MSE(Mean Squared Error), PBIAS(Percent of BIAS), G(goodness of prediction) 분석을 수행하였고, 산점도 분석을 통해 실제값과 보간값의 오차율 평가를 병행하여 최적 공간보간기법을 결정하였다. 사용된 강수데이터는 RCP 8.5 시나리오에서 2015~2019년 중 강수가 높게 나타난 8월 자료를 이용하였다. 해안선 지역의 강수량 추정시 역거리 가중치법과 크리깅방법은 일부 지점에서 과다 추정되는 경향이 있고, 스플라인 방법이 전체적인 총 강수량이 기후변화시나리오에 의한 실제값과 유사한 것으로 나타났다. 실제값과 보간값의 교차검증을 수행한 결과 정규크리깅 기법이 가장 높은 정확도를 보였으며, 전체적으로 실제값과 유사한 범위내의 강수량이 생성되는 것으로 나타났다.

• Proceedings of the Korean Society Of Semiconductor Equipment Technology
• /
• 2006.10a
• /
• pp.77-81
• /
• 2006

본 논문은 반도체 장비 및 디스플레이 장비에서 적용되는 네트워크 통신 규약인 SECS 통신 프로토콜을 TCP/IP 소켓 프로그램을 이용하여 구현한다. 특히 호스트와 장비간의 통신에 문제가 발생하여 데이터 전송이 누락되었을 때 이를 장비에 보관한 후에 통신이 복구되었을 때 다시 호스트에게 전송할 수 있는 스풀링 기능을 구현하여 통신장애의 누락되는 데이터를 다시 전송할 수 있도록 한다. 그리고 윈도우 프로그램을 기반으로 하나의 드라이버 프로그램에서 호스트(액티브) 측과 장비(패시브) 측을 선택하여 사용 가능하게 구현한다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2023.11a
• /
• pp.84-85
• /
• 2023

한나라호 기준 시간당 최대 140만 여건 발생하여 LTE상용망으로 육상제어 센터에 100% 전송이 불가능하여 필수적으로 수신되어야 할 데이터가 누락 되는 현상이 발생하는 것을 발견하였다.

• The Journal of Engineering Geology
• /
• v.31 no.1
• /
• pp.31-42
• /
• 2021

Database of Cut-slope management system (CSMS) has been constructed based on investigations of all slopes on the roads of the whole country. The investigation data is documented by human, so it is inevitable to avoid human-error such as missing-data and incorrect entering data into computer. The goal of this paper is constructing a prediction model based on several machine-learning algorithms to solve those imperfection problems of the CSMS data. First of all, the character-type data in CSMS data must be transformed to numeric data. After then, two algorithms, i.g., multinomial logistic regression and deep-neural-network (DNN), are performed, and those prediction models from two algorithms are compared. Finally, it is identified that the accuracy of DNN-model is better than logistic model, and the DNN-model will be utilized to improve data-quality.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.313-318
• /
• 2007

최근 기업들은 인터넷, 이벤트 등의 다양한 매체를 통해 방대한 양의 고객 주소 데이터를 수집하고 있다. 이렇게 수집된 고객 주소 데이터는 DM발송 등을 통한 마케팅 및 캠페인에 활용함으로써 서비스의 질을 향상시키고, 고객의 충성도를 높인다. 그러나 사용자가 입력한 주소의 일부는 띄어쓰기가 정확하지 않은 주소, 정보가 누락된 주소, 오타가 있는 주소, 구주소 등의 입력으로 주소의 표준 형태를 갖지 않거나 일관성이 없다. 또한 2007년 4월부터 부분시행예정인 신주소 체계를 위해 기존의 주소를 적절히 변환해야만 한다. 본 논문에서는 부정확하거나 불완전한 주소를 표준 형태의 정확한 주소로 변경하는 효율적인 주소 정제 시스템을 제안하고 개발한다. 본 시스템은 먼저 입력 주소의 유니코드 분석을 통한 한글 입력 오류 교정과 해쉬테이블을 이용한 건물명의 표준 형태 변환을 수행한다. 이 과정이 완료된 주소들은 주소 트리 모델 구축을 통해 띄어쓰기가 부정확한 주소의 처리, 역주소테이블(inverted address table)을 이용한 누락 주소의 처리(enrichment), 구주소에 대한 트리 모델을 생성한 신주소 변환 처리 등의 프로세스를 통해 정제하게 된다. 실험을 위해 오타와 띄어쓰기, 누락된 정보가 있는 주소를 생성하여 타 정제 시스템과 성능을 비교하였다. 생성된 데이터를 비교한 결과 기존 주소 정제 시스템의 오류율 7.5% 보다 제안된 방법으로 개발된 본 시스템의 오류율이 0.45%로 낮음을 확인하였다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2011.06a
• /
• pp.1-3
• /
• 2011

선박관제시스템(VMS)는 최근 선박에서 도입되어 설치된 선박자동식별장치(AIS)에 의해 많은 정보를 획득하여 처리하고 있으나 AIS가 미설치된 소형선박, 어선 및 기타선박들에 대해 지속적으로 설치를 확대하고 있다. 특히 항계 내의 선박들의 주 통신시스템인 VHF 무선전화기는 항내에 입출항 중인 모든 선박들이 사용하기 때문에 통화 교신량의 폭주로 원활한 통신이 힘들어지고 또한 선박자동식별장치의 데이터 통신채널 또한 VHF이므로 class A 선박들도 동적 데이터의 누락현상이 발생하고 class B 선박들도 지역적으로 데이터 폭주현상이 발생하는 것으로 평가되고 있는 실정이다. 따라서 연안에서 운항하고 있는 모든 선박들을 모니터링하기 위해 소형선 및 심지어 어선들까지 선박자동식별장치의 설치를 유도하고 있는 실정이므로 통신채널의 폭주현상에 따른 데이터 누락현상은 더욱 심해질 것이다. 따라서 본 연구는 주파수공용방식(TRS: Trunk Radio System)의 통신시스템을 이용한 선박위치 자동발신장치에 적용방안을 제안하고 그 활용성을 입증하고자 한다.