• Journal of Broadcast Engineering
• /
• v.28 no.3
• /
• pp.302-313
• /
• 2023

This paper aims to develop a framework that can fully automate the quality management of training data used in large-scale Artificial Intelligence (AI) models built by the Ministry of Science and ICT (MSIT) in the 'AI Hub Data Dam' project, which has invested more than 1 trillion won since 2017. Autonomous driving technology using AI has achieved excellent performance through many studies, but it requires a large amount of high-quality data to train the model. Moreover, it is still difficult for humans to directly inspect the processed data and prove it is valid, and a model trained with erroneous data can cause fatal problems in real life. This paper presents a dataset reconstruction framework that removes abnormal data from the constructed dataset and introduces strategies to improve the performance of AI models by reconstructing them into a reliable dataset to increase the efficiency of model training. The framework's validity was verified through an experiment on the autonomous driving dataset published through the AI Hub of the National Information Society Agency (NIA). As a result, it was confirmed that it could be rebuilt as a reliable dataset from which abnormal data has been removed.

• Journal of Internet Computing and Services
• /
• v.20 no.6
• /
• pp.137-142
• /
• 2019

This paper Various services exist to detect and monitor abnormal event. However, most services focus on fires and gas leaks. so It is impossible to prevent and respond to emergency situations for the elderly and severely disabled people living alone. In this study, AI model is designed and compared to detect abnormal event of heart rate signal which is considered to be the most important among various bio signals. Specifically, electrocardiogram (ECG) data is collected using Physionet's MIT-BIH Arrhythmia Database, an open medical data. The collected data is transformed in different ways. We then compare the trained AI model with the modified and ECG data.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.11
• /
• pp.1608-1614
• /
• 2022

As competition between universities intensifies due to the recent decrease in the number of students, it is recognized as an essential task of universities to predict students who are underperforming at an early stage and to make various efforts to prevent dropouts. For this, a high-performance model that accurately predicts student performance is essential. This paper proposes a method to improve prediction performance by removing or amplifying abnormal data in a classification prediction model for identifying underperforming students. Existing anomaly data processing methods have mainly focused on deleting or ignoring data, but this paper presents a criterion to distinguish noise from change indicators, and contributes to improving the performance of predictive models by deleting or amplifying data. In an experiment using open learning performance data for verification of the proposed method, we found a number of cases in which the proposed method can improve classification performance compared to the existing method.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.837-840
• /
• 2021

안정적인 서버 운영을 위해 이상 패턴 및 개체를 식별하는 이상탐지 연구가 활발하게 연구되어 오고 있다. 이상탐지의 대표적인 예로 서버의 사용량 증가를 꼽을 수 있지만, 실제 이상 데이터 수집 및 현상의 재현이 어렵다는 점은 해당 연구의 어려움으로 존재한다. 본 연구는 다양한 시나리오 기반의 부하테스트를 설계하고, 클라우드 환경에서 이상 데이터를 생성 및 수집하였다. 해당 데이터는 이상탐지에 대표적으로 사용되는 알고리즘의 성능을 비교 분석에 활용하였으며, 실험을 통해 각 알고리즘의 신뢰 수준을 확인하였다. 이는 다양한 서버 운영 환경에 적합한 알고리즘을 채택하는데 활용 가능하며, 결과적으로 안정적이고 효율적인 서버 운영에 기여할 수 있을 것으로 사료된다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.23 no.5
• /
• pp.47-53
• /
• 2023

With the advent of the 4th Industrial Revolution, diverse and a large amount of data has been accumulated now. The agricultural community has also collected environmental data that affects the growth of crops in smart farms or open fields with sensors. Environmental data has different features depending on where and when they are measured. Studies have been conducted using collected agricultural data to predict growth and yield with statistics and artificial intelligence. The results of these studies vary greatly depending on the data on which they are based. So, studies to enhance data quality have also been continuously conducted for performance improvement. A lot of data is required for high performance, but if there are outlier or missing values in the data, it can greatly affect the results even if the amount is sufficient. So, adjustment of outlier and missing values is essential in the data preprocessing. Therefore, this paper integrates data collected from actual farms and proposes a adjustment system for outlier and missing values based on it.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07a
• /
• pp.55-57
• /
• 2005

과학 분야의 발전에 따라 처리해야 하는 데이터의 양도 급격하게 증가하여 기가바이트, 테라바이트 혹은 페타바이트 이상이 되었다. 이렇게 큰 단위의 데이터를 로컬영역에서 처리하기에는 무리가 있다. 본 논문에서는 테라바이트 혹은 페타 바이트 이상의 데이터를 처리하고 관리하는 방안과 데이터의 사용방법에 대해서 논의 하겠다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.161-162
• /
• 2019

본 논문에서는 변압기의 이상 신호 데이터를 원거리에서 축적하기 위한 이상 신호 진단 시스템을 제안한다. 이 시스템은 원격으로 변압기의 이상 신호를 수집하여 변압기의 이상을 알아낼 수 있다. 이 시스템은 상용된 통신 모듈의 느린 통신 속도를 고려하여 이상 신호를 RMS-DC 값으로 변환하는 작업을 추가하였다.

• Korean Journal of Remote Sensing
• /
• v.28 no.5
• /
• pp.573-586
• /
• 2012

Point clouds acquired by a LIDAR(Light Detection And Ranging, also LADAR) system often contain erroneous points called outliers seeming not to be on physical surfaces, which should be carefully detected and eliminated before further processing for applications. Particularly in case of LIDAR systems employing with a Gieger-mode array detector (GmFPA) of high sensitivity, the outlier ratio is significantly high, which makes existing algorithms often fail to detect the outliers from such a data set. In this paper, we propose a method to discriminate outliers from a point cloud with high outlier ratio acquired by a GmFPA LIDAR system. The underlying assumption of this method is that a meaningful targe surface occupy at least two adjacent pixels and the ranges from these pixels are similar. We applied the proposed method to simulated LIDAR data of different point density and outlier ratio and analyzed the performance according to different thresholds and data properties. Consequently, we found that the outlier detection probabilities are about 99% in most cases. We also confirmed that the proposed method is robust to data properties and less sensitive to the thresholds. The method will be effectively utilized for on-line realtime processing and post-processing of GmFPA LIDAR data.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2017.08a
• /
• pp.102-102
• /
• 2017

디지털 정보의 폭발적인 증가세와 함께 연구 데이타 또한 다양한 형태로 축적 되고 있다. 이에 다양한 정보들을 효율적으로 활용하는 것이 연구 혁신의 동력원으로 작용하고 어떠한 데이터를 어떻게 효율적으로 활용할 것인가가 정보 사회의 화두로 떠오르고 있다. 특히, 데이타 정보의 경우 전세계 약 900개 이상의 레파지토리들이 다양한 구조와 플랫폼을 토대로 축적 되고 있어 이에 대한 엄선 된 데이터 레파지토리 정보를 WoS의 단일 플랫폼에서 손쉽게 취득 할 수 있는 DCI(Data Citation Index)에 대한 관심이 증가되고 있는 추세이다. 현재 DCI에는 330여 종의 레포지토리에 수록 된 650만개 이상의 레코드를 수록 중이며 매년 50만 건 이상의 레코드가 추가 되고 있다. DCI는 레포지토리의 메타데이터를 분석하고 WoS에서 보유하고 있는 정보와 취합하여 데이터를 재구성하고 구조화하여 위계 질서를 부여하고 각 레코드가 소스 레포지토리로 연결되도록 링크를 제공하여 데이터 열람 및 다운로드가 가능하도록 하며 WoS내에 관련 논문(SCIE급)이 있는 경우 논문 과 데이터 상호 간의 링크도 제공한다. 보다 체계적인 데이터 관리를 위한 정보의 구조화와 보다 전문적인 정보 검색을 위한 Taxonomic Data와 시소러스(Thesaurus) 정보를 통한 DCI의 활용을 통해 새로운 정보의 세계를 경험해 보자.

• Proceedings of the Korea Contents Association Conference
• /
• 2012.05a
• /
• pp.170.1-170.1
• /
• 2012

본 발표에서는 KISTI에서 현재 구축하고 있는 인체 데이터의 현황과 인체 데이터를 포함한 과학 데이터 리파지터리의 구축과 활용에 대한 전반적인 내용을 소개한다. 인체 데이터는 인체 절단면 영상을 중심으로 한 Visible Korean 데이터와 CT, MR 영상과 인체 뼈대 물성을 중심으로 한 Digital Korean 데이터로 나누어지며 이들 데이터의 제작 과정과 활용 내용을 주로 소개한다. 과학 데이터 리파지터리 구축 내용은 현재 국가의 연구개발 예산으로 수행되고 있는 연구과제에서 생성된 다양한 과학 데이터들을 국가적 차원에서 수집, 관리, 유통시키기 위해 기관별 또는 분야별로 과학데이터센터를 육성하고 이를 거점으로 하여 국내의 과학데이터가 수집, 관리, 유통, 활용될 수 있도록 국가적 과학데이터 관리체계를 구축한다. 또한 이렇게 수집된 과학데이터의 활용을 위해 연구자들이 데이터 기반의 연구 과제를 수행할 수 있도록 데이터 기반의 첨단 연구 환경을 구축하고 연구에 필요한 S/W, H/W 및 기타 필요한 IT 기반의 요소기술들을 개발, 지원한다. 또한 KISTI가 제작 주체가 되어 생산한 상기의 인체 데이터뿐만 아니라 의료 관련 분야의 연구 현장에서 생산되고 있는 다양한 인체 데이터를 수집, 관리, 공유할 수 있도록 인체 데이터 리파지터리를 구축하기 위해 Visible Korean, Digital Korean 데이터를 포함한 다양한 의료 데이터의 리파지토리를 설계하고 이러한 의료 데이터 기반 연구의 활성화 및 데이터 리파지터리의 활성화를 위한 정부 및 분야별 커뮤니티 차원의 다양한 대책들을 소개한다.