• 제목/요약/키워드: administration information dataset

검색결과 82건 처리시간 0.022초

Default Prediction for Real Estate Companies with Imbalanced Dataset

  • Dong, Yuan-Xiang;Xiao, Zhi;Xiao, Xue
    • Journal of Information Processing Systems
    • /
    • 제10권2호
    • /
    • pp.314-333
    • /
    • 2014
  • When analyzing default predictions in real estate companies, the number of non-defaulted cases always greatly exceeds the defaulted ones, which creates the two-class imbalance problem. This lowers the ability of prediction models to distinguish the default sample. In order to avoid this sample selection bias and to improve the prediction model, this paper applies a minority sample generation approach to create new minority samples. The logistic regression, support vector machine (SVM) classification, and neural network (NN) classification use an imbalanced dataset. They were used as benchmarks with a single prediction model that used a balanced dataset corrected by the minority samples generation approach. Instead of using prediction-oriented tests and the overall accuracy, the true positive rate (TPR), the true negative rate (TNR), G-mean, and F-score are used to measure the performance of default prediction models for imbalanced dataset. In this paper, we describe an empirical experiment that used a sampling of 14 default and 315 non-default listed real estate companies in China and report that most results using single prediction models with a balanced dataset generated better results than an imbalanced dataset.

행정정보 데이터세트 이관도구 SIARD_KR의 개선방안 (Improvement of Administration Information Dataset Transfer Tools 'SIARD_KR')

  • 변우영;임진희
    • 정보관리학회지
    • /
    • 제39권1호
    • /
    • pp.195-217
    • /
    • 2022
  • SIARD_KR은 스위스 연방 기록보존소에서 개발한 관계형 데이터베이스 컨텐츠의 장기보존에 이용하는 기술인 SIARD를 우리나라의 실정에 맞게 일부 수정한 행정정보 데이터세트 보존 도구이다. 기존의 선행연구는 SIARD가 얼마나 관계형 데이터베이스안에 들어있는 모든 데이터를 손실 없이 잘 추출할 수 있는지에 초점이 맞춰져 있다. 하지만 데이터베이스에 들어있는 데이터 전부가 의미 있는 정보, 즉 행정정보 데이터세트는 아니다. 따라서 이 논문은 SIARD_KR이 행정정보 데이터세트의 특성을 반영하고 있는가에 대한 문제의식에서 시작한다. SIARD_KR이 단순히 DB에 저장된 데이터를 추출하는 도구가 아니고 의미 있는 정보만을 식별하여 추출할 수 있을지, 본래의 시스템에서 유리되어도 의미 있는 정보를 유지할 수 있을지 확인하려 한다. 본 논문은 SIARD_KR의 구조를 분석하고, 예상되는 문제점을 도출하여 그에 대한 개선방안을 제시하는 것을 목적으로 한다.

폐교 사립대학 행정정보 데이터세트의 기록관리 방안 연구 (A Study on Managing Dataset in the Administration Information System of Closed Private Universities)

  • 이재영;정연경
    • 한국기록관리학회지
    • /
    • 제21권1호
    • /
    • pp.75-95
    • /
    • 2021
  • 오늘날 대학의 신입생 충원율이 급감하면서 대학의 폐교가 새로운 문제로 등장함에 따라 폐교대학의 기록물 관리가 새로운 이슈로 다뤄지고 있다. 최근 사립학교법이 개정되면서 폐교 기록물 관리를 위한 기본적인 법적 토대가 마련되었지만, 전자기록 중 행정정보 데이터세트에 관한 사항은 반영되지 못한 상태이다. 또한 공공기록물법의 개정에 따라 폐교대학의 행정정보 데이터세트도 공공기록물로서 관리되어야 하나 현재 폐교대학의 기록물 관리는 비전자기록물의 이관이나 정리에 관한 이슈가 주를 이룬다. 본 연구는 이러한 현실을 지적하며 폐교대학 행정정보 데이터세트를 공공기록물로서 관리하기 위한 방안을 도출하는 것에 중점을 두었다. 기본적으로 각종 참고문헌 및 기관의 내부자료를 바탕으로 데이터세트에 관한 이론적 논의를 검토하고 폐교대학 데이터세트 관리현황을 파악하였다. 최종적으로는 폐교대학 통합정보관리시스템의 데이터 관리를 위한 방안으로 기록화 대상 선정, 보존기간 책정, 행정정보 데이터세트 관리기준표 작성, 행정정보 데이터 세트 평가·삭제, 폐교대학 행정정보 데이터세트 종합관리체계 구축 등을 제시하였다.

AraProdMatch: A Machine Learning Approach for Product Matching in E-Commerce

  • Alabdullatif, Aisha;Aloud, Monira
    • International Journal of Computer Science & Network Security
    • /
    • 제21권4호
    • /
    • pp.214-222
    • /
    • 2021
  • Recently, the growth of e-commerce in Saudi Arabia has been exponential, bringing new remarkable challenges. A naive approach for product matching and categorization is needed to help consumers choose the right store to purchase a product. This paper presents a machine learning approach for product matching that combines deep learning techniques with standard artificial neural networks (ANNs). Existing methods focused on product matching, whereas our model compares products based on unstructured descriptions. We evaluated our electronics dataset model from three business-to-consumer (B2C) online stores by putting the match products collectively in one dataset. The performance evaluation based on k-mean classifier prediction from three real-world online stores demonstrates that the proposed algorithm outperforms the benchmarked approach by 80% on average F1-measure.

STAR-24K: A Public Dataset for Space Common Target Detection

  • Zhang, Chaoyan;Guo, Baolong;Liao, Nannan;Zhong, Qiuyun;Liu, Hengyan;Li, Cheng;Gong, Jianglei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권2호
    • /
    • pp.365-380
    • /
    • 2022
  • The target detection algorithm based on supervised learning is the current mainstream algorithm for target detection. A high-quality dataset is the prerequisite for the target detection algorithm to obtain good detection performance. The larger the number and quality of the dataset, the stronger the generalization ability of the model, that is, the dataset determines the upper limit of the model learning. The convolutional neural network optimizes the network parameters in a strong supervision method. The error is calculated by comparing the predicted frame with the manually labeled real frame, and then the error is passed into the network for continuous optimization. Strongly supervised learning mainly relies on a large number of images as models for continuous learning, so the number and quality of images directly affect the results of learning. This paper proposes a dataset STAR-24K (meaning a dataset for Space TArget Recognition with more than 24,000 images) for detecting common targets in space. Since there is currently no publicly available dataset for space target detection, we extracted some pictures from a series of channels such as pictures and videos released by the official websites of NASA (National Aeronautics and Space Administration) and ESA (The European Space Agency) and expanded them to 24,451 pictures. We evaluate popular object detection algorithms to build a benchmark. Our STAR-24K dataset is publicly available at https://github.com/Zzz-zcy/STAR-24K.

Data mining approach to predicting user's past location

  • Lee, Eun Min;Lee, Kun Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권11호
    • /
    • pp.97-104
    • /
    • 2017
  • Location prediction has been successfully utilized to provide high quality of location-based services to customers in many applications. In its usual form, the conventional type of location prediction is to predict future locations based on user's past movement history. However, as location prediction needs are expanded into much complicated cases, it becomes necessary quite frequently to make inference on the locations that target user visited in the past. Typical cases include the identification of locations that infectious disease carriers may have visited before, and crime suspects may have dropped by on a certain day at a specific time-band. Therefore, primary goal of this study is to predict locations that users visited in the past. Information used for this purpose include user's demographic information and movement histories. Data mining classifiers such as Bayesian network, neural network, support vector machine, decision tree were adopted to analyze 6868 contextual dataset and compare classifiers' performance. Results show that general Bayesian network is the most robust classifier.

Construction of a Spatio-Temporal Dataset for Deep Learning-Based Precipitation Nowcasting

  • Kim, Wonsu;Jang, Dongmin;Park, Sung Won;Yang, MyungSeok
    • Journal of Information Science Theory and Practice
    • /
    • 제10권spc호
    • /
    • pp.135-142
    • /
    • 2022
  • Recently, with the development of data processing technology and the increase of computational power, methods to solving social problems using Artificial Intelligence (AI) are in the spotlight, and AI technologies are replacing and supplementing existing traditional methods in various fields. Meanwhile in Korea, heavy rain is one of the representative factors of natural disasters that cause enormous economic damage and casualties every year. Accurate prediction of heavy rainfall over the Korean peninsula is very difficult due to its geographical features, located between the Eurasian continent and the Pacific Ocean at mid-latitude, and the influence of the summer monsoon. In order to deal with such problems, the Korea Meteorological Administration operates various state-of-the-art observation equipment and a newly developed global atmospheric model system. Nevertheless, for precipitation nowcasting, the use of a separate system based on the extrapolation method is required due to the intrinsic characteristics associated with the operation of numerical weather prediction models. The predictability of existing precipitation nowcasting is reliable in the early stage of forecasting but decreases sharply as forecast lead time increases. At this point, AI technologies to deal with spatio-temporal features of data are expected to greatly contribute to overcoming the limitations of existing precipitation nowcasting systems. Thus, in this project the dataset required to develop, train, and verify deep learning-based precipitation nowcasting models has been constructed in a regularized form. The dataset not only provides various variables obtained from multiple sources, but also coincides with each other in spatio-temporal specifications.

기상위험 조기경보를 위한 웹기반 표출시스템 구현 (Implementation of a Web-Based Early Warning System for Meteorological Hazards)

  • 공인학;김홍중;오재호;이양원
    • 대한공간정보학회지
    • /
    • 제24권4호
    • /
    • pp.21-28
    • /
    • 2016
  • 호우, 폭염, 한파와 같은 기상재해를 미연에 방지하기 위해서는 기상예측이 매우 중요하다. 우리나라 기상청에서는 현재시점의 기상특보를 제공하고 있고, 농촌진흥청에서는 농장재해에 대한 2일 예보를 일부 지역에 대해 시범서비스 하고 있다. 이러한 기상위험 조기경보 시스템의 발전을 위해서는 전국적인 고해상도 예측자료와 Web GIS가 통합될 필요가 있다. 본 연구는 1시간 간격, 1km 해상도의 수치예보 자료와 Web GIS가 통합된 형태의 기상위험 조기경보 서비스의 프로토타입 개발을 목적으로 한다. 이를 위하여 전지구모델 GME의 다운스케일링을 통해 시공간분해능이 향상된 기상위험 예측자료가 Web GIS를 통해 표출되도록 하였으며, 오픈소스 기반의 지도 API와 JavaScript 라이브러리의 시각화기법을 결합하여 동적 인터액션이 가능한 사용자 인터페이스를 구성하였다. 711,504개 격자점에 대하여 1시간 간격의 위도, 경도, 기온, 강수량 등 9개 항목으로 이루어진 대량의 데이터를 관리하기 위하여 오픈소스 기반의 DBMS인 PostgreSQL을 사용하였으며, Spring과 myBatis를 연동하여 전자정부 프레임웍기반의 웹서비스를 구성하였다. 이 시스템은 현재의 기상위험 상황에 대한 정보뿐만 아니라, 향후 7일간의 호우, 폭염, 한파 등 기상위험 예측정보가 1시간 간격 및 읍면동 단위로 제공된다. 이 시스템이 현업운용 되기 위해서는 수치예보의 정확도 향상과 함께 래스터 및 벡터 자료의 전처리시간 단축이 향후과제로서 해결되어야 할 것이다.

대용량 데이터를 위한 사례기반 추론기법의 실시간 처리속도 개선방안에 대한 연구: 심장병 예측을 중심으로 (A Case-Based Reasoning Method Improving Real-Time Computational Performances: Application to Diagnose for Heart Disease)

  • 박윤주
    • 경영정보학연구
    • /
    • 제16권1호
    • /
    • pp.37-50
    • /
    • 2014
  • 사례기반 추론기법(case-based reasoning)은 수많은 데이터 속에서 현재 문제와 유사한 과거데이터를 실시간으로 탐색하고 복원해내야 하기 때문에, 과거에 축적된 데이터의 양이 방대하거나 또는 데이터의 축적 속도가 빠를 경우 계산비용(computational cost)이 급격히 높아지는 확장성(scalability) 문제를 갖는다. 이러한 문제를 해결하기 위하여, 기존의 일부 연구들은 클러스터링(clustering) 기법을 적용하여, 전체 데이타를 사전에 몇 개의 그룹으로 분류한 후, 특정 클러스터 내에서만 과거 사례를 탐색하도록 하는 클러스터링과 사례기반 추론의 하이브리드 기법을 제안하였다. 그러나 이러한 기법은 클러스터 수를 얼마로 설정했는지에 따른 성능편차가 심하고, 또한 기본적인 사례기반 추론기법에 비해 일반적으로 낮은 예측성능을 도출하는 문제점이 있다. 본 연구는 이러한 기존의 클러스터-사례기반추론기법의 문제점을 실증적으로 분석하고, 이를 극복할 수 있는 새로운 하이브리드(hybrid) 사례기반 추론기법을 제안한다. 제안된 기법은 실제 심장병환자를 예측하는 문제에 적용하였으며, 그 결과 제안된 기법이 기존의 사례기반 추론기법에 비해 현격하게 낮은 계산비용을 사용하면서도, 유사한 수준의 예측성능을 도출할 수 있음을 확인하였다.

데이터셋 유형 분류를 통한 클래스 불균형 해소 방법 및 분류 알고리즘 추천 (Class Imbalance Resolution Method and Classification Algorithm Suggesting Based on Dataset Type Segmentation)

  • 김정훈;곽기영
    • 지능정보연구
    • /
    • 제28권3호
    • /
    • pp.23-43
    • /
    • 2022
  • AI(Artificial Intelligence)를 다양한 산업에서 접목하기 위해 알고리즘 선택에 대한 관심이 증가하고 있다. 알고리즘 선택은 대부분 데이터 과학자의 경험에 의해 결정되는 경우가 많다. 하지만 경험이 부족한 데이터 과학자의 경우 데이터셋 특성 기반의 메타학습(meta learning) 을 통해 알고리즘을 선택한다. 기존의 알고리즘 추천은 선정 과정이 블랙박스이기 때문에 어떠한 근거에 의해 도출되는지 알 수 없었다. 이에 따라 본 연구에서는 k-평균 군집분석을 활용하여 데이터셋 특성에 따라 유형을 나누고 적합한 분류 알고리즘과 클래스 불균형 해소 방법을 탐색한다. 본 연구 결과 네 가지 유형을 도출하였으며 데이터셋 유형에 따라 적합한 클래스 불균형 해소 방법과 분류 알고리즘을 추천하였다.