• 제목/요약/키워드: Knowledge-based preprocessing

검색결과 44건 처리시간 0.023초

Prediction of the price for stock index futures using integrated artificial intelligence techniques with categorical preprocessing

  • Kim, Kyoung-jae;Han, Ingoo
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1997년도 추계학술대회발표논문집; 홍익대학교, 서울; 1 Nov. 1997
    • /
    • pp.105-108
    • /
    • 1997
  • Previous studies in stock market predictions using artificial intelligence techniques such as artificial neural networks and case-based reasoning, have focused mainly on spot market prediction. Korea launched trading in index futures market (KOSPI 200) on May 3, 1996, then more people became attracted to this market. Thus, this research intends to predict the daily up/down fluctuant direction of the price for KOSPI 200 index futures to meet this recent surge of interest. The forecasting methodologies employed in this research are the integration of genetic algorithm and artificial neural network (GAANN) and the integration of genetic algorithm and case-based reasoning (GACBR). Genetic algorithm was mainly used to select relevant input variables. This study adopts the categorical data preprocessing based on expert's knowledge as well as traditional data preprocessing. The experimental results of each forecasting method with each data preprocessing method are compared and statistically tested. Artificial neural network and case-based reasoning methods with best performance are integrated. Out-of-the Model Integration and In-Model Integration are presented as the integration methodology. The research outcomes are as follows; First, genetic algorithms are useful and effective method to select input variables for Al techniques. Second, the results of the experiment with categorical data preprocessing significantly outperform that with traditional data preprocessing in forecasting up/down fluctuant direction of index futures price. Third, the integration of genetic algorithm and case-based reasoning (GACBR) outperforms the integration of genetic algorithm and artificial neural network (GAANN). Forth, the integration of genetic algorithm, case-based reasoning and artificial neural network (GAANN-GACBR, GACBRNN and GANNCBR) provide worse results than GACBR.

  • PDF

A Regularity-Based Preprocessing Method for Collaborative Recommender Systems

  • Toledo, Raciel Yera;Mota, Yaile Caballero;Borroto, Milton Garcia
    • Journal of Information Processing Systems
    • /
    • 제9권3호
    • /
    • pp.435-460
    • /
    • 2013
  • Recommender systems are popular applications that help users to identify items that they could be interested in. A recent research area on recommender systems focuses on detecting several kinds of inconsistencies associated with the user preferences. However, the majority of previous works in this direction just process anomalies that are intentionally introduced by users. In contrast, this paper is centered on finding the way to remove non-malicious anomalies, specifically in collaborative filtering systems. A review of the state-of-the-art in this field shows that no previous work has been carried out for recommendation systems and general data mining scenarios, to exactly perform this preprocessing task. More specifically, in this paper we propose a method that is based on the extraction of knowledge from the dataset in the form of rating regularities (similar to frequent patterns), and their use in order to remove anomalous preferences provided by users. Experiments show that the application of the procedure as a preprocessing step improves the performance of a data-mining task associated with the recommendation and also effectively detects the anomalous preferences.

지식기반 영상개선을 위한 지문영상의 품질분석 (Fingerprint Image Quality Analysis for Knowledge-based Image Enhancement)

  • 윤은경;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권7호
    • /
    • pp.911-921
    • /
    • 2004
  • 지문영상으로부터 특징점을 정확하게 추출하는 것은 효과적인 지문인식 시스템의 구축에 매우 중요하다. 하지만 지문영상의 품질에 따라 특징점 추출의 정확도가 달라지기 때문에 지문인식 시스템에서의 영상 전처리 과정은 시스템의 성능에 크게 영향을 미친다. 본 논문에서는 지문영상으로부터 명암값의 평균 및 분산, 블록 방향성 차, 방향성 변화도, 융선과 골의 두께 비율 등의 5가지 특징을 추출하고 계층적 클러스터링 알고리즘으로 클러스터링하여 영상의 품질 특성을 분석한 후 습성(oily), 보통(neutral), 건성(dry)의 특성에 적합하게 영상을 개선하는 지식기반 전처리 방법을 제안한다. NIST DB 4와 인하대학교 데이타를 이용하여 실험한 결과, 클러스터링 기법이 영상의 특성을 제대로 구분함을 확인할 수 있었다. 또한 제안한 방법의 성능 평가를 위해 품질 지수와 블록 방향성 차이를 측정하여 일반적인 전처리 방법보다 지식기반 전처리 방법이 품질 지수와 블록 방향성 차이를 향상시킴을 확인할 수 있었다.

Creating Knowledge from Construction Documents Using Text Mining

  • Shin, Yoonjung;Chi, Seokho
    • 국제학술발표논문집
    • /
    • The 6th International Conference on Construction Engineering and Project Management
    • /
    • pp.37-38
    • /
    • 2015
  • A number of documents containing important and useful knowledge have been generated over time in the construction industry. Such text-based knowledge plays an important role in the construction industry for decision-making and business strategy development by being used as best practice for upcoming projects, delivering lessons learned for better risk management and project control. Thus, practical and usable knowledge creation from construction documents is necessary to improve business efficiency. This study proposes a knowledge creating system from construction documents using text mining and the design comprises three main steps - text mining preprocessing, weight calculation of each term, and visualization. A system prototype was developed as a pilot study of the system design. This study is significant because it validates a knowledge creating system design based on text mining and visualization functionality through the developed system prototype. Automated visualization was found to significantly reduce unnecessary time consumption and energy for processing existing data and reading a range of documents to get to their core, and helped the system to provide an insight into the construction industry.

  • PDF

센서 네트워크의 데이터 스트림 마이닝을 위한 온톨로지 기반의 전처리 기법 (Ontology based Preprocessing Scheme for Mining Data Streams from Sensor Networks)

  • 정재은
    • 지능정보연구
    • /
    • 제15권3호
    • /
    • pp.67-80
    • /
    • 2009
  • 다양한 센서의 개발과 센서 네트워크 구축으로 인해 특정 공간의 환경 데이터를 수집할 수 있다. 보다 유용한 정보 및 지식의 발견을 위하여 데이터 마이닝(Data mining) 기법이 활용되는 연구들이 소개되었다. 본 연구에서는 이와 같은 데이터 마이닝 기법의 효율성 증대를 위하여 센서 네트워크로부터의 데이터 스트림의 전처리 과정(Preprocessing)을 수행하고자 한다. 제안하는 센서 스트림 데이터의 전처리 과정은 i) 세션확인(Session identification)과 ii) 오류검증(Error detection) 문제를 해결하고자 한다. 특히, 이를 위해 각센서 장비로부터 수집되는 데이터의 의미(Semantics)를 표현하고 있는 온톨로지(Ontology)를 적용한다. 본 연구 결과의 성능 평가를 위하여 센서 네트워크 테스팅 환경을 교내에 설치하였으며 30여일 동안 수집된 데이터를 이용하여 시뮬레이션을 실행하였다.

  • PDF

우리나라 우편 봉투 영상에서의 주소 영역 추추을 위한 지식 기반 시스템 (A Knowledge-Based System for Address Block Location on Korean Envelope Images)

  • 김기철;이성환
    • 전자공학회논문지B
    • /
    • 제31B권8호
    • /
    • pp.137-147
    • /
    • 1994
  • In this paper,we propose a knowledge-based system for locating Destination Address Block(DAB) by analyzing the structure of Korean envelope images. In the proposed system the preprocessing steps such as adaptive binarization connected component extraction and deskewing are carried out first for the effective structure analysis of the envelope image. Then DAB containing address name and zipcode parts of the input envelope image is extracted by an iterative procedure based on the knowledge acquired from the statistical feature analysis of the various envelope images. Most of the system for slocating address blocks on envelopes have extracted DAB by segmenting an envelope image into several candidate blocks followed by selecting one among the candidate blocks. Because it is very difficult to segment a Korean envelope image into several blocks due to the specific writing habits that the addresses on the envelope are written in close proximity to each other the proposed iterative procedure determines DAB by splitting or merging the connected components and verifies the determined DAB without segmentation and selection. Experiments with a great number of the live envelopes provided from Seoul Mail Center in Koorea were carried out. The results reveal that the proposed system is very effective for address block location on Korean envelopes.

  • PDF

다양한 데이터 전처리 기법과 데이터 오버샘플링을 적용한 GRU 모델 기반 이상 탐지 성능 비교 (Comparison of Anomaly Detection Performance Based on GRU Model Applying Various Data Preprocessing Techniques and Data Oversampling)

  • 유승태;김강석
    • 정보보호학회논문지
    • /
    • 제32권2호
    • /
    • pp.201-211
    • /
    • 2022
  • 최근 사이버보안 패러다임의 변화에 따라, 인공지능 구현 기술인 기계학습과 딥러닝 기법을 적용한 이상탐지 방법의 연구가 증가하고 있다. 본 연구에서는 공개 데이터셋인 NGIDS-DS(Next Generation IDS Dataset)를 이용하여 GRU(Gated Recurrent Unit) 신경망 기반 침입 탐지 모델의 이상(anomaly) 탐지 성능을 향상시킬 수 있는 데이터 전처리 기술에 관한 비교 연구를 수행하였다. 또한 정상 데이터와 공격 데이터 비율에 따른 클래스 불균형 문제를 해결하기 위해 DCGAN(Deep Convolutional Generative Adversarial Networks)을 적용한 오버샘플링 기법 등을 사용하여 오버샘플링 비율에 따른 탐지 성능을 비교 및 분석하였다. 실험 결과, 시스템 콜(system call) 특성과 프로세스 실행패스 특성에 Doc2Vec 알고리즘을 사용하여 전처리한 방법이 좋은 성능을 보였고, 오버샘플링별 성능의 경우 DCGAN을 사용하였을 때, 향상된 탐지 성능을 보였다.

시민참여형 GIS를 위한 온톨로지 설계 및 구현 (A Design and Implementation on Ontology for Public Participation GIS)

  • 박지만
    • 대한지리학회지
    • /
    • 제44권3호
    • /
    • pp.372-394
    • /
    • 2009
  • 본 연구는 온톨로지 기반 시민참여형 GIS를 연구하였다. 최근에 온톨로지 기반 GIS는 의미적 의사소통을 위한 지리적 변수의 폭넓은 활용성과 유용한 지리적 지식을 추천하기 위한 수요에 따라 주목받고 있다. 그래서 이 연구는 시민참여형 GIS를 위한 실험적 시스템의 설계와 구현에 초점을 맞추었다. 실험적 시스템의 적용 가능성은 경기도 구리시의 역사관광을 대상으로 실험을 통해 확인하였다. 방법론 측면에서 지역상황과 사용자 인식에 연관된 생명주기모형은 공리를 통해 지리적 지식발견을 추천하고, 이는 주요한 사전절차단계(명세화, 개념화, 정규화, 통합과 구현)를 통해 가능하다. 이 연구의 온톨로지는 실용적 측면에서 추론을 통한 지리적 지식을 추천하였다. 더불어, 이 연구의 온톨로지 기반 시민참여형 GIS는 인식론적 접근과 존재론적 접근의 통합을 보여주고, 의미론적 의사소통과 연계된 지표를 제공하였다는 것에 의미가 있다. 실험적 시스템의 결과는 연구지역에서 시나리오의 형태로 적용하고, 이 모델은 인간 활동의 의미에서 논리적인 제약요소의 공리를 활용하였다.

음절핵의 위치정보를 이용한 우리말의 음소경계 추출 (Utilization of Syllabic Nuclei Location in Korean Speech Segmentation into Phonemic Units)

  • 신옥근
    • 한국음향학회지
    • /
    • 제19권5호
    • /
    • pp.13-19
    • /
    • 2000
  • 음성신호의 음소경계 추출방법 중 음소에 대한 사전지식 없이 음성 데이타, 혹은 특징벡터의 변화를 감지하여 음소경계를 추출해 내는 맹목 세그먼테이션은 연속음형 인식시스템이나 코퍼스 제작에 중요한 역할을 하며 많은 연구가 진행되어 왔다. 이러한 맹목 세그먼테이션 방법은 사전지식을 필요로 하지 않아 비교적 쉽게 접근할 수 있으나 음운학적인 지식, 또는 음소나 음소경계에 대한 지식과 경험 데이타 등을 이용하는 지식 기반 세그먼테이션 방법에 비해 성능이 좋지 못한 단점이 있다. 본고에서는 우리말의 연속 음성을 맹목 세그먼테이션해서 후보 경계를 추출한 다음, 음절핵의 위치정보를 이용하여 후보 경계를 후처리함으로써 세그먼테이션 효율을 높이는 방법을 제안한다. 제안하는 방법의 전처리과정에서는 확률적인 거리 모델을 이용한 클러스터링 방법을 이용하였으며, 후처리과정에서는 음절의 핵 사이에 위치할 수 있는 음소의 수는 제한된다는 선험적인 지식을 이용하였다. 실험결과, 제안하는 방법을 이용했을 때의 삽입오류는 맹목 세그먼테이션에 비해 약 25% 감소하였다.

  • PDF

안저 영상에서 시신경유두의 윤곽선 자동 검출 (Automatic Detection of Optic Disc Boundary on Fundus Image)

  • 김필운;홍승표;원철호;조진호;김명남
    • 대한의용생체공학회:의공학회지
    • /
    • 제24권2호
    • /
    • pp.91-97
    • /
    • 2003
  • 본 논문에서는 안저 영상에서 시신경유두의 계층적인 검출 방법을 제안하였다. 혈관 정보. 영상의 복잡성 등을 포함하는 안저의 해부학적 지식에 기반한 선행 정보를 이용함으로써 시신경유두의 윤곽선을 검출하였다. 전체적인 처리과정은 크게 3 단계로 나누어진다. 먼저, 처리 과정을 단순화하기 위한 선행 지식으로 이용되는 시신경유두의 근사적인 크기와 위치를 계산하기 위하여 시신경유두를 포함하는 관심영역을 설정하였다. 그런 다음. 설정된 관심영역 내에서 watershed알고리듬을 이용하여 안저 영상을 분할하였고 분할된 영역을 병합함으로써 시신경유두의 초기 윤곽선을 검출하였다. 최종적으로 정확한 윤곽선을 검출하기 위하여 혈관의 심한 간섭 등으로 인해 손상된 윤곽선 부분들을 탐색하고 이들을 제거 및 보정하였다.