• Title/Summary/Keyword: 학습 기반 필터링 기법

Search Result 67, Processing Time 0.023 seconds

Learning Bayesian Networks for Text Documents Classification (텍스트 문서 분류를 위한 베이지안망 학습)

  • 황규백;장병탁;김영택
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.262-264
    • /
    • 2000
  • 텍스트 문서 분류는 텍스트 형태로 주어진 문서를 종류별로 구분하는 작업으로 웹페이지 검색, 뉴스 그룹 검색, 메일 필터링 등이 분야에 응용될 수 있는 기반 작업이다. 지금까지 문서를 분류하는데는 k-NN, 신경망 등 여러 가지 기계학습 기법이 이용되어 왔다. 이 논문에서는 베이지안망을 이용해서 텍스트 문서 분류를 행한다. 베이지안망은 다수의 변수들간의 확률적 관계를 표현하는 그래프 모델로 DAG 형태인 망 구조와 각 노드에 연관된 지역확률분포로 구성된다. 그래프 모델을 사용할 경우 학습에 이용되는 각 속성들간의 관계를 사람이 알아보기 쉬운 형태로 학습할 수 있다는 장점이 있다. 실험 데이터로는 Reuters-21578 문서분류데이터를 이용했으며 베이안망의 성능은 나이브 베이즈 분류기와 비슷했다.

  • PDF

A Process Tailoring Method Based on Artificial Neural Network (인공신경망 기반의 소프트웨어 개발 프로세스 테일러링 기법)

  • Park, Soo-Jin;Na, Ho-Young;Park, Soo-Yong
    • Journal of KIISE:Software and Applications
    • /
    • v.33 no.2
    • /
    • pp.201-219
    • /
    • 2006
  • The key to developing software with the lowest cost and highest quality is to implement or fit the software development process into a given environment. Generally, applying commercial or standard software development processes on a specific project can cause too much overhead if there is no effort to customize the given generic processes. Even though the customizing activities are done before starting the project, these activities are thoroughly dependent on the process engineers who have abundant experience and knowledge with tailoring processes. Owing to this dependence on human knowledge, it has been very difficult to explain the rationale for the results of process tailoring and it takes a long time to get the customized process that is applicable. Hence, we suggest a process tailoring method which adopts the artificial neural network based teaming theory to reduce the time consumed by process tailoring. Furthermore, we suggest the feedback loop mechanism to get higher accuracy in the neural network designed for the process tailoring. It can be done by reusing the process tailoring data results and determining its appropriateness level as sample data to the neural network. We proved the effectiveness of our process tailoring method through case studies using real historical data, which yielded abundant process tailoring results as sample data.

The Design of Target Tracking System Using FBFE Based on VEGA (VEGA 기반 FBFE을 이용한 표적 추적 시스템 설계)

  • 이범직;주영훈;박진배
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.11 no.4
    • /
    • pp.359-365
    • /
    • 2001
  • In this paper, we propose the design methodology of target tracking system using fuzzy basis function expansion(FBFE) based on virus evolutionary genetic algorithm (VEGA). In general, the objective of target tracking is to estimate the future trajectory of the target based on the past position of the target obtained from the sensor. In the conventional and mathematical nonlinear filtering method such as extended Kalman filter(EKF), the performance of the system may be deteriorated in highly nonlinear situation. To resolve these problems of nonlinear filtering technique, by appling artificial intelligent technique to the tracking control of moving targets, we combine the advantages of both traditional and intelligent control technique. In the proposed method, after composing training datum from the parameters of extended Kalman filter, by combining FDFE, which has the strong ability for the approximation, with VEGA, which prevent GA from converging prematurely in the case of lack of genetic diversity of population, and by idenLifying the parameters and rule numbers of fuzzy basis function simultaneously, we can reduce the tracking error of EKF. Finally, the proposed method is applied to three dimensional tracking problem, and the simulation results shows that the tracking performance is improved by the proposed method.

  • PDF

Internet Learning customized System for using Data Mining Techniques (데이터마이닝기법을 이용한 인터넷교육 맞춤 시스템)

  • Lee, Jin-Ho;Ryu, Joon suk;Kim, Ung mo
    • Annual Conference of KIPS
    • /
    • 2009.11a
    • /
    • pp.763-764
    • /
    • 2009
  • 정보통신 기술의 발전은 우리의 생활 전반에 걸쳐 빠르게 흡수되며 급속히 진행되고 있다. 특히 교육의 패러다임이 변화됨에 따라 오늘날 인터넷을 기반으로 한 가상교육의 형태는 학생들로 하여금 더 많은 지식 습득 기회를 제공한다. 본 논문에서는 인터넷상의 교육 시스템에서 개인의 정보를 수집하고, 개인별 교육성향을 분석하여 개인별로 적절한 서비스를 제공하기 위한 연구를 하였다. 데이터 마이닝 기법 중 연관규칙과 클러스터링 협업 필터링을 이용하여 학습자의 교육성향을 파악할 수 있다. 이를 마케팅에 적용한다면 학습자의 선호도를 상승시키고 해당 회사에 신뢰도가 높아져 이익을 증가시킬 수 있는 시스템으로 활용될 수 있다.

Collaborative Tag-Based Recommendation Methods Using the Principle of Latent Factor Models (잠재 요인 모델의 원리를 이용한 협업 태그 기반 추천 방법)

  • Kim, Hyoung-Do
    • The Journal of Society for e-Business Studies
    • /
    • v.14 no.4
    • /
    • pp.47-57
    • /
    • 2009
  • Collaborative tagging systems allow users to attach tags to diverse sharable contents in social networks. These tags provide usefulness in reusing the contents for all community members as well as their creators. Three-dimensional data composed of users, items, and tags are used in the collaborative tag-based recommendation. They are generally more voluminous and sparse than two-dimensional data composed of users and items. Therefore, there are many difficulties in applying existing collaborative filtering methods directly to them. Latent factor models, which are also successful in the area of collaborative filtering recently, discover latent features(factors) for explaining observed values and solve problems based on the features. However, establishing the models require much time and efforts. In order to apply the latent factor models to three-dimensional collaborative filtering data, we have to overcome the difficulty of establishing them. This paper proposes various methods for determining preferences of users to items via establishing an intuitive model by assuming tags used for items as latent factors to users and items respectively. They are compared using real data for concluding desirable directions.

  • PDF

A Structure of Users이 Context-Awareness and Service processing based P2P Mobile Agent using Collaborative Filtering (협력적 필터링 기법을 이용한 P2P 모바일 에이전트 기반 사용자 컨텍스트 인식 및 서비스 처리 구조)

  • Yun Hyo-Gun;Lee Sang-Yong
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.15 no.1
    • /
    • pp.104-109
    • /
    • 2005
  • Context-awareness is an important element that can provide service of good quality according to users' surrounding environment and status in ubiquitous computing environment. Information gathering tools for context-awareness use small size mobile devices which have easy movement and a mobile agent in mobile device. Now, Mobile agents are consuming much times and expense to collect and recognize each users' context information. Therefore, needs research about structure for users' context information awareness in early time to reduce mobile agent's load. This paper proposes a P2P mobile agent structure that mikes filtering techniques and a P2P agent in mobile agent. The proposed structure analyzes each user's context information in same area, and groups users who have similar preference degree. Grouped users share information using a P2P mobile agent. Also this structure observes and learns to continue on users' action and service, and measures new interrelation.

A Study on the Intelligent Online Judging System Using User-Based Collaborative Filtering

  • Hyun Woo Kim;Hye Jin Yun;Kwihoon Kim
    • Journal of the Korea Society of Computer and Information
    • /
    • v.29 no.1
    • /
    • pp.273-285
    • /
    • 2024
  • With the active utilization of Online Judge (OJ) systems in the field of education, various studies utilizing learner data have emerged. This research proposes a problem recommendation based on a user-based collaborative filtering approach with learner data to support learners in their problem selection. Assistance in learners' problem selection within the OJ system is crucial for enhancing the effectiveness of education as it impacts the learning path. To achieve this, this system identifies learners with similar problem-solving tendencies and utilizes their problem-solving history. The proposed technique has been implemented on an OJ site in the fields of algorithms and programming, operated by the Chungbuk Education Research and Information Institute. The technique's service utility and usability were assessed through expert reviews using the Delphi technique. Additionally, it was piloted with site users, and an analysis of the ratio of correctness revealed approximately a 16% higher submission rate for recommended problems compared to the overall submissions. A survey targeting users who used the recommended problems yielded a 78% response rate, with the majority indicating that the feature was helpful. However, low selection rates of recommended problems and low response rates within the subset of users who used recommended problems highlight the need for future research focusing on improving accessibility, enhancing user feedback collection, and diversifying learner data analysis.

Design of the Personalized Searching Navigator of Learning Contents Based on the Topic Maps (토픽맵 기반 개인별 학습 콘텐츠 탐색 네비게이터 구조 설계)

  • Jeung, Kyoung-Hui;Kim, Pan-Koo
    • Annual Conference of KIPS
    • /
    • 2006.11a
    • /
    • pp.23-26
    • /
    • 2006
  • 최근 대부분의 이러닝(E-Learning)을 교육하는 사이트는 학습 콘텐츠를 검색하는 방법이 단순한 리스트의 나열과 택스트 매칭(Text matching)방법을 사용하는 단점이 있다. 이를 보완하기 위해 좀 더 컴퓨터가 정보 데이터의 의미를 분석하여 검색이 가능하도록 개념 네트워크인 시맨틱웹(Semantic Web)이 등장하였다. 본 논문에서는 이러한 시맨틱웹의 온톨로지(Ontology) 언어 중에 토픽맵(Topic Maps)을 사용하여 많은 양의 학습 정보 데이터를 쉽고도 정확하게 연결 지어 학습 콘텐츠에 대한 정보를 표현하고, 구조화할 수 있는 방법을 모색해 보고자 한다. 학습자의 관심분야 정보, 학습객체의 학습 권장자의 정보와 함께 학습 경험과 검색 빈도수를 분석한 협력 필터링과 학습 에이전트의 개인화 기법을 동시에 사용하여 선호도를 분석한다. 이 선호도를 가지고 학습자의 메타데이터를 생성하고, 로그 데이터를 따로 데이터베이스에 저장한다. 이러한 학습자의 정보와 학습 콘텐츠간의 정보를 상호 연결하여, 그 토픽맵을 사용하여 연관관계를 정의해 줌으로써 학업성취도를 높이고, 학습자 개개인의 성향에 가장 알맞은 학습 콘텐츠를 탐색해가는 네비게이터(Navigator)를 설계하였다.

  • PDF

Pattern Generation Technique for Network-based Intrusion Detection using Association Rules (연관 규칙을 이용한 네트워크 기반 침입 탐지 패턴생성 기술)

  • Soh, Jin;Lee, Sang-Hoon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.619-621
    • /
    • 2002
  • 네트워크 기반 컴퓨터 시스템은 현대사회에 있어서 매우 중요한 역할을 담당하고 있기 때문에 이들은 정보 범죄들로부터 안정적이면서 효율적인 환경을 제공하는 것은 매우 중요한 일이다. 현재의 침입탐지 시스템은 네트워크 상에서 지속적으로 처리되는 대량의 패킷에 대하여 탐지속도가 떨어지고, 새로운 침입유형에 대한 대응방법이나 인지능력에도 한계가 있기 때문이다. 따라서 다양한 트래픽 속에서 탐지율을 높이고 탐지속도를 개선하기 위한 방안이 필요하다. 본 논문에서는 침입탐지 능력을 개선하기 위해 먼저, 광범위한 침입항목들에 대한 탐지 적용기술을 학습하고, 데이터 마이닝 기법을 이용하여 침입패턴 인식능력 및 새로운 패턴을 생성하는 적용기술을 제안하고자 한다. 침입 패턴생성을 위해 각 네트워크에 돌아다니는 관련된 패킷 정보와 호스트 세션에 기록되어진 자료를 필터링하고, 각종 로그 화일을 추출하는 프로그램들을 활용하여 침입과 일반적인 행동들을 분류하여 규칙들을 생성하였다. 마이닝 기법으로는 학습된 항목들에 대한 연관 규칙을 찾기 위한 연역적 알고리즘을 이용하였다. 또한, 추출 분석된 자료는 리눅스기반의 환경 하에서 다양하게 모아진 네트워크 로그파일들을 본 논문에서 제안한 방법에 따라 적용한 결과이다.

  • PDF

A Hybrid System of Wavelet Transformations and Neural Networks Using Genetic Algorithms: Applying to Chaotic Financial Markets (유전자 알고리즘을 이용한 웨이블릿분석 및 인공신경망기법의 통합모형구축)

  • Shin, Taek-Soo;Han, In-Goo
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 1999.03a
    • /
    • pp.271-280
    • /
    • 1999
  • 인공신경망을 시계열예측에 적용하는 경우에 고려되어야 할 문제중, 특히 모형에 적합한 입력변수의 생성이 중요시되고 있는데, 이러한 분야는 인공신경망의 모형생성과정에서 입력변수에 대한 전처리기법으로써 다양하게 제시되어 왔다. 가장 최근의 입력변수 전처리기법으로써 제시되고 있는 신호처리기법은 전통적 주기분할처리방법인 푸리에변환기법(Fourier transforms)을 비롯하여 이를 확장시킨 개념인 웨이블릿변환기법(wavelet transforms) 등으로 대별될 수 있다. 이는 기본적으로 시계열이 다수의 주기(cycle)들로 구성된 상이한 시계열들의 집합이라는 가정에서 출발하고 있다. 전통적으로 이러한 시계열은 전기 또는 전자공학에서 주파수영역분할, 즉 고주파 및 저주파수를 분할하기 위한 기법에 적용되어 왔다. 그러나, 최근에는 이러한 연구가 다양한 분야에 활발하게 응용되기 시작하였으며, 그 중의 대표적인 예가 바로 경영분야의 재무시계열에 대한 분석이다. 전통적으로 재무시계열은 장, 단기의사결정을 가진 시장참여자들간의 거래특성이 시계열에 각기 달리 가격으로 반영되기 때문에 이러한 상이한 집단들의 고요한 거래움직임으로 말미암아 예를 들어, 주식시장이 프랙탈구조를 가지고 있다고 보기도 한다. 이처럼 재무시계열은 다양한 사회현상의 집합체라고 볼 수 있으며, 그만큼 예측모형을 구축하는데 어려움이 따른다. 본 연구는 이러한 시계열의 주기적 특성에 기반을 둔 신호처리분석으로서 기존의 시계열로부터 노이즈를 줄여 주면서 보다 의미있는 정보로 변환시켜줄 수 있는 웨이블릿분석 방법론을 새로운 필터링기법으로 사용하여 현재 많은 연구가 진행되고 있는 인공신경망의 모형결합을 통해 기존연구과는 다른 새로운 통합예측방법론을 제시하고자 한다. 본 연구에서는 제시하는 통합방법론은 크게 2단계 과정을 거쳐 예측모형으로 완성이 된다. 즉, 1차 모형단계에서 원시 재무시계열은 먼저 웨이브릿분석을 통해서 노이즈가 필터링 되는 동시에, 과거 재무시계열의 프랙탈 구조, 즉 비선형적인 움직임을 보다 잘 반영시켜 주는 다차원 주기요소를 가지는 시계열로 분해, 생성되며, 이렇게 주기에 따라 장단기로 분할된 시계열들은 2차 모형단계에서 신경망의 새로운 입력변수로서 사용되어 최종적인 인공 신경망모델을 구축하는 데 반영된다. 기존의 주기분할방법론은 모형개발자입장에서 여러 가지 통계기준치중에서 최적의 기준치를 합리적으로 선택해야 하는 문제가 추가적으로 발생하며, 본 연구에서는 이상의 제반 문제들을 개선시키기 위해 통합방법론으로서 기존의 인공신경망모형을 구조적으로 확장시켰다. 이 모형에서 기존의 입력층 이전단계에 새로운 층이 정의된다. 이렇게 해서 생성된 새로운 통합모형은 기존모형에서 생성되는 기본적인 학습파라미터와 더불어, 본 연구에서 새롭게 제시된 주기분할층의 파라미터들이 모형의 학습성과를 높이기 위해 함께 고려된다. 한편, 이러한 학습과정에서 추가적으로 고려해야 할 파라미터 갯수가 증가함에 따라서, 본 모델의 학습성과가 local minimum에 빠지는 문제점이 발생될 수 있다. 즉, 웨이블릿분석과 인공신경망모형을 모두 전역적으로 최적화시켜야 하는 문제가 발생한다. 본 연구에서는 이 문제를 해결하기 위해서, 최근 local minimum의 가능성을 최소화하여 전역적인 학습성과를 높여 주는 인공지능기법으로서 유전자알고리즘기법을 본 연구이 통합모델에 반영하였다. 이에 대한 실증사례 분석결과는 일일 환율예측문제를 적용하였을 경우, 기존의 방법론보다 더 나운 예측성과를 타나내었다.

  • PDF