• 제목/요약/키워드: 가중치 마이닝

검색결과 116건 처리시간 0.032초

중요도를 고려한 가중치 그래프에서의 빈발 순회패턴 탐사 (Discovery of Frequent Traversal Patterns on Weighted Graph with Priority)

  • 이성대;박휴찬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.169-171
    • /
    • 2005
  • 그래프를 사용하는 데이터 표현법은 직$\cdot$간접적으로 실세계를 표현하는 다양한 데이터 모델 중에서 가장 일반화된 방법으로 알려져 있다. 기본적으로 그래프는 정점과 간선으로 구성되며, 정점과 간선은 그 중요도나 운영 목적에 따라 다양한 가중치가 부여될 수 있다. 특히, 이러한 그래프를 순회하는 트랜잭션들로부터 중요한 순회패턴을 탐사하는 것은 흥미로운 일이다. 본 논문에서는, 정점과 간선에 가중치가 있고 방향성을 가진 기반 그래프가 주어졌을 때, 그 그래프를 순회하는 트랜잭션들로부터 가중치를 고려하여 빈발 순회패턴을 탐사하는 방법을 제안한다. 또한, 이렇게 탐사한 결과에 가중치를 고려한 중요도를 평가하여 빈발 순회패턴들 간의 우선순위를 결정할 수 있도록 한다. 이 과정에서 발생할 수 있는 트랜잭션 노이즈는 기반 그래프의 간선 가중치의 평균과 표준편차를 이용하여 제거함으로써 보다 신뢰성 있는 빈발 순회패턴을 탐사할 수 있다. 제안한 논문은 웹 로그 마이닝 등 그래프를 이용하는 다양한 응용 분야에 적용할 수 있을 것이다.

  • PDF

가중치 자동 조절을 이용한 매칭 에이전트 (Matching Agent using Automatic Weight-Control)

  • 김동조;박영택
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2000년도 추계정기학술대회:지능형기술과 CRM
    • /
    • pp.439-445
    • /
    • 2000
  • 다차원의 속성들을 포함한 대용량의 데이터베이스 또는 점보 저장소의 데이터로부터 지식을 추출하고 이를 활용하기 위해서는 데이터 마이닝의 인공지능 기법 중 기계학습을 활용할 수 있다. 본 논문은 질의어를 바탕으로 각 작성들에 가중치를 적용하여 사용자가 원하는 데이터 집합을 분류하고, 사용자 피드백을 통하여 속성 가중치를 동적으로 변화시킴으로써 검색결과를 향상시키는 방법을 제안한다. 본 논문에서는 데이터 집합을 분류해내기 위해서 각 속성간의 거리에 가중치를 적용하는 k-nearest neighbor 분류법을 사용하였고, 속성 가중치를 동적으로 변화시키는 규칙을 추출하기 위한 방법으로는 결정 트리 생성에 의한 규칙(decision rule) 생성 방법을 적용하였다. 검색결과 향상을 \ulcorner이기 위한 실험으로써 온라인 커플매칭(online couple-matching) 시스템의 핵심부문을 구현하고 이를 적용하였다.

  • PDF

가중치가 부여된 FP-tree를 이용한 여행지 추출 기법 (Mining Technique of Tour Destination by weighted FP-tree)

  • 김민주;이은주;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.233-236
    • /
    • 2008
  • 최근 컴퓨터와 통신의 기술이 빠르게 발달함에 따라 사회 각 부분은 그동안 경험하지 못했던 정보화라는 새로운 변화를 겪었다. 그 결과 정보화 수준이 점점 고도화 될수록 더욱 다양하고 방대한 데이터가 생성되어 데이터베이스를 이루게 되었다. 방대한 데이터에서 유용한 정보를 얻는 데이터마이닝 기법이 중요한 문제로 대두되었다. 데이터마이닝 기법은 점점 더 많은 분야에서 합리적인 선택을 위해 필수적으로 사용된다. 본 논문은 마이닝 기법을 적용하여 방대한 데이터베이스가 최적의 여행 경로 선택을 제공한다. 본 논문은 빈발 패턴 증가 기법에 가중치를 두어 여행자가 여행지를 선별하기 좋은 환경을 제공한다. 미래 산업 중 가장 중요한 산업 중 하나인 관광 산업은 계속적으로 성장하고 있으며 논문에서 제시하는 데이터 마이닝 기법으로 더 큰 발전을 기대한다.

길이에 따라 감소하는 빈도수 제한조건을 고려한 가중화 그래프 패턴 마이닝 기법 (A Weighted Frequent Graph Pattern Mining Approach considering Length-Decreasing Support Constraints)

  • 윤은일;이강인
    • 인터넷정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.125-132
    • /
    • 2014
  • 대규모의 데이터베이스로부터 숨겨진 유용한 패턴 정보를 찾기 위해 빈발 패턴 마이닝이 제안된 이래로, 다양한 종류의 접근 방법들과 어플리케이션들이 연구되어 왔다. 특히, 빈발 그래프 패턴 마이닝은 계속해서 복잡해져 가는 최근의 데이터들을 효과적으로 다루기 위해 제안되었고, 이와 관련한 다양한 효율적인 알고리즘들이 연구되어 왔다. 그래프 데이터베이스로부터 얻을 수 있는 그래프 패턴들은 이를 구성하는 요소들에 따라 다른 중요도를 가지며 길이에 따라 다른 특성을 갖는다. 하지만, 전통적인 빈발 그래프 패턴 마이닝 접근 방법들은 이러한 문제들을 고려할 수 없다는 한계점을 지닌다. 즉, 기존의 방법들은 마이닝 과정에서 추출되는 그래프 패턴들의 길이에 상관없이 오직 하나의 최소 지지도 임계값만을 고려하고 이들의 가중치 요소들을 사용하지 않기 때문에, 실제적으로 쓸모없는 그래프 패턴들이 상당량 생성될 수 있다. 작은 수의 정점과 간선을 갖는 작은 그래프 패턴들은 이들에 대한 가중화 지지도 값이 상대적으로 높을 때 흥미로운 특성을 갖는 경향이 있는 반면, 많은 정점과 간선을 갖는 큰 그래프 패턴들은 비록 가중화 지지도 값이 상대적으로 낮을지라도 흥미로운 특성을 가질 수 있다. 이러한 이유로, 본 논문에서는 길이에 따라 감소하는 지지도 제한조건을 고려한 가중치 기반의 빈발 그래프 패턴 마이닝 알고리즘을 제안한다. 본 논문에서 제공되는 총체적인 실험 결과들은 제안되는 방법이 기존의 최신 그래프 마이닝 알고리즘과 비교하여 패턴 생성, 수행시간, 그리고 메모리 사용량 측면에서 더욱 뛰어난 성능을 보장함을 보인다.

문서 분류를 위한 용어 가중치 기법 비교 (Comparison of term weighting schemes for document classification)

  • 정호영;신상민;최용석
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.265-276
    • /
    • 2019
  • 문서-용어 빈도행렬은 텍스트 마이닝에서 분석하고자 하는 개체 정보를 가지고 있는 일반적인 자료 형태이다. 본 연구에서 문서 분류를 위해 문서-용어 빈도행렬에 적용되는 기존의 용어 가중치인 TF-IDF를 소개한다. 추가하여 최근에 알려진 용어 가중치인 TF-IDF-ICSDF와 TF-IGM의 정의와 장단점을 소개하고 비교한다. 또한 문서 분류 분석의 질을 높이기 위해 핵심어를 추출하는 방법을 제시하고자 한다. 추출된 핵심어를 바탕으로 문서 분류에 있어서 가장 많이 활용된 기계학습 알고리즘 중에서 서포트 벡터 머신을 이용하였다. 본 연구에서 소개한 용어 가중치들의 성능을 비교하기 위하여 정확률, 재현율, F1-점수와 같은 성능 지표들을 이용하였다. 그 결과 TF-IGM 방법이 모두 높은 성능 지표를 보였고, 텍스트를 분류하는데 있어 최적화 된 방법으로 나타났다.

공간 데이터 마이닝에서 가중치를 고려한 클러스터링 알고리즘의 설계와 구현 (Design and development of the clustering algorithm considering weight in spatial data mining)

  • 김호숙;임현숙;용환승
    • 지능정보연구
    • /
    • 제8권2호
    • /
    • pp.177-187
    • /
    • 2002
  • 공간 데이터 마이닝이란 공간 데이터베이스 내에 함축적으로 존재하는 흥미 있는 관계와 특징을 발견하는 과정이다. 많은 공간 클러스터링 알고리즘이 개발 되었으나, 공간 속성을 기준으로 클러스터링을 수행하면서 동시에 오브젝트의 비 공간적 속성에 대하여 가중치를 부여하는 방법에 대한 연구는 부족하였다. 본 논문은 새로운 공간 클러스터링 알고리즘인 DBSCAN-W를 제안하였다. DBSCAN-W는 밀도 기반 클러스터링 알고리즘인 DBSCAN을 확장한 알고리즘이다. 기존의 DBSCAN에서는 클러스터링을 위해 오브젝트의 위치 속성만을 고려한 반면, DBSCAN-W는 오브젝트의 위치 속성 뿐 아니라 주어진 응용과 관련된 오브젝트의 비 공간 속성들을 함께 고려한다. DBSCAN-W에서 각 오브젝트들은 다양한 크기의 원으로 표현되는 영역을 갖는다. 이때 원의 반지름은 해당 응용 시스템에서 오브젝트가 갖는 중요도를 반영한다 또한 실험을 통하여 DBSCAN-W알고리즘이 사용자의 의도를 반영한 다양한 클러스터를 효과적으로 생성하는 결과를 보였다.

  • PDF

키워드 가중치 방식에 근거한 도서 본문 주제어 추출 (Thematic Word Extraction from Book Based on Keyword Weighting Method)

  • 안희정;최건희;김승훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제51차 동계학술대회논문집 23권1호
    • /
    • pp.19-22
    • /
    • 2015
  • 본 논문에서는 문장 및 문단에서 키워드의 역할에 따른 가중치에 근거하여 도서 본문에서 주제어를 추출하는 방법을 제안한다. 기존의 주제어 추출 방식은 도서 본문이 아닌 신문이나 논문에 대한 방식이므로 도서 본문에서의 주제어 추출에 그대로 적용하기에는 어려움이 있다. 따라서 본 논문에서는 빈도수뿐만 아니라 문장 내 중요 요소에 대한 가중치와 중요 문장에 대한 가중치를 후보 키워드에 부여하는 방식을 제안하였다. 제안한 계산 방식을 비문학 도서에 대하여 실험한 결과, 빈도수만으로 주제어를 추출한 기존 방식보다 본 논문에서 제안한 방식의 주제어 추출 결과의 정확도가 향상되는 것을 확인하였다.

  • PDF

신경망 모형의 초기가중치 최적화 방법에 관한 연구

  • 조용준;이용구
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2003년도 춘계 학술발표회 논문집
    • /
    • pp.19-24
    • /
    • 2003
  • 신경망은 적용 다양성과 제약조건의 최소성, 강력한 예측성, 범용성, 근사성 등 많은 장점을 지니고 있으나 초기 가중치의 할당에 따라 모델 생성의 Performance와 예측의 결과가 달라지게 되는 단점을 지니고 있다. 이런 신경망의 초기 가중치에 따른 단점을 보안하기 위해 통계적 알고리즘의 접목을 통해 Hybrid된 신경망 보완 알고리즘을 제시하고자 하였다. 논문을 위한 기본 가정으로 신경망의 가장 기본인 SLP 알고리즘을 바탕으로 활성함수에 가장 일반적으로 사용되는 Sigmoid 활성함수를 이용하였을 때, 초기 가중치로 기존의 임의 난수 생성 방식이 아닌 통계적 로지스틱 회귀분석의 계수값(mle)을 제시하여 이를 초기치로 사용한 경우와 그렇지 않은 경우의 예측 정확성과 수렴의 Performance정도를 비교하여 가장 효과적인 초기치 방법을 제시하고자 하였다.

  • PDF

리더 가중치를 활용한 오피니언 마이닝 (Usage of Leader Weights for Opinion mining)

  • 조경수;류준석;김영희;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.848-851
    • /
    • 2010
  • 인터넷 사용의 증가와 함께 최근 많은 양의 정보가 인터넷에 쏟아지고 있다. 이들 정보는 다른 사람의 생각을 알고 싶어하는 정보 수집 연구자들에게는 매우 유용한 정보이다. 현재 존재하는 오피니언 마이닝 기법은 매우 다양하다. 그러나 이러한 기법들은 모든 의견들을 동일한 영향력을 지닌 것으로 취급한다. 하지만 현실에서는 모든 의견이 동일한 영향력을 가지고 있지는 않다. 이런 문제점 해결을 위해서 우리는 새로운 오피니언 마이닝 기법을 제안한다.

전문가 의견을 반영하는 향상된 의사결정나무의 엔트로피 기법 (Decision Tree Algorithm with Improved Entropy Using an Expert Opinion)

  • 박선빈;김동문;윤태복;이지형
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
    • /
    • pp.239-242
    • /
    • 2007
  • 최근 데이터의 양이 많아지고 다양해짐에 따라서 데이터를 활용하기 위한 데이터 마이닝에 관한 관심이 중대되고 있다. 데이터 분석을 위한 수집 데이터에는 수집 과정에서 분석가가 원치 않은 데이터 잡음이 발생하는 경우가 있고 그 데이터가 다른 데이터들과 같은 가중치로 데이터 마이닝에 반영되는 경우 예상과 다른 결과를 얻을 수 있다. 따라서 데이터 분석 시 데이터와 전문가 의견이 고려된 데이터 엔트로피(Entropy)를 사용하여 잡음 데이터를 다를 필요가 있다. 본 논문에서는 전문가의견을 이용한 전문가 의견 목록을 만들고 이를 데이터와 비교하여 유사한 정도에 따라 각 데이터에 가중치를 부여한다. 그리고 이 데이터를 활용한 의사결정나무(Decision Tree)를 사용하여 기존 데이터를 이용한 의사결정나무 보다 데이터 잡음의 영향을 줄이는 방법을 제안한다. 제안한 방법은 학습자의 학습 활동에서 수집된 학습 행위 데이터를 사용하여 실험하였다.

  • PDF