• 제목/요약/키워드: 계층적 응집 클러스터링

검색결과 6건 처리시간 0.021초

계층적 문서 클러스터링을 위한 응집식 기법과 분할식 기법의 비교 연구 (A Comparative Study on the Agglomerative and Divisive Methods for Hierarchical Document Clustering)

  • 이재윤;정진아
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2005년도 제12회 학술대회 논문집
    • /
    • pp.65-70
    • /
    • 2005
  • 계층적 문서 클러스터링에 있어서 실험집단에 따라 응집식 기법과 분할식 기법의 성능이 다르며, 이를 좌우하는 요소는 분류의 깊이, 즉 분류수준이라고 가정하였다. 조금만 나누면 되는 대분류인 경우는 상대적으로 분할식 기법이 유리하고, 조금만 합치면 되는 소분류인 경우에는 응집식 기법이 유리할 것이라고 판단했기 때문이다. 그에 따라 분할식 클러스터링 기법인 양분(Bisecting) K-means기법과 응집식 기법인 완전연결, 평균연결, WARD기법의 성능을 실험집단이 대분류인 경우와 소분류인 경우의 유사계수를 적용하여 각 기법별 성능을 비교하여 실험집단의 특성에 따른 적합 클러스터링 기법을 찾고자 하였다. 실험결과 응집식 기법과 분할식 기법의 성능 우열에 영향을 미치는 것은 분류수준보다는 변이계수로 측정된 상대적인 군집의 크기 편차인 것으로 나타났다.

  • PDF

대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법 (A Hybrid Clustering Technique for Processing Large Data)

  • 김만선;이상용
    • 정보처리학회논문지B
    • /
    • 제10B권1호
    • /
    • pp.33-40
    • /
    • 2003
  • 데이터 마이닝은 지식발견 과정에서 중요한 역할을 수행하며, 여러 데이터 마이닝의 알고리즘들은 특정의 목적을 위하여 선택될 수 있다. 대부분의 전통적인 계층적 클러스터링 방법은 적은 양의 데이터 집합을 처리하는데 적합하여 제한된 리소스와 부족한 효율성으로 인하여 대용량의 데이터 집합을 다루기가 곤란하다. 본 연구에서는 대용량의 데이터에 적용되어 알려지지 않은 패턴을 발견할 수 있는 하이브리드형 신경망 클러스터링 기법의 PPC(Pre-Post Clustrering) 기법을 제안한다. PPC 기법은 인공지능적 방법인 자기조직화지도(SOM)와 통계적 방법인 계층적 클러스터링을 결합하여 두 과정에서는 군집의 내부적 특징을 나타내는 응집거리와 군집간의 외부적 거리를 나타내는 인접거리에 따라 유사도를 측정한다. 최종적으로 PPC 기법은 측정된 유사도를 이용하여 대용량 데이터 집합을 군집화한다. PPC 기법은 UCI Repository 데이터를 이용하여 실험해 본 결과, 다른 클러스터링 기법들 보다 우수한 응집도를 보였다.

시공간 데이터를 위한 클러스터링 기법의 성능 비교

  • 강주영;이봉재;송재주;신진호;용환승
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.49-51
    • /
    • 2004
  • 최근 GPS시스템, 감시 시스템, 기상 관측 시스템과 같은 다양한 응용 시스템으로부터 수집된 시공간 속성을 가진 데이터를 분석하고자 하는 시공간 데이터 마이닝에 대한 관심이 더욱 높아지고 있다. 기존의 시공간 데이터 마이닝에 대한 연구는 문자.숫자 데이터를 기반의 마이닝 기법을 그대로 적용하고 있기 때문에 데이터의 시공간 속성을 충분히 고려한 분석으로는 한계가 많은 것이 사실이다. 본 논문에서는 패턴 인식과 클러스터링 능력이 뛰어나다고 알려진 SOM을 기반으로 시공간 클러스터링 모듈을 개발하고, 개발된 모듈의 성능과 클러스터링 정확성에 대하여 K-means, 응집 계층 알고리즘(Average Linkage, Ward)과 비교함으로써 시공간 데이터 마이닝을 위한 각 알고리즘들의 성능을 분석하였다 또한 입력 데이터의 특성과 클러스터링 결과를 더욱 정확하게 나타내어 가시적인 분석을 도울 수 있도록 시공간 데이터 클러스터링을 위한 가시화 모듈을 개발하였다.

  • PDF

멀티채널 비음수 행렬분해와 정규화된 공간 공분산 행렬을 이용한 미결정 블라인드 소스 분리 (Underdetermined blind source separation using normalized spatial covariance matrix and multichannel nonnegative matrix factorization)

  • 오순묵;김정한
    • 한국음향학회지
    • /
    • 제39권2호
    • /
    • pp.120-130
    • /
    • 2020
  • 본 논문은 블라인드 소스 분리 분야에서 널리 사용되는 멀티채널 비음수 행렬 분해 기법의 단점을 개선하여 미결정 복잡한 혼합 환경에서 문제를 해결한다. 공간 공분산 행렬에 기반을 둔 기존의 연구들에서, 단일 채널의 파워게인 및 상관관계와 같은 값으로 구성된 행렬의 각 요소는 높은 분산으로 인해 분리된 소스의 품질을 저하시키는 경향이 있다. 이 논문에서는 추정된 소스들을 효과적으로 클러스터링하기 위해 레벨 및 주파수 정규화를 수행한다. 따라서 새로운 공간 공분산 행렬 및 효과적인 클러스터 쌍별 거리함수를 제안한다. 본 논문에서는 제안된 행렬을 공간 모델의 초기화에 활용하여 공간 모델의 향상된 추정과 이를 바탕으로 상향식 접근법에서의 계층적 응집 클러스터링에 활용함으로써 분리된 음원의 품질을 향상시켰다. 제안된 알고리즘은 'Signal Separation Evaluation Campaign 2008 development dataset'을 활용하여 실험을 하였다. 그 결과 객관적인 소스 분리 품질 검증 도구인 'Blind Source Separation Eval toolbox'를 활용하여 대부분의 성능향상지표에서의 향상을 확인하였으며, 특히 대표적인 수치인 SDR의 1 dB ~ 3.5 dB 정도의 성능우위를 검증하였다.

사전 뜻풀이를 이용한 용언 의미 군집화 (Semantic Clustering of Predicates using Word Definition in Dictionary)

  • 배영준;최호섭;송유화;옥철영
    • 인지과학
    • /
    • 제22권3호
    • /
    • pp.271-298
    • /
    • 2011
  • 한국어의 어휘 의미 정보를 명확히 파악하기 위해서는 어휘 의미 체계를 구축해야 한다. 본 논문에서는 어휘 의미 체계 구축의 단계 중 하나인 용언의 의미 군집화를 연구하였다. 용언의 하위범주화 논항(주어 및 목적어)과 선택 제약정보, 부사의 결합정보를 이용한 이전의 연구와는 달리 의미태그가 부착된 사전 뜻풀이의 용언정보를 이용하여 용언의 의미 군집화를 시도하였고, 표제어와 뜻풀이 용언 사이 관계의 종개념과 유개념 관계를 이용하여 계층적 의미 군집화를 시도하였다. 그리고 특정 범주의 일반 샘플을 이용했던 특정 용언의 부류가 아닌, 사전에 존재하는 대부분의 용언들을 대상으로 연구를 진행하였다. 본 논문에서 다의어 수준에서 구분된 총 106,501개의 용언(85,754개의 동사와 20,747개의 형용사)을 대상으로 한국어 용언 의미계층 군집 2,748개를 생성하였다. 이 중 순환정의 군집은 130개가 나타났으며, 중간 계층의 서브군집으로 261개가 나타났다. 군집 내 계층의 최대 깊이는 16단계였다. 그리고 용언 의미 군집 평가를 위해 세종사태의미부류와 비교해 보았다. 그 결과 70.14%의 응집도를 보였다.

  • PDF

언어네트워크분석을 활용한 한국농수산대학 신입생 자기소개서 분석 - TF-IDF 분석을 기초로 - (Analyzing Self-Introduction Letter of Freshmen at Korea National College of Agricultural and Fisheries by Using Semantic Network Analysis : Based on TF-IDF Analysis)

  • 주진수;이소영;김종숙;김승희;박노복
    • 현장농수산연구지
    • /
    • 제23권1호
    • /
    • pp.89-104
    • /
    • 2021
  • 비정형 데이터인 한국농수산대학 신입생 자기소개서에서 의미 있는 정보를 추출하기 위하여 핵심적인 역할을 하는 단어의 중요도를 평가하는 TF-IDF 가중치를 기초로 한 언어네트워크분석을 하였다. TF-IDF 가중치에 의한 핵심단어는 문항 1에서는 '농업', '수학', '공부', '문제', '친구', 문항 2에서는 '동아리', '식물', '친구', '농업', '작물', 문항 3에서는 '친구', '동아리', '의견', '갈등', '관리', 문항 4에서는 '버섯', '곤충', '아버지', '농업', '농장' 등으로 나타났다. 또한 빈도수는 낮은 단어이지만 핵심단어로 나타난 단어를 보면 문항 1에서는 '수학', '자격증', '성적', '영어', '과학', 문항 2에서는 '식물', '작물', '공부', '쓰레기', '발표', '실험', 문항 3에서는 '동아리', '청소', '봉사', '갈등', '봉사활동', 문항 4에서는 '버섯', '곤충', '양식', '한우', '조경' 등으로 나타났다. 단어들 간의 관계를 시각적으로 분석이 가능한 언어네트워크분석 결과 매개중심성이 높은 단어는 문항 1에서는 '이유', '고등학교', '재학', 문항 2에서는 '쓰레기', '고등학교', '학교', 문항 3에서는 '중요', '오해', '완성', 문항 4에서는 '가공', '사료', '농가'로 나타났다. 연결정도중심성은 문항 1에서는 '고등학교', '탐구', '성적', 문항 2에서는 '쓰레기', '정리', '수업시간', 문항 3에서는 '의견', '회의', '봉사활동', 문항 4에서는 '가공', '공간', '실습'으로 나타났다. 매개중심성 값이 클수록 네트워크의 중앙에 위치하고, 두 범주 사이의 관계가 강할수록 서로 근거리에 위치한다. 연결정도중심성이 클수록 노드의 크기가 크게 나타나며, 노드 연결선은 단어들의 동시 출현 빈도가 높을수록 edge가 굵게 나타났다. 동시 출현 빈도가 높은 즉 상관관계가 높은 단어 조합은 '자격증 - 취득', '문제 - 해결', '과학 - 생명', '오해 - 양보' 등으로 나타났다. 단어 기반의 계층적 클러스터링 기법에 의하여 단어 간 인접, 상호 관계를 계층적으로 나타낸 클러스터 덴드로그램으로 군집의 개수를 결정하였다. 단어들의 군집 간 비유사도의 차이가 큰 군집을 구한 결과 문항 1은 2개, 문항 2와 문항 4는 4개, 문항 3은 5개의 군집으로 분류할 경우 군집내 응집력이 높고, 군집 간 이질성이 큰 적절한 군집을 구할 수 있었다.