• 제목/요약/키워드: agglomerative clustering

검색결과 59건 처리시간 0.021초

Empirical Comparison of Word Similarity Measures Based on Co-Occurrence, Context, and a Vector Space Model

  • Kadowaki, Natsuki;Kishida, Kazuaki
    • Journal of Information Science Theory and Practice
    • /
    • 제8권2호
    • /
    • pp.6-17
    • /
    • 2020
  • Word similarity is often measured to enhance system performance in the information retrieval field and other related areas. This paper reports on an experimental comparison of values for word similarity measures that were computed based on 50 intentionally selected words from a Reuters corpus. There were three targets, including (1) co-occurrence-based similarity measures (for which a co-occurrence frequency is counted as the number of documents or sentences), (2) context-based distributional similarity measures obtained from a latent Dirichlet allocation (LDA), nonnegative matrix factorization (NMF), and Word2Vec algorithm, and (3) similarity measures computed from the tf-idf weights of each word according to a vector space model (VSM). Here, a Pearson correlation coefficient for a pair of VSM-based similarity measures and co-occurrence-based similarity measures according to the number of documents was highest. Group-average agglomerative hierarchical clustering was also applied to similarity matrices computed by individual measures. An evaluation of the cluster sets according to an answer set revealed that VSM- and LDA-based similarity measures performed best.

온라인 계층적 군집화 기법을 활용한 양방향 헬스케어 프레임워크 (An Interactive e-HealthCare Framework Utilizing Online Hierarchical Clustering Method)

  • ;정석호;신동문;이경민;이동규;손교용;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.399-400
    • /
    • 2009
  • As a part of the era of human centric applications people started to care about their well being utilizing any possible mean. This paper proposes a framework for real time on-body sensor health-care system, addresses the current issues in such systems, and utilizes an enhanced online divisive agglomerative clustering algorithm (EODAC); an algorithm that builds a top-down tree-like structure of clusters that evolves with streaming data to rationally cluster on-body sensor data and give accurate diagnoses remotely, guaranteeing high performance, and scalability. Furthermore it does not depend on the number of data points.

얼굴 특징 추출 및 클러스터링을 활용한 얼굴 검색 기법 (Face Search Method Based on Face Feature Extraction and Clustering)

  • 신준호;김종환;조숙희;김정학;고영준
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.95-96
    • /
    • 2021
  • 최근 미디어의 발전으로 빠른 속도로 많은 양의 사람들의 얼굴이 포함된 사진, 동영상들이 인터넷에 업로드 되고 있다. 이러한 현상에 맞춰 인공지능을 활용한 얼굴 인식 기술의 놀라운 발전이 있었으나, 대규모 데이터셋에서 임의의 인물을 검색하는 경우에서는 연산량과 저장공간의 부담이 존재한다. 특히, 인터넷에 존재하는 수많은 불법 촬영물에서 피해자를 정확하고 신속하게 검색하기 위해서는 효율적인 얼굴 검색 시스템이 필요하다. 따라서, 본 논문은 얼굴 특징 추출과 클러스터링을 활용하여 방대한 양의 불법 촬영물 셋에서 피해자 동영상을 효율적으로 검색할 수 있는 기법을 제안한다. 불법 촬영물 동영상 검색 실험 환경을 만들기 위해 YouTube Faces [1] 데이터셋으로 유사 동영상 셋을 만들고 이 환경에서 실험을 진행한다. 얼굴 특징 추출 모델은 ResNet100 네트워크를 CosFace 손실함수와 Glint360K 데이터셋으로 학습시킨 모델 [2]을 사용한다. 추출된 얼굴 특징들을 HAC(Hierarchical Agglomerative Clustering) 알고리즘으로 클러스터링 한 후, 클러스터 대푯값을 통해 얼굴 검색 실험을 했을 때의 실험 결과를 분석한다.

  • PDF

위치 기반 서비스를 위한 계층 클러스터 기반 Cloaking 알고리즘 (Hierarchical Clustering-Based Cloaking Algorithm for Location-Based Services)

  • 이재흥
    • 한국전자통신학회논문지
    • /
    • 제8권8호
    • /
    • pp.1155-1160
    • /
    • 2013
  • 최근 스마트 폰 이용자 수가 증가하면서 다양한 위치 기반 서비스들이 주목을 받고 있다. 위치 기반 서비스는 사용자의 위치와 시스템이 가지고 있는 다양한 정보를 결합하여 사용자에게 유용한 정보를 전달해 주기도 하지만 이로 인한 개인 정보의 침해 가능성 역시 높은 것이 사실이다. 최근의 위치 기반 서비스에서의 프라이버시 관련 연구는 K-anonymity를 만족하는 Cloaking 영역 생성에 중점을 두고 있다. 본 논문에서는 위치 기반 서비스를 위한 계층 클러스터 기반 Cloaking 알고리즘을 제안한다. 제안 기법은 약간 변형된 응집 계층 클러스터링 기법을 사용해서 트리를 생성한 뒤, Reciprocity 성질을 만족시키는 Cloaking 영역을 생성한다. 제안 기법은 Reciprocity 성질을 만족시키며, Hilbert Cloak보다 작고 RC-AR과 비슷한 크기의 영역을 생성하며, 생성 속도는 Hilbert Cloak과 비슷하며 RC-AR보다는 훨씬 빠르다.

계층적 군집화를 이용한 능동적 학습 (Active Learning based on Hierarchical Clustering)

  • 우호영;박정희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권10호
    • /
    • pp.705-712
    • /
    • 2013
  • 능동적 학습(active learning)은 소수의 라벨 데이터로 구성된 훈련 집합이 주어진 경우에 분류기 학습에 가장 도움이 될 만한 언라벨드 데이터를 선택하여 전문가에 의한 라벨링을 통해 훈련 집합에 포함시키는 과정을 반복함으로써 분류기의 성능을 향상시키는 것을 목적으로 한다. 본 논문에서는 워드 연결(ward's linkage)을 이용한 계층적 군집화(hierarchical clustering)를 바탕으로 한 능동적 학습 방법을 제안한다. 제안된 방법은 각 군집에서 적어도 하나의 샘플을 포함하도록 초기 훈련 집합을 능동적으로 구성하거나 또는 기존의 훈련 집합을 확장함으로써 전체 데이터 분포를 반영할 수 있게 한다. 기존의 능동적 학습 방법들 중 대부분은 초기 훈련 집합이 주어져 있을 경우를 가정하는 반면에 제안하는 방법은 초기 클래스 정보를 가진 훈련 데이터가 주어지지 않은 경우와 주어진 경우에 모두 적용 가능하다. 실험을 통하여 제안하는 방법이 비교 방법들에 비해 분류기 성능을 크게 향상시킬 수 있는 효과적인 데이터 선택을 수행함을 보인다.

HACM을 사용한 객체지향 재사용 부품의 분류와 검색 (Classification and Retrieval of Object - Oriented Reuse Components with HACM)

  • 배제민;김상근;이경환
    • 한국정보처리학회논문지
    • /
    • 제4권7호
    • /
    • pp.1733-1748
    • /
    • 1997
  • 재사용을 지원하는 라이브러리 구축을 위해서는 다양한 응용영역에 적용할 수 있는 분류스킴과 검색방법이 필요하다. 본 논문에서는 재사용 단계의 접근성의 핵심을 이루는 분류스킴을 클러스터를 이용한 계층적인 구조를 통해 정의하였다. 또한 검색시스템의 기능과 정확도를 결정하는 라이브러리 구조에 클러스터링 정보를 첨가하여 부품의 표현방법과 클래스들간의 유사관계를 기술, 관리하는 방법을 제안하였다. 이에 따라 개발자에게 소프트웨어 부품의 인덱싱 및 스테밍 등을 통한 분류 및 검색 방법을 제공함으로써 재사용부품에 대한 탐색가능성을 높이고 재사용의 효과를 증진시키려한다. 그 결과로 재사용 라이브러리의 구축과정을 자동화하였고 기존의 문제점인 확장성과 관련된 모두를 고려한 분류스킴을 통하여 재사용라이브러리와 검색시스템을 구축하였으며 관련연구를 클러스터 계층도를 통해 시각화함으로써 탐색가능성에 대한 효과를 높였다. 또한 검색결과는 재사용시스템 CARS 2.1에 통합되었다.

  • PDF

A Method to Predict the Number of Clusters

  • Chae, Seong-San;Willian D. Warde
    • Journal of the Korean Statistical Society
    • /
    • 제20권2호
    • /
    • pp.162-176
    • /
    • 1991
  • The problem of determining the number of clusters, K. is the main objective of this study. Attention is focused on the use of Rand(1971)'s $C_{k}$ statistic with some agglomerative clustering algorithms(ACA) defined in the ($\beta$, $\pi$) plane in predicting the number of clusters within the given set of data. The (k, $C_{k}$) plots for k=1, 2, …, N are explored by a Monte Carlo study. Based on its performance, the use of $C_{k}$ with the pair of ACA, (-.5, .75) and (-.25, .0), is recommended for predicting the number of clusters present within a set of data. data.

  • PDF

Efficient Superpixel Generation Method Based on Image Complexity

  • Park, Sanghyun
    • Journal of Multimedia Information System
    • /
    • 제7권3호
    • /
    • pp.197-204
    • /
    • 2020
  • Superpixel methods are widely used in the preprocessing stage as a method to reduce computational complexity by simplifying images while maintaining the characteristics of the images in the computer vision applications. It is common to generate superpixels of similar size and shape based on the pixel values rather than considering the characteristics of the image. In this paper, we propose a method to control the sizes and shapes of generated superpixels, considering the contents of an image. The proposed method consists of two steps. The first step is to over-segment an image so that the boundary information of the image is well preserved. In the second step, generated superpixels are merged based on similarity to produce the target number of superpixels, where the shapes of superpixels are controlled by limiting the maximum size and the proposed roundness metric. Experimental results show that the proposed method preserves the boundaries of the objects in an image more accurately than the existing method.

군집수의 예측에 관한 방법의 제안 및 비교 (A Comparative Study of Determining the Number of Clusters with a Method Proposed)

  • 채성산;임남규
    • 응용통계연구
    • /
    • 제18권2호
    • /
    • pp.329-341
    • /
    • 2005
  • 군집방법의 비교시 사용되는 Rand(1971)의 $C_k$, k = 2, 3, . . ., N-1 통계량에 대한 점근 결과를 이용하여 자료에 존재하는 군집수를 예측하는 방법을 제안하였다. 제안된 방법과 $C_k$ 통계량의 변화 형태에 따라 군집수를 예측하는 Chae와 Warde(1991)와 허명회와 이용구(2004)의 방법을 비교하기 위하여 모의실험을 하였다. 현실적인 문제를 고려하여 실제자료에 대해서는 계속적인 재표본의 형성을 위하여 붓스트랩방법을 사용하였다.

계층적 문서 클러스터링을 위한 응집식 기법과 분할식 기법의 비교 연구 (A Comparative Study on the Agglomerative and Divisive Methods for Hierarchical Document Clustering)

  • 이재윤;정진아
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2005년도 제12회 학술대회 논문집
    • /
    • pp.65-70
    • /
    • 2005
  • 계층적 문서 클러스터링에 있어서 실험집단에 따라 응집식 기법과 분할식 기법의 성능이 다르며, 이를 좌우하는 요소는 분류의 깊이, 즉 분류수준이라고 가정하였다. 조금만 나누면 되는 대분류인 경우는 상대적으로 분할식 기법이 유리하고, 조금만 합치면 되는 소분류인 경우에는 응집식 기법이 유리할 것이라고 판단했기 때문이다. 그에 따라 분할식 클러스터링 기법인 양분(Bisecting) K-means기법과 응집식 기법인 완전연결, 평균연결, WARD기법의 성능을 실험집단이 대분류인 경우와 소분류인 경우의 유사계수를 적용하여 각 기법별 성능을 비교하여 실험집단의 특성에 따른 적합 클러스터링 기법을 찾고자 하였다. 실험결과 응집식 기법과 분할식 기법의 성능 우열에 영향을 미치는 것은 분류수준보다는 변이계수로 측정된 상대적인 군집의 크기 편차인 것으로 나타났다.

  • PDF