• 제목/요약/키워드: 데이터 클러스터링

검색결과 1,054건 처리시간 0.027초

Min-Max Hash를 활용한 다중 집합 기반의 유사도 측정 (Min-Max Hash for Similarity Measurement based on Multiset)

  • 윤진욱;김병욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.36-39
    • /
    • 2019
  • 데이터 마이닝에서 클러스터링은 서로 유사한 특징을 갖는 데이터들을 동일한 클래스로 분류하는 방법이다. 클러스터링에는 다양한 방법이 존재하지만 대표적으로 집합으로 표현된 데이터들의 유사도를 측정하기 위해서는 자카드 유사도(Jaccard Similarity)를 이용한다. 자카드 유사도는 서로 다른 집합 간의 공통된 부분을 상대적으로 평가하여 유사도를 측정하는 방법이다. 그러나 최근에는 데이터를 저장할 수 있는 기술과 매체의 발전으로 표현할 수 있는 데이터의 영역과 범위는 발전되고 있기 때문에 많은 연산과 시간의 비용이 발생하게 된다. 이를 해결하기 위해서 두 데이터의 표본의 유사도를 통해 실제 데이터들의 유사도를 추정할 수 있는 Min-Hash 가 제안되었다. 본 논문에서는 이를 활용하여 집합의 영역을 다중 집합(Multiset)으로 확장하여 중복되는 값을 가질 수 있는 두 데이터 간의 유사도를 효율적으로 추정할 수 있는 Min-Max Hash 를 제안한다.

커널을 이용한 전역 클러스터링의 비선형화 (A Non-linear Variant of Global Clustering Using Kernel Methods)

  • 허경용;김성훈;우영운
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권4호
    • /
    • pp.11-18
    • /
    • 2010
  • Fuzzy c-means(FCM)는 퍼지 집합을 응용한 간단하지만 효율적인 클러스터링 방법 중 하나이다. FCM은 여러 응용 분야에서 성공적으로 활용되어 왔지만, 초기화와 잡음에 민감하고 볼록한 형태의 클러스터들만 다룰 수 있는 문제점이 있다. 이 논문에서는 이러한 FCM의 문제점을 해결하기 위해 전역 클러스터링(global clustering) 기법과 커널 클러스터링(kernel clustering) 기법을 결합하여 새로운 비선형 클러스터링 기법인 커널 전역 FCM(kernel global fuzzy c-means, KG-FCM)을 제안한다. 전역 클러스터링은 클러스터링의 초기화를 위한 방법 중 하나로, 순차적으로 클러스터를 하나씩 추가함으로써 초기화에 민감한 FCM의 한계를 극복할 수 있도록 해준다. FCM의 잡음 민감성과 볼록한 클러스터들만 다룰 수 있는 한계를 극복하기 위한 방법은 여러 가지가 있으며 커널 클러스터링이 그 중 하나이다. 커널 클러스터링은 사용하는 커널을 바꿈으로써 쉽게 확장이 가능하므로 이 논문에서는 커널 클러스터링을 사용하였다. 두 방법을 결합함으로써 제안한 방법은 위에서 언급한 문제점들을 해결할 수 있으며, 이는 가상 및 실제 데이터를 이용한 실험 결과를 통해 확인할 수 있다.

그리드 분할에 의한 다차원 데이터 디클러스터링 성능 분석 (Performance Analysis on Declustering High-Dimensional Data by GRID Partitioning)

  • 김학철;김태완;이기준
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1011-1020
    • /
    • 2004
  • 대규모의 데이터를 다루는 여러 시스템에서 데이터를 다수의 병렬 디스크에 분산시켜 저장한 후 질의 처리시 동시에 여러 개의 디스크를 접근함으로써 입출력 성능의 향상을 위한 많은 노력들이 행해져 왔다. 대부분 이전 연구들은 데이터 공간을 이루는 각 차원이 겹치지 않는 여러개의 구간으로 나누어져 전체 데이터 공간이 그리드 형태로 분할되어 있다는 가정하에 각 차원의 구간 번호로 결정되는 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 개발에 집중되었다. 하지만, 그들은 데이터 공간을 그리드 형태로 분할하는 방법이 전체 디클러스터링 알고리즘 성능에 미치는 영향을 간과하였다. 본 논문에서 우리는 효과적인 그리드 분할을 통하여 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 향상 시켰다. 이를 위하여 영역 질의 크기가 주어졌을 때 겹치는 그리드 셀의 수를 예측하는 모델을 제시하였으며 이를 이용하여 가능한 그리드 분할 방법들 중에서 질의 크기를 감소시키는 분할 방법을 선택하였다. 일반적으로, 다차원 데이터에 대해서는 이진 분할을 하지만 본 논문에서는 더 작은 수의 차원을 선택해서 여러 번 분할함으로써 질의를 만족하는 그리드 셀의 수를 감소시켰다. 다양한 실험 결과에 의하면 본 논문에서 제시한 예측 모델은 질의 크기와 차원에 관계없이 0.5% 이내의 에러율을 보이는 것으로 나타났다. 또한 효과적인 그리드 분할을 통하여 다차원 데이터에 대해서 가장 성능이 좋은 것으로 소개되고 있는 Kronecker sequence 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 최대 23배까지 향상시킬 수 있음을 알 수 있었다.

MPEG으로 압축된 뉴스 데이터에서의 DC성분 추출과 컬러 클러스터링을 이용한 앵커 프레임 검색 기법 (An Anchor-frame Detection Algorithm in MPEG News Data using DC component extraction and Color Clustering)

  • 정정훈;이근섭;오화종;최병욱
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 제13회 신호처리 합동 학술대회 논문집
    • /
    • pp.729-732
    • /
    • 2000
  • 대용량 비디오 데이터의 이용에 있어 효과적인 비디오 검색을 위해서는 비디오 데이터의 색인 과정이 필요하다. 효과적인 비디오 데이터의 색인을 위해서는 의미적 단위인 씬(Scene)으로 이루어진 비디오 데이터를 물리적인 경계면인 컷(장면전환점)으로 검출하는 기법이 필수적이며 각 샷에서의 키 프레임 추출 또한 필수적이다. 본 논문에서는 뉴스 비디오데이터의 키 프레임인 앵커 프레임의 효과적인 검색을 위해 DC 성분 추출과 이진 검색기법, 그리고 컬러 클러스터링을 이용하고 있다. 본 논문에서 제하고 있는 방법을 검증하기 위해서 47분 10초 분량의 MPEG-2 로 압축된 뉴스 비디오 데이터에 적용한 결과 91.3%의 정확도와 84.0%의 재현율을 보여 제안한 방법의 우수성을 증명하고 있다.

  • PDF

퍼지 데이터를 러프 클러스터링하기 위한 도구의 개발 (On Developing of a tool for rough clustering fuzzy data)

  • 강유경;황석형;김응희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.1098-1101
    • /
    • 2010
  • 오늘날, World Wide Web의 탄생과 정보통신기술의 비약적인 발전에 의해 매일 방대한 양의 다양한 데이터들이 기하급수적으로 발생되고 있다. 이와 같은 데이터들에는 명확한 경계를 갖는 정보와 더불어서 퍼지정보가 포함되어 있다. 퍼지정보를 포함한 데이터로부터 유용한 정보를 추출하기 위해, 퍼지 데이터 분석 및 러프 데이터 분석에 관한 다양한 연구들이 수행되고 있다. 본 논문에서는, 주어진 퍼지 데이터에 내포된 유용한 정보를 추출하기 위해, 퍼지 집합 이론과 러프 집합 이론을 형식개념분석기법에 접목하여 새로운 러프 클러스터링 기법을 제안한다. 또한, 본 연구에서 개발한 지원도구와 그 도구를 이용한 실험 결과를 보고한다.

IoT 정보 수집을 위한 확률 기반의 딥러닝 클러스터링 모델 (Probability-based Deep Learning Clustering Model for the Collection of IoT Information)

  • 정윤수
    • 디지털융복합연구
    • /
    • 제18권3호
    • /
    • pp.189-194
    • /
    • 2020
  • 최근 IoT 네트워크는 이기종의 IoT 장치에서 발생하는 데이터를 효율적으로 처리하기 위해서 다양한 클러스터링 기법들이 연구되고 있다. 그러나, 기존 클러스터링 기법들은 정적으로 네트워크를 분할하는데 초점을 맞추고 있어서 이동이 가능한 IoT 장치에는 기존 클러스터링 기법들이 적합하지 않다. 본 논문에서는 에지 네트워크를 이용하여 IoT 장치의 정보를 수집·분석하기 위한 확률적 딥러닝 기반의 동적 클러스터링 모델을 제안한다. 제안 모델은 수집된 정보의 속성값의 빈도수를 확률적으로 딥러닝에 적용하여 서브넷을 구축한다. 구축된 서브넷은 시드로 추출된 연계 정보를 계층적 구조로 그룹핑할 때 사용하며, IoT 장치에 대한 동적 클러스터링의 속도 및 정확도를 향상시킨다. 성능평가 결과, 제안모델은 기존 모델에 비해 데이터 처리 시간이 평균 13.8% 향상되었고, 서버의 오버헤드는 기존 모델보다 평균 10.5% 낮게 나타났다. 서버에서 IoT 정보를 추출할 때의 정확도는 기존모델보다 평균 8.7% 향상되었다.

공간 데이터 마이닝에서 가중치를 고려한 클러스터링 알고리즘의 설계와 구현 (Design and development of the clustering algorithm considering weight in spatial data mining)

  • 김호숙;임현숙;용환승
    • 지능정보연구
    • /
    • 제8권2호
    • /
    • pp.177-187
    • /
    • 2002
  • 공간 데이터 마이닝이란 공간 데이터베이스 내에 함축적으로 존재하는 흥미 있는 관계와 특징을 발견하는 과정이다. 많은 공간 클러스터링 알고리즘이 개발 되었으나, 공간 속성을 기준으로 클러스터링을 수행하면서 동시에 오브젝트의 비 공간적 속성에 대하여 가중치를 부여하는 방법에 대한 연구는 부족하였다. 본 논문은 새로운 공간 클러스터링 알고리즘인 DBSCAN-W를 제안하였다. DBSCAN-W는 밀도 기반 클러스터링 알고리즘인 DBSCAN을 확장한 알고리즘이다. 기존의 DBSCAN에서는 클러스터링을 위해 오브젝트의 위치 속성만을 고려한 반면, DBSCAN-W는 오브젝트의 위치 속성 뿐 아니라 주어진 응용과 관련된 오브젝트의 비 공간 속성들을 함께 고려한다. DBSCAN-W에서 각 오브젝트들은 다양한 크기의 원으로 표현되는 영역을 갖는다. 이때 원의 반지름은 해당 응용 시스템에서 오브젝트가 갖는 중요도를 반영한다 또한 실험을 통하여 DBSCAN-W알고리즘이 사용자의 의도를 반영한 다양한 클러스터를 효과적으로 생성하는 결과를 보였다.

  • PDF

블로그 공간에서의 링크 기반 클러스터링 방안 (Link-Based Clustering in Blogosphere)

  • 송석순;윤석호;김상욱
    • 전자공학회논문지CI
    • /
    • 제46권3호
    • /
    • pp.42-49
    • /
    • 2009
  • 본 논문에서는 블로그 공간에 존재하는 블로거와 포스트들을 클러스터링하고자 한다. 먼저 블로그 공간의 블로거와 포스트들을 각각 하나의 타입으로, 블로거와 포스트 사이의 액션을 링크로 사상한다. 다음으로, 블로그 공간의 클러스터링을 위하여 블로그 환경에 가장 적합하고 효율적인 링크 기반 클러스터링 방법인 LinkClus를 선택한다. 정확한 클러스터링을 위하여 두 가지 방법을 제시한다. 첫 번째는 클러스터의 대상을 여러 주제에 관심을 가지는 블로거 대신 하나의 주제만을 나타내는 폴더로 한다. 두 번째는 노이즈의 발생 가능성을 높이는 링크가 아주 적은 블로거와 포스트를 클러스터링 과정에서 제외시킨다. 실험을 통하여 제안하는 방안을 이용한 클러스터링 결과가 내용적으로도 유사한지 검증한다.

거리-도플러 클러스터링 방법을 사용한 인접한 표적들의 분리 (Separation of Adjacent Targets using Range-Doppler Clustering Method)

  • 공영주;우선걸;박성호;유성현;강연덕
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권2호
    • /
    • pp.67-73
    • /
    • 2020
  • 클러스터링 알고리즘은 유사한 특성을 가진 데이터들을 같은 집단으로 분류하는 방법이다. 레이다 시스템에서는 CFAR 알고리즘 수행한 결과에 대하여 인접한 hit들을 하나로 묶는 방법으로 주로 사용된다. 그러나 인접한 표적의 경우에는 일반적인 클러스터링 방안으로 수행하면 하나의 표적으로 탐지될 경우가 많다. 본 논문에서는 인접한 표적을 분리하기 위한 이중 클러스터링 방안에 대하여 서술한다. 연산시간 단축을 위하여 거리방향으로 클러스터링 수행 후 거리방향 클러스터링 결과를 이용하여 도플러 방향으로 클러스터링을 수행한다. 거리-도플러 방향으로 각각 클러스터링을 수행하기에 표적의 수가 증가하더라도 연산시간의 변화는 극히 적다.

센서 네트워크 클러스터링 기법의 데이터 예측 전략 (Data prediction Strategy for Sensor Network Clustering Scheme)

  • 최동민;심검;모상만;정일용
    • 한국멀티미디어학회논문지
    • /
    • 제14권9호
    • /
    • pp.1138-1151
    • /
    • 2011
  • 센서 네트워크 클러스터링 기법은 네트워크의 수명연장에 효율적인 방법이다. 그러나 이 방법은 센서노드의 수집 데이터가 중복되기 쉬운 환경에서 적용할 경우 중복된 데이터 전송에 불필요하게 에너지가 소모된다는 문제점이 있다. 이에 본 논문은 중복되는 데이터 전송을 배제하고 클러스터 헤드 노드와 멤버노드 사이의 전송을 최소화하기 위해 센서 노드가 수집하는 데이터를 예측할 수 있는 데이터 예측 기법을 제안하였다. 이 방법은 인접노드의 중복데이터 수집을 배제하여 에너지 효율적인 데이터 전송이 가능하다. 여기에 불필요한 전송을 줄이기 위해 데이터 예측 그래프를 이용하여 수집 데이터 분석을 통한 선택적인 전송을 하는 방법을 도입하였다. 성능분석 결과에 의하면 제안하는 방법은 기존의 클러스터링 방법에 비해 노드들의 에너지 소모가 줄어들었다. 그럼에도 불구하고 전송 효율과 수집 데이터의 정확도가 증가했으며 결과적으로 네트워크 수명이 증가하였다.