• Title/Summary/Keyword: 소프트웨어 클러스터링

검색결과 148건 처리시간 0.028초

클러스터링 기반 앙상블 모델 구성을 이용한 이상치 탐지 (Outlier Detection By Clustering-Based Ensemble Model Construction)

  • 박정희;김태공;김지일;최세목;이경훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권11호
    • /
    • pp.435-442
    • /
    • 2018
  • 이상치 탐지는 정상 데이터 분포를 크게 벗어나는 데이터 샘플을 탐지하는 것을 의미한다. 대부분의 이상치 탐지 방법은 데이터 샘플이 정상 상태를 벗어나는 정도를 나타내는 이상치 지수(outlier score)를 계산하여 주어진 임계값 이상일 때 이상치로 판정한다. 그러나, 데이터마다 이상치 지수의 범위가 다양하고 정상 데이터에 비해 이상치 데이터는 적은 비율로 존재하기 때문에 이상치 지수에 대한 임계값을 결정하기는 매우 어렵다. 또한, 실제 상황에서는 학습에 이용할 수 있는 충분한 양의 이상치를 포함하는 데이터의 획득이 용이하지 않다. 본 논문에서는 정상 데이터가 주어졌을 때 이를 이용하여 정상 데이터 영역을 나타내는 모델을 구성하고 새로운 데이터 샘플에 대해 이상치와 정상치의 이진 분류를 수행하는 방법으로 군집화 기반 이상치 탐지 방법을 제안한다. 그리고, 주어진 정상 데이터를 청크로 나누고 각 청크에 대해 클러스터링 모델을 구성한 후 모델들에 의한 이상치 판정 결과를 결합하는 앙상블 방법과 동적 변화가 있는 스트리밍 데이터에서의 적용 방법으로 확장한다. 실제 데이터와 인공 데이터를 이용한 실험결과는 제안 방법의 높은 성능을 보여준다.

유사성 기반 XML 문서 분석 기법 (XML Document Analysis based on Similarity)

  • 이정원;이기호
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권6호
    • /
    • pp.367-376
    • /
    • 2002
  • XML 문서가 가지고 있는 태그의 자유로운 정의와 내포된 구조 정보는 정보 검색 및 문서 관리 분야에 많은 이점을 제공할 수 있다. 본 논문은 XML 요소(element)의 의미와 구조 정보를 반영한 문서간의 유사성을 검사할 수 있는 XML 문서 분석 기법을 제시하고자 한다. 도출된 문서간 유사성은 많은 정보 검색 및 마이닝 등의 기초 자료로 사용될 수 있다. 먼저 XML 요소를 시소러스를 이용하여 유사어와 합성어로 구성된 확장-요소 벡터로 확장하고 유사 행렬을 구축하여 요소간 유사성을 판별한다. 또한 오토마타(NFA(Nondeterministic Finite Automata)와 DFA(Deterministic Finite Automata)(를 이용하여 XML 문서의 내포된 구조를 발견하고 최소화 한다. 요소간의 유사 행렬과 최소화된 XML 구조를 이용하여 구조간의 유사성을 판별한다. 본 논문의 XML의 의미를 반영한 유사성 분석 기법은 온라인 서점의 실제 문서의 카테고리를 인식하는 데 있어 100% 정확도를 보였다.

추천시스템을 위한 내용기반 필터링과 협력필터링의 새로운 결합 기법 (A New Approach Combining Content-based Filtering and Collaborative Filtering for Recommender Systems)

  • 김병만;이경;김시관;임은기;김주연
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권3호
    • /
    • pp.332-342
    • /
    • 2004
  • 엄청난 속도로 증가하고 있는 정보의 홍수 시대에서는 정보들을 선별하기 위하여 정보 필터링기법이 필요하다. 정보 필터링은 내용 기반 방법과 협력에 의한 방법으로 분류할 수 있다. 내용 기반 기법에서는 내용에 기반을 두어 정보를 추출하는 반면 협력 기법은 다른 사람들의 의견을 이용하게 된다. 본 논문에서는 기존 협력 필터링 방법의 문제점을 해결하기 위한 방법의 일환으로 내용 기반 기법과 협력 기법을 보다 유기적으로 결합시키는 연구를 수행하였다. 이를 위해 협력 필터링 틀을 그대로 유지하면서 사용자 프로파일을 효과적으로 이용하는 방법을 제안하였다. 또한, 본 논문에서 제시한 기법을 실험적으로 분석하고 기존의 필터링 기법과 비교하였다. 실험 결과, 본 방법이 예측 질 면에서 상당한 성능 향상이 있었고 새로운 사용자에게도 보다 나은 추천을 할 수 있음을 알 수 있었다.

검색 질의 확장을 위한 인기도 기반 단어 가중치 측정 (A Term Weight Mensuration based on Popularity for Search Query Expansion)

  • 이정훈;전서현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권8호
    • /
    • pp.620-628
    • /
    • 2010
  • 인터넷의 활용이 보편화 됨에 따라 사람들이 많은 정보를 웹을 통해 접할 수 있게 되었다. 정보의 양이 급격히 늘어나면서 검색 엔진은 사용자가 필요로 하지 않는 정보까지 보여주는 검색 성능의 한계를 가져왔다. 따라서 사용자는 원하는 정보를 검색하기 위해 과거보다 더 많은 시간과 노력이 필요하게 되었다. 이 연구에서는 질의 확장을 이용하여 사용자가 필요로 하는 정확한 정보를 신속하게 찾아서 제공할 수 있는 방법을 제안한다. 제안된 단어 가중치 평가방법은 검색 주제의 변동 없이 하나의 검색 주제를 검색할 경우 TF-IDF 또는 단순 인기도 측정법 보다 우수한 성능을 보인다. 또한 검색 중 주제를 변경하였을 때에도 검색 주제 변경 전과 유사한 성능으로 기존의 측정법 보다 빠르게 새로운 주제와 관련된 단어를 추출하고 정확한 가중치를 측정한다.

컴포넌트 메트릭스를 이용한 컴포넌트 설계 재정비 (Improvement of Component Design using Component Metrics)

  • 고병선;박재년
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권8호
    • /
    • pp.980-990
    • /
    • 2004
  • 컴포넌트 기반 개발 방법론은 클래스보다 더 큰 단위인 컴포넌트를 통해 높은 추상화와 재사용을 목표로 하는 개발 방법론이다. 컴포넌트 기반 시스템과 개별 컴포넌트의 품질 향상을 위해서는 개발 이전에 측정하고, 그 결과를 컴포넌트 개발 과정에 반영할 수 있어야 한다. 그러므로 컴포넌트 분석 및 설계 단계에 적용 가능한 컴포넌트 메트릭에 대한 연구가 필요하다. 따라서 본 논문에서는 컴포넌트 설계 정보에 기반한 컴포넌트 응집도, 결합도, 독립도 메트릭을 제안한다. 제안한 메트릭은 컴포넌트의 서비스를 제공하기 위한 오퍼레이션들의 동작 유형의 유사도에 기반 한다. 또한, 기능적으로 응집도가 높으며 복잡도가 낮고 유지 보수가 용이한 컴포넌트 설계가 되도록 하기 위한 클러스터링 기법을 사용한 컴포넌트 재설계 과정을 제안한다. 그리고 개발 이전에 컴포넌트 측정과 컴포넌트 재설계 과정을 통해 바람직한 컴포넌트 설계가 되도록 할 수 있음을 사례 연구를 통해 확인했다.

Trie 구조를 이용한 비디오 인덱스 생성 및 검색 (Video Index Generation and Search using Trie Structure)

  • 현기호;김정엽;박상현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권7_8호
    • /
    • pp.610-617
    • /
    • 2003
  • 비디오 데이타베이스에서 유사도 정합은 비디오 클러스터링과 비디오 라이브러리 등과 같은 많은 새로운 응용분야에서 중요성이 증가하고 있다. 대용량 데이타베이스에서 효과적인 접근을 제공하기 위하여 다양한 공간과 시간에 대한 특징치를 이용한 비디오 인덱싱 분야의 많은 연구노력이 있어왔다. 그러나 대부분의 기존 방법들은 순차적인 정합방법 또는 메모리 기반의 역 파일 기법 등에 의존하므로 대용량 데이타베이스에는 적합하지 않다. 이러한 문제를 해결하기 위하여 본 논문에서는 효과적이고 스케일 조정가능한 인덱싱 기법을 제안하기 위하여, 문자열 정합을 위해 제안된 trio를 인덱스 구조로 이용하였다. 인덱스 구성을 위하여 윈도우 순서 휴리스틱을 이용하여 각 프레임을 기호 시퀀스로 변환하고, 기호 시퀀스의 집합으로부터 디스크 상주 trio를 구성하였다 질의 처리를 위하여 trio 상에서 깊이-우선 검색과 시간 축분할을 실시하였으며, 제안한 방법의 성능을 검증하기 위하여 실제와 합성 데이터 집합에 대한 실험을 수행하였다. 제안한 방법은 지속적으로 순차적 스캔 방법보다 우수한 성능을 보였고, 성능이득은 대용량 비디오 데이타베이스에서도 유지되었다.

외국어 음차 표기의 음성적 유사도 비교 알고리즘 (Phonetic Similarity Meausre for the Korean Transliterations of Foreign Words)

  • 강병주;이재성;최기선
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권10호
    • /
    • pp.1237-1246
    • /
    • 1999
  • 최근 모든 분야에서 외국과의 교류가 증대됨에 따라서 한국어 문서에는 점점 더 많은 외국어 음차 표기가 사용되는 경향이 있다. 하지만 같은 외국어에 대한 음차 표기에 개인차가 심하여 이들 음차 표기를 포함한 문서들에 대한 검색을 어렵게 만드는 원인이 되고 있다. 한 가지 해결 방법은 색인 시에 같은 외국어에서 온 음차 표기들을 등가부류로 묶어서 색인해 놓았다가 질의 시에 확장하는 방법이다. 본 논문에서는 외국어 음차 표기들의 등가부류를 만드는데 필요한 음차 표기의 음성적 유사도 비교 알고리즘인 Kodex를 제안한다. Kodex 방법은 기존의 스트링 비교 방법인 비음성적 방법에 비해 음차 표기들을 등가부류로 클러스터링하는데 있어 더 나은 성능을 보이면서도, 계산이 간단하여 훨씬 효율적으로 구현될 수 있는 장점이 있다.Abstract With the advent of digital communication technologies, as Koreans communicate with foreigners more frequently, more foreign word transliterations are being used in Korean documents more than ever before. The transliterations of foreign words are very various among individuals. This makes text retrieval tasks about these documents very difficult. In this paper we propose a new method, called Kodex, of measuring the phonetic similarity among foreign word transliterations. Kodex can be used to generate the equivalence classes of the transliterations while indexing and conflate the equivalent transliterations at the querying stage. We show that Kodex gives higher precision at the similar recall level and is more efficient in computation than non-phonetic methods based on string similarity measure.

상호 관계 기반 자동 이미지 주석 생성 (Correlation-based Automatic Image Captioning)

  • Hyungjeong, Yang;Pinar, Duygulu;Christos, Falout
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권10호
    • /
    • pp.1386-1399
    • /
    • 2004
  • 본 논문에서는 상호 관계에 기반한 자동 이미지 주석 생성 방법을 보인다 새로운 실험 이미지를 위한 자동 주석의 생성은 훈련 데이타 내의 주석과 함께 주어진 이미지들을 이용하여 이미지의 시각적 속성과 텍스트 속성의 상호 관계를 발견해 냄으로 수행된다. 본 논문에서 제시하는 상호 관계 기반 자동주석 생성 모델은 1) 시각적 속성의 적절한 군집화, 2) 시각적 속성과 텍스트 속성의 가중치 부여, 3) 노이즈 제거를 위한 차원 축소 등의 요소를 고려하여 설계된다. 실험은 680 MB의 Corel 이미지 데이터를 이용하여 각 10개의 데이타 집합에 대해 수행되었으며, 실험 결과, 시각적 속성과 텍스트 속성에 대한 가중치 부여와 시각적 속성의 적절한 군집화가 모델의 성능을 향상시키며, 본 논문에서 제시한 상호 관계기반 모델이 기존의 EM을 이용한 자동 주석 생성 모델에 비해 45%의 상대적 성능 향상을 보인다.

엔트로피 가중치 및 SVD를 이용한 군집 특징 선택 (Cluster Feature Selection using Entropy Weighting and SVD)

  • 이영석;이수원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권4호
    • /
    • pp.248-257
    • /
    • 2002
  • 군집화는 객체들의 특성을 분석하여 유사한 성질을 갖고 있는 객체들을 동일한 집단으로 분류하는 방법이다. 전자 상거래 자료처럼 차원 수가 많고 누락 값이 많은 자료의 경우 입력 자료의 차원축약, 잡음제거를 목적으로 SVD를 사용하여 군집화를 수행하는 것이 효과적이지만, SVD를 통해 변환된 자료는 원래의 속성 정보를 상실하기 때문에 군집 결과분석에서 원본 속성의 가치 해석이 어렵다. 따라서 본 연구는 군집화 수행 후 엔트로피 가중치 및 SVD를 이용하여 군집의 중요한 속성을 발견하기 위한 군집 특징 선택 기법 ENTROPY-SVD를 제안한다. ENTROPY-SVD는 자료의 속성들과 유사객체 군과의 묵시적인 은닉 구조를 활용하기 위하여 SVD를 이용하고 유사객체 군에 포함된 응집도가 높은 속성들을 발견하기 위하여 엔트로피 가중치를 사용한다. 또한 ENTROPY-SVD를 적용한 모델 기반의 협력적 여과기법의 추천 시스템 CFS-CF를 제안하고 그 효용성 및 효과를 평가한다.

SVM의 다중결정템플릿을 이용한 지문분류 (Fingerprint Classification using Multiple Decision Templates with SVM)

  • 민준기;홍진혁;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권11호
    • /
    • pp.1136-1146
    • /
    • 2005
  • 지문분류는 대규모 자동지문식별시스템에서 지문을 카테고리별로 나누어 매칭시간을 줄이는데 유용하다. 지문을 5가지 클래스로 분류하는 헨리시스템을 기반으로 신경망이나 SYM(Support Vector Machines) 등과 같은 다양한 패턴분류 기법들이 지문분류에 널리 사용되고 있다. 특히 최근에는 높은 분류 성능을 보이는 SVM 분류기를 이용한 연구가 활발하다. 이진분류기인 SVM을 지문분류문제에 적용하기 위해서 본 논문에서는 새로운 분류기 결합모델인 다중결정템플릿(Multiple Decision Templates, MuDTs)을 제안한다. 이 방법은 클래스 구분이 모호한 지문영상들의 분류에서 단일 결합모델들의 한계를 극복하기 위해, 하나의 지문클래스로부터 서로 다른 특성을 갖는 클러스터들을 추출하여 각 클러스터에 적합한 결합모델을 생성한다. NIST Database4 데이타로부터 추출한 핑거코드에 대해 실험한 결과, 5클래스와 4클래스 분류문제에 대하여 각각 $90.4\%$$94.9\%$의 분류성능(거부율 $1.8\%$)을 획득하였다.