• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.952-959
• /
• 2018

Clustering is one of the most fundamental algorithms in machine learning. The performance of clustering is affected by the distribution of data, and when there are more data or more dimensions, the performance is degraded. For this reason, we use a stacked auto encoder, one of the deep learning algorithms, to reduce the dimension of data which generate a feature vector that best represents the input data. We use k-means, which is a famous algorithm, as a clustering. Sine the feature vector which reduced dimensions are also multi dimensional, we use the Euclidean distance as well as the cosine similarity to increase the performance which calculating the similarity between the center of the cluster and the data as a vector. A deep clustering networks combining a stacked auto encoder and k-means re-trains the networks when the k-means result changes. When re-training the networks, the loss function of the stacked auto encoder and the loss function of the k-means are combined to improve the performance and the stability of the network. Experiments of benchmark image ad document dataset empirically validated the power of the proposed algorithm.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2006년도 추계 종합학술대회 논문집
• /
• pp.637-641
• /
• 2006

제한된 자원 하에서 멀티미디어 컨텐츠를 이용하기 위해서는 XML로 표현되는 MPEG-7 문서의 효율적인 관리 방법이 필요하다. 이 때 XML 문서 클러스터링 방법들을 이용할 수 있겠으나 보다 효율성을 높이기 위해 MPEG-7 문서의 특성을 반영한 새로운 방법이 요구된다. 본 논문에서는 MPEG-7 문서를 효율적으로 관리하기 위해 MPEG-7 문서의 엘리먼트들 사이에 나타나는 의미 관련성을 이용해 저장할 수 있는 새로운 클러스터링 방법을 제안하고, 이를 기존 방법들과 비교하였다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2001년도 춘계정기학술대회
• /
• pp.393-398
• /
• 2001

특정 영역에 대해 사용자에게 관련 정보를 제공해 주는 서비스를 하는 정보 에이전트를 개발 중이다. 정보 에이전트는 사용자 질의 처리를 달은 Agent Manager와 지식베이스를 관리하는 KB Manager, 그리고 Web으로부터 해당 영역의 관련 문서를 끌어오는 Web Manager로 구성되어 있다. Web Manager는 방문할 URL을 수집하고, 이들 문서에 대한 관련 평가와 Indexing을 수행한다. Web Manager는 검색 엔진을 이용하거나, 방문한 문서의 link를 이용하여 URL을 수집하는데 이러한 URL수집기법은 많은 관련 문서를 놓치는 문제점이 있다. 이 문제점을 해결하기 위해서 해당 영역과 관련된 Site들을 대상으로 Link를 이용해 문서들을 모아와, 문서들을 TAG들의 패턴으로 얻어낸 문서 형식을 이용해 Clustering하며 관련 문서들의 Group을 찾아내는 적극적 문서 수집 기법을 제안한다. 실험 결과, Link와 Clustering을 이용할 경우 기존보다 효과적으로 관련 문서를 많이 수집할 수 있음을 알 수 있다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제8권3호
• /
• pp.231-237
• /
• 2008

This research proposes a modified version of single pass algorithm specialized for text clustering. Encoding documents into numerical vectors for using the traditional version of single pass algorithm causes the two main problems: huge dimensionality and sparse distribution. Therefore, in order to address the two problems, this research modifies the single pass algorithm into its version where documents are encoded into not numerical vectors but other forms. In the proposed version, documents are mapped into tables and the operation on two tables is defined for using the single pass algorithm. The goal of this research is to improve the performance of single pass algorithm for text clustering by modifying it into the specialized version.

• 한국문헌정보학회지
• /
• 제41권1호
• /
• pp.345-372
• /
• 2007

이 연구에서는 텍스트 마이닝의 주요 기법인 문헌 클러스터링과 문헌 유사도 네트워크 분석을 적용하여 기록관리학 연구의 지적구조를 분석하였다. 대상 데이터는 2001년부터 2006년까지 발간된 국내 문헌정보학 영역의 대표적인 저널 5종에서 선정된 기록관리학 관련 논문 145건을 중심으로 분석하였다. 군집단위 지적구조 분석 결과, 국내에서 수행된 기록관리학 영역의 핵심적인 주제 영역은 <전자기록관리 디지털보존>, <기록관리정책 제도>, <기록물 기술/목록>, <기록관리학 영역/교육>이었으며, 문헌단위 지적구조 분석을 통하여서는 <디지털 아카이빙> 주제 영역이 중심을 이루고 있음을 확인할 수 있었다. 또한 시기별 분석을 통해서는 <기록정보서비스> 영역이 새롭게 등장하고 있음이 드러났다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권11호
• /
• pp.535-540
• /
• 2021

다중문서는 하나의 주제가 아닌 다양한 주제로 구성된 문서를 의미하며 대표적인 예로 온라인 리뷰가 있다. 온라인 리뷰는 정보량이 방대하기 때문에 요약하기 위한 여러 시도가 있었다. 그러나 기존의 요약모델을 통해 리뷰를 일괄적으로 요약할 경우 리뷰를 구성하고 있는 다양한 주제가 소실되는 문제가 발생한다. 따라서 본 논문에서는 주제의 손실을 최소화하며 리뷰를 요약하기 위한 기법을 제시한다. 제안하는 기법은 전처리, 중요도 평가, BERT를 활용한 임베딩 치환, 임베딩 클러스터링과 같은 과정을 통해 리뷰를 분류한다. 그리고 분류된 문장은 학습된 Transformer 요약모델을 통해 최종 요약을 생성한다. 제안하는 모델의 성능 평가는 기존의 요약모델인 seq2seq 모델과 ROUGE 스코어와 코사인 유사도를 평가하여 비교하였으며 기존의 요약모델과 비교하여 뛰어난 성능의 요약을 수행하였다.

• 한국콘텐츠학회논문지
• /
• 제9권12호
• /
• pp.19-30
• /
• 2009

최근 각광을 받고 있는 지도(이하 맵)를 활용한 서비스는 맵에 접근한 후 인터페이스를 통해 다양한 매쉬업 형태의 결과를 제공하는 방식이다. 이러한 서비스는 사용자에게 정확한 정보를 제공할 수는 있지만 맵의 재활용은 어렵다. 본 논문의 스케치맵 시스템은 기존의 대형 맵 시스템과는 달리 목적에 부합하는 특정 지점과 경로를 XML 문서로 표현한다. 또한, 스케치맵 간에 클러스터링 방법을 사용함으로써 맵에서 표현되는 지점을 최적의 내용으로 갱신한다. 그 결과로서, 목적지점에 대한 경로를 간단하게 약도로 표현하기 위해 설계된 맵 서비스 시스템이다. 본 시스템은 스케치 맵의 XML 문서 입력에 대하여 스케치맵 생성기에서 분석 분할 클러스터링의 과정을 통해 유효한 형태의 스케치맵을 생성한다. 스케치맵의 분할 및 병합을 위한 질의처리 방법으로는 LCS(Longest Common Subsequence) 알고리즘을 사용하였다. 또한, 본 스케치맵 시스템에 대한 기대효과를 시뮬레이션으로 제시하여 정보와 지식을 공유하는 보이는 맵들이 모여 거대한 맵을 형성함으로서 새로운 검색 포털로서의 역할을 수행할 수 있음을 보인다.

• 정보처리학회논문지B
• /
• 제15B권5호
• /
• pp.493-500
• /
• 2008

개인 통신 방법의 수단으로 전자 메일이 널리 사용되고 있으나, 업무에 직접 관련이 없는 쓸모없는 상업용 메일도 대량으로 유포되고 있다. 본 연구에서는 사용자가 작성한 프로파일을 이용하여 메일을 자동으로 그룹핑(grouping) 하는 방법을 제안하고자 한다. 기존의 연구 방법은 단어의 빈도수만을 이용하는 단일 속성을 이용하므로 높은 정확률을 얻을 수 없었다. 그러나 본 논문에서 제안하는 방법은 기존 사용자의 폴더에 수신된 메일의 분류 체계에서 추출된 사용자 프로파일을 이용하여 그룹핑 되는 메일의 정확률을 높이고자 한다. 본 논문에서 적극적으로 이용하는 정보는 다중 속성(송신처, 문서의 주제, 문서의 유형 정보, 시간제한 표현의 어구 등) 값이다. 사용자의 프로파일을 이용함으로써 새로 도착한 메일이 사용자에게 중요한가 혹은 중요하지 않은가의 자동 판단이 가능하도록 시스템을 설계하였다. 학습 데이터를 네 가지 형태로 나누어 실험한 결과 Rocchio와 Widrow-Hoff의 상관계수가 각각 0.40과 0.43인 것 보다 본 논문의 방법이 0.52로 보다 높은 상관계수를 나타내 빈도수만을 이용하는 기존의 연구보다 정확한 방법임을 알 수 있었다.

• 한국정보과학회논문지:데이타베이스
• /
• 제34권3호
• /
• pp.261-269
• /
• 2007

이 논문에서는 XML 문서에 대한 효율적인 검색과 통합을 위한 기초연구로써 XML 문서들에 대한 구조 중심의 클러스터링 기법을 제안한다. 기존 연구에서 문서간의 구조적 유사도를 기반으로 클러스터를 형성해 가는 것과는 다르게 많은 데이타를 빠르게 처리할 수 있는 트랜잭션 데이타를 취급하는 알고리즘을 변형하여 적용한다. 각 클러스터에 포함되어 있는 항목들에 대한 누적 분포를 나타내는 히스토그램을 이용하여 전체적인 클러스터링의 응집도를 고려하는 클러스터링을 수행한다. 기존 연구와의 실험을 통해 클러스터링 처리 시간의 향상과 양질의 클러스터를 생성하는 것을 알 수 있었다.

• 한국정보관리학회:학술대회논문집
• /
• 한국정보관리학회 1999년도 제6회 학술대회 논문집
• /
• pp.25-28
• /
• 1999

자동분류나 정보검색에 주로 이용되는 문헌 클러스터링에서는 문헌간의 유사성을 측정하기 위해 다양한 유사계수를 이용하는데, 모든 유사계수가 동일한 클러스터링 결과를 가져오는 것은 아니다. 본고에서는 50건의 신문기사를 대상으로 SPSS 통계 패키지를 이용하여 다양한 유사계수에 각각 달라지는 문헌 클러스터링의 결과를 살펴본 후, 유사계수간의 연관성을 측정하였다.