• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.352-356
• /
• 2007

키그래프는 데이터 패턴 속에서 인간의 의사결정이나 미래에 닥쳐올 변화에 영향을 주지만 자주 발생하지 않는 희소성이 있는 사건을 발견하기 위한 알고리즘이다. 키그래프는 지진예측, 논문, 파일탐색, 그리고 중요한 URL 추출 등에 이용되었다. 데이터 분할을 통한 클러스터의 형성은 키그래프의 성능에 가장 큰 영향을 끼치는 요소 중의 하나이다. 본 논문에서는 유전자 알고리즘을 이용하여 키그래프의 성능을 향상시킬 수 있는 최적의 데이터 분할을 찾아내는 방법을 제안한다. 제안한 방법의 가능성을 보여주기 위하여 모바일 기기 사용자로부터 수집한 방문 장소 데이터에 제안하는 방법을 적용하여 키그래프의 성능이 향상되는 것을 보인다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.22 no.2
• /
• pp.205-211
• /
• 2012

The retrieved documents have to be transformed into proper data structure for the clustering algorithms of statistics and machine learning. A popular data structure for document clustering is document-term matrix. This matrix has the occurred frequency value of a term in each document. There is a sparsity problem in this matrix because most frequencies of the matrix are 0 values. This problem affects the clustering performance. The sparseness of document-term matrix decreases the performance of clustering result. So, this research uses the factor score by factor analysis to solve the sparsity problem in document clustering. The document-term matrix is transformed to document-factor score matrix using factor scores in this paper. Also, the document-factor score matrix is used as input data for document clustering. To compare the clustering performances between document-term matrix and document-factor score matrix, this research applies two typed matrices to self organizing map (SOM) clustering.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.51-54
• /
• 2006

본 논문에서는 각 사용자들의 취향에 맞는 음악을 추천하는 개인화된 음악 추천 시스템을 소개한다. 추천 시스템이란 사용자의 선호도를 분석하고 아이템들에 대한 사용자의 선호도를 예측하여 영화, 음악, 기사, 책, 웹 페이지 등과 같은 아이템들을 추천하는 시스템을 말한다. 추천 시스템들에서 가장 많이 사용하고 있는 협동적 추천 방식은 선호도 데이터를 기반으로 유사한 사용자들을 찾고, 유사 사용자들의 선호도를 기반으로 예측을 수행하는 것으로서, 여러 장점들이 있으나 희소성(sparsity) 문제와 확장성(scalability) 문제에 대해 취약점을 가지고 있다. 아이템들의 전체 수에 비해 매우 적은 수의 아이템 선호도 데이터만 존재한다면 사용자들의 유사도를 계산하기가 어려우며, 또한 사용자의 수가 늘어날수록 유사도 계산에 걸리는 시간이 급격하게 늘어남으로써 수백만 사용자가 있는 웹 사이트 등에서 실시간 추천을 수행하기 어렵다. 본 논문에서 소개하는 음악 추천 시스템은 이러한 문제점들을 해결하기 위해 그래프 기반 협동적 여과 기법을 사용한다. 그래프 기반 협동적 여과 기법은 기존의 협동적 여과 기법들과 달리 아이템들 사이의 연관관계를 그래프 모델로 표현하고 저장함으로써 묵시적인 선호도 정보들을 누적하여 희소성 문제를 해결하고, 추천 아이템을 선정하는데 필요한 계산 시간을 크게 단축하여 대규모 데이터에서 실시간 추천을 가능하게 한다는 장점이 있다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.470-473
• /
• 2018

최근 제안된 순환 신경망 기반 Encoder-Decoder 모델은 기계번역에서 좋은 성능을 보인다. 하지만 이는 대량의 병렬 코퍼스를 전제로 하며 병렬 코퍼스가 소량일 경우 데이터 희소성 문제가 발생하며 번역의 품질은 다소 제한적이다. 본 논문에서는 기계번역의 이러한 문제를 해결하기 위하여 단일-언어(Monolingual) 데이터를 학습과정에 사용하였다. 즉, 역-번역(Back-translation)을 이용하여 단일-언어 데이터를 가상 병렬(Pseudo Parallel) 데이터로 변환하는 방식으로 기존 병렬 코퍼스를 확장하여 번역 모델을 학습시켰다. 역-번역 방법을 이용하여 영-한 번역 실험을 수행한 결과 +0.48 BLEU 점수의 성능 향상을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.292-294
• /
• 2001

문서 클러스터링은 정보검색 시스템에서 검색과정의 효율성을 향상시키기 위해서 많이 사용된다. 기존의 K-means 클러스터링과 같은 거리-기반 접근 방법은 거리에 대한 척도를 정해야 하는 문제가 있고, 또한 전체 자질 공간에서 지역적 특성에 민감하기 때문에 문서 내에 노이즈가 존재할 경우 만족스러운 결과를 내지 못할 수 있다. 그리고 기본적으로 문서 데이터는 희소성(sparseness)을 가기 때문에 정규 분포를 가정한 mixture 모델을 적용하기도 어려움이 있다. 본 논문에서는 Helmoholtz machine에 의한 문서 클러스터링 방법을 제안한다. 제안되는 방법에서는 하나의 문서를 어떤 내재적인 요인(factor)들의 다양한 결합에 의한 결과로 가정하는데, 이 때의 요인은 주제어 집합 또는 적어도 의미적으로 유사한 단어들의 집합이다. 그리고 기본적으로 Helmholtz machine은 이진 데이터를 다루는데, 텍스트 문서에 나타나는 단어들의 빈도를 고려하기 위해 수정된 Helmholtz machine을 제시한다. TREC-8 adhoe 데이터와 20 Newsgroup 문서 집합에 대한 클러스터링 실험 결과, 제안된 방법이 K-means 알고리즘에 비해 우수한 성능을 보였으며 주제어 추출을 통해 문서 집합의 전체 내용 파악을 용이하게 하는 특성이 있었다.

• Journal of Digital Convergence
• /
• v.17 no.9
• /
• pp.375-381
• /
• 2019

Recently, the recommendation system has attracted the attention of users as customized recommendation services have been provided focusing on fashion, video and music. But these services are difficult to provide users with proper service according to many different contexts because they do not use contextual information emerging in real time. When applied contextual information expands dimensions, it also increases data sparsity and makes it impossible to recommend proper music for users. Trying to solve these problems, our study proposed a music recommendation system to recommend proper music in real time by applying association rules and using relationships and rules about the current location and time information of users. The accuracy of the recommendation system was measured according to location and time information through 5-fold cross validation. As a result, it was found that the accuracy of the recommendation system was improved as contextual information accumulated.

• Journal of the Korea Society of Computer and Information
• /
• v.25 no.12
• /
• pp.203-210
• /
• 2020

Memory-based collaborative filtering is one of the representative types of the recommender system, but it suffers from the inherent problem of data sparsity. Although many works have been devoted to solving this problem, there is still a request for more systematic approaches to the problem. This study exploits distribution of user ratings given to items for computing similarity. All user ratings are utilized in the proposed method, compared to previous ones which use ratings for only common items between users. Moreover, for similarity computation, it takes a global view of ratings for items by reflecting other users' ratings for that item. Performance is evaluated through experiments and compared to that of other relevant methods. The results reveal that the proposed demonstrates superior performance in prediction and rank accuracies. This improvement in prediction accuracy is as high as 2.6 times more than that achieved by the state-of-the-art method over the traditional similarity measures.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.10
• /
• pp.163-170
• /
• 2023

The user-based collaborative filtering technique, one of the implementation methods of the recommendation system, recommends the preferred items of neighboring users based on the calculations of neighboring users with similar rating histories. However, it fundamentally has a data scarcity problem in which the quality of recommendations is significantly reduced when there is little common rating history. To solve this problem, many existing studies have proposed various methods of combining Jaccard index with a similarity measure. In this study, we introduce a time-aware concept to Jaccard index and propose a method of weighting common items with different weights depending on the rating time. As a result of conducting experiments using various performance metrics and time intervals, it is confirmed that the proposed method showed the best performance compared to the original Jaccard index at most metrics, and that the optimal time interval differs depending on the type of performance metric.

• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.17 no.2
• /
• pp.113-120
• /
• 2024

The population sparseness index(PSI) is being utilized to describe the functioning of internal layers in artificial neural networks from the perspective of neurons, shedding light on the black-box nature of the network's internal operations. There is research indicating a positive correlation between the PSI and performance in each layer of convolutional neural network models for image classification. In this study, we observed the internal operations of a convolutional neural network when adversarial examples were applied. The results of the experiments revealed a similar pattern of positive correlation for adversarial examples, which were modified to maintain 5% accuracy compared to applying benign data. Thus, while there may be differences in each adversarial attack, the observed PSI for adversarial examples demonstrated consistent positive correlations with benign data across layers.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06a
• /
• pp.251-254
• /
• 2011

본 논문에서는 도서관 정보시스템에서 보다 개인화된 추천 서비스를 제공하기 위하여, 사용자 기반 협업 필터링의 희소성 문제를 해결하기 위한 방안을 제시한다. 이를 위하여 아이템을 메타데이터 속성인 주제분류번호를 이용하여 동일 주제의 자료끼리 군집화하고 주제군집에 대한 선호도 점수를 추출하여 이를 사용자 유사도 계산에 사용하였다. 실험을 위하여 실제 연세대학교 도서관에서 동양서를 대출한 35,238명의 총 659,792건 대출/반납건수 데이터를 사용하였으며, 제안된 방법의 성능을 평가하기 위하여 기존의 사용자 기반 협업 필터링과 비교한 결과, 정확도에서는 큰 차이가 없었으나 Coverage가 크게 향상되었음을 확인하였다.