• 제목/요약/키워드: Document-term-matrix

검색결과 46건 처리시간 0.028초

잠재디리클레할당을 이용한 한국학술지인용색인의 풍력에너지 문헌검토 (Review of Wind Energy Publications in Korea Citation Index using Latent Dirichlet Allocation)

  • 김현구;이제현;오명찬
    • 신재생에너지
    • /
    • 제16권4호
    • /
    • pp.33-40
    • /
    • 2020
  • The research topics of more than 1,900 wind energy papers registered in the Korean Journal Citation Index (KCI) were modeled into 25 topics using latent directory allocation (LDA), and their consistency was cross-validated through principal component analysis (PCA) of the document word matrix. Key research topics in the wind energy field were identified as "offshore, wind farm," "blade, design," "generator, voltage, control," 'dynamic, load, noise," and "performance test." As a new method to determine the similarity between research topics in journals, a systematic evaluation method was proposed to analyze the correlation between topics by constructing a journal-topic matrix (JTM) and clustering them based on topic similarity between journals. By evaluating 24 journals that published more than 20 wind energy papers, it was confirmed that they were classified into meaningful clusters of mechanical engineering, electrical engineering, marine engineering, and renewable energy. It is expected that the proposed systematic method can be applied to the evaluation of the specificity of subsequent journals.

중립도 기반 선택적 단어 제거를 통한 유용 리뷰 분류 정확도 향상 방안 (Increasing Accuracy of Classifying Useful Reviews by Removing Neutral Terms)

  • 이민식;이홍주
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.129-142
    • /
    • 2016
  • 전자상거래에서 소비자들의 구매 의사결정에 판매 제품을 이미 구매하여 사용한 고객의 리뷰가 중요한 영향을 미치고 있다. 전자상거래 업체들은 고객들이 제품 리뷰를 남기도록 유도하고 있으며, 구매고객들도 적극적으로 자신의 경험을 공유하고 있다. 한 제품에 대한 고객 리뷰가 너무 많아져서 구매하려는 제품의 모든 리뷰를 읽고 제품의 장단점을 파악하는 것은 무척 힘든 일이 되었다. 전자상거래 업체들과 연구자들은 텍스트 마이닝을 활용하여 리뷰들 중에서 유용한 리뷰들의 속성을 파악하거나 유용한 리뷰와 유용하지 않은 리뷰를 미리 분류하는 노력을 수행하고 있다. 고객들에게 유용한 리뷰를 필터링하여 전달하는 방안이다. 본 연구에서는 문서-단어 매트릭스에서 단어의 제거 기준으로 온라인 고객 리뷰가 유용한 지, 그렇지 않은지를 구분하는 문제에서 단어들이 유용 리뷰 집합과 유용하지 않은 리뷰집합에 중복하여 등장하는 정도를 측정한 중립도를 제시한다. 제시한 중립도를 희소성과 함께 분석에 활용하여 제거할 단어를 선정한 후에 각 분류 알고리즘의 성과를 비교하였다. 최적의 성과를 보이는 중립도를 찾았으며, 희소성과 중립도에 따라 단어를 선택적으로 제거하였다. 실험은 Amazon.com의 'Cellphones & Accessories', 'Movies & TV program', 'Automotive', 'CDs & Vinyl', 'Clothing, Shoes & Jewelry' 제품 분야 고객 리뷰와 사용자들의 리뷰에 대한 평가를 활용하였다. 전체 득표의 수가 4개 이상인 리뷰 중에서 제품 카테고리 별로 유용하다고 판단되는 1,500개의 리뷰와 유용하지 않다고 판단되는 1,500개의 리뷰를 무작위로 추출하여 연구에 사용하였다. 데이터 집합에 따라 정확도 개선 정도가 상이하며, F-measure 기준으로는 두 알고리즘에서 모두 희소성과 중립도에 기반하여 단어를 제거하는 방안이 더 성과가 높았다. 하지만 Information Gain 알고리즘에서는 Recall 기준으로는 5개 제품 카테고리 데이터에서 언제나 희소성만을 기준으로 단어를 제거하는 방안의 성과가 높았으며, SVM에서는 전체 단어를 활용하는 방안이 Precision 기준으로 성과가 더 높았다. 따라서, 활용하는 알고리즘과 분석 목적에 따라서 단어 제거 방안을 고려하는 것이 필요하다.

군집의 중요 용어와 위키피디아를 이용한 문서군집 향상 (Enhancing Document Clustering using Important Term of Cluster and Wikipedia)

  • 박선;이연우;정민아;이성로
    • 대한전자공학회논문지SP
    • /
    • 제49권2호
    • /
    • pp.45-52
    • /
    • 2012
  • 본 논문은 군집 중요 용어들과 위키피디아(Wikipedia)의 동음이의어를 이용하여 문서군집의 성능을 향상시키는 새로운 방법을 제안한다. 제안된 방법은 비음수행렬분해의 의미특징을 이용하여 군집 중요 용어들을 선택함으로서 군집을 대표할 수 있는 군집 주제(topic)의 개념을 잘 표현할 수 있으며, 군집의 중요 용어에 위키피디아의 동음이의어를 사용하여 확장함으로써 문서와 군집 간의 의미관계를 고려하지 않는 용어집합(bag-of-words) 문제를 해결할 수 있다. 또한 확장된 군집의 중요 용어를 이용하여 문서집합을 재 군집하여 초기 군집을 정제함으로써 군집방법의 성능을 높일 수 있다. 실험결과 제안방법을 적용한 문서군집방법이 다른 문서군집 방법에 비하여 좋은 성능을 보인다.

텍스트 데이터 분석을 위한 근접성 데이터의 생성과 군집화 (Creation and clustering of proximity data for text data analysis)

  • 정민지;신상민;최용석
    • 응용통계연구
    • /
    • 제32권3호
    • /
    • pp.451-462
    • /
    • 2019
  • 문서-용어 빈도행렬은 텍스트 마이닝 분야에서 보편적으로 사용되는 데이터의 한 유형으로, 여러 개체들이 제공하는 문서를 기반으로 만들어진다. 그러나 대다수의 연구자들은 개체 정보에 무게를 두지 않고 여러 문서에서 공통적으로 등장하는 공통용어 중 핵심적인 용어를 효과적으로 찾아내는 방법에 집중하는 경향을 보인다. 공통용어에서 핵심어를 선별할 경우 특정 문서에서만 등장하는 중요한 용어들이 공통용어 선정단계에서부터 배제될 뿐만 아니라 개별 문서들이 갖는 고유한 정보가 누락되는 등의 문제가 야기된다. 본 연구에서는 이러한 문제를 극복할 수 있는 데이터를 근접성 데이터라 정의한다. 그리고 근접성 데이터를 생성할 수 있는 12가지 방법 중 개체 군집화의 관점에서 가장 최적화된 방법을 제안한다. 개체 특성 파악을 위한 군집화 알고리즘으로는 다차원척도법과 K-평균 군집분석을 활용한다.

텐서공간모델 기반 시멘틱 검색 기법 (A Tensor Space Model based Semantic Search Technique)

  • 홍기주;김한준;장재영;전종훈
    • 한국전자거래학회지
    • /
    • 제21권4호
    • /
    • pp.1-14
    • /
    • 2016
  • 시멘틱 검색은 검색 사용자의 인지적 노력을 최소화하면서 사용자 질의의 문맥을 이해하여 의미에 맞는 문서를 정확히 찾아주는 기술이다. 아직 시멘틱 검색 기술은 온톨로지 또는 시멘틱 메타데이터 구축의 난제를 갖고 있으며 상용화 사례도 매우 미흡한 실정이다. 본 논문은 기존 시멘틱 검색 엔진의 한계를 극복하기 위하여 이전 연구에서 고안한 위키피디아 기반의 시멘틱 텐서공간모델을 활용하여 새로운 시멘틱 검색 기법을 제안한다. 제안하는 시멘틱 기법은 문서 집합에 출현하는 '단어'가 텐서공간모델에서 '문서-개념'의 2차 텐서(행렬), '개념'은 '문서-단어'의 2차 텐서로 표현된다는 성질을 이용하여 시멘틱 검색을 위해 요구되는 온톨로지 구축의 필요성을 없앤다. 그럼에도 불구하고, OHSUMED, SCOPUS 데이터셋을 이용한 성능평가를 통해 제안 기법이 벡터공간모델에서의 기존 검색 기법보다 우수함을 보인다.

요양병원의 효율성과 의료서비스 질의 관련성: 자료포락분석과 매트릭스 분석 (Association between Efficiency and Quality of Health Care in South Korea Long-term Care Hospitals: Using the Data Envelopment Analysis and Matrix Analysis)

  • 손민성;최만규
    • 대한간호학회지
    • /
    • 제44권4호
    • /
    • pp.418-427
    • /
    • 2014
  • Purpose: Objectives of this study were to investigate the association between efficiency and quality of health care in Long-term Care Hospitals (LTCH) and determine related factors that would enable achievement of both high efficiency and high quality at the same time. Methods: Major data sources were the "2012 Korean Assessment of Propriety by Long-term Care Hospitals" obtained from the Health Insurance Review & Assessment Service. Cost variables were supplemented by a National Tax Service accounting document. First, data envelopment analysis was performed by generating efficiency scores for each LTCH. Second, matrix analysis was conducted to ascertain association between efficiency and quality. Lastly, kruskal-wallis and mann-whitney tests were conducted to identify related factors. Results: First, efficiency and quality of care are not in a relationship of trade-offs; thus, LTCH can be confident that high efficiency-high quality can be achieved. Second, LTCH with a large number of beds, longer tenure of medical personnel, and adequate levels of investment were more likely to have improved quality as well as efficiency. Conclusion: It is essential to enforce legal standards appropriate to the facilities, reduce turnover of nursing staff, and invest properly in human resources. These consequences will help LTCH to maintain the balance of high efficiency-high quality in the long-run.

웹마이닝을 활용한 사이클웨어 소비자 인식 분석 (Analysis of Consumer Awareness of Cycling Wear Using Web Mining)

  • 김춘정;이은주
    • 한국산학기술학회논문지
    • /
    • 제19권5호
    • /
    • pp.640-649
    • /
    • 2018
  • 본 연구는 빅데이터 분석방법 중 하나인 웹마이닝을 이용하여 사이클웨어의 요구성능 및 착용 현황 및 소비자 감성을 분석하였다. 이를 위해 네이버 카페인 '자전거로 출퇴근하는 사람들'을 대상으로 2006년~2017년 기간 동안 사이클웨어와 관련 있는 게시글과 댓글을 R 패키지를 사용하여 크롤링하였다. 수집된 데이터는 데이터 전처리 과정을 거쳐 선별된 15,321건의 문서를 데이터를 분석에 사용하였다. 추출된 데이터에서 텍스트는 한국어형태소분석기(KoNLP)를 사용하여 키워드를 추출한 후 TDM(Term Document Matrix)과 co-occurrence matrix로 변환하여 키워드별 출현 빈도수와 키워드 간 관계를 계산하였다. 사이클웨어에서 가장 출현빈도수가 높았던 키워드는 '타이츠'로 전문적인 사이클웨어에 대한 높은 관심을 나타내었으나 몸에 달라붙어 착용 시 민망하다는 의견이 많았다. 사이클웨어 '구매'와 관련하여 '가격', '사이즈', '브랜드' 등과 관련이 많았으며 '가격'과 관련하여 '저가'와 '가성비'에 대한 출현빈도수가 높았다. 이것은 최근 고가의 브랜드보다는 가격대비 성능을 만족시키는 실용적인 제품들이 선호되는 경향을 나타내주었다. 사이클웨어에서 소재의 흡한속건성이나 패드의 기능성, 불편함 등에 대한 소재나 디자인 등에 대한 개선이 요구되었다. 이처럼 웹마이닝을 이용하여 사이클웨어에 대한 소비자의 의견을 분석할 수 있었으며 기존의 설문조사와도 유사한 결과를 보여주었다. 그러므로 웹마이닝을 이용하여 소비자의 의견이나 요구사항을 실시간으로 분석하여 제품개발에 반영할 수 있는 객관적 지표로 사용할 수 있을 것으로 기대된다.

2단계 유사관계 행렬을 기반으로 한 순위 재조정 검색 모델 (A Re-Ranking Retrieval Model based on Two-Level Similarity Relation Matrices)

  • 이기영;은희주;김용성
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권11호
    • /
    • pp.1519-1533
    • /
    • 2004
  • 웹 기반의 학술분야 전문 검색 시스템은 사용자의 정보 요구 표현을 극히 제한적으로 허용함으로써 검색된 정보의 내용 분석과 정보 습득의 과정이 일관되지 못해 무분별한 정보 제공이 이루어진다. 본 논문에서는 용어의 상대적인 중요 정도를 축소용어 집합으로 구성하여 검색 시스템의 높은 시간 복잡도를 해결할 수 있도록 퍼지 검색 모델을 적용하였다. 또한 퍼지 호환관계의 특성을 만족하는 유사관계 행렬을 통해 사용자 질의를 정확하게 반영할 수 있도록 클러스터 검색을 수행하였다. 본 논문에서 제안한 퍼지 검색과 문서 클러스터 검색의 유사도 결합을 통한 순위 재조정 검색 모델은 검색 성능을 표현하는 정확률과 재현율 척도에서 향상됨을 입증하였다.

부상기술 예측을 위한 특허키워드정보분석에 관한 연구 - GHG 기술 중심으로 (Patent Keyword Analysis for Forecasting Emerging Technology : GHG Technology)

  • 최도한;김갑조;박상성;장동식
    • 디지털산업정보학회논문지
    • /
    • 제9권2호
    • /
    • pp.139-149
    • /
    • 2013
  • As the importance of technology forecasting while countries and companies manage the R&D project is growing bigger, the methodology of technology forecasting has been diversified. One of the forecasting method is patent analysis. This research proposes quick forecasting process of emerging technology based on keyword approach using text mining. The forecasting process is following: First, the term-document matrix is extracted from patent documents by using text mining. Second, emerging technology keyword are extracted by analyzing the importance of word from utilizing mean values and standard deviation values of the term and the emerging trend of word discovered from time series information of the term. Next, association between terms is measured by using cosine similarity. finally, the keyword of emerging technology is selected in consequence of the synthesized result and we forecast the emerging technology according to the results. The technology forecasting process described in this paper can be applied to developing computerized technology forecasting system integrated with various results of other patent analysis for decision maker of company and country.

Variational Expectation-Maximization Algorithm in Posterior Distribution of a Latent Dirichlet Allocation Model for Research Topic Analysis

  • Kim, Jong Nam
    • 한국멀티미디어학회논문지
    • /
    • 제23권7호
    • /
    • pp.883-890
    • /
    • 2020
  • In this paper, we propose a variational expectation-maximization algorithm that computes posterior probabilities from Latent Dirichlet Allocation (LDA) model. The algorithm approximates the intractable posterior distribution of a document term matrix generated from a corpus made up by 50 papers. It approximates the posterior by searching the local optima using lower bound of the true posterior distribution. Moreover, it maximizes the lower bound of the log-likelihood of the true posterior by minimizing the relative entropy of the prior and the posterior distribution known as KL-Divergence. The experimental results indicate that documents clustered to image classification and segmentation are correlated at 0.79 while those clustered to object detection and image segmentation are highly correlated at 0.96. The proposed variational inference algorithm performs efficiently and faster than Gibbs sampling at a computational time of 0.029s.