• 제목/요약/키워드: Text clustering

검색결과 206건 처리시간 0.024초

용어 클러스터링을 이용한 단일문서 키워드 추출에 관한 연구 (A Study on Keyword Extraction From a Single Document Using Term Clustering)

  • 한승희
    • 한국문헌정보학회지
    • /
    • 제44권3호
    • /
    • pp.155-173
    • /
    • 2010
  • 이 연구에서는 용어 클러스터링을 이용하여 단일문서의 키워드를 추출하는 알고리즘을 제안하고자 한다. 단락단위로 분할한 단일문서를 대상으로 1차 유사도와 2차 분포 유사도를 산출하여 용어 클러스터링을 수행한 결과, 50단어 단락에서 2차 분포 유사도를 적용했을 때 가장 우수한 성능을 나타냈다. 이후, 용어 클러스터링결과를 이용하여 단일문서의 키워드를 추출하기 위해 단순빈도와 상대빈도의 조합을 통해 다양한 키워드 추출 공식을 도출, 적용한 결과, 단락빈도(pf)와 단어빈도$\times$역단락빈도($tf{\times}ipf$) 조건에서 가장 우수한 결과를 나타냈다. 이 결과를 통해, 본 연구에서 제안한 알고리즘은 좋은 키워드가 가져야 할 두 가지 조건인 주제성과 고른 빈도분포라는 측면에서 단일문서를 대상으로 효과적으로 키워드를 추출할 수 있음을 확인하였다.

주식시장관리제도와 소셜 미디어의 역할 - 개인 투자자 집단 유형과 토픽 분석 - (The Role of stock market management and social media - Analyzing the types of individual investor and topic -)

  • 김정수;이석준
    • 경영과정보연구
    • /
    • 제34권5호
    • /
    • pp.23-47
    • /
    • 2015
  • 국내 주식시장 내 개인 투자자들은 주식거래를 장기적인 투자방안보다 단기 매매차익 실현 수단으로 인식하고 있어 시장의 투명성과 건전성을 강화하기 위한 주식 시장관리제도의 역할이 중요하다. 특히, 개인 투자자들은 금융정책에 의한 시장조치로 불확실한 상황에 직면하여 투자환경에 따라 동태적 의사결정에 영향을 받게 되므로 투자자 보호를 위한 시장조치의 실효성 여부를 투자자들의 반응과 행동변화를 통해 접근할 필요가 있다. 본 연구는 시장관리 조치(상장적격성 실질심사) 전후로 개인 투자자 집단의 유형 및 반응의 변화추이를 분석하고자 하였다. 분석을 위해, 상장적격성 실질심사 대상기업 중 텍스트 분석이 가능한 9개의 기업을 선정(2009년~2014년)한 후, 국내 주식 관련 소셜 미디어(종목 토론실)로부터 웹 크롤링을 통해 개인들의 메시지를 수집하였다. 사건 발생에 따른 개인 투자자들의 관심사(토픽)와 변화추이는 텍스트 클러스터링과 토픽모델링 방법을 활용하여 개인 투자자 유형을 투자자와 비투자자 집단으로 분류하여 분석하였다. 분석결과, 특정 주식 종목 내 다양한 이해관계자 형태가 존재하며, 실질심사 대상 선정 전후로 비투자자 유형은 감소하고, 투자자는 시장 참여 유형에 따른 비중변화가 나타나는 현상을 발견하였다. 이러한 결과를 토대로 시장 조치에 따른 주식시장 내 제도의 영향을 시간(사건)경과에 따라 개인 투자자들의 반응변화를 통해 파악한 데 본 연구의 의의가 있다.

  • PDF

멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 (A News Video Mining based on Multi-modal Approach and Text Mining)

  • 이한성;임영희;유재학;오승근;박대희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권3호
    • /
    • pp.127-136
    • /
    • 2010
  • 정보 통신기술이 발전함에 따라 멀티미디어 데이터를 포함하는 디지털 기록물의 양은 기하급수적으로 증가하고 있다. 특히 뉴스 비디오는 시대상을 반영하는 풍부한 정보를 내포하고 있으므로, 이를 효과적으로 관리하고 분석하기 위한 뉴스 비디오 데이터베이스 및 뉴스 비디오 마이닝은 광범위하게 연구되어왔다. 그러나 현재까지의 뉴스 비디오 관련 연구들은 뉴스 기사에 대한 브라우징, 검색, 요약에 치중되어 있으며, 뉴스 비디오에 내재되어 있는 풍부한 잠재적 지식을 탐사하는 고수준의 의미 분석 단계에는 이르지 못하고 있다. 본 논문에서는 뉴스 비디오 클립과 스크립트를 동시에 이용하는, 멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 시스템을 제안한다. 제안된 시스템은 텍스트 마이닝의 군집분석을 통해 뉴스 기사들을 자동 분류하고, 분류 결과에 대해 기간별 군집 추이그래프, 군집성장도 분석 및 네트워크 분석을 수행함으로써, 뉴스 비디오의 기사별 주제와 관련한 다각적 분석을 수행한다. 제안된 시스템의 타당성 검증을 위하여 "2007년 제2차 남북 정상회담" 관련 뉴스 비디오를 대상으로 뉴스 비디오 분석을 수행하였다.

Learning Probabilistic Kernel from Latent Dirichlet Allocation

  • Lv, Qi;Pang, Lin;Li, Xiong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권6호
    • /
    • pp.2527-2545
    • /
    • 2016
  • Measuring the similarity of given samples is a key problem of recognition, clustering, retrieval and related applications. A number of works, e.g. kernel method and metric learning, have been contributed to this problem. The challenge of similarity learning is to find a similarity robust to intra-class variance and simultaneously selective to inter-class characteristic. We observed that, the similarity measure can be improved if the data distribution and hidden semantic information are exploited in a more sophisticated way. In this paper, we propose a similarity learning approach for retrieval and recognition. The approach, termed as LDA-FEK, derives free energy kernel (FEK) from Latent Dirichlet Allocation (LDA). First, it trains LDA and constructs kernel using the parameters and variables of the trained model. Then, the unknown kernel parameters are learned by a discriminative learning approach. The main contributions of the proposed method are twofold: (1) the method is computationally efficient and scalable since the parameters in kernel are determined in a staged way; (2) the method exploits data distribution and semantic level hidden information by means of LDA. To evaluate the performance of LDA-FEK, we apply it for image retrieval over two data sets and for text categorization on four popular data sets. The results show the competitive performance of our method.

텍스트 마이닝 기법을 이용한 연관용어 선정에 관한 실험적 연구 (An Experimental Study on Selecting Association Terms Using Text Mining Techniques)

  • 김수연;정영미
    • 정보관리학회지
    • /
    • 제23권3호
    • /
    • pp.147-165
    • /
    • 2006
  • 이 연구에서는 전체 문헌집단으로부터 초기 질의어에 대한 연관용어 선정 시 사용할 수 있는 최적의 기법을 찾기 위해 연관규칙 마이닝과 용어 클러스터링 기법을 이용하여 연관용어 선정 실험을 수행하였다. 연관규칙 마이닝 기법에서는 Apriori 알고리즘을 사용하였으며, 용어 클러스터링 기법에서는 연관성 척도로 GSS 계수, 자카드계수, 코사인계수, 소칼 & 스니스 5, 상호정보량을사용하였다. 성능평가 척도로는 연관용어 정확률과 연관용어 일치율을 사용하였으며, 실험결과 Apriori 알고리즘과 GSS 계수가 가장 좋은 성능을 나타냈다.

Dynamic Text Categorizing Method using Text Mining and Association Rule

  • Kim, Young-Wook;Kim, Ki-Hyun;Lee, Hong-Chul
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권10호
    • /
    • pp.103-109
    • /
    • 2018
  • In this paper, we propose a dynamic document classification method which breaks away from existing document classification method with artificial categorization rules focusing on suppliers and has changing categorization rules according to users' needs or social trends. The core of this dynamic document classification method lies in the fact that it creates classification criteria real-time by using topic modeling techniques without standardized category rules, which does not force users to use unnecessary frames. In addition, it can also search the details through the relevance analysis by calculating the relationship between the words that is difficult to grasp by word frequency alone. Rather than for logical and systematic documents, this method proposed can be used more effectively for situation analysis and retrieving information of unstructured data which do not fit the category of existing classification such as VOC (Voice Of Customer), SNS and customer reviews of Internet shopping malls and it can react to users' needs flexibly. In addition, it has no process of selecting the classification rules by the suppliers and in case there is a misclassification, it requires no manual work, which reduces unnecessary workload.

텍스트마이닝을 활용한 숭례문 관련 기사의 트렌드 분석 (Trend Analysis of News Articles Regarding Sungnyemun Gate using Text Mining)

  • 김민정;김철주
    • 한국콘텐츠학회논문지
    • /
    • 제17권3호
    • /
    • pp.474-485
    • /
    • 2017
  • 국보 제1호인 숭례문은 2008년 2월 10일 화재로 일부가 소실되었으나 화재 이후 복구 작업을 통해 2013년 5월 4일 시민에게 공개되었다. 이로 인해 숭례문은 국가적으로 큰 이슈가 되어 언론의 관심을 받으며 동시에 많은 연구의 대상이 되었다. 본 연구는 문화재로서 숭례문을 키워드로 하여 2002년부터 2016년까지 신문 기사에 대한 빈도분석을 통해 숭례문 관련 어떤 키워드들이 자주 나타나고 있는지에 대해 파악하였다. 또한 추출된 숭례문 관련 키워드들간 연관관계 분석을 통해 키워드간 연결의 맥락을 파악하고 분석하였다. 다음으로 숭례문 화재 전후, 언론사별 주요 키워드 추출을 통해 공통점과 차이점을 보여줌으로써 관점의 다양성을 제공하였다. 본 연구를 통해 문화재로서 숭례문 관련 키워드는 화재 이후에 나타난 키워드가 전체 기사에서 고빈도어로 나타남을 알 수 있었고 몇 가지 키워드간 상관관계가 높게 나타났다. 또한 화재 전후 키워드에는 명확한 차이를 보이고 있었으며 언론사별 키워드에서 상위 키워드들은 명확한 차이는 보여주지 않았지만 차상위 키워드들은 차이가 발생하여 언론사별로 주로 다루어진 기사들의 내용은 차이가 있다는 것을 발견했다. 본 연구는 문화재로서 숭례문 관련 기사에 대해 텍스트마이닝 기법을 활용하여 다량의 데이터를 분석하였음에 의미가 있으며 정보생산자 및 정보소비자들에게 숭례문 관련 기사의 동향과 정보를 제공할 수 있을 것이라 기대한다.

혼합모드 잠재범주모형을 통한 텍스트 자료의 분석 (Latent class model for mixed variables with applications to text data)

  • 신현수;서병태
    • 응용통계연구
    • /
    • 제32권6호
    • /
    • pp.837-849
    • /
    • 2019
  • 일종의 혼합다항분포 모형이라고 볼 수 있는 잠재범주모형은 범주형 자료에서 직접 관측되지 않은 중요한 정보를 얻어낼 수 있는 유용한 도구이다. 하지만 자료에 범주형 변수 뿐 아니라 연속형 변수 혹은 빈도형 변수가 함께 포함되어 있을 경우 이 모형을 직접적으로 사용할 수 없다. 본 논문에서는 특히 범주형 변수와 빈도형 변수가 함께 포함되어 있는 경우에 잠재범주모형인 혼합모드 잠재범주모형을 사용하여 텍스트 후기와 범주형 응답문항이 모두 포함된 의약품 사용 후기자료를 분석하였다. 이 분석을 통해 범주형 응답만을 사용한 보통의 잠재범주 모형에 비해 텍스트 자료를 함께 사용한 혼합모드 잠재범주모형을 사용했을때 잠재범주에 대한 보다 자세한 정보를 얻을 수 있는 것을 확인하였다.

텍스트네트워크분석을 활용한 국내·외 호스피스 간호 연구 주제의 비교 분석 (A Comparison of Hospice Care Research Topics between Korea and Other Countries Using Text Network Analysis)

  • 박은준;김영지;박찬숙
    • 대한간호학회지
    • /
    • 제47권5호
    • /
    • pp.600-612
    • /
    • 2017
  • Purpose: This study aimed to identify and compare hospice care research topics between Korean and international nursing studies using text network analysis. Methods: The study was conducted in four steps: 1) collecting abstracts of relevant journal articles, 2) extracting and cleaning keywords (semantic morphemes) from the abstracts, 3) developing co-occurrence matrices and text-networks of keywords, and 4) analyzing network-related measures including degree centrality, closeness centrality, betweenness centrality, and clustering using the NetMiner program. Abstracts from 347 Korean and 1,926 international studies for the period of 1998-2016 were analyzed. Results: Between Korean and international studies, six of the most important core keywords-"hospice," "patient," "death," "RNs," "care," and "family"-were common, whereas "cancer" from Korean studies and "palliative care" from international studies ranked more highly. Keywords such as "attitude," "spirituality," "life," "effect," and "meaning" for Korean studies and "communication," "treatment," "USA," and "doctor" for international studies uniquely emerged as core keywords in recent studies (2011~2016). Five subtopic groups each were identified from Korean and international studies. Two common subtopics were "hospice palliative care and volunteers" and "cancer patients." Conclusion: For a better quality of hospice care in Korea, it is recommended that nursing researchers focus on study topics of patients with non-cancer disease, children and family, communication, and pain and symptom management.

WV-BTM: SNS 단문의 주제 분석을 위한 토픽 모델 정확도 개선 기법 (WV-BTM: A Technique on Improving Accuracy of Topic Model for Short Texts in SNS)

  • 송애린;박영호
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권1호
    • /
    • pp.51-58
    • /
    • 2018
  • SNS의 사용자와 데이터량이 폭발적으로 증가함에 따라, SNS 빅 데이터를 기반으로 한 연구들이 활발히 진행되고 있다. 특히 소셜 마이닝 분야에서는 비 분류된 대용량 SNS 텍스트 데이터로부터 각 텍스트 별 유사성을 파악하고, 그로부터 트렌드를 추출하기 위해 대표적인 토픽 모델 기법인 LDA를 사용한다. 그러나 LDA는 단문 데이터에 대하여 비 빈발 단어 출현으로 인한 의미 희박성(semantic sparsity)으로 인해 양질의 주제 추론이 어렵다는 한계를 가진다. BTM 연구는 이와 같은 LDA의 한계점을 두 단어의 조합을 통해 개선하였으나, BTM 또한 조합된 단어 중 높은 빈도수의 단어에 더 큰 영향을 받아 각 주제와의 연관성을 고려한 가중치 계산이 불가능하다는 한계점을 지닌다. 본 논문은 단어 간의 의미적 연관성을 반영함으로써 기존 연구 BTM의 정확도를 개선하는 방안을 모색한다.