• 제목/요약/키워드: Topic analysis

검색결과 2,102건 처리시간 0.044초

전역 토픽의 지역 매핑을 통한 효율적 토픽 모델링 방안 (Efficient Topic Modeling by Mapping Global and Local Topics)

  • 최호창;김남규
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.69-94
    • /
    • 2017
  • 최근 빅데이터 분석 수요의 지속적 증가와 함께 관련 기법 및 도구의 비약적 발전이 이루어지고 있으며, 이에 따라 빅데이터 분석은 소수 전문가에 의한 독점이 아닌 개별 사용자의 자가 수행 형태로 변모하고 있다. 또한 전통적 방법으로는 분석이 어려웠던 비정형 데이터의 활용 방안에 대한 관심이 증가하고 있으며, 대표적으로 방대한 양의 텍스트에서 주제를 도출해내는 토픽 모델링(Topic Modeling)에 대한 연구가 활발히 진행되고 있다. 전통적인 토픽 모델링은 전체 문서에 걸친 주요 용어의 분포에 기반을 두고 수행되기 때문에, 각 문서의 토픽 식별에는 전체 문서에 대한 일괄 분석이 필요하다. 이로 인해 대용량 문서의 토픽 모델링에는 오랜 시간이 소요되며, 이 문제는 특히 분석 대상 문서가 복수의 시스템 또는 지역에 분산 저장되어 있는 경우 더욱 크게 작용한다. 따라서 이를 극복하기 위해 대량의 문서를 하위 군집으로 분할하고, 각 군집별 분석을 통해 토픽을 도출하는 방법을 생각할 수 있다. 하지만 이 경우 각 군집에서 도출한 지역 토픽은 전체 문서로부터 도출한 전역 토픽과 상이하게 나타나므로, 각 문서와 전역 토픽의 대응 관계를 식별할 수 없다. 따라서 본 연구에서는 전체 문서를 하위 군집으로 분할하고, 각 하위 군집에서 대표 문서를 추출하여 축소된 전역 문서 집합을 구성하고, 대표 문서를 매개로 하위 군집에서 도출한 지역 토픽으로부터 전역 토픽의 성분을 도출하는 방안을 제시한다. 또한 뉴스 기사 24,000건에 대한 실험을 통해 제안 방법론의 실무 적용 가능성을 평가하였으며, 이와 함께 제안 방법론에 따른 분할 정복(Divide and Conquer) 방식과 전체 문서에 대한 일괄 수행 방식의 토픽 분석 결과를 비교하였다.

태권도 뉴스기사의 연도별 주제어 비교분석: 토픽모델링 적용 (Comparative Analysis of the Keywords in Taekwondo News Articles by Year: Applying Topic Modeling Method)

  • 전민수;임효성
    • 디지털융복합연구
    • /
    • 제19권11호
    • /
    • pp.575-583
    • /
    • 2021
  • 이 연구는 토픽모델링을 적용하여 뉴스기사에 따른 태권도 동향을 연도별로 분석하는 것에 목적이 있다. 언론보도를 통한 태권도 동향을 살펴보기 위해 한국언론재단의 빅카인즈를 통해 뉴스기사와 태권도 전문 언론에 대한 기사를 수집하였다. 검색기간은 2000년 이전, 2001년~2010년, 2011년~2020년 3개의 구간으로 구분하여 검색하여 총 12,124개를 연구자료로 선정하였다. 토픽분석을 위해 전처리 과정을 거쳤으며, LDA 알고리즘을 활용하여 토픽분석을 수행하였다. 이때 모든분석은 python 3을 적용하였다. 그 결과 첫째, 연도별에 따른 언론기사 주제를 분석한 결과 2000년이전 1위는 '세계'. 2위는 '남북', 3위는 '올림픽'으로 나타났으며, 2001년~2010년 1위는 '세계', 2위는 '협회', 3위는 '세계태권도연맹'으로 조사되었다. 2011년~2020년 1위는 '세계', 2위는 '시범', 3위는 '국기원'으로 나타났다. 둘째, 2000년이전 뉴스기사를 토픽모델링으로 분석한 결과 토픽은 2가지로 구분되었다. 구체적으로 Topic 1은 '남·북 체육교류', Topic 2는 '올림픽 시범종목 채택'으로 선정되었다. 셋째, 2001년~2010년 뉴스기사를 토픽모델링으로 분석한 결과 토픽은 3가지로 선정되었다. Topic 1은 '태권도 시범공연 및 비리', Topic 2는 '무주태권도공원 조성', Topic 3은 '세계태권도축제'로 선정되었다. 넷째, 2011년~2020년 뉴스기사를 토픽모델링으로 분석한 결과 토픽은 3가지로 선정되었다. Topic 1은 '2018 평창동계올림픽 성공 개최', Topic 2는 '남북 태권도 합동시범공연 ', Topic 3은 '2017 무주세계태권도선수권대회'로 선정되었다.

당뇨병 모바일 앱 관련 연구동향: 텍스트 네트워크 분석 및 토픽 모델링 (Research Trend on Diabetes Mobile Applications: Text Network Analysis and Topic Modeling)

  • 박승미;곽은주;김영지
    • Journal of Korean Biological Nursing Science
    • /
    • 제23권3호
    • /
    • pp.170-179
    • /
    • 2021
  • Purpose: The aim of this study was to identify core keywords and topic groups in the 'Diabetes mellitus and mobile applications' field of research for better understanding research trends in the past 20 years. Methods: This study was a text-mining and topic modeling study including four steps such as 'collecting abstracts', 'extracting and cleaning semantic morphemes', 'building a co-occurrence matrix', and 'analyzing network features and clustering topic groups'. Results: A total of 789 papers published between 2002 and 2021 were found in databases (Springer). Among them, 435 words were extracted from 118 articles selected according to the conditions: 'analyzed by text network analysis and topic modeling'. The core keywords were 'self-management', 'intervention', 'health', 'support', 'technique' and 'system'. Through the topic modeling analysis, four themes were derived: 'intervention', 'blood glucose level control', 'self-management' and 'mobile health'. The main topic of this study was 'self-management'. Conclusion: While more recent work has investigated mobile applications, the highest feature was related to self-management in the diabetes care and prevention. Nursing interventions utilizing mobile application are expected to not only effective and powerful glycemic control and self-management tools, but can be also used for patient-driven lifestyle modification.

Topic Modeling Analysis of Beauty Industry using BERTopic and LDA

  • YANG, Hoe-Chang;LEE, Won-Dong
    • 융합경영연구
    • /
    • 제10권6호
    • /
    • pp.1-7
    • /
    • 2022
  • Purpose: The purpose of this study is identifying the research trends of degree papers related to the beauty industry and providing information which can contribute to the development of the domestic beauty industry and the direction of various research about beauty industry. Research design, data and methodology: This study used 154 academic papers and 189 academic papers with English abstracts out of 299 academic papers. All of these papers were found by searching for the keyword "beauty industry" in ScienceON on August 15, 2022. For the analysis, BERTopic and LDA (Latent Dirichlet Allocation) analysis were conducted using Python 3.7. Also, OLS regression analysis was conducted to understand the annual increase and decrease trend of each topic derived with trend analysis. Results: As a result of word frequency analysis, the frequency of satisfaction, management, behavior, and service was found to be high. In addition, it was found that 'service', 'satisfaction' and 'customer' were frequently associated with program and relationship in the word co-occurrence frequency analysis. As a result of topic modeling, six topics were derived: 'Beauty shop', 'Health education', 'Cosmetics', 'Customer satisfaction', 'Beauty education', and 'Beauty business'. The trend analysis result of each topic confirmed that 'Beauty education' and 'Health education' are getting more attention as time goes by. Conclusions: The future studies must resolve the extreme polarization between the structure of the small beauty industry and beauty stores. Furthermore, the researches have to direct various ways to create the performance of internal personnel. The ways to maximize product capabilities such as competitive cosmetics and brands are also needed attentions.

텍스트 마이닝과 토픽 모델링을 기반으로 한 트위터에 나타난 사회적 이슈의 키워드 및 주제 분석 (Keywords and Topic Analysis of Social Issues on Twitter Based on Text Mining and Topic Modeling)

  • 곽수정;김현희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권1호
    • /
    • pp.13-18
    • /
    • 2019
  • 본 연구는 커뮤니케이션이 활발한 SNS 속에서 사회적 이슈가 어떤 주제별로 나뉘어져 있고, 어떤 키워드들이 유기적으로 연결되었는지 그 연결 관계를 알아보고자 하였다. '미투'라는 새로운 단어가 생겨남과 동시에 큰 운동으로 번지고 있는 '미투운동'을 사회적 이슈로 간주하였고, 여러 SNS 중 특히 실시간 소통이 가장 활발한 트위터를 중심으로 분석을 실시하였다. 우선 키워드를 '미투'로 하여 관련된 키워드를 각 날짜별로 추출하였고, 주요 키워드를 파악한 후 토픽 모델링을 수행하였다. 이를 통해 사회적 이슈를 둘러싼 키워드들이 시간의 흐름에 따라 어떻게 변화하였는지 파악하고, 각 토픽 내의 키워드를 종합하여 토픽별 사회적 이슈의 다양한 관점을 해석하였다.

온라인 게임 리뷰의 특성이 리뷰 유용성에 미치는 영향: 토픽모델링을 활용하여 (The Impacts of Online Game Reviews' Characteristics on Review Helpfulness: Based on Topic Modeling Analysis)

  • 배성훈;김현묵;이의준;이새롬
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제31권4호
    • /
    • pp.161-187
    • /
    • 2022
  • Purpose This study analyzed the topic of game review contents and how the characteristics of game reviews affect the reviews helpfulness. In addition, this study explore the content of game reviews according to the game's sales strategy such as early access strategy and releasing without early access. Design/methodology/approach We collected a list of 3,572 action genre games released in 2020. 58,336 online reviews were collected by random sampling 50 reviews in each games, and topic modeling was performed on those reviews. We dynamized the results of topic modeling and analyzed the effect on review helpfulness with multiple regression analysis. Findings The results of analysis indicate that the longer the review is or the shorter the time it is written, the more helpful the review is. In addition the topic with positive and negative review has a significant effect on the review helpfulness. As a result of exploratory analysis, games from early access had relatively fewer reviews of story-related topics than games that were released without early access. These findings can present direct guidelines for collecting specific opinions from customers in the game industry when releasing games.

지역신문기사 자료와 토픽모델링을 이용한 해변 관련 계절별 현안분석 (Seasonal analysis of Beach-related Issues using Local Newspaper Articles and Topic Modeling)

  • 유무상;정수연;김건후;손철
    • 지역연구
    • /
    • 제34권4호
    • /
    • pp.19-34
    • /
    • 2018
  • 본 연구의 목적은 2004년부터 2017년까지의 해변과 해수욕장을 키워드로 하는 지역신문기사를 이용하여 계절별 현안을 분석하는 것이다. 분석을 위해 오픈소스 프로그램을 기반으로 한 토픽모델링과 시계열회귀분석을 수행하였다. 토픽모델링 분석 결과 계절별 토픽은 봄 35개, 여름 47개, 가을 36개, 겨울 35개가 도출되었다. 모든 계절에서 공통적으로 도출된 주제는 해수욕장, 축제 행사, 사건사고 및 환경문제, 관광지, 개발 분양, 행정 정책, 날씨로 나타났다. 시계열회귀분석 결과 봄에는 35개의 토픽 중 5개의 상승 토픽과 2개의 하락 토픽이 도출되었다. 여름에는 47개의 토픽 중 6개의 상승 토픽과 3개의 하락 토픽이 도출되었다. 가을에는 36개의 토픽 중 4개의 상승 토픽과 3개의 하락 토픽이 도출되었다. 겨울에는 35개의 토픽 중 3개의 상승 토픽과 3개의 하락 토픽이 도출되었다. 그리고 각 계절별로 상승 토픽과 하락 토픽에 해당하지 않는 토픽은 중립 토픽으로 구분하였다. 본 연구를 통해 해변과 같이 계절별로 용도가 다른 경우에 지역현안에 대한 분석을 위해 계절별 토픽모델링을 진행한다면 더욱 유용한 결과를 도출하고 이에 따른 세부적인 진단이 가능하다고 판단된다.

Generative probabilistic model with Dirichlet prior distribution for similarity analysis of research topic

  • Milyahilu, John;Kim, Jong Nam
    • 한국멀티미디어학회논문지
    • /
    • 제23권4호
    • /
    • pp.595-602
    • /
    • 2020
  • We propose a generative probabilistic model with Dirichlet prior distribution for topic modeling and text similarity analysis. It assigns a topic and calculates text correlation between documents within a corpus. It also provides posterior probabilities that are assigned to each topic of a document based on the prior distribution in the corpus. We then present a Gibbs sampling algorithm for inference about the posterior distribution and compute text correlation among 50 abstracts from the papers published by IEEE. We also conduct a supervised learning to set a benchmark that justifies the performance of the LDA (Latent Dirichlet Allocation). The experiments show that the accuracy for topic assignment to a certain document is 76% for LDA. The results for supervised learning show the accuracy of 61%, the precision of 93% and the f1-score of 96%. A discussion for experimental results indicates a thorough justification based on probabilities, distributions, evaluation metrics and correlation coefficients with respect to topic assignment.

Topics and Trends in Metadata Research

  • Oh, Jung Sun;Park, Ok Nam
    • Journal of Information Science Theory and Practice
    • /
    • 제6권4호
    • /
    • pp.39-53
    • /
    • 2018
  • While the body of research on metadata has grown substantially, there has been a lack of systematic analysis of the field of metadata. In this study, we attempt to fill this gap by examining metadata literature spanning the past 20 years. With the combination of a text mining technique, topic modeling, and network analysis, we analyzed 2,713 scholarly papers on metadata published between 1995 and 2014 and identified main topics and trends in metadata research. As the result of topic modeling, 20 topics were discovered and, among those, the most prominent topics were reviewed in detail. In addition, the changes over time in the topic composition, in terms of both the relative topic proportions and the structure of topic networks, were traced to find past and emerging trends in research. The results show that a number of core themes in metadata research have been established over the past decades and the field has advanced, embracing and responding to the dynamic changes in information environments as well as new developments in the professional field.

Representing Topic-Comment Structures in Chinese

  • Pan, Haihua;Hu, Jianhua
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.382-390
    • /
    • 2002
  • Shi (2000) claims that topics must be related to a syntactic position in the comment, thus denying the existence of dangling topics in Chinese. Under Shi's analysis, the dangling topic sentences in Chinese are not topic-comment but subject-predicate sentences. However, Shi's arguments are not without problems. In this paper we argue that topics in Chinese can be licensed not only by a syntactic gap but also by a semantic gap/variable without syntactic realization. Under our analysis, all the dangling topics discussed in Shi (2000) are, in fact, not subjects but topics licensed by a semantic gap/variable that can turn the relevant comment into an open predicate, thus licensing dangling topics and deriving well-formed topic-comment constructions. Our analysis fares better than Shi's in not only unifying the licensing mechanism of a topic to an open predicate without considering how the open predicate is derived, but also unifying the treatment of normal and dangling topics in Chinese,

  • PDF