• 제목/요약/키워드: 토픽 모형

검색결과 46건 처리시간 0.024초

LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구 - 국외 문헌정보학 분야를 중심으로 - (A Comparative Study on Topic Modeling of LDA, Top2Vec, and BERTopic Models Using LIS Journals in WoS)

  • 이용구;김선욱
    • 한국문헌정보학회지
    • /
    • 제58권1호
    • /
    • pp.5-30
    • /
    • 2024
  • 이 연구는 토픽모델링 모형인 LDA, Top2Vec, BERTopic을 대상으로 실험데이터에서 토픽을 추출하고, 그 결과를 비교 분석함으로써 각각의 모형 간의 특성과 차이를 파악하는데 목적이 있다. 실험데이터는 Web of Science(WoS)에 등재된 문헌정보학 분야 학술지 85종에 게재된 논문 55,442편을 대상으로 하였다. 실험 과정으로 우선 각 모형의 파라미터를 기본값 그대로 이용하여 1차 토픽모델링 결과를 얻었고, 최적의 토픽 수를 설정하여 각 모형의 2차 토픽모델링 결과를 얻었으며, 이들을 각 모형과 단계별로 비교분석하였다. 1차 토픽모델링 단계에서는 LDA, Top2Vec, BERTopic 모형이 각각 100개, 350개, 550개의 토픽을 생성하여 세 모형은 각각 매우 다른 크기의 토픽 개수를 가져왔으며, LDA 모형에 비해 Top2Vec이나 BERTopic 모형이 토픽을 3배, 5배 더 세분화하였다. 또한 세 모형은 토픽 당 문서 수의 평균이나 표준편차에서도 많은 차이가 났다. 구체적으로 LDA 모형은 비교적 적은 수의 토픽에 많은 문서를 부여하는 반면, BERTopic 모형은 반대의 경향을 보였다. 25개의 토픽 수를 생성하는 2차 토픽모델링 단계에서는 다른 모형에 비해 Top2Vec 모형이 평균적으로 토픽 당 많은 문서를 부여하고 토픽간에 고르게 문서를 할당하여 상대적으로 편차가 작았다. 또한 모형간의 유사 토픽의 생성여부를 비교하면, LDA와 Top2Vec 모형이 전체 25개 중에 18개(72%)의 공통된 토픽을 생성하여 BERTopic 모형에 비해 두 모형이 더 유사한 결과를 보였다. 향후 토픽모델링 결과에서 각 토픽과 부여된 문서들이 주제적으로 올바르게 형성되었는지에 대한 전문가의 평가를 통해 보다 완전한 분석이 필요하다.

토픽 모형을 이용한 텍스트 데이터의 단어 선택 (Feature selection for text data via topic modeling)

  • 장우솔;김예은;손원
    • 응용통계연구
    • /
    • 제35권6호
    • /
    • pp.739-754
    • /
    • 2022
  • 텍스트 데이터는 일반적으로 많은 변수를 포함하고 있으며 변수들 사이의 연관성도 높아 통계 분석의 정확성, 효율성 등에서 문제가 생길 수 있다. 이러한 문제점에 대처하기 위해 목표 변수가 주어진 지도 학습에서는 목표 변수를 잘 설명할 수 있는 단어들을 선택하여 이 단어들만 통계 분석에 이용하기도 한다. 반면, 비지도 학습에서는 목표 변수가 주어지지 않으므로 지도 학습에서와 같은 단어 선택 절차를 활용하기 어렵다. 이 연구에서는 토픽 모형을 이용하여 지도 학습에서의 목표 변수를 대신할 수 있는 토픽을 생성하고 각 토픽별로 연관성이 높은 단어들을 선택하는 단어 선택 절차를 제안한다. 제안된 절차를 실제 텍스트 데이터에 적용한 결과, 단어 선택 절차를 이용하면 많은 토픽에서 공통적으로 자주 등장하는 단어들을 제거함으로써 토픽을 더 명확하게 식별할 수 있었다. 또한, 군집 분석에 적용한 결과, 군집과 범주 사이에 높은 연관성을 가지는 군집 분석 결과를 얻을 수 있는 것으로 나타났다. 목표 변수에 대한 정보없이 토픽 모형을 이용하여 선택한 단어들을 분류 분석에 적용하였을 때 목표 변수를 이용하여 단어들을 선택한 경우와 비슷한 분류 정확성을 얻을 수 있음도 확인하였다.

자율주행자동차 R&D 동향분석과 논리모형 개발에 대한 연구 (A Study on the Analysis of R&D Trends and the Development of Logic Models for Autonomous Vehicles)

  • 김길래
    • 디지털융복합연구
    • /
    • 제19권5호
    • /
    • pp.31-39
    • /
    • 2021
  • 본 연구는 국내외 자율주행자동차 연구개발과정에서 나타나고 있는 다양한 이슈를 파악하기 위해 자율주행자동차 연구개발 관련 영문 뉴스 기사 1,870개를 수집하고 데이터 전처리 과정을 거쳐 토픽 모델링을 수행하였다. 토픽모델링 결과 20개의 토픽을 추출하였으며, 토픽에 대한 명명작업을 수행하고 의미를 해석하였다. 도출된 토픽을 투입, 활동, 산출, 성과의 연구개발과정에 대응시켜 자율주행자동차 연구개발사업 논리모형을 제시하였다. 본 연구의 분석결과는 국내외 자율주행자동차 연구개발사업의 추진 상황을 정확하게 판단하고 빠르게 변화하고 있는 기술개발에 대비할 수 있는 기초자료로 활용할 수 있을 것이다.

국내 갑상선암 논문 토픽에 대한 융합연구 (Convergence Study on Research Topics for Thyroid Cancer in Korea)

  • 양지연
    • 한국융합학회논문지
    • /
    • 제10권2호
    • /
    • pp.75-81
    • /
    • 2019
  • 본 연구는 통계적인 기법을 융합 활용하여 국내 갑상선암과 관련된 연구 토픽의 동향 및 변화 추세를 알아보기 위함이다. DBpia에 등록되어 있는 갑상선암 관련 논문을 대상으로 LDA(latent Dirichlet allocation) 기반의 토픽 모형을 적용한 결과, 4개의 연구 토픽을 도출하였으며 각 토픽은 "Surgery", "Disease aggressiveness", "Survival analysis", "Well-being of patients"에 관한 내용으로 확인되었다. 다범주 로짓모형을 이용하여 연구 토픽의 시대적 추이를 확인한 결과, 2000년 이전에는 "Surgery", 2000년대에는 "Disease aggressiveness"와 "Survival analysis", 2010년 이후에는 "Survival analysis"와 특히 "Well-being of patients"에 관한 연구가 많이 이루어졌음을 확인하였다. 이는 향후 갑상선암 연구의 방향 모색에 필요한 기초자료로 활용될 수 있을 것이며, 최근 환자의 복지로 크게 전환된 연구 토픽의 변화가 다른 질병에서도 관찰되는지 추후 검토할 필요가 있다.

관리도를 활용한 국민청원 토픽 모니터링 연구 (Topic change monitoring study based on Blue House national petition using a control chart)

  • 이희연;최지은;이성임;손원
    • 응용통계연구
    • /
    • 제34권5호
    • /
    • pp.795-806
    • /
    • 2021
  • 최근 온라인 채널을 통한 텍스트 자료가 방대해 지면서 이를 요약하고 분석하는 연구에 관한 관심이 커지고 있는 추세이다. 먼저 텍스트 자료에 대한 기본적인 분석 중 하나는 어떤 주제나 내용을 포함하고 있는지 잠재된 토픽을 추출하는 것이다. 연구자가 일일이 모든 자료를 읽고 내용을 요약할 수도 있겠지만, 대용량 데이터를 다루는 경우에는 결코 쉽지 않기 때문에, 통계적 모형을 사용하여 토픽을 추출하는 토픽모형 방법들이 제안되어 왔다 (Blei와 Lafferty, 2007; Blei 등, 2003). 시간에 따라 수집된 텍스트 데이터로부터 토픽의 변화를 모니터링하기 위하여, 본 연구에서는 잠재적 디리슈레 할당(latent Dirichlet allocation) 모형을 통해 토픽을 분류하고 그 결과를 바탕으로 한 토픽 지수를 제안하였다. 또한, 이를 통계적 공정관리의 대표적 도구인 관리도에 적용하여 시간 경과에 따른 토픽의 변화를 모니터링하는 데 적용해 보았다. 실제 데이터로 2018년 3월 5일부터 2020년 3월 5일 사이에 청와대 국민청원 온라인 게시판에 접수된 텍스트 데이터를 사용하였으며, 토픽 지수를 모니터링함으로써 토픽에 대한 이상변화를 탐지할 수 있음을 살펴 보았다.

토픽 모형 및 사회연결망 분석을 이용한 한국데이터정보과학회지 영문초록 분석 (Analysis of English abstracts in Journal of the Korean Data & Information Science Society using topic models and social network analysis)

  • 김규하;박철용
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권1호
    • /
    • pp.151-159
    • /
    • 2015
  • 이 논문에서는 텍스트마이닝 (text mining) 기법을 이용하여 한국데이터정보과학회지에 게재된 논문의 영어초록을 분석하였다. 먼저 다양한 방법을 통해 단어-문서 행렬 (term-document matrix)을 생성하고 이를 사회연결망 분석 (social network analysis)을 통해 시각화하였다. 또한 토픽을 추출하기 위한 방법으로 LDA (latent Dirichlet allocation)와 CTM (correlated topic model)을 사용하였다. 토픽의 수, 단어-문서 행렬의 생성방법에 따라 엔트로피 (entropy)를 통해 토픽 추출 모형들의 성능을 비교하였다.

사용자 리뷰 토픽분석을 활용한 모바일 쇼핑 앱 고객만족도에 관한 연구 (A Study on Customer Satisfaction of Mobile Shopping Apps Using Topic Analysis of User Reviews)

  • 김광국;김용환;김자희
    • 한국전자거래학회지
    • /
    • 제23권4호
    • /
    • pp.41-62
    • /
    • 2018
  • 현재 모바일 쇼핑 시장의 빠른 성장에도 불구하고 주요 사업자들은 심한 경쟁 속에서 지속적인 영업적자를 기록하고 있다. 이 문제를 해결하기 위해서는 모바일 쇼핑 시장은 과도한 경쟁보다는 고객만족도와 고객충성도를 높이기 위한 연구들이 요구된다. 그러나 기존의 연구들은 기술수용 모형과 문헌연구를 기반으로 요인을 추출하고 있어 고객의 직접적인 요구를 반영하는 데 한계가 있다. 본 연구는 모바일 쇼핑 앱 사용자들의 직접적인 요구사항을 도출하기 위하여 사용자 리뷰 토픽분석을 시행하여 고객만족도에 영향을 미치는 구체적이고 다양한 요인들을 도출하였다. 그리고 미국 고객만족도 지표 모형을 참조한 구조방정식 연구모형을 수립하여 도출된 요인들이 고객만족도에 미치는 중요도를 평가하고 고객만족도가 고객 불평과 고객충성도에 주는 영향을 실증 분석하였다. 본 연구에서 제안한 토픽분석과 구조방정식을 연계한 연구 프레임워크는 다른 모바일 서비스의 고객만족도 연구에도 적용될 수 있을 것으로 기대된다.

토픽 모델링을 이용한 건설현장 추락재해 분석 (Falling Accidents Analysis in Construction Sites by Using Topic Modeling)

  • 류한국
    • 한국융합학회논문지
    • /
    • 제10권7호
    • /
    • pp.175-182
    • /
    • 2019
  • 본 연구는 기계학습 기법 중 토픽 모델링을 활용하여 건설현장에서 발생하는 추락재해에 대한 토픽을 분류하고 각 토픽에 따른 재해요인을 분석하였다. 잠재 디리클레 할당 기반의 토픽 모델링을 적용하기 위해 텍스트 데이터의 전처리를 하였고 Perplexity 점수로 평가하여 모형의 신뢰성을 높였다. 각 토픽에서 공통으로 도출된 추락재해의 대부분은 소규모 사업장에 속한 일용직 작업자들에게 발생하였다. 추락재해의 대부분의 원인은 안전장비 미착용, 현장 정리 정돈 미흡, 안전장비의 성능 및 착용 상태로 인해 제대로 작동하지 않은 것으로 판단되었다. 추락재해를 예방하고 절감하기 위해서는 소규모 사업장에 맞는 안전교육과 작업장의 정리 정돈과 개인 안전장비의 적절한 착용 상태 및 성능을 확인하는 것이 중요한 것으로 도출되었다.

정보탐색과정(ISP)에 의한 스캐폴딩 전략 모형 개발 (Development of Scaffolding Strategies Model by Information Search Process (ISP))

  • 임정훈
    • 한국도서관정보학회지
    • /
    • 제54권1호
    • /
    • pp.143-165
    • /
    • 2023
  • 본 연구에서는 학습 과정의 중재 역할에 대한 설계 및 구현 전략을 제시한 Kuhlthau의 ISP 모형을 활용하여 정보탐색과정에 적용할 수 있는 스캐폴딩 전략을 제안하고자 하였다. 이를 위해 관련 문헌을 검토하여 스캐폴딩 전략을 범주화하고, 대전지역의 중학생 150명을 대상으로 ISP 모형 기반의 스캐폴딩 전략을 적용한 프로젝트 수업을 시행한 후, 이에 대한 소감문 텍스트를 수집하였다. 수집된 자료는 전처리 과정을 거쳐 분석에 적합한 형태로 가공한 후 단어 빈도를 추출하고, STM(Structural Topic Modeling)을 활용하여 토픽 분석을 수행하였다. 먼저, 최적의 토픽 개수를 결정하고 ISP 모형 각 단계별로 토픽을 추출한 후 추출된 토픽을 인지적 영역-거시적 관점, 인지적 영역-미시적 관점, 정서적 영역 관점의 3가지 유형으로 구분하였다. 이 과정에서 텍스트마이닝을 통해 추출한 단어 가운데 인지동사와 감정동사를 중점적으로 살펴보았으며, 대표 문서 사례를 검토하여 각 토픽과 관련된 스캐폴딩 전략 모형을 제시하였다. 본 연구의 결과를 토대로 정보탐색과정(ISP) 단계에서 적절한 스캐폴딩 전략이 제공된다면, 학습자들의 자기 주도적 과제해결에 긍정적인 영향을 기대할 수 있을 것이다.

건설신기술에 대한 토픽 모델링 및 토픽 변화추이 분석 (Topic modeling and topic change trend analysis for advanced construction technologies)

  • 정성윤;김남곤
    • 스마트미디어저널
    • /
    • 제10권4호
    • /
    • pp.102-110
    • /
    • 2021
  • 현재 국내 건설기술의 발전을 도모하기 위해 건설신기술 지정 제도를 운영하고 있다. 이 제도를 통해 지정된 건설신기술과 관련하여 중요도가 높은 출현 어휘와 어휘들 간의 관계를 분석함으로써 건설신기술에 내재된 암묵적인 의미를 살펴보고자 하였다. 이를 위해 918건의 건설신기술정보를 수집하였다. 수집된 건설신기술의 고시연도와 요약 내용을 기초로 하여 건설신기술별로 출현어휘의 중요도를 측정하였다. LDA 모형을 기반으로 한 4개의 토픽별로 연관된 어휘들 간의 영향정도를 평가하였다. 기술적용분야에 따른 토픽을 분석하였다. 1990년부터 2021년까지의 토픽별로 영향력이 높은 어휘들의 변화 추이를 유추하였다. 향후 환경·기계·설비 토픽과 구조물의 보수 보강 토픽의 영향정도 변화와 이에 관련한 적용기술 분야를 예측하였다. 토픽의 개발방향을 예측하였다.