• 제목/요약/키워드: Topic Clustering

검색결과 101건 처리시간 0.024초

신문기사를 이용한 미세먼지 이슈의 토픽 분석 (A Topic Analysis of Fine Particle Matter by Using Newspaper Articles)

  • 양지연
    • 한국콘텐츠학회논문지
    • /
    • 제22권6호
    • /
    • pp.1-14
    • /
    • 2022
  • 본 연구는 미세먼지 관련 기사의 토픽을 추출하고 토픽별 특징 및 시계열 추이를 검토한다. 1990~2021년 중앙지의 기사를 빅카인즈에서 추출하였고, 잠재디리슐레할당 모델링을 이용하여 총 18개의 토픽을 발견하였다. 추가적으로 군집분석을 통해 유사한 토픽들을 병합하여 11개의 클러스터를 도출하였다. 최근 상승하는 토픽들로는 미세먼지 관련 제품/거주지, 국외 요인(중국), 국내 요인 중 발전소 관련 이슈, 전국의 비상조감조치, 국제협력, 관련 정치적 이슈, 세계 각국의 현황 및 대응, 관련 제품의 소비경향 논의로 나타났다. 반면 최근 하락하는 토픽들은 오염농도 기준, 실내 공기질 개선과 관련된 토픽으로 나타났다. 사회적으로 큰 관심사인 미세먼지의 언론보도 양상을 검토함으로써, 미세먼지와 관련한 정책방향과 대응전략을 추론하거나 파악하는 데 유용할 것이다. 미세먼지 관련 제품들의 시장규모가 확대됨에 따라 향후 실효적인 소비자보호정책을 확대하고, 근본적인 문제 해결을 위해 정치적 논쟁보다 국민의 건강과 안전을 목적으로 하는 정책 수립이 요구된다. 또한 국민 공감대와 국제사회 협력을 확대할 수 있는 정책수립이 필요한 것으로 판단된다.

토픽모델링을 활용한 COVID-19 학술 연구 기반 연구 주제 분류에 관한 연구 (A study on the classification of research topics based on COVID-19 academic research using Topic modeling)

  • 유소연;임규건
    • 지능정보연구
    • /
    • 제28권1호
    • /
    • pp.155-174
    • /
    • 2022
  • 2020년 1월부터 2021년 10월 현재까지 COVID-19(치명적인 호흡기 증후군인 코로나바이러스-2)와 관련된 학술 연구가 500,000편 이상 발표되었다. COVID-19와 관련된 논문의 수가 급격하게 증가함에 따라 의료 전문가와 정책 담당자들이 중요한 연구를 신속하게 찾는 것에 시간적·기술적 제약이 따르고 있다. 따라서 본 연구에서는 LDA와 Word2vec 알고리즘을 사용하여 방대한 문헌의 텍스트 자료로부터 유용한 정보를 추출하는 방안을 제시한다. COVID-19와 관련된 논문에서 검색하고자 하는 키워드와 관련된 논문을 추출하고, 이를 대상으로 세부 주제를 파악하였다. 자료는 Kaggle에 있는 CORD-19 데이터 세트를 활용하였는데, COVID-19 전염병에 대응하기 위해 주요 연구 그룹과 백악관이 준비한 무료 학술 자료로서 매주 자료가 업데이트되고 있다. 연구 방법은 크게 두 가지로 나뉜다. 먼저, 47,110편의 학술 논문의 초록을 대상으로 LDA 토픽 모델링과 Word2vec 연관어 분석을 수행한 후, 도출된 토픽 중 'vaccine'과 관련된 논문 4,555편, 'treatment'와 관련된 논문 5,791편을 추출한다. 두 번째로 추출된 논문을 대상으로 LDA, PCA 차원 축소 후 t-SNE 기법을 사용하여 비슷한 주제를 가진 논문을 군집화하고 산점도로 시각화하였다. 전체 논문을 대상으로 찾을 수 없었던 숨겨진 주제를 키워드에 따라 문헌을 분류하여 토픽 모델링을 수행한 결과 세부 주제를 찾을 수 있었다. 본 연구의 목표는 대량의 문헌에서 키워드를 입력하여 특정 정보에 대한 문헌을 분류할 수 있는 방안을 제시하는 것이다. 본 연구의 목표는 의료 전문가와 정책 담당자들의 소중한 시간과 노력을 줄이고, 신속하게 정보를 얻을 수 있는 방법을 제안하는 것이다. 학술 논문의 초록에서 COVID-19와 관련된 토픽을 발견하고, COVID-19에 대한 새로운 연구 방향을 탐구하도록 도움을 주는 기초자료로 활용될 것으로 기대한다.

사건중심 뉴스기사 자동요약을 위한 사건탐지 기법에 관한 연구 (A Study on an Effective Event Detection Method for Event-Focused News Summarization)

  • 정영미;김용광
    • 정보관리학회지
    • /
    • 제25권4호
    • /
    • pp.227-243
    • /
    • 2008
  • 이 연구에서는 사건중심 뉴스기사 요약문을 자동생성하기 위해 뉴스기사들을 SVM 분류기를 이용하여 사건 주제범주로 먼저 분류한 후, 각 주제범주 내에서 싱글패스 클러스터링 알고리즘을 통해 특정한 사건 관련 기사들을 탐지하는 기법을 제안하였다. 사건탐지 성능을 높이기 위해 고유명사에 가중치를 부여하고, 뉴스의 발생시간을 고려한 시간벌점함수를 제안하였다. 또한 일정 규모 이상의 클러스터를 분할하여 적절한 크기의 사건 클러스터를 생성하도록 수정된 싱글패스 알고리즘을 사용하였다. 이 연구에서 제안한 사건탐지 기법의 성능은 단순 싱글패스 클러스터링 기법에 비해 정확률, 재현율, F-척도에서 각각 37.1%, 0.1%, 35.4%의 성능 향상률을 보였고, 오보율과 탐지비용에서는 각각 74.7%, 11.3%의 향상률을 나타냈다.

Unsupervised Motion Pattern Mining for Crowded Scenes Analysis

  • Wang, Chongjing;Zhao, Xu;Zou, Yi;Liu, Yuncai
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권12호
    • /
    • pp.3315-3337
    • /
    • 2012
  • Crowded scenes analysis is a challenging topic in computer vision field. How to detect diverse motion patterns in crowded scenarios from videos is the critical yet hard part of this problem. In this paper, we propose a novel approach to mining motion patterns by utilizing motion information during both long-term period and short interval simultaneously. To capture long-term motions effectively, we introduce Motion History Image (MHI) representation to access to the global perspective about the crowd motion. The combination of MHI and optical flow, which is used to get instant motion information, gives rise to discriminative spatial-temporal motion features. Benefitting from the robustness and efficiency of the novel motion representation, the following motion pattern mining is implemented in a completely unsupervised way. The motion vectors are clustered hierarchically through automatic hierarchical clustering algorithm building on the basis of graphic model. This method overcomes the instability of optical flow in dealing with time continuity in crowded scenes. The results of clustering reveal the situations of motion pattern distribution in current crowded videos. To validate the performance of the proposed approach, we conduct experimental evaluations on some challenging videos including vehicles and pedestrians. The reliable detection results demonstrate the effectiveness of our approach.

Native API 빈도 기반의 퍼지 군집화를 이용한 악성코드 재그룹화 기법연구 (Malicious Codes Re-grouping Methods using Fuzzy Clustering based on Native API Frequency)

  • 권오철;배성재;조재익;문종섭
    • 정보보호학회논문지
    • /
    • 제18권6A호
    • /
    • pp.115-127
    • /
    • 2008
  • Native API(Application Programming Interfaces)는 관리자 권한에서 수행되는 system call의 일종으로 관리자 권한을 획득하여 공격하는 다양한 종류의 악성코드를 탐지하는데 사용된다. 이에 따라 Native API의 특징을 기반으로한 탐지방법들이 제안되고 있으며 다수의 탐지방법이 교사학습(supervised learning) 방법의 기계학습(machine learning)을 사용하고 있다. 하지만 Anti-Virus 업체의 분류기준은 Native API의 특징점을 반영하지 않았기 때문에 교사학습을 이용한 탐지에 적합한 학습 집합을 제공하지 못한다. 따라서 Native API를 이용한 탐지에 적합한 분류기준에 대한 연구가 필요하다. 본 논문에서는 정량적으로 악성코드를 분류하기 위해 Native API를 기준으로 악성코드를 퍼지 군집화하여 재그룹화하는 방법을 제시한다. 제시하는 재그룹화 방법의 적합성은 기계학습을 이용한 탐지성능의 차이를 기존 분류방법을 결과와 비교하여 검증한다.

Soft Computing as a Methodology to Risk Engineering

  • Miyamoto Sadaaki
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2006년도 춘계학술대회 학술발표 논문집 제16권 제1호
    • /
    • pp.3-6
    • /
    • 2006
  • Methods for risk engineering is a bundle of engineering tools including fundamental concepts and approaches of soft computing with application to real issues of risk management. In this talk fundamental concepts and soft computing approaches of risk engineering will be introduced. As the term of risk implies both advantageous and hazardous uncertainty in its origins, a fundamental theory to describe uncertainties is introduced that includes traditional probability and statistical models, fuzzy systems, as well as less popular modal logic. In particular, modal logic capabilities to express various kinds of uncertainties are emphasized and relations with rough sets and evidence theory are described. Another topic is data mining related to problems in risk management. Some risk mining techniques including fuzzy clustering are introduced and a recently developed algorithm is overviewed. A numerical example is shown.

  • PDF

위키피디아를 이용한 반자동 학습 기반의 cQA 서비스 주제 분류 시스템 (A Topic Classification System in cQA Services Based on Semi-Automatic Learning Using Wikipedia)

  • 김태현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.139-141
    • /
    • 2015
  • 본 논문은 커뮤니티 기반의 질의-응답 서비스에서 사용자 질의의 주제를 분류하는 시스템을 소개한다. 커뮤니티 기반의 질의-응답 서비스는 분야에 따라 다양한 주제를 가질 수 있으며 오늘 날 사용자 질의의 주제 분류에는 통계 기반의 분류 방법이 많이 이용되고 있다. 통계 기반의 분류 방법으로 사용자 질의를 분류하기 위해서는 주제에 적합한 대량의 학습 말뭉치가 필요하다. 주제에 적합한 대량의 학습 말뭉치를 사람이 직접 구축하는 것은 많은 시간과 비용이 든다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 위키피디아 문서를 Supervised K-means Clustering 기법으로 주제별로 분류함으로써 학습 말뭉치를 반자동으로 구축하는 방법을 제안한다. 그 다음, 생성된 학습 말뭉치로 지지 벡터 기계를 학습하여 사용자 질의의 주제를 분류하게 된다. 위키피디아 문서와 사용자 질의는 다른 도메인의 문서임에도 불구하고 본 논문의 시스템으로 사용자 질의의 주제를 분류한 결과 77.33%의 정확도를 보였다.

  • PDF

K-means 클러스터링과 토픽 모델링을 기반으로 한 국민청원 사이트의 카테고리 재구성 (Reconstruction of Categories on the National Petition Site Using K-Means clustering and Topic Modeling)

  • 우윤희;김현희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.302-305
    • /
    • 2019
  • 국민 청원 사이트가 뛰어난 접근성과 신속성으로 인하여 국민들로부터 많은 관심을 받고 있다. 현재 국민청원 사이트의 카테고리 분류는 '미래', '성장동력' 등을 포함한 16개의 카테고리 및 기타로 구성되어 있으나 그 기준이 모호하여 많은 청원글들이 기타 카테고리로 분류되고 있는 상황이다. 이는 청원글의 내용을 명확히 반영하지 않고 미리 정의된 카테고리 구조를 사용하고 있는데서 기인한다고 할 수 있다. 본 논문에서는 보다 구체적으로 정의된 카테고리를 정의하고자 추천 순으로 1,500개의 청원글을 수집하였고, 수집된 청원글의 내용을 바탕으로 카테고리 구조를 추출하였다. 먼저, k-평균 알고리즘을 적용하여 청원글을 군집하여 대분류를 정의하였고, 보다 구체적인 세부 분류를 정의하기 위하여 토픽모델링을 실시하였다. 본 논문에서 제시하는 계층적 카테고리 구조는 청원글의 내용을 바탕으로 대분류와 세부분류로 구성된 것이므로 새로운 청원글을 등록하거나 분류하는 데 적절한 것으로 보인다.

계층적 클러스터링에서 분류 대표어 선정에 관한 연구 (A Study on Cluster Topic Selection in Hierarchical Clustering)

  • 이상선;이신원;안동언;정성종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.669-672
    • /
    • 2004
  • 정보의 양이 많아지면서 정보 검색 시스템에 검색 결과를 자동으로 구조화하는 계층적 클러스터링을 적용하는 시도가 늘고 있다. 계층적 클러스터링은 문서 간의 유사도를 통해 클러스터를 계층 구조로 만들어 검색 성능을 높이고 결과를 사용자에게 이해하기 쉽게 보여준다. 계층 구조는 검색 결과를 요약하는 것이기 때문에 클러스터의 내용을 효과적으로 함축할 수 있는 대표어의 선정이 중요하다. 각 클러스터의 대표어를 선정하기 위해 대표어에 명사인 단어만 추출하고 상위 클러스터 대표어에 사용된 단어는 하위 클러스터에 사용하지 않는 방법을 적용하여 대표어의 질을 높였다.

  • PDF

Femtocell Networks Interference Management Approaches

  • Alotaibi, Sultan
    • International Journal of Computer Science & Network Security
    • /
    • 제22권4호
    • /
    • pp.329-339
    • /
    • 2022
  • Small cells, particularly femtocells, are regarded a promising solution for limited resources required to handle the increasing data demand. They usually boost wireless network capacity. While widespread usage of femtocells increases network gain, it also raises several challenges. Interference is one of such concerns. Interference management is also seen as a main obstacle in the adoption of two-tier networks. For example, placing femtocells in a traditional macrocell's geographic area. Interference comes in two forms: cross-tier and co-tier. There have been previous studies conducted on the topic of interference management. This study investigates the principle of categorization of interference management systems. Many methods exist in the literature to reduce or eliminate the impacts of co-tier, cross-tier, or a combination of the two forms of interference. Following are some of the ways provided to manage interference: FFR, Cognitive Femtocell and Cooperative Resource Scheduling, Beamforming Strategy, Transmission Power Control, and Clustering/Graph-Based. Approaches, which were proposed to solve the interference problem, had been presented for each category in this work.