• 제목/요약/키워드: Time series topic analysis

검색결과 67건 처리시간 0.026초

토픽모델링을 활용한 해운물류 뉴스 분석 (Analysis of Shipping and Logistics News Articles using Topic Modeling)

  • 윤희영;곽일엽
    • 무역학회지
    • /
    • 제46권4호
    • /
    • pp.61-76
    • /
    • 2021
  • This study focuses on three logistics-related news (Logistics Newspaper, Korea Shipping Gadget, and Korea Shipping Newspaper) in order to present changes in logistics issues, centering on Corona 19, which has recently had the greatest impact in the world. For data collection, two-year news articles in 2019 and 2020 (title, article, content, date, article classification, article URL) were collected through web crawling (using Python's BeautifulSoup, requests module) on the homepages of three representative logistics-related media companies. As for the data analysis methods, fundamental statistical analysis, Latent Dirichlet Allocation (LDA) for topic modeling, and Scattertext were performed. The analysis results were as follows. First, among the three news media related to logistics, the Korea Shipping Newspaper was carrying out the most active media activities. Second, through topic modeling with LDA, eight logistics-related topics were identified, and keywords and significant issues of each topic were presented. Third, the keywords were visually expressed through Scattertext. This is the first study to present changes in the logistics field, focusing on articles from representative logistics-related media in 2019 and 2020. In particular, 2019 and 2020 can be divided into before and after the outbreak of Corona 19, which has had a great impact not only on the logistics field but also on our lives as a whole. For future work, a multi-faceted approach is required, such as comparative studies of logistics issues between countries or presenting implications based on long-term time-series articles.

Phrase-based Topic and Sentiment Detection and Tracking Model using Incremental HDP

  • Chen, YongHeng;Lin, YaoJin;Zuo, WanLi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권12호
    • /
    • pp.5905-5926
    • /
    • 2017
  • Sentiments can profoundly affect individual behavior as well as decision-making. Confronted with the ever-increasing amount of review information available online, it is desirable to provide an effective sentiment model to both detect and organize the available information to improve understanding, and to present the information in a more constructive way for consumers. This study developed a unified phrase-based topic and sentiment detection model, combined with a tracking model using incremental hierarchical dirichlet allocation (PTSM_IHDP). This model was proposed to discover the evolutionary trend of topic-based sentiments from online reviews. PTSM_IHDP model firstly assumed that each review document has been composed by a series of independent phrases, which can be represented as both topic information and sentiment information. PTSM_IHDP model secondly depended on an improved time-dependency non-parametric Bayesian model, integrating incremental hierarchical dirichlet allocation, to estimate the optimal number of topics by incrementally building an up-to-date model. To evaluate the effectiveness of our model, we tested our model on a collected dataset, and compared the result with the predictions of traditional models. The results demonstrate the effectiveness and advantages of our model compared to several state-of-the-art methods.

토픽모델링과 시계열 분석을 활용한 클라우드 보안 분야 연구 동향 분석 : NTIS 과제를 중심으로 (Analysis of Research Trends in Cloud Security Using Topic Modeling and Time-Series Analysis: Focusing on NTIS Projects)

  • 윤선영;조남옥
    • 융합보안논문지
    • /
    • 제24권2호
    • /
    • pp.31-38
    • /
    • 2024
  • 최근 클라우드 서비스 사용이 확산하면서 클라우드 보안의 중요성이 증가하였다. 본 연구의 목적은 클라우드 보안 분야의 최근 연구 동향을 분석하고 시사점을 도출하는 것이다. 이를 위해 2010년부터 2023년까지 국가과학기술지식정보서비스(NTIS)에서 제공하는 R&D 과제 데이터를 활용하여 클라우드 보안 연구 동향을 분석하였다. LDA 토픽모델링과 ARIMA 시계열 분석을 통해 클라우드 보안 연구의 핵심 토픽 15개를 도출하였으며, AI를 활용한 보안 기술, 개인정보 및 데이터보안, IoT 환경에서의 보안 문제 해결이 연구에서 중요한 영역임을 확인했다. 이는 클라우드 기술의 확산과 기반 시설의 디지털 전환으로 인해 발생할 수 있는 보안 위협에 대응하기 위해 관련 연구가 필요함을 시사한다. 도출된 토픽들을 기반으로 클라우드 보안 분야를 네 가지 범주로 나누어 기술참조모델을 정의하였으며, 전문가 인터뷰를 통해 해당 기술참조모델을 개선하였다. 본 연구는 클라우드 보안 발전의 방향을 제시하며 학계 및 산업계에 미래 연구와 투자에 대한 중요한 지침을 제공할 것으로 기대된다.

다이나믹 토픽 모델을 활용한 D(Data)·N(Network)·A(A.I) 중심의 연구동향 분석 (Investigation of Research Trends in the D(Data)·N(Network)·A(A.I) Field Using the Dynamic Topic Model)

  • 우창우;이종연
    • 한국융합학회논문지
    • /
    • 제11권9호
    • /
    • pp.21-29
    • /
    • 2020
  • 최근 디지털 사회의 도래로 다양한 데이터가 폭발적으로 증가하고, 그중 문헌 내 주제어를 도출하는 토픽 모델링에 관한 연구가 활발히 진행되고 있다. 본 논문의 연구목표는 토픽 모델링 방법 중 하나인 DTM(Dynamic Topic Model) 모델을 적용해 D.N.A.(Data, Network, A.I) 분야에 대한 연구동향을 탐색하는데 있다. 실험 데이터는 최근 6년간(2015~2020) ICT(Information and Communication Technology) 분야 중 기술대분류가 SW·AI에 해당하는 연구과제 1,519개 사업에 대해 DTM 모델을 적용하였다. 실험결과로, D.N.A. 분야의 기술 키워드 Big data, Cloud, Artificial Intelligence와 확장된 의미의 기술 키워드 Unstructured, Edge Computing, Learning, Recognition 등이 매년 연구에 표출되었으며, 해당 키워드 들이 특정 연구과제에 종속되지 않고 다른 연구과제에서도 포괄적으로 연구되고 있음을 확인하였다. 끝으로 본 논문의 연구결과는 향후 D.N.A. 분야에 대한 정책기획·과제기획 등 연구개발 기획 과정과 기업의 기술 확보전략·마케팅 전략 등 다양한 곳에 활용될 수 있을 것으로 기대한다.

비정형, 정형 데이터의 이미지 학습을 활용한 시장예측 (MPIL: Market prediction through image learning of unstructured and structured data)

  • 이윤선;이주홍;최범기;송재원
    • 스마트미디어저널
    • /
    • 제10권2호
    • /
    • pp.16-21
    • /
    • 2021
  • 금융 시계열 분석은 현대 사회의 경제적, 사회적으로 매우 중요한 역할을 하며 세계 발전에 영향을 미치는 중요한 과제지만 많은 잡음(noise)과 불확실성 등의 어려움으로 인해 금융 시계열 분석 예측은 어려운 연구 주제이다. 본 논문에서는 비정형 데이터와 정형 데이터를 함께 이미지로 변환하여 시장을 예측 하는 방법(MPIL)을 제안한다. 시장 예측을 위해 n일 기간의 비정형 데이터인 SNS, 뉴스 데이터를 감정분석하고 정형 데이터인 시장 데이터를 GADF 알고리즘으로 이미지 변환하고 이미지 학습을 통해 n+1일의 가격을 예측하는 초단기 시장을 예측한다. MPIL은 평균 정확도 56%로 기존 시장예측에 사용되던 감정분석을 활용하여 LSTM으로 시장을 예측하는 모델 평균 정확도 50%보다 높은 정확도를 보였다.

고객 선호 변화를 고려한 토픽 모델링 기반 추천 시스템 (A Topic Modeling-based Recommender System Considering Changes in User Preferences)

  • 강소영;김재경;최일영;강창동
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.43-56
    • /
    • 2020
  • 추천 시스템은 사용자가 다양한 옵션 중에서 최선의 선택을 할 수 있도록 도와준다. 그러나 추천 시스템이 상업적으로 성공하기 위해서는 극복할 몇 개의 문제점이 존재한다. 첫째, 추천시스템의 투명성 부족 문제이다. 즉, 추천된 상품이 왜 추천되었는지 사용자들이 알 수 없다. 둘째, 추천시스템이 사용자 선호의 변화를 즉각적으로 반영할 수 없는 문제이다. 즉, 사용자의 상품에 대한 선호는 시간이 지남에 따라 변함에도 불구하고, 추천시스템이 사용자 선호를 반영하기 위해서는 다시 모델을 재구축해야 한다. 따라서 본연구에서는 이러한 문제를 해결하기 위해 토픽 모델링과 순차 연관 규칙을 이용한 추천 방법론을 제안하였다. 토픽 모델링은 사용자에게 아이템이 왜 추천되었는지 설명하는데 유용하며, 순차 연관 규칙은 변화하는 사용자의 선호를 파악하는데 유용하다. 본 연구에서 제안한 방법은 크게 토픽 모델링 및 사용자 프로파일 생성 등 토픽 모델링에 기반한 사용자 프로파일 생성 단계와 토픽에 사용자 선호 확인 및 순차 연관 규칙 발견 등 순차 연관 규칙에 기반한 추천 단계로 구분된다. 벤치마크 시스템으로 협업 필터링 기반 추천 시스템을 개발하고, 아마존의 리뷰 데이터 셋을 이용하여 제안한 방법론의 성능을 비교 평가하였다. 비교 분석 결과, 제안한 방법론이 협업 필터링 기반 추천시스템보다 뛰어난 성능을 보였다. 따라서 본 연구에서 제안하는 추천 방법을 통해 추천 시스템의 투명성을 확보할 수 있을 뿐만 아니라, 시간에 따라 변화하는 사용자의 선호를 반영할 수 있다. 그러나 본 연구는 토픽과 관련된 상품을 추천하기 때문에, 토픽에 포함된 상품의 수가 많을 경우 추천이 정교하지 못하는 한계점이 있다. 또한 토픽의 수가 적기 때문에 토픽에 대한 순차 연관 규칙이 너무 적은 문제점이 있다. 향후 연구에서 이러한 문제점을 해결한다면 좋은 연구가 될 것으로 판단된다.

X-13-ARIMA에서의 새로운 계절이동평균필터 개발 연구 (New seasonal moving average filters for X-13-ARIMA)

  • 심규호;강근석
    • 응용통계연구
    • /
    • 제29권1호
    • /
    • pp.231-242
    • /
    • 2016
  • 시계열 분석 소프트웨어로 국내에서도 많이 사용되는 X-13-ARIMA에서 제공하고 있는 계절이동평균필터($3{\times}3$, $3{\times}5$, $3{\times}9$, $3{\times}15$)가 외국과 다르게 불규칙한 변동이 많고 다양한 변동이 존재하는 한국의 경제 시계열에 적합한가라는 의문 속에서 새로운 계절이동평균필터들의 필요성이 제기되었다. 본 연구에서는 최근에 개발된 새로운 계절이동평균필터($3{\times}7$, $3{\times}11$)를 소개한다. 또한, 새롭게 작성된 계절이동평균필터를 국내의 경제 시계열에 적용하여 그 적합성과 안정성을 비교한 결과, 일부 시계열에서 새로운 계절이동평균필터들의 필요성이 발견되었다. 새로 개발된 계절이동평균필터를 활용하여 각 시계열에 맞는 적절한 계절조정방법을 사용하면 더욱 정확한 시계열분석을 할 수 있을 것이라 기대된다.

한국-중국간 경영정보학연구의 다양성비교 : 1999년 ~ 2003년 (A Comparative Study on Diversity in MIS Research Between South Korea and China: 1999~2003)

  • 신호균;김영애
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제19권2호
    • /
    • pp.23-36
    • /
    • 2010
  • The focus of this study is to analyze between South Korea and China in terms of diversity in Management Information Systems research. As a result, there is herding phenomenon regarding researches in both of the countries compared to other previous studies. There also seemed to be lack of in-depth study of basic theories and connection to related field of study considering the broad topics of management information, unlike other international journals that pursue diversity in control referencing various methodologies, analysis units and many citations. Therefore, both South Korea and China should stabilize theoretical base of MIS through securing independent field of MIS along with founding the fundamentals by searching in diversified fields, methodologies and analysis units with focused topics. The upshot here is that with respect to diversity in MIS from both countries, to alleviate herding phenomenon, enforcing accuracy of data collection and reducing convenience pursuit should be implemented. Also as criteria to select a topic, different kinds of consulting concepts and taking social issues into consideration that helps tool development and analysis power should be done. Through varied methodologies, tool development and analysis power should be assisted and analysis unit should be shifted to organization unit for Korea and team or individual for China only to augment the accessibility. As a limitation for the paper is that the data used in this analysis is secondary data. In addition, although time period used in both countries were the same, object of analysis had homogeneity in Korean case while Chinese one having heterogeneity from 19 different journals. For the future studies, multicultural comparison or time series analysis and their comparison in deeper approach with regard to object of analysis and methodologies can contribute to further MIS diversity.

Analysis of trends in information security using LDA topic modeling

  • Se Young Yuk;Hyun-Jong Cha;Ah Reum Kang
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권7호
    • /
    • pp.99-107
    • /
    • 2024
  • 컴퓨터 관련 기술이 급변하는 환경에서 사이버 위협들은 새로운 기술과 함께 고도화되고 다양화되어 지속해서 등장하고 있다. 이에 본 연구에서는 보안 관련 뉴스 기사를 수집해서 LDA 토픽 모델링을 진행해 동향을 살펴보고자 한다. 이를 위해 2020년 1월부터 2023년 8월까지의 뉴스 기사를 수집하였으며 LDA 분석을 통해 주요 토픽을 도출하였다. 이후 토픽별 흐름을 파악하고 주요 기점에 대해 분석하였다. 분석 결과를 통해 2021년의 랜섬웨어 공격과 2023년의 가상자산거래소 해킹이 최근 보안 분야에서 큰 이슈인 것을 파악할 수 있다. 이를 통해 보안 이슈에 대한 동향을 확인하고, 앞으로 어떤 연구에 집중해야 하는지 확인해 볼 수 있다. 또한 최신 위협을 인지하고, 적절한 대응 전략을 지원할 수 있으며 효과적인 보안 대책의 개발에 기여할 것으로 기대된다.

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.