• 제목/요약/키워드: LDA model

검색결과 161건 처리시간 0.029초

명품 하울 유튜브 영상 댓글에 나타난 상대적 박탈감 여부와 특징 분석 - TF-IDF, Word2vec, LDA, LSTM을 이용한 현대인의 감정 분석을 중심으로 - (Analysis of whether the feeling of relative deprivation is shown in the comments of the Luxury Howl YouTube video - Focusing on modern sentiment analysis using TF-IDF, Word2vec, LDA and LSTM -)

  • 최정민;오하영
    • 한국정보통신학회논문지
    • /
    • 제25권3호
    • /
    • pp.355-360
    • /
    • 2021
  • 최근 유튜브가 큰 인기를 얻고 있다. 많은 연구에 따르면 소셜 미디어에서 상대적 박탈감이 나타나듯이 본 연구에서는 유튜브에서도 상대적 박탈감이 나타나는지 확인해보고자 한다. 그중에서도 유튜버의 경제적 지위를 잘 드러내는 명품 하울 영상을 중심으로 연구를 진행하였다. 명품 하울이란 많은 양의 명품 제품을 구매하여 보여주는 콘텐츠를 의미한다. LDA, TF-IDF, Word2Vec 기법을 이용하여 유튜브 댓글 분석을 진행하였다. 추가로 LSTM 학습 모델을 기반으로 댓글을 긍정적 그룹과 부정적 그룹으로 분류하였다. 연구 결과에 따르면 다수의 댓글이 긍정적인 의미를 내포하지만, 상대적 박탈감 등을 나타내는 부정적 의미의 키워드를 가진 댓글도 나타났다. 이러한 댓글에서는 자신과 유튜버의 경제적 모습을 비교하는 표현이 등장하였다. 특히 유튜버의 나이가 상대적으로 어리거나 스스로 명품제품을 구매할 능력이 되지 않은 것으로 보이면 상대적 박탈감을 표현하는 댓글이 증가하였다. 따라서 본 연구에서는 유튜브도 다른 소셜 미디어와 같이 이용자가 상대적 박탈감을 느낀 다는 것을 확인 할 수 있었다.

토픽 모델링을 이용한 댓글 그래프 기반 소셜 마이닝 기법 (A Reply Graph-based Social Mining Method with Topic Modeling)

  • 이상연;이건명
    • 한국지능시스템학회논문지
    • /
    • 제24권6호
    • /
    • pp.640-645
    • /
    • 2014
  • 인터넷 상에서 많은 사람들은 사용자 간의 의사소통과 정보 공유, 사회적 관계를 생성하기 위한 방법으로 소셜 네트워크 서비스를 이용한다. 그 중 대표적인 트위터는 하루에 수백만 건의 소셜 데이터가 발생하기 때문에 수집되고 있는 데이터의 양이 엄청나다. 이 방대한 양의 데이터로부터 의미 있는 정보를 추출하는 소셜 마이닝이 집중적으로 연구되고 있다. 트위터는 일반적으로 유용한 정보 혹은 공유하고자 하는 내용을 팔로잉-팔로워 관계를 이용해 쉽게 전달하고 리트윗할 수 있다. 소셜 미디어에서 트윗 데이터에 대한 토픽 모델링은 이슈를 추적하기 위한 좋은 도구이다. 짧은 텍스트 기반인 트윗 데이터의 제한점을 극복하기 위해, 사용자를 노드로 사용자간 댓글과 리트윗 메시지의 여부를 간선으로 하는 그래프 구조를 갖는 댓글 그래프의 개념을 소개한다. 토픽 모델링의 대표적인 방법인 LDA 토픽 모델이 짧은 텍스트 데이터에 대해 비효율적인 것을 보완하기 위한 방법으로, 이 논문에서는 짧은 문서의 수를 줄이고 마이닝 결과의 질을 향상시키기 위한 댓글 그래프를 사용하는 토픽 모델링 방법을 소개한다. 제안한 모델은 토픽 모델링 방법으로 LDA 모델을 사용하였으며, 7일간 수집한 트윗 데이터에 대한 실험 결과를 보인다.

Cyber risk measurement via loss distribution approach and GARCH model

  • Sanghee Kim;Seongjoo Song
    • Communications for Statistical Applications and Methods
    • /
    • 제30권1호
    • /
    • pp.75-94
    • /
    • 2023
  • The growing trend of cyber risk has put forward the importance of cyber risk management. Cyber risk is defined as an accidental or intentional risk related to information and technology assets. Although cyber risk is a subset of operational risk, it is reported to be handled differently from operational risk due to its different features of the loss distribution. In this study, we aim to detect the characteristics of cyber loss and find a suitable model by measuring value at risk (VaR). We use the loss distribution approach (LDA) and the time series model to describe cyber losses of financial and non-financial business sectors, provided in SAS® OpRisk Global Data. Peaks over threshold (POT) method is also incorporated to improve the risk measurement. For the financial sector, the LDA and GARCH model with POT perform better than those without POT, respectively. The same result is obtained for the non-financial sector, although the differences are not significant. We also build a two-dimensional model reflecting the dependence structure between financial and non-financial sectors through a bivariate copula and check the model adequacy through VaR.

Jointly Image Topic and Emotion Detection using Multi-Modal Hierarchical Latent Dirichlet Allocation

  • Ding, Wanying;Zhu, Junhuan;Guo, Lifan;Hu, Xiaohua;Luo, Jiebo;Wang, Haohong
    • Journal of Multimedia Information System
    • /
    • 제1권1호
    • /
    • pp.55-67
    • /
    • 2014
  • Image topic and emotion analysis is an important component of online image retrieval, which nowadays has become very popular in the widely growing social media community. However, due to the gaps between images and texts, there is very limited work in literature to detect one image's Topics and Emotions in a unified framework, although topics and emotions are two levels of semantics that often work together to comprehensively describe one image. In this work, a unified model, Joint Topic/Emotion Multi-Modal Hierarchical Latent Dirichlet Allocation (JTE-MMHLDA) model, which extends previous LDA, mmLDA, and JST model to capture topic and emotion information at the same time from heterogeneous data, is proposed. Specifically, a two level graphical structured model is built to realize sharing topics and emotions among the whole document collection. The experimental results on a Flickr dataset indicate that the proposed model efficiently discovers images' topics and emotions, and significantly outperform the text-only system by 4.4%, vision-only system by 18.1% in topic detection, and outperforms the text-only system by 7.1%, vision-only system by 39.7% in emotion detection.

  • PDF

데이터 증가를 통한 선형 모델의 일반화 성능 개량 (중심극한정리를 기반으로) (Improvement of generalization of linear model through data augmentation based on Central Limit Theorem)

  • 황두환
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.19-31
    • /
    • 2022
  • 기계학습 모델 구축 간 트레이닝 데이터를 활용하며, 훈련 간 사용되지 않은 테스트 데이터를 활용하여 모델의 정확도와 일반화 성능을 판단한다. 일반화 성능이 낮은 모델의 경우 새롭게 받아들이게 되는 데이터에 대한 예측 정확도가 현저히 감소하게 되며 이러한 현상을 두고 모델이 과적합 되었다고 한다. 본 연구는 중심극한정리를 기반으로 데이터를 생성 및 기존의 훈련용 데이터와 결합하여 새로운 훈련용 데이터를 구성하고 데이터의 정규성을 증가시킴과 동시에 이를 활용하여 모델의 일반화 성능을 증가시키는 방법에 대한 것이다. 이를 위해 중심극한정리의 성질을 활용해 데이터의 각 특성별로 표본평균 및 표준편차를 활용하여 데이터를 생성하였고, 새로운 훈련용 데이터의 정규성 증가 정도를 파악하기 위하여 Kolmogorov-Smirnov 정규성 검정을 진행한 결과, 새로운 훈련용 데이터가 기존의 데이터에 비해 정규성이 증가하였음을 확인할 수 있었다. 일반화 성능은 훈련용 데이터와 테스트용 데이터에 대한 예측 정확도의 차이를 통해 측정하였다. 새롭게 생성된 데이터를 K-Nearest Neighbors(KNN), Logistic Regression, Linear Discriminant Analysis(LDA)에 적용하여 훈련시키고 일반화 성능 증가정도를 파악한 결과, 비모수(non-parametric) 기법인 KNN과 모델 구성 간 정규성을 가정으로 갖는 LDA의 경우에 대하여 일반화 성능이 향상되었음을 확인할 수 있었다.

잠재 디리클레 할당(LDA)을 이용한 항공안전 의무보고 토픽 예측 모형 (Aviation Safety Mandatory Report Topic Prediction Model using Latent Dirichlet Allocation (LDA))

  • 김준환;백현진;전성진;최영재
    • 한국항공운항학회지
    • /
    • 제31권3호
    • /
    • pp.42-49
    • /
    • 2023
  • Not only in aviation industry but also in other industries, safety data plays a key role to improve the level of safety performance. By analyzing safety data such as aviation safety report (text data), hazard can be identified and removed before it leads to a tragic accident. However, pre-processing of raw data (or natural language data) collected from each site should be carried out first to utilize proactive or predictive safety management system. As air traffic volume increases, the amount of data accumulated is also on the rise. Accordingly, there are clear limitation in analyzing data directly by manpower. In this paper, a topic prediction model for aviation safety mandatory report is proposed. In addition, the prediction accuracy of the proposed model was also verified using actual aviation safety mandatory report data. This research model is meaningful in that it not only effectively supports the current aviation safety mandatory report analysis work, but also can be applied to various data produced in the aviation safety field in the future.

Latent Dirichlet Allocation (LDA) 모델 기반의 인공지능(A.I.) 기술 관련 연구 활동 및 동향 분석 (Systemic Analysis of Research Activities and Trends Related to Artificial Intelligence(A.I.) Technology Based on Latent Dirichlet Allocation (LDA) Model)

  • 정명석;이주연
    • 한국산업정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.87-95
    • /
    • 2018
  • 최근 인공지능(Artificial Intelligence; A.I.)의 기술 발전과 함께 이에 대한 관심이 증가하고 있으며 관련 시장도 비약적으로 확대되고 있다. 아직은 초기단계이지만 2000년 이후 현재까지 계속 확장되고 있는 인공지능 기술 분야의 연구방향과 투자 분야에 대한 불확실성을 줄이는 것이 중요한 시점이다. 이러한 기술 변화와 시대적 요구에 따라서 본 연구는 빅데이터(Big Data) 분석방법 중 텍스트 마이닝(Text Mining)과 토픽모델링(Topic Modeling)을 활용하여 기술동향을 살펴보고, 핵심기술과 성장 가능성이 있는 연구의 향후 방향성을 제시하였다. 본 연구의 결과로부터 인공지능의 기술동향에 대한 이해를 바탕으로 향후 연구 방향에 대한 새로운 시사점을 도출할 수 있으리라 기대한다.

커뮤니티 기반 Q&A서비스에서의 질의 할당을 위한 이용자의 관심 토픽 분석에 관한 연구 (A Study on Mapping Users' Topic Interest for Question Routing for Community-based Q&A Service)

  • 박종도
    • 정보관리학회지
    • /
    • 제32권3호
    • /
    • pp.397-412
    • /
    • 2015
  • 본 연구에서는 커뮤니티 기반 질의응답 서비스에서의 질의할당을 위하여, 해당 커뮤니티에 축적된 질의응답 데이터 세트를 이용하여 해당 카테고리내의 토픽을 분석하고 이를 바탕으로 해당 토픽에 관심을 가지는 이용자의 관심 토픽을 분석하고자 하였다. 특정 카테고리 내의 토픽을 분석하기 위해서 LDA기법을 사용하였고 이를 이용하여 이용자의 관심 토픽을 모델링하였다. 나아가, 커뮤니티에 새롭게 유입되는 질의에 대한 토픽을 분석한 후, 이를 바탕으로 해당 토픽에 대해 관심을 가지고 있는 이용자를 추천하기 위한 일련의 방법들을 실험하였다.

Interval Type-2 RBF 신경회로망 기반 CT 기법을 이용한 강인한 얼굴인식 패턴 분류기 설계 (Design of Robust Face Recognition Pattern Classifier Using Interval Type-2 RBF Neural Networks Based on Census Transform Method)

  • 진용탁;오성권
    • 전기학회논문지
    • /
    • 제64권5호
    • /
    • pp.755-765
    • /
    • 2015
  • This paper is concerned with Interval Type-2 Radial Basis Function Neural Network classifier realized with the aid of Census Transform(CT) and (2D)2LDA methods. CT is considered to improve performance of face recognition in a variety of illumination variations. (2D)2LDA is applied to transform high dimensional image into low-dimensional image which is used as input data to the proposed pattern classifier. Receptive fields in hidden layer are formed as interval type-2 membership function. We use the coefficients of linear polynomial function as the connection weights of the proposed networks, and the coefficients and their ensuing spreads are learned through Conjugate Gradient Method(CGM). Moreover, the parameters such as fuzzification coefficient and the number of input variables are optimized by Artificial Bee Colony(ABC). In order to evaluate the performance of the proposed classifier, Yale B dataset which consists of images obtained under diverse state of illumination environment is applied. We show that the results of the proposed model have much more superb performance and robust characteristic than those reported in the previous studies.

Evolutionary Computing Driven Extreme Learning Machine for Objected Oriented Software Aging Prediction

  • Ahamad, Shahanawaj
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.232-240
    • /
    • 2022
  • To fulfill user expectations, the rapid evolution of software techniques and approaches has necessitated reliable and flawless software operations. Aging prediction in the software under operation is becoming a basic and unavoidable requirement for ensuring the systems' availability, reliability, and operations. In this paper, an improved evolutionary computing-driven extreme learning scheme (ECD-ELM) has been suggested for object-oriented software aging prediction. To perform aging prediction, we employed a variety of metrics, including program size, McCube complexity metrics, Halstead metrics, runtime failure event metrics, and some unique aging-related metrics (ARM). In our suggested paradigm, extracting OOP software metrics is done after pre-processing, which includes outlier detection and normalization. This technique improved our proposed system's ability to deal with instances with unbalanced biases and metrics. Further, different dimensional reduction and feature selection algorithms such as principal component analysis (PCA), linear discriminant analysis (LDA), and T-Test analysis have been applied. We have suggested a single hidden layer multi-feed forward neural network (SL-MFNN) based ELM, where an adaptive genetic algorithm (AGA) has been applied to estimate the weight and bias parameters for ELM learning. Unlike the traditional neural networks model, the implementation of GA-based ELM with LDA feature selection has outperformed other aging prediction approaches in terms of prediction accuracy, precision, recall, and F-measure. The results affirm that the implementation of outlier detection, normalization of imbalanced metrics, LDA-based feature selection, and GA-based ELM can be the reliable solution for object-oriented software aging prediction.