• 제목/요약/키워드: Latent space

검색결과 125건 처리시간 0.019초

A Development of LDA Topic Association Systems Based on Spark-Hadoop Framework

  • Park, Kiejin;Peng, Limei
    • Journal of Information Processing Systems
    • /
    • 제14권1호
    • /
    • pp.140-149
    • /
    • 2018
  • Social data such as users' comments are unstructured in nature and up-to-date technologies for analyzing such data are constrained by the available storage space and processing time when fast storing and processing is required. On the other hand, it is even difficult in using a huge amount of dynamically generated social data to analyze the user features in a high speed. To solve this problem, we design and implement a topic association analysis system based on the latent Dirichlet allocation (LDA) model. The LDA does not require the training process and thus can analyze the social users' hourly interests on different topics in an easy way. The proposed system is constructed based on the Spark framework that is located on top of Hadoop cluster. It is advantageous of high-speed processing owing to that minimized access to hard disk is required and all the intermediately generated data are processed in the main memory. In the performance evaluation, it requires about 5 hours to analyze the topics for about 1 TB test social data (SNS comments). Moreover, through analyzing the association among topics, we can track the hourly change of social users' interests on different topics.

Topic Modeling and Sentiment Analysis of Twitter Discussions on COVID-19 from Spatial and Temporal Perspectives

  • AlAgha, Iyad
    • Journal of Information Science Theory and Practice
    • /
    • 제9권1호
    • /
    • pp.35-53
    • /
    • 2021
  • The study reported in this paper aimed to evaluate the topics and opinions of COVID-19 discussion found on Twitter. It performed topic modeling and sentiment analysis of tweets posted during the COVID-19 outbreak, and compared these results over space and time. In addition, by covering a more recent and a longer period of the pandemic timeline, several patterns not previously reported in the literature were revealed. Author-pooled Latent Dirichlet Allocation (LDA) was used to generate twenty topics that discuss different aspects related to the pandemic. Time-series analysis of the distribution of tweets over topics was performed to explore how the discussion on each topic changed over time, and the potential reasons behind the change. In addition, spatial analysis of topics was performed by comparing the percentage of tweets in each topic among top tweeting countries. Afterward, sentiment analysis of tweets was performed at both temporal and spatial levels. Our intention was to analyze how the sentiment differs between countries and in response to certain events. The performance of the topic model was assessed by being compared with other alternative topic modeling techniques. The topic coherence was measured for the different techniques while changing the number of topics. Results showed that the pooling by author before performing LDA significantly improved the produced topic models.

변형 자동 인코더를 활용한 모션 스타일 이전 (Motion Style Transfer using Variational Autoencoder)

  • 안제원;권태수
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제27권5호
    • /
    • pp.33-43
    • /
    • 2021
  • 본 논문에서는 변형 자동 인코더 네트워크(variational autoencoder network)의 잠재 공간 내에 스타일 자동 인코더 네트워크를 적용하여 컨텐츠 캐릭터의 모션에 스타일 캐릭터 모션의 스타일 정보를 이전하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 변형 자동 인코더를 통해 얻은 모션의 다양성을 스타일 캐릭터 모션의 스타일 정보를 이전하여 증가시킬 수 있다. 또한 입력 데이터 및 출력 데이터에 모션의 속도 정보를 포함시켜 이전 프레임의 모션에 속도를 적분하여 모션을 계산함으로써, 변형 자동 인코더로 인한 샘플링과 잠재 공간 내에서 스타일 정보가 이전된 새로운 잠재 변수의 디코더 네트워크를 통한 확장으로 발생할 수 있는 부자연스러운 동작을 개선할 수 있다.

SVD-LDA: A Combined Model for Text Classification

  • Hai, Nguyen Cao Truong;Kim, Kyung-Im;Park, Hyuk-Ro
    • Journal of Information Processing Systems
    • /
    • 제5권1호
    • /
    • pp.5-10
    • /
    • 2009
  • Text data has always accounted for a major portion of the world's information. As the volume of information increases exponentially, the portion of text data also increases significantly. Text classification is therefore still an important area of research. LDA is an updated, probabilistic model which has been used in many applications in many other fields. As regards text data, LDA also has many applications, which has been applied various enhancements. However, it seems that no applications take care of the input for LDA. In this paper, we suggest a way to map the input space to a reduced space, which may avoid the unreliability, ambiguity and redundancy of individual terms as descriptors. The purpose of this paper is to show that LDA can be perfectly performed in a "clean and clear" space. Experiments are conducted on 20 News Groups data sets. The results show that the proposed method can boost the classification results when the appropriate choice of rank of the reduced space is determined.

응고/융해 잠열을 이용한 위성용 열제어장치의 실험적 연구 (Satellite Thermal Control Device Enhanced by Latent Heat of the Phase Change Material)

  • 김태수;신윤섭;김택영;서정기;현범석;전형열
    • 한국항공우주학회지
    • /
    • 제44권10호
    • /
    • pp.887-894
    • /
    • 2016
  • 고상-액상 상변화물질(PCM, Phase Change Material)을 이용한 위성부품 열제어장치를 설계 및 제작하였으며 열환경시험을 수행함으로써 온도제어 성능을 분석하였다. 설계온도에 부합하는 n-Hexadecane을 PCM으로 채용하였고, 낮은 열전도도를 보완하기 위하여 내부에 전열휜이 장착된 용기를 Al6061로 제작하였다. 위성에 장착하였을 때와 동일한 작동조건을 확보하기 위하여, 부품과 방열판 사이를 열관으로 연결하였으며 열관의 단열부가 관통하도록 PCM 열제어장치를 설치하였다. 동일한 모양과 부피의 열적완충질량(TBM, Thermal Buffer Mass)도 제작하여, 주기적인 가열-냉각 실험을 수행하였다. 실험결과 상변화 잠열에 의한 PCM의 열제어 성능을 확인할 수 있었으며, TBM에 비하여 질량과 보온히터의 소모전력을 절감할 수 있음을 확인하였다.

ViStoryNet: 비디오 스토리 재현을 위한 연속 이벤트 임베딩 및 BiLSTM 기반 신경망 (ViStoryNet: Neural Networks with Successive Event Order Embedding and BiLSTMs for Video Story Regeneration)

  • 허민오;김경민;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권3호
    • /
    • pp.138-144
    • /
    • 2018
  • 본 고에서는 비디오로부터 coherent story를 학습하여 비디오 스토리를 재현할 수 있는 스토리 학습/재현 프레임워크를 제안한다. 이를 위해 연속 이벤트 순서를 감독학습 정보로 사용함으로써 각 에피소드들이 은닉 공간 상에서 궤적 형태를 가지도록 유도하여, 순서정보와 의미정보를 함께 다룰 수 있는 복합된 표현 공간을 구축하고자 한다. 이를 위해 유아용 비디오 시리즈를 학습데이터로 활용하였다. 이는 이야기 구성의 특성, 내러티브 순서, 복잡도 면에서 여러 장점이 있다. 여기에 연속 이벤트 임베딩을 반영한 인코더-디코더 구조를 구축하고, 은닉 공간 상의 시퀀스의 모델링에 양방향 LSTM을 학습시키되 여러 스텝의 서열 데이터 생성을 고려하였다. '뽀롱뽀롱 뽀로로' 시리즈 비디오로부터 추출된 약 200 개의 에피소드를 이용하여 실험결과를 보였다. 실험을 통해 에피소드들이 은닉공간에서 궤적 형태를 갖는 것과 일부 큐가 주어졌을 때 스토리를 재현하는 문제에 적용할 수 있음을 보였다.

의미 벡터 확장을 통한 유전자 클러스터링 (Genetic Clustering with Semantic Vector Expansion)

  • 쏭웨이;박순철
    • 한국콘텐츠학회논문지
    • /
    • 제9권3호
    • /
    • pp.1-8
    • /
    • 2009
  • 본 논문에서는 퍼지 논리 기반의 유전자 알고리즘(GA)과 의미 벡터 확장 기술을 이용한 문서 클러스터링 시스템을 제안한다. GA에 관련된 여러 논문에서 이미 알려졌듯이 GA알고리즘의 성공 여부는 군체의 다양성과 수렴하는 능력에 따라 결정된다. 이러한 두 인자 사이의 영향력을 조절하기 위하여 우리는 퍼지 논리 기반의 연산자를 사용한다. 전통적인 문서 클러스터링 알고리즘에서 문서를 나타내기 위한 가장 일반적이고 직선적인 방법은 벡터 공간 모델이다. 그러나 이 방법은 다차원 특징 공간의 원인이 될 뿐만 아니라, 클러스터링의 정확성에 영향을 미칠 수 있는, 단어 간의 의미상 관계성을 무시한다. 본 논문에서는 LSA를 사용하여 문서를 관련되는 의미상의 벡터 개념으로 확장시킨다. 또한 이것은 벡터의 크기를 크게 줄일 수 있다. 본 논문에서 제안한 클러스터링 알고리즘을 테스트하기 위하여 20개의 뉴스 그룹과 로이터 데이터를 사용했다. 제안된 방법은 문서를 표현하는 다양한 환경에서 일반적인 GA보다 더 나은 결과를 보여준다.

상변화물질과 열관을 병렬 조합한 위성부품 열제어장치의 수치해석적 연구 (Numerical Study on the Thermal Control Device for Satellite Components Using the Phase Change Material Combined with Heat Pipe in Parallel)

  • 신윤섭;김태수;김택영;서영배;서정기;현범석;전형열
    • 한국항공우주학회지
    • /
    • 제44권4호
    • /
    • pp.373-379
    • /
    • 2016
  • 주기적 단속적으로 작동하는 위성부품의 열제어를 위하여 고상-액상 상변화물질(PCM, Phase Change Material)과 열관을 병렬로 결합한 열제어장치를 제안하였으며, 이의 성능을 수치해석을 통하여 검증하였다. 상변화 중 큰 잠열과 일정하게 유지되는 온도에 의하여 작은 방열판 면적에서도 부품의 최고온도를 제어할 수 있으며, 냉각기에는 PCM에 축적된 에너지가 방출됨으로써 보온히터 소모전력을 절약할 수 있다. 동일한 형태의 Al TBM(Thermal Buffer Mass)을 사용하면 비슷한 효과를 기대할 수 있으나, 질량과 보온히터의 소모전력이 증가하므로 PCM에 비하여 비효율적이다. 설계된 PCM 열제어장치는 발열량과 작동시간에 따라 그 양을 최적화할 수 있다.

A Mobile P2P Semantic Information Retrieval System with Effective Updates

  • Liu, Chuan-Ming;Chen, Cheng-Hsien;Chen, Yen-Lin;Wang, Jeng-Haur
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권5호
    • /
    • pp.1807-1824
    • /
    • 2015
  • As the technologies advance, mobile peer-to-peer (MP2P) networks or systems become one of the major ways to share resources and information. On such a system, the information retrieval (IR), including the development of scalable infrastructures for indexing, becomes more complicated due to a huge increase on the amount of information and rapid information change. To keep the systems on MP2P networks more reliable and consistent, the index structures need to be updated frequently. For a semantic IR system, the index structure is even more complicated than a classic IR system and generally has higher update cost. The most well-known indexing technique used in semantic IR systems is Latent Semantic Indexing (LSI), of which the index structure is generated by singular value decomposition (SVD). Although LSI performs well, updating the index structure is not easy and time consuming. In an MP2P environment, which is fully distributed and dynamic, the update becomes more challenging. In this work, we consider how to update the sematic index generated by LSI and keep the index consistent in the whole MP2P network. The proposed Concept Space Update (CSU) protocol, based on distributed 2-Phase locking strategy, can effectively achieve the objectives in terms of two measurements: coverage speed and update cost. Using the proposed effective synchronization mechanism with the efficient updates on the SVD, re-computing the whole index on the P2P overlay can be avoided and the consistency can be achieved. Simulated experiments are also performed to validate our analysis on the proposed CSU protocol. The experimental results indicate that CSU is effective on updating the concept space with LSI/SVD index structure in MP2P semantic IR systems.

점진적 중심 갱신을 이용한 deep support vector data description 기반의 온라인 비정상 탐지 알고리즘 (Online anomaly detection algorithm based on deep support vector data description using incremental centroid update)

  • 이기배;고건혁;이종현
    • 한국음향학회지
    • /
    • 제41권2호
    • /
    • pp.199-209
    • /
    • 2022
  • 일반적인 비정상 탐지 알고리즘은 사전 데이터를 이용하여 학습된다. 따라서 시간에 따른 정상 데이터의 특징이 변화되는 경우에 기존의 배치 학습 기반 알고리즘의 성능 저하가 불가피하다. 본 논문에서는 정상 데이터의 점진적 특징 변화를 고려할 수 있는 온라인 비정상 탐지 알고리즘을 제안한다. 제안하는 알고리즘은 단일 클래스 분류 모델에 기반하며 오프라인 및 온라인 단계의 학습 과정을 포함한다. 제안된 알고리즘의 오프라인 학습 단계에서는 사전 데이터가 잠재 공간의 중심에 근접하도록 학습하고, 이후 온라인 학습단계에서는 신규 데이터에 의한 점진적 잠재 공간의 중심을 갱신하고, 갱신된 중심을 기준으로 계속 학습을 진행한다. 공개된 수중 음향 데이터를 이용한 실험결과 제안된 온라인 비정상 탐지 알고리즘은 점진적 중심 갱신 및 학습을 위해 단지 2 % 정도의 추가 학습시간이 소요되는 것으로 확인되었다. 반면에 시변 정상데이터가 수신되는 경우에 오프라인 학습 모델과 비교하여 19.10 % 개선된 Area Under the receiver operating characteristic Curve(AUC) 성능을 보였다.