• 제목/요약/키워드: Embedding vector

검색결과 127건 처리시간 0.026초

Research on Personalized Course Recommendation Algorithm Based on Att-CIN-DNN under Online Education Cloud Platform

  • Xiaoqiang Liu;Feng Hou
    • Journal of Information Processing Systems
    • /
    • 제20권3호
    • /
    • pp.360-374
    • /
    • 2024
  • A personalized course recommendation algorithm based on deep learning in an online education cloud platform is proposed to address the challenges associated with effective information extraction and insufficient feature extraction. First, the user potential preferences are obtained through the course summary, course review information, user course history, and other data. Second, by embedding, the word vector is turned into a low-dimensional and dense real-valued vector, which is then fed into the compressed interaction network-deep neural network model. Finally, considering that learners and different interactive courses play different roles in the final recommendation and prediction results, an attention mechanism is introduced. The accuracy, recall rate, and F1 value of the proposed method are 0.851, 0.856, and 0.853, respectively, when the length of the recommendation list K is 35. Consequently, the proposed strategy outperforms the comparison model in terms of recommending customized course resources.

Impact of Word Embedding Methods on Performance of Sentiment Analysis with Machine Learning Techniques

  • Park, Hoyeon;Kim, Kyoung-jae
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권8호
    • /
    • pp.181-188
    • /
    • 2020
  • 본 연구에서는 다양한 워드 임베딩 기법이 감성분석의 성과에 미치는 영향을 확인하기 위한 비교연구를 제안한다. 감성분석은 자연어 처리를 사용하여 텍스트 문서에서 주관적인 정보를 식별하고 추출하는 오피니언 마이닝 기법 중 하나이며, 상품평이나 댓글의 감성을 분류하는데 사용될 수 있다. 감성은 긍정적이거나 부정적인 것으로 분류될 수 있기 때문에 일반적인 분류문제 중 하나로 생각할 수 있으며, 이의 분류를 위해서는 텍스트를 컴퓨터가 인식할 수 있는 언어로 변환하여야 한다. 따라서 단어나 문서와 같은 텍스트를 자연어 처리에서 벡터로 변형하여 진행하는데 이를 워드 임베딩이라고 한다. 워드 임베딩 기법은 Bag of Words, TF-IDF, Word2Vec 등 다양한 기법이 사용되고 있는데 지금까지 감성분석에 적합한 워드 임베딩 기법에 대한 연구는 많이 진행되지 않았다. 본 연구에서는 영화 리뷰의 감성분석을 위해 다양한 워드 임베딩 기법 중 Bag of Words, TF-IDF, Word2Vec을 사용하여 그 성과를 비교 분석한다. 분석에 사용할 연구용 데이터 셋은 텍스트 마이닝에서 많이 활용되고 있는 IMDB 데이터 셋을 사용하였다. 분석 결과, TF-IDF와 Bag of Words의 성과가 Word2Vec보다 우수한 것으로 나타났으며 TF-IDF는 Bag of Words보다 성과가 우수하였으나 그 차이가 매우 크지는 않았다.

부분 단어 토큰화 기법을 이용한 뉴스 기사 정치적 편향성 자동 분류 및 어휘 분석 (Automatic Classification and Vocabulary Analysis of Political Bias in News Articles by Using Subword Tokenization)

  • 조단비;이현영;정원섭;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2021
  • 뉴스 기사의 정치 분야는 보수, 진보와 같이 양극화된 편향적 특성이 존재하며 이를 정치적 편향성이라고 한다. 뉴스 기사로부터 편향성 문제를 분류하기 위해 키워드 기반의 학습 데이터를 구축하였다. 대부분의 임베딩 연구에서는 미등록어로 인한 문제를 완화시키기 위해 형태소 단위로 문장을 구성한다. 본 논문에서는 문장을 언어 모델에 의해 세부적으로 분할하는 부분 단어로 문장을 구성할 경우 미등록어 수가 감소할 것이라 예상하였다. 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델을 제안하며 이를 SVM과 전방향 뉴럴 네트워크 구조에 적용하여 정치적 편향성 분류 실험을 진행하였다. 형태소 토큰화 기법을 이용한 문서 임베딩 모델과 비교 실험한 결과, 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델이 78.22%로 가장 높은 정확도를 보였으며 부분 단어 토큰화를 통해 미등록어 수가 감소되는 것을 확인하였다. 분류 실험에서 가장 성능이 좋은 임베딩 모델을 이용하여 정치적 인물을 기반한 어휘를 추출하였으며 각 성향의 정치적 인물 벡터와의 평균 유사도를 통해 어휘의 편향성을 검증하였다.

기술용어 분산표현을 활용한 특허문헌 분류에 관한 연구 (A Study on Patent Literature Classification Using Distributed Representation of Technical Terms)

  • 최윤수;최성필
    • 한국문헌정보학회지
    • /
    • 제53권2호
    • /
    • pp.179-199
    • /
    • 2019
  • 본 연구의 목적은 특허 문헌 분류에 가장 적합한 방법론을 발견하기 위하여 다양한 자질 추출 방법과 기계학습 및 딥러닝 모델을 살펴보고 실험을 통해 최적의 성능을 제공하는 방법론을 분석하는데 있다. 자질 추출 방법으로는 전통적인 BoW 방법과 분산표현 방식인 워드 임베딩 벡터를 비교 실험하고, 문헌 집합 구축 방식으로는 형태소 분석과 멀티그램을 이용하는 방식을 비교 검토하였다. 또한 전통적인 기계학습 모델과 딥러닝 모델을 이용하여 분류 성능을 검증하였다. 실험 결과, 분산표현 방법과 형태소 분석을 이용한 자질추출 방법을 기반으로 딥러닝 모델을 적용하였을 경우에 분류 성능이 가장 우수한 것으로 판명되었으며 섹션, 클래스, 서브클래스 분류 실험에서 전통적인 기계학습 방법에 비해 각각 5.71%, 18.84%, 21.53% 우수한 분류 성능을 보여주었다.

트리거를 이용한 그룹통신시스템의 멀티캐스트모델 및 응용 (Multicast Model and Application of Group Communication System using Trigger)

  • 류권열
    • 한국정보통신학회논문지
    • /
    • 제10권7호
    • /
    • pp.1222-1228
    • /
    • 2006
  • 본 논문에서는 적응적 임계값과 반화소 움직임 벡터를 이용한 비디오 워터마킹 방법을 제안한다. 기존의 방법은 모든 매크로블록에 대해 워터마크삽입 조건을 검색하고, 임의의 움직임 벡터에 워터마크가 삽입되므로 움직임 벡터 변경이 많고, 비가시성이 떨어진다. 제안한 방법은 PMV를 이용하여 임계값을 생성하고, 임계값보다 큰 움직임 벡터에 워터마크를삽입하므로 움직임 벡터 변경 횟수가 적고, 비가시성이 향상된다. 실험결과 제안한 방법은 바디오 비트스트림에 따라 평균 5.4 dB ~ 9.3 dB 의 비가시성 특성이 향상됨을 알 수 있었다.

자연어 처리 및 기계학습을 통한 동의보감 기반 한의변증진단 기술 개발 (Donguibogam-Based Pattern Diagnosis Using Natural Language Processing and Machine Learning)

  • 이승현;장동표;성강경
    • 대한한의학회지
    • /
    • 제41권3호
    • /
    • pp.1-8
    • /
    • 2020
  • Objectives: This paper aims to investigate the Donguibogam-based pattern diagnosis by applying natural language processing and machine learning. Methods: A database has been constructed by gathering symptoms and pattern diagnosis from Donguibogam. The symptom sentences were tokenized with nouns, verbs, and adjectives with natural language processing tool. To apply symptom sentences into machine learning, Word2Vec model has been established for converting words into numeric vectors. Using the pair of symptom's vector and pattern diagnosis, a pattern prediction model has been trained through Logistic Regression. Results: The Word2Vec model's maximum performance was obtained by optimizing Word2Vec's primary parameters -the number of iterations, the vector's dimensions, and window size. The obtained pattern diagnosis regression model showed 75% (chance level 16.7%) accuracy for the prediction of Six-Qi pattern diagnosis. Conclusions: In this study, we developed pattern diagnosis prediction model based on the symptom and pattern diagnosis from Donguibogam. The prediction accuracy could be increased by the collection of data through future expansions of oriental medicine classics.

벡터장 기반 변형기술을 이용한 이미지 와핑 방법 : 텍스쳐 매핑에의 응용을 중심으로 (Image Warping Using Vector Field Based Deformation and Its Application to Texture Mapping)

  • 서혜원;코디에 프레데릭
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권5호
    • /
    • pp.404-411
    • /
    • 2009
  • 본 논문은 Von Funck 외가 제안한 벡터장 기반 변형기술에 기반한 새로운 텍스쳐 이미지의 와핑 방법을 제안한다. 사용자는 텍스척 이미지와 텍스쳐매핑이 될 3차원 물체 표면에 두 가지 방법으로 제한조건을 지정할 수 있다: 위치 제한조건은 이미지 상의 특징점의 위치를 특정위치 (물체 표면의 대응하는 특징점 위치)로 제한하는 데 사용하며, 그라디언트 제한조건을 사용하려는 특징점 이미지의 일부분에 대한 방향과 스케일에 대해 제어가 가능하다. 이러한 제한조건으로부터 그에 대응하는 C1 연속인 속도벡터장을 이미지 공간 상에 구축하고, 구축된 벡터장을 따라 텍스쳐 이미지 상의 모든 픽셀들을 이동시킨 결과로써 최종 텍스쳐 이미지를 획득한다. 본 연구에서 구현한 텍스쳐 매핑 애플리케이션에서는 우선 대상 3차원 메쉬를 최소제곱 등각매핑(Least Squares Conformal Mapping) 방법을 사용하여 2차원 평면에 임베딩시킨다. 다음으로, 제안하는 이미지 와핑 방법을 적용하여 텍스쳐 이미지 상의 특징점이 임베딩된 메쉬의 대응하는 특징점과 일치되도록 하여 최종 텍스쳐맵을 획득한다. 이와 같은 벡터장기반 방법을 통해 기존의 텍스쳐매핑 방법보다 더욱 부드러운 이미지 와핑결과를 얻을 수 있었으며, 왜곡이 많이 생기는 요구조건을 만족하면서도 자기 오버랩이 생기지 않는 좋은 성질을 보임을 확인하였다.

비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법 (Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder)

  • 이준우;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.355-364
    • /
    • 2023
  • 최근 지능화된 사이버 위협이 지속적으로 증가함에 따라 기존의 패턴 혹은 시그니처 기반의 침입 탐지 방식은 새로운 유형의 사이버 공격을 탐지하는데 어려움이 있다. 따라서 데이터 학습 기반 인공지능 기술을 적용한 이상 징후 탐지 방법에 관한 연구가 증가하고 있다. 또한 지도학습 기반 이상 탐지 방식은 학습을 위해 레이블 된 이용 가능한 충분한 데이터를 필요로 하기 때문에 실제 환경에서 사용하기에는 어려움이 있다. 최근에는 정상 데이터로 학습하고 데이터 자체에서 패턴을 찾아 이상 징후를 탐지하는 비지도 학습 기반의 방법에 대한 연구가 활발히 진행되고 있다. 그러므로 본 연구는 시퀀스 로그 데이터로부터 유용한 시퀀스 정보를 보존하는 잠재 벡터(Latent Vector)를 추출하고, 추출된 잠재 벡터를 사용하여 이상 탐지 학습 모델을 개발하는데 있다. 각 시퀀스의 특성들에 대응하는 밀집 벡터 표현을 생성하기 위하여 Word2Vec을 사용하였으며, 밀집 벡터로 표현된 시퀀스 데이터로부터 잠재 벡터를 추출하기 위하여 비지도 방식의 오토인코더(Autoencoder)를 사용하였다. 개발된 오토인코더 모델은 시퀀스 데이터에 적합한 순환신경망 GRU(Gated Recurrent Unit) 기반의 잡음 제거 오토인코더, GRU 네트워크의 제한적인 단기 기억문제를 해결하기 위한 1차원 합성곱 신경망 기반의 오토인코더 및 GRU와 1차원 합성곱을 결합한 오토인코더를 사용하였다. 실험에 사용된 데이터는 시계열 기반의 NGIDS(Next Generation IDS Dataset) 데이터이며, 실험 결과 GRU 기반의 오토인코더나, 1차원 합성곱 기반의 오토인코더를 사용한 모델보다 GRU와 1차원 합성곱을 결합한 오토인코더가 훈련 데이터로부터 유용한 잠재 패턴을 추출하기 위한 학습 시간적 측면에서 효율적이었고 이상 탐지 성능 변동의 폭이 더 작은 안정된 성능을 보였다.

리뷰에서의 고객의견의 다층적 지식표현 (Multilayer Knowledge Representation of Customer's Opinion in Reviews)

  • ;원광복;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.652-657
    • /
    • 2018
  • With the rapid development of e-commerce, many customers can now express their opinion on various kinds of product at discussion groups, merchant sites, social networks, etc. Discerning a consensus opinion about a product sold online is difficult due to more and more reviews become available on the internet. Opinion Mining, also known as Sentiment analysis, is the task of automatically detecting and understanding the sentimental expressions about a product from customer textual reviews. Recently, researchers have proposed various approaches for evaluation in sentiment mining by applying several techniques for document, sentence and aspect level. Aspect-based sentiment analysis is getting widely interesting of researchers; however, more complex algorithms are needed to address this issue precisely with larger corpora. This paper introduces an approach of knowledge representation for the task of analyzing product aspect rating. We focus on how to form the nature of sentiment representation from textual opinion by utilizing the representation learning methods which include word embedding and compositional vector models. Our experiment is performed on a dataset of reviews from electronic domain and the obtained result show that the proposed system achieved outstanding methods in previous studies.

  • PDF

An Improved Poincaré-like Carleman Linearization Approach for Power System Nonlinear Analysis

  • Wang, Zhou-Qiang;Huang, Qi;Zhang, Chang-Hua
    • Journal of Electrical Engineering and Technology
    • /
    • 제8권2호
    • /
    • pp.271-281
    • /
    • 2013
  • In order to improve the performance of analysis, it is important to consider the nonlinearity in power system. The Carleman embedding technique (linearization procedure) provides an effective approach in reduction of nonlinear systems. In the approach, a group of differential equations in which the state variables are formed by the original state variables and the vector monomials one can build with products of positive integer powers of them, is constructed. In traditional Carleman linearization technique, the tensor matrix is truncated to form a square matrix, and then regular linear system theory is used to solve the truncated system directly. However, it is found that part of nonlinear information is neglected when truncating the Carleman model. This paper proposes a new approach to solve the problem, by combining the Poincar$\acute{e}$ transformation with the Carleman linearization. Case studies are presented to verify the proposed method. Modal analysis shows that, with traditional Carleman linearization, the calculated contribution factors are not symmetrical, while such problems are avoided in the improved approach.