• Title/Summary/Keyword: 벡터 모델

Search Result 1,379, Processing Time 0.033 seconds

On Characteristics of Word Embeddings by the Word2vec Model (Word2vec 모델의 단어 임베딩 특성 연구)

  • Kang, Hyungsuc;Yang, Janghoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.263-266
    • /
    • 2019
  • 단어 임베딩 모델 중 현재 널리 사용되는 word2vec 모델은 언어의 의미론적 유사성을 잘 반영한다고 알려져 있다. 본 논문은 word2vec 모델로 학습된 단어 벡터가 실제로 의미론적 유사성을 얼마나 잘 반영하는지 확인하는 것을 목표로 한다. 즉, 유사한 범주의 단어들이 벡터 공간상에 가까이 임베딩되는지 그리고 서로 구별되는 범주의 단어들이 뚜렷이 구분되어 임베딩되는지를 확인하는 것이다. 간단한 군집화 알고리즘을 통한 검증의 결과, 상식적인 언어 지식과 달리 특정 범주의 단어들은 임베딩된 벡터 공간에서 뚜렷이 구분되지 않음을 확인했다. 결론적으로, 단어 벡터들의 유사도가 항상 해당 단어들의 의미론적 유사도를 의미하지는 않는다. Word2vec 모델의 결과를 응용하는 향후 연구에서는 이런 한계점에 고려가 요청된다.

A Study on the Dense Vector Representation of Query-Passage for Open Domain Question Answering (오픈 도메인 질의응답을 위한 질문-구절의 밀집 벡터 표현 연구)

  • Minji Jung;Saebyeok Lee;Youngjune Kim;Cheolhun Heo;Chunghee Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.115-121
    • /
    • 2022
  • 질문에 답하기 위해 관련 구절을 검색하는 기술은 오픈 도메인 질의응답의 검색 단계를 위해 필요하다. 전통적인 방법은 정보 검색 기법인 빈도-역문서 빈도(TF-IDF) 기반으로 희소한 벡터 표현을 활용하여 구절을 검색한다. 하지만 희소 벡터 표현은 벡터 길이가 길 뿐만 아니라, 질문에 나오지 않는 단어나 토큰을 검색하지 못한다는 취약점을 가진다. 밀집 벡터 표현 연구는 이러한 취약점을 개선하고 있으며 대부분의 연구가 영어 데이터셋을 학습한 것이다. 따라서, 본 연구는 한국어 데이터셋을 학습한 밀집 벡터 표현을 연구하고 여러 가지 부정 샘플(negative sample) 추출 방법을 도입하여 전이 학습한 모델 성능을 비교 분석한다. 또한, 대화 응답 선택 태스크에서 밀집 검색에 활용한 순위 재지정 상호작용 레이어를 추가한 실험을 진행하고 비교 분석한다. 밀집 벡터 표현 모델을 학습하는 것이 도전적인 과제인만큼 향후에도 다양한 시도가 필요할 것으로 보인다.

  • PDF

Optimal Zero Vector Selecting Method to Reduce Switching Loss on Model Predictive Control of VSI (전압원 인버터의 모델 예측 제어에서 스위칭 손실을 줄이기 위한 최적의 제로 벡터 선택 방법)

  • Park, Jun-Cheol;Kwak, Sangshin
    • Proceedings of the KIPE Conference
    • /
    • 2014.11a
    • /
    • pp.23-24
    • /
    • 2014
  • 본 논문은 전압원 인버터를 모델 예측 제어 (Model Predictive Control)를 하는데 있어 스위칭 손실을 줄이기 위한 제로 벡터 (zero-vector) 선택 방법을 제안한다. 기존의 전압원 인버터의 모델 예측 제어는 제로 벡터의 중복을 선택하는 방법이 제시되지 않아, 이에 대한 연구가 필요하다. 본 논문에서는 제로 벡터의 중복을 선택하는 방법으로 스위칭 손실을 줄이기 위한 제로 시퀀스 전압을 생성하고, 생성된 제로 시퀀스 전압의 부호를 통해 제로 벡터의 중복을 선택하였다. 따라서 전류의 품질은 그대로 유지시키는 동시에 스위칭 손실을 감소시킬 수 있다. 이를 시뮬레이션으로 검증하였다.

  • PDF

Experiments of Illuminant Estimation in the Dichromatic Reflecton Model (Dichromatic 반사 모델에서의 조명성분 추출 실험)

  • 박명은;김성영;김민환
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2000.11a
    • /
    • pp.218-223
    • /
    • 2000
  • 영상에서 색상은 조명과 물체의 반사 특성에 의해 걸정되므로고 정확한 조명성분 추출을 통해 물체 고유의 색상을 복원할 수 있다. 물체 색상과 하이라이트 색상의 분포와 이들간의 관계를 잘 반영하여 모델링한 Dichromatic 반사 모델에서는, 3차원 RGB 공간에서의 하이라이트(highlight) 영역에 의한 클러스터 분포형상으로부터 표면반사벡터를 구해 이것을 조명벡터로 결정하였다. 그러나, 표면반사벡터의 방향은 물체색상의 영향을 받아 실제 조명벡터와 동일한 방향을 나타내지 못한다는 것을 실험을 통해 알 수 있었다. 실제적으로 하이라이트영역에 대한 클러스터는 물체 색상으로부터 조명색상에 근접한 방향으로 형성되며, 조명벡터로는 글러스터의 최대값으로 향하는 것을 취하는 것이 보다 정확하다는 특성이 있음을 확인하였다. 본 논문에서는 여러 가지 실험을 통해 이러한 특성이 타당함을 제시하고, 그래픽반사모델을 이용하여 하이라이트 색상에 대한 새로운 해석 방법을 제시한다.

  • PDF

Word Sense Similarity Clustering Based on Vector Space Model and HAL (벡터 공간 모델과 HAL에 기초한 단어 의미 유사성 군집)

  • Kim, Dong-Sung
    • Korean Journal of Cognitive Science
    • /
    • v.23 no.3
    • /
    • pp.295-322
    • /
    • 2012
  • In this paper, we cluster similar word senses applying vector space model and HAL (Hyperspace Analog to Language). HAL measures corelation among words through a certain size of context (Lund and Burgess 1996). The similarity measurement between a word pair is cosine similarity based on the vector space model, which reduces distortion of space between high frequency words and low frequency words (Salton et al. 1975, Widdows 2004). We use PCA (Principal Component Analysis) and SVD (Singular Value Decomposition) to reduce a large amount of dimensions caused by similarity matrix. For sense similarity clustering, we adopt supervised and non-supervised learning methods. For non-supervised method, we use clustering. For supervised method, we use SVM (Support Vector Machine), Naive Bayes Classifier, and Maximum Entropy Method.

  • PDF

A Study on Feature Extraction Performance of Naive Convolutional Auto Encoder to Natural Images (자연 영상에 대한 Naive Convolutional Auto Encoder의 특징 추출 성능에 관한 연구)

  • Lee, Sung Ju;Cho, Nam Ik
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.1286-1289
    • /
    • 2022
  • 최근 영상 군집화 분야는 딥러닝 모델에게 Self-supervision을 주거나 unlabeled 영상에 유사-레이블을 주는 방식으로 연구되고 있다. 또한, 고차원 컬러 자연 영상에 대해 잘 압축된 특징 벡터를 추출하는 것은 군집화에 있어 중요한 기준이 된다. 본 연구에서는 자연 영상에 대한 Convolutional Auto Encoder의 특징 추출 성능을 평가하기 위해 설계한 실험 방법을 소개한다. 특히 모델의 특징 추출 능력을 순수하게 확인하기 위하여 Self-supervision 및 유사-레이블을 제공하지 않은 채 Naive한 모델의 결과를 분석할 것이다. 먼저 실험을 위해 설계된 4가지 비지도학습 모델의 복원 결과를 통해 모델별 학습 정도를 확인한다. 그리고 비지도 모델이 다량의 unlabeled 영상으로 학습되어도 더 적은 labeled 데이터로 학습된 지도학습 모델의 특징 추출 성능에 못 미침을 특징 벡터의 군집화 및 분류 실험 결과를 통해 확인한다. 또한, 지도학습 모델에 데이터셋 간 교차 학습을 수행하여 출력된 특징 벡터의 군집화 및 분류 성능도 확인한다.

  • PDF

Vector-wise Masknet: A CTR(Click-Through Rate) Prediction Model (벡터 단위 Masknet: 클릭률 예측 모델)

  • Ying Sheng;Inwhee Joe
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.491-492
    • /
    • 2023
  • 클릭률(CTR) 예측은 많은 실제 응용 프로그램에서 가장 기본적인 작업 중 하나가 되었으며 이 분야에서 많은 고급 모델이 나았다. 그러나 가장 고전적인 CF(Collaborative Filtering) 모델에서 딥러닝 모델로 발전하는 과정에서 특징 교차의 기본 단위가 요소(비트 단위)가 아닌 특징(벡터 단위)이라는 사실을 기억하는 모델은 거의 없다. 이 논문에서는 Masknet 모델에 벡터 단위 교차를 적용하는 클릭률 예측 모델은 제안한다.Movielens 에 대해 예측 결과는 89.24%로 나타나고 원본 모델보다 효과가 더 좋다.

Estimation of software project effort with genetic algorithm and support vector regression (유전 알고리즘 기반의 서포트 벡터 회귀를 이용한 소프트웨어 비용산정)

  • Kwon, Ki-Tae;Park, Soo-Kwon
    • The KIPS Transactions:PartD
    • /
    • v.16D no.5
    • /
    • pp.729-736
    • /
    • 2009
  • The accurate estimation of software development cost is important to a successful development in software engineering. Until recent days, the model using regression analysis based on statistical algorithm and machine learning method have been used. However, this paper estimates the software cost using support vector regression, a sort of machine learning technique. Also, it finds the best set of optimized parameters applying genetic algorithm. The proposed GA-SVR model outperform some recent results reported in the literature.

A study on the application of residual vector quantization for vector quantized-variational autoencoder-based foley sound generation model (벡터 양자화 변분 오토인코더 기반의 폴리 음향 생성 모델을 위한 잔여 벡터 양자화 적용 연구)

  • Seokjin Lee
    • The Journal of the Acoustical Society of Korea
    • /
    • v.43 no.2
    • /
    • pp.243-252
    • /
    • 2024
  • Among the Foley sound generation models that have recently begun to be studied, a sound generation technique using the Vector Quantized-Variational AutoEncoder (VQ-VAE) structure and generation model such as Pixelsnail are one of the important research subjects. On the other hand, in the field of deep learning-based acoustic signal compression, residual vector quantization technology is reported to be more suitable than the conventional VQ-VAE structure. Therefore, in this paper, we aim to study whether residual vector quantization technology can be effectively applied to the Foley sound generation. In order to tackle the problem, this paper applies the residual vector quantization technique to the conventional VQ-VAE-based Foley sound generation model, and in particular, derives a model that is compatible with the existing models such as Pixelsnail and does not increase computational resource consumption. In order to evaluate the model, an experiment was conducted using DCASE2023 Task7 data. The results show that the proposed model enhances about 0.3 of the Fréchet audio distance. Unfortunately, the performance enhancement was limited, which is believed to be due to the decrease in the resolution of time-frequency domains in order to do not increase consumption of the computational resources.

Mobile Object Tracking Algorithm Using Particle Filter (Particle filter를 이용한 이동 물체 추적 알고리즘)

  • Kim, Se-Jin;Joo, Young-Hoon
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.19 no.4
    • /
    • pp.586-591
    • /
    • 2009
  • In this paper, we propose the mobile object tracking algorithm based on the feature vector using particle filter. To do this, first, we detect the movement area of mobile object by using RGB color model and extract the feature vectors of the input image by using the KLT-algorithm. And then, we get the first feature vectors by matching extracted feature vectors to the detected movement area. Second, we detect new movement area of the mobile objects by using RGB and HSI color model, and get the new feature vectors by applying the new feature vectors to the snake algorithm. And then, we find the second feature vectors by applying the second feature vectors to new movement area. So, we design the mobile object tracking algorithm by applying the second feature vectors to particle filter. Finally, we validate the applicability of the proposed method through the experience in a complex environment.