• 제목/요약/키워드: text vector

검색결과 284건 처리시간 0.021초

Inverted Index based Modified Version of KNN for Text Categorization

  • Jo, Tae-Ho
    • Journal of Information Processing Systems
    • /
    • 제4권1호
    • /
    • pp.17-26
    • /
    • 2008
  • This research proposes a new strategy where documents are encoded into string vectors and modified version of KNN to be adaptable to string vectors for text categorization. Traditionally, when KNN are used for pattern classification, raw data should be encoded into numerical vectors. This encoding may be difficult, depending on a given application area of pattern classification. For example, in text categorization, encoding full texts given as raw data into numerical vectors leads to two main problems: huge dimensionality and sparse distribution. In this research, we encode full texts into string vectors, and modify the supervised learning algorithms adaptable to string vectors for text categorization.

문서 범주화를 이용한 지식관리시스템에서의 전문가 분류 자동화 (Automation of Expert Classification in Knowledge Management Systems Using Text Categorization Technique)

  • 양근우;허순영
    • Asia pacific journal of information systems
    • /
    • 제14권2호
    • /
    • pp.115-130
    • /
    • 2004
  • This paper proposes how to build an expert profile database in KMS, which provides the information of expertise that each expert possesses in the organization. To manage tacit knowledge in a knowledge management system, recent researches in this field have shown that it is more applicable in many ways to provide expert search mechanisms in KMS to pinpoint experts in the organizations with searched expertise so that users can contact them for help. In this paper, we develop a framework to automate expert classification using a text categorization technique called Vector Space Model, through which an expert database composed of all the compiled profile information is built. This approach minimizes the maintenance cost of manual expert profiling while eliminating the possibility of incorrectness and obsolescence resulted from subjective manual processing. Also, we define the structure of expertise so that we can implement the expert classification framework to build an expert database in KMS. The developed prototype system, "Knowledge Portal for Researchers in Science and Technology," is introduced to show the applicability of the proposed framework.

색기반 이진화를 이용한 장면 텍스트 추출과 써포트 벡터머신을 이용한 텍스트 영역 검증 (Scene Text Detection Using Color-Based Binarization and Text Region Verification Using Support Vector Machine)

  • 장대근;김의정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2007년도 춘계종합학술대회
    • /
    • pp.161-163
    • /
    • 2007
  • 기존의 텍스트 추출을 위한 이진화 방법은 입력 이미지를 명도 이미지로 변환한 뒤 이진화 하는 방법을 사용하였다. 이러한 방법은 칼라 이미지에서는 극명히 구분되는 색이라 할지라도 명도 이미지로 변환하는 과정에서 같은 밝기를 같게 되는 경우(예를 들어, 배경은 붉은색, 텍스트는 초록색), 텍스트를 추출하는 데 어려움이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 입력 이미지를 R, G, B로 분리하고 각각을 이진화 하여 텍스트를 추출하고 다해상도 웨이블릿(Wavelet) 변환을 이용하여 텍스트의 획 특징을 추출하여 추출된 특징들을 SVM(Support Vector Machine) 분류기로 검증하여 최종 텍스트 영역을 확정한다. 제안한 방법을 적용함으로써 명도 정보만으로는 추출하기 어려웠던 텍스트 영역을 효과적으로 추출하고 텍스트와 구별하기 어려운 영역을 획수준으로 검증할 수 있었다.

  • PDF

A Novel Text to Image Conversion Method Using Word2Vec and Generative Adversarial Networks

  • LIU, XINRUI;Joe, Inwhee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.401-403
    • /
    • 2019
  • In this paper, we propose a generative adversarial networks (GAN) based text-to-image generating method. In many natural language processing tasks, which word expressions are determined by their term frequency -inverse document frequency scores. Word2Vec is a type of neural network model that, in the case of an unlabeled corpus, produces a vector that expresses semantics for words in the corpus and an image is generated by GAN training according to the obtained vector. Thanks to the understanding of the word we can generate higher and more realistic images. Our GAN structure is based on deep convolution neural networks and pixel recurrent neural networks. Comparing the generated image with the real image, we get about 88% similarity on the Oxford-102 flowers dataset.

텔레매틱스 환경에서 화자인증을 이용한 VoIP기반 음성 보안통신 (VoIP-Based Voice Secure Telecommunication Using Speaker Authentication in Telematics Environments)

  • 김형국;신동
    • 한국ITS학회 논문지
    • /
    • 제10권1호
    • /
    • pp.84-90
    • /
    • 2011
  • 본 논문은 텔레매틱스 환경에서 문장독립형 화자인증을 이용한 VoIP 음성 보안통신기술을 제안한다. 보안통신을 위해 송신측에서는 화자의 음성정보로부터 생성된 공개키를 통해 음성 패킷을 암호화하여 수신측에 전송함으로써 중간자 공격에 대항한다. 수신측에서는 수신된 암호화된 음성패킷을 복호화한 후에 추출된 음성 특징과 송신측으로부터 수신받은 음성키를 비교하여 화자인증을 수행한다. 제안된 방식에서는 Gaussian Mixture Model(GMM)-supervector를 Bayesian information criterion (BIC) 방식과 Mahalanobis distance (MD) 방식을 이용한 Support Vector Machine (SVM) 커널에 적용하여 문장독립형 화자인증 정확도를 향상시켰다.

On Statistical Estimation of Multivariate (Vector-valued) Process Capability Indices with Bootstraps)

  • Cho, Joong-Jae;Park, Byoung-Sun;Lim, Soo-Duck
    • Communications for Statistical Applications and Methods
    • /
    • 제8권3호
    • /
    • pp.697-709
    • /
    • 2001
  • In this paper we study two vector-valued process capability indices $C_{p}$=($C_{px}$, $C_{py}$ ) and C/aub pm/=( $C_{pmx}$, $C_{pmy}$) considering process capability indices $C_{p}$ and $C_{pm}$ . First, two asymptotic distributions of plug-in estimators $C_{p}$=($C_{px}$, $C_{py}$ ) and $C_{pm}$ =) $C_{pmx}$, $C_{pmy}$) are derived.. With the asymptotic distributions, we propose asymptotic confidence regions for our indices. Next, obtaining the asymptotic distributions of two bootstrap estimators $C_{p}$=($C_{px}$, $C_{py}$ )and $C_{pm}$ =( $C_{pmx}$, $C_{pmy}$) with our bootstrap algorithm, we will provide the consistency of our bootstrap for statistical inference. Also, with the consistency of our bootstrap, we propose bootstrap asymptotic confidence regions for our indices. (no abstract, see full-text)see full-text)e full-text)

  • PDF

Identifying Mobile Owner based on Authorship Attribution using WhatsApp Conversation

  • Almezaini, Badr Mohammd;Khan, Muhammad Asif
    • International Journal of Computer Science & Network Security
    • /
    • 제21권7호
    • /
    • pp.317-323
    • /
    • 2021
  • Social media is increasingly becoming a part of our daily life for communicating each other. There are various tools and applications for communication and therefore, identity theft is a common issue among users of such application. A new style of identity theft occurs when cybercriminals break into WhatsApp account, pretend as real friends and demand money or blackmail emotionally. In order to prevent from such issues, data mining can be used for text classification (TC) in analysis authorship attribution (AA) to recognize original sender of the message. Arabic is one of the most spoken languages around the world with different variants. In this research, we built a machine learning model for mining and analyzing the Arabic messages to identify the author of the messages in Saudi dialect. Many points would be addressed regarding authorship attribution mining and analysis: collect Arabic messages in the Saudi dialect, filtration of the messages' tokens. The classification would use a cross-validation technique and different machine-learning algorithms (Naïve Baye, Support Vector Machine). Results of average accuracy for Naïve Baye and Support Vector Machine have been presented and suggestions for future work have been presented.

Mahalanobis 거리측정 방법 기반의 GMM-Supervector SVM 커널을 이용한 화자인증 방법 (Speaker Verification Using SVM Kernel with GMM-Supervector Based on the Mahalanobis Distance)

  • 김형국;신동
    • 한국음향학회지
    • /
    • 제29권3호
    • /
    • pp.216-221
    • /
    • 2010
  • 본 논문에서는 Gaussian Mixture Model (GMM)-supervector의 Mahalanobis 거리측정 방법 기반의 Support Vector Machine (SVM) 커널을 이용한 새로운 화자인증 방법을 제안한다. 제안된 GMM-supervector SVM 커널방식은 GMM 방식과 SVM 방식을 결합한 방식으로서, GMM 파라미터에 의해 형성된 화자 및 비 화자 GMM-supervectors의 화자인증 임계값을 Mahalanobis 거리측정 방법기반의 SVM 커널에 적용함으로써 화자인증 정확도를 높인다. 제안한 방식의 성능 측정을 위해 20명의 화자를 대상으로 문장독립형 화자인증 실험을 수행하여 기존에 사용되고 있는 GMM, SVM, Kullback-Leibler (KL) divergence 거리측정 방법 기반의 GMM-supervector SVM 커널, Bhattacharyya 거리측정 방법기반의 GMM-supervector SVM 커널 방식을 통한 화자인증 결과들과 비교하였다.

Text Summarization on Large-scale Vietnamese Datasets

  • Ti-Hon, Nguyen;Thanh-Nghi, Do
    • Journal of information and communication convergence engineering
    • /
    • 제20권4호
    • /
    • pp.309-316
    • /
    • 2022
  • This investigation is aimed at automatic text summarization on large-scale Vietnamese datasets. Vietnamese articles were collected from newspaper websites and plain text was extracted to build the dataset, that included 1,101,101 documents. Next, a new single-document extractive text summarization model was proposed to evaluate this dataset. In this summary model, the k-means algorithm is used to cluster the sentences of the input document using different text representations, such as BoW (bag-of-words), TF-IDF (term frequency - inverse document frequency), Word2Vec (Word-to-vector), Glove, and FastText. The summary algorithm then uses the trained k-means model to rank the candidate sentences and create a summary with the highest-ranked sentences. The empirical results of the F1-score achieved 51.91% ROUGE-1, 18.77% ROUGE-2 and 29.72% ROUGE-L, compared to 52.33% ROUGE-1, 16.17% ROUGE-2, and 33.09% ROUGE-L performed using a competitive abstractive model. The advantage of the proposed model is that it can perform well with O(n,k,p) = O(n(k+2/p)) + O(nlog2n) + O(np) + O(nk2) + O(k) time complexity.

전자우편 문서의 자동분류를 위한 다중 분류기 결합 (Combining Multiple Classifiers for Automatic Classification of Email Documents)

  • 이지행;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권3호
    • /
    • pp.192-201
    • /
    • 2002
  • 디지털 형태의 문서가 널리 퍼지고 끊임없이 증가함에 따라 이를 자동으로 가공하고 처리하는 문서 자동분류의 중요성이 널리 인식되고 있다. 최근의 문서 자동분류는 k-최근접 이웃, 결정트리, Support Vector Machine, 신경망 등의 다양한 기계학습 기법을 이용하여 연구되고 있다. 그러나 많은 연구가 잘 조직된 데이타 집합을 이용하여 연구결과를 보여주고 있으며, 실제 문제에의 응용성에는 큰 비중을 두지 않고 있다. 본 논문에서는 문서분류의 응용시스템인 질의 자동응답시스템에 적용할 수 있는 다중분류기 결합 방법을 제안하고 실제 전자우편 문서의 분류문제를 해결한다. 첫째로, 다중신경 망을 이용한 문서분류를 제안한다. 제안한 방법은 최대값 결합, 신경망 결합을 통해 성능의 향상을 가져온다. 둘째로, 여러 분류기의 결합을 통해 문서분류의 성능을 개선한다. 본 논문에서는 투표 결합방법, Borda 결합, 신경망 결합방법 등을 적용하여 여러 분류기의 결합을 수행하였다. 실용 가능성을 분석한 실험결과 90%이상의 정확율을 보여 제안한 방법이 실용적일 수 있음을 알 수 있었다.