• 제목/요약/키워드: text vector

검색결과 284건 처리시간 0.024초

SVM을 이용한 화자인증 시스템 (Speaker Verification System Using Support Vector Machine)

  • 최우용;이경희;정용화
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2002년도 하계종합학술대회 논문집(4)
    • /
    • pp.409-412
    • /
    • 2002
  • There is a growing interest in speaker verification, which verifies someone by his/her voices. This paper explains the traditional text-dependent speaker verification algorithms, DTW and HMM. This paper also introduces SVM and how this can be applied to speaker verification system. Experiments were conducted with Korean database using these algorithms. The results of experiments indicated SVM is superior to other algorithms. The EER of SVM is only 0.5% while that of HMM is 5.4%.

  • PDF

건설 리스크 도출을 위한 SVM 기반의 건설프로젝트 문서 분류 모델 개발 (Development of SVM-based Construction Project Document Classification Model to Derive Construction Risk)

  • 강동욱;조민건;차기춘;박승희
    • 대한토목학회논문집
    • /
    • 제43권6호
    • /
    • pp.841-849
    • /
    • 2023
  • 건설프로젝트는 공기 지연, 건설 재해 등 다양한 요인으로 인한 리스크가 존재한다. 이러한 건설 리스크를 기반으로 건설프로젝트의 공사 기간의 산정 방법은 주로 감독자 경험에 의존한 주관적 판단으로 이루어지고 있다. 또한, 공기 지연과 건설 재해로 지연된 건설프로젝트 일정을 맞추기 위한 무리한 단축 시공은 부실시공 등의 부정적인 결과를 초래하며, 지연된 일정으로 인한 사회 기반 시설물 부재로 경제적 손실이 발생한다. 이러한 건설프로젝트의 리스크 해결을 위한 데이터 기반의 과학적 접근과 통계적 분석이 필요한 실정이다. 실제 건설프로젝트에서 수집되는 데이터는 비정형 텍스트 형태로 저장되어 있어 데이터를 기반으로 한 리스크를 적용하기 위해서는 데이터 전처리에 많은 인력과 비용을 수반하기 때문에 텍스트 마이닝을 활용한 데이터 분류 모델을 통한 기초자료를 요구한다. 따라서, 본 연구에서는 건설프로젝트 문서를 수집하여 텍스트 마이닝을 활용하여 SVM(Support Vector Machine) 기반의 데이터 분류 모델을 통해 리스크 관리를 위한 문서 기초자료 생성 분류 모델을 개발하였다. 향후 연구 결과를 통해 정량적인 분석을 통해서 건설프로젝트 공정관리 등에 있어 효율적이고 객관적인 기초자료로 활용되어 리스크 관리가 가능해질 것으로 기대된다.

키워드 자동 생성에 대한 새로운 접근법: 역 벡터공간모델을 이용한 키워드 할당 방법 (A New Approach to Automatic Keyword Generation Using Inverse Vector Space Model)

  • 조원진;노상규;윤지영;박진수
    • Asia pacific journal of information systems
    • /
    • 제21권1호
    • /
    • pp.103-122
    • /
    • 2011
  • Recently, numerous documents have been made available electronically. Internet search engines and digital libraries commonly return query results containing hundreds or even thousands of documents. In this situation, it is virtually impossible for users to examine complete documents to determine whether they might be useful for them. For this reason, some on-line documents are accompanied by a list of keywords specified by the authors in an effort to guide the users by facilitating the filtering process. In this way, a set of keywords is often considered a condensed version of the whole document and therefore plays an important role for document retrieval, Web page retrieval, document clustering, summarization, text mining, and so on. Since many academic journals ask the authors to provide a list of five or six keywords on the first page of an article, keywords are most familiar in the context of journal articles. However, many other types of documents could not benefit from the use of keywords, including Web pages, email messages, news reports, magazine articles, and business papers. Although the potential benefit is large, the implementation itself is the obstacle; manually assigning keywords to all documents is a daunting task, or even impractical in that it is extremely tedious and time-consuming requiring a certain level of domain knowledge. Therefore, it is highly desirable to automate the keyword generation process. There are mainly two approaches to achieving this aim: keyword assignment approach and keyword extraction approach. Both approaches use machine learning methods and require, for training purposes, a set of documents with keywords already attached. In the former approach, there is a given set of vocabulary, and the aim is to match them to the texts. In other words, the keywords assignment approach seeks to select the words from a controlled vocabulary that best describes a document. Although this approach is domain dependent and is not easy to transfer and expand, it can generate implicit keywords that do not appear in a document. On the other hand, in the latter approach, the aim is to extract keywords with respect to their relevance in the text without prior vocabulary. In this approach, automatic keyword generation is treated as a classification task, and keywords are commonly extracted based on supervised learning techniques. Thus, keyword extraction algorithms classify candidate keywords in a document into positive or negative examples. Several systems such as Extractor and Kea were developed using keyword extraction approach. Most indicative words in a document are selected as keywords for that document and as a result, keywords extraction is limited to terms that appear in the document. Therefore, keywords extraction cannot generate implicit keywords that are not included in a document. According to the experiment results of Turney, about 64% to 90% of keywords assigned by the authors can be found in the full text of an article. Inversely, it also means that 10% to 36% of the keywords assigned by the authors do not appear in the article, which cannot be generated through keyword extraction algorithms. Our preliminary experiment result also shows that 37% of keywords assigned by the authors are not included in the full text. This is the reason why we have decided to adopt the keyword assignment approach. In this paper, we propose a new approach for automatic keyword assignment namely IVSM(Inverse Vector Space Model). The model is based on a vector space model. which is a conventional information retrieval model that represents documents and queries by vectors in a multidimensional space. IVSM generates an appropriate keyword set for a specific document by measuring the distance between the document and the keyword sets. The keyword assignment process of IVSM is as follows: (1) calculating the vector length of each keyword set based on each keyword weight; (2) preprocessing and parsing a target document that does not have keywords; (3) calculating the vector length of the target document based on the term frequency; (4) measuring the cosine similarity between each keyword set and the target document; and (5) generating keywords that have high similarity scores. Two keyword generation systems were implemented applying IVSM: IVSM system for Web-based community service and stand-alone IVSM system. Firstly, the IVSM system is implemented in a community service for sharing knowledge and opinions on current trends such as fashion, movies, social problems, and health information. The stand-alone IVSM system is dedicated to generating keywords for academic papers, and, indeed, it has been tested through a number of academic papers including those published by the Korean Association of Shipping and Logistics, the Korea Research Academy of Distribution Information, the Korea Logistics Society, the Korea Logistics Research Association, and the Korea Port Economic Association. We measured the performance of IVSM by the number of matches between the IVSM-generated keywords and the author-assigned keywords. According to our experiment, the precisions of IVSM applied to Web-based community service and academic journals were 0.75 and 0.71, respectively. The performance of both systems is much better than that of baseline systems that generate keywords based on simple probability. Also, IVSM shows comparable performance to Extractor that is a representative system of keyword extraction approach developed by Turney. As electronic documents increase, we expect that IVSM proposed in this paper can be applied to many electronic documents in Web-based community and digital library.

CML을 이용한 웹 기반 차트출력시스템 (Web-based Chart Generating System Using CML)

  • 윤현님;김양우
    • 인터넷정보학회논문지
    • /
    • 제9권5호
    • /
    • pp.47-58
    • /
    • 2008
  • 차트는 여러 종류의 정보를 시각적으로 표현하기 때문에 정보 전달력이 높다. 이런 이유로 웹 개발자들도 정보를 표현할 때 차트를 자주 활용한다. 그러나 차트를 활용하기 위해서는 차트를 작성하는 전용 프로그램이 필요하며, 작성된 차트도 일반적으로 래스터 방식의 이미지로 표현되기 때문에 차트정보를 공유하기 어렵다. 이러한 래스터 방식의 이미지는 이미지의 크기가 고정되기 때문에 이미지의 크기를 변경하면 이미지가 왜곡된다는 문제점이 발생한다. 본 논문에서는 차트정보의 호환성과 차트정보의 공유 문제를 해결하기 위해 CML(Chart Markup Language)을 이용한 웹 기반의 차트출력시스템을 제안한다. 본 논문에서 제안한 차트출력시스템은 XML, Text, HTML 문서를 분석하여 차트정보를 추출한 후, 추출한 차트정보를 CML로 변환하고, 변환된 CML문서를 벡터 방식을 이용하여 차트를 웹브라우저에 출력한다. 벡터 방식은 이미지를 표현할 때 벡터를 활용하기 때문에 이미지의 크기가 변경되더라도 이미지가 깨지거나 왜곡되는 현상이 없다는 장점이 있다. 본 논문에서 제안한 CML은 차트정보를 표현하기 위해 정의한 XML 기반의 차트생성언어이다. 웹에서 차트를 표현할 때 CML을 활용하면 차트정보를 쉽게 공유할 수 있으며, 차트정보 변환이 수월하다는 장점이 있다.

  • PDF

텐서공간모델 기반 시멘틱 검색 기법 (A Tensor Space Model based Semantic Search Technique)

  • 홍기주;김한준;장재영;전종훈
    • 한국전자거래학회지
    • /
    • 제21권4호
    • /
    • pp.1-14
    • /
    • 2016
  • 시멘틱 검색은 검색 사용자의 인지적 노력을 최소화하면서 사용자 질의의 문맥을 이해하여 의미에 맞는 문서를 정확히 찾아주는 기술이다. 아직 시멘틱 검색 기술은 온톨로지 또는 시멘틱 메타데이터 구축의 난제를 갖고 있으며 상용화 사례도 매우 미흡한 실정이다. 본 논문은 기존 시멘틱 검색 엔진의 한계를 극복하기 위하여 이전 연구에서 고안한 위키피디아 기반의 시멘틱 텐서공간모델을 활용하여 새로운 시멘틱 검색 기법을 제안한다. 제안하는 시멘틱 기법은 문서 집합에 출현하는 '단어'가 텐서공간모델에서 '문서-개념'의 2차 텐서(행렬), '개념'은 '문서-단어'의 2차 텐서로 표현된다는 성질을 이용하여 시멘틱 검색을 위해 요구되는 온톨로지 구축의 필요성을 없앤다. 그럼에도 불구하고, OHSUMED, SCOPUS 데이터셋을 이용한 성능평가를 통해 제안 기법이 벡터공간모델에서의 기존 검색 기법보다 우수함을 보인다.

감정 기반 블로그 문서 분류를 위한 부정어 처리 및 단어 가중치 적용 기법의 효과에 대한 연구 (A Study on Negation Handling and Term Weighting Schemes and Their Effects on Mood-based Text Classification)

  • 정유철;최윤정;맹성현
    • 인지과학
    • /
    • 제19권4호
    • /
    • pp.477-497
    • /
    • 2008
  • 일상생활에서 많이 쓰이는 블로그 문서를 분석하는 것은 다양한 웹 응용서비스를 연결할 수 있는 중요한 단초를 제시하므로, 블로그 문서에 담긴 감정을 파악하는 것을 매우 유용한 일이다. 본 논문에서는 블로그 문서에 존재하는 감정을 보다 정확하게 분류하기 위해 부정어 처리와 새로운 단어 가중치의 적용이 성능에 미치는 영향에 대해 탐구한다. 특히, 감정단서(clue)가 내재된 정규화된 부정어 n-gram을 통해 부정어 처리를 고도화하고 말뭉치기반 단어 가중치 계산법(Corpus-specific Term Weighting, CSTW)을 통해 감정 분류 성능향상을 살펴보기로 한다. 검증을 위해 블로그 문서들로 정답 말뭉치를 구축하고 감정 흐름 분석(Enhanced Mood Flow Analysis, EMFA)과 지지벡터기계기반 감정 분류(Support Vector Machine based Mood Classification, SVMMC)의 두 가지 분류기법에 대해 실험을 하였다. 정규화된 부정어 n-gram의 적용은 EMFA에서 점진적인 감정 분류 성능 향상을 보여주었으며, CSTW의 적용은 TF*IDF나 TF에 비해 보다 높은 감정 분류 성능을 나타내었다.

  • PDF

모바일 기기와 가상 스토리지 기술을 적용한 자동적 및 편재적 음성형 지식 획득 (Mobile Device and Virtual Storage-Based Approach to Automatically and Pervasively Acquire Knowledge in Dialogues)

  • 유기동
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.1-17
    • /
    • 2012
  • 최근에 들어 많은 관심과 인기 속에 사용되고 있는 스마트폰은 클라우드 컴퓨팅의 편재적 기능성을 접목하여 즉각적인 지식의 획득에 효과적으로 활용될 수 있다. 또한 지식의 주제어 또는 명칭을 자동으로 파악하여 해당 지식을 저장할 수 있다면 전반적인 지식 획득 과정이 자동화될 수 있다. 본 논문은 텍스트마이닝 기반 주제어 추출 기술과 클라우드 스토리지 기반 스마트폰을 접목하여 지식이 발생되는 지점 및 시점에 즉각적으로 해당 지식을 획득할 수 있는 학제적 방안을 제시한다. 이를 위해 스마트폰은 지식이 포함된, 지식소유자의 대화를 녹음하는 역할을 함과 동시에 지식소유자의 대화의 내용을 부가적으로 특성화 할 수 있는 상황정보를 채취할 수 있는 센서의 역할을 수행한다. 또한 기계학습 알고리듬 중 텍스트마이닝분야에서 우수한 성능을 나타내는 것으로 알려진 Support Vector Machine 알고리듬을 사용하여 해당 대화의 주제어를 추출한다. 파악된 주제어와 상황정보를 연관시켜 일종의 비즈니스 규칙을 생성할 수 있으며, 최종적으로 규칙, 주제어, 상황정보, 그리고 문서화된 대화를 종합하여 하나의 지식을 자동으로 획득할 수 있다.

한국어 구 단위화를 위한 규칙 기반 방법과 기억 기반 학습의 결합 (A Hybrid of Rule based Method and Memory based Loaming for Korean Text Chunking)

  • 박성배;장병탁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권3호
    • /
    • pp.369-378
    • /
    • 2004
  • 한국어나 일본어와 같이 부분 어순 자유 언어에서는 규칙 기반 방법이 구 단위화에 있어서 매우 유용한 방법이며, 실제로 잘 발달된 조사와 어미를 활용하면 소수의 규칙만으로도 여러 가지 기계학습 기법들만큼 높은 성능을 보일 수 있다. 하지만, 이 방법은 규칙의 예외를 처리할 수 있는 방법이 없다는 단점이 있다. 예외 처리는 자연언어처리에서 매우 중요한 문제이며, 기억 기반 학습이 이 문제를 효과적으로 다룰 수 있다. 본 논문에서는, 한국어 단위화를 위해서 규칙 기반 방법과 기억 기반 학습을 결합하는 방법을 제시한다. 제시된 방법은 우선 규칙에 기초하고, 규칙으로 추정한 단위를 기억 기반 학습으로 검증한다. STEP 2000 말뭉치에 대한 실험 결과, 본 논문에서 제시한 방법이 규칙이나 여러 기계학습 기법을 단독으로 사용하였을 때보다 높은 성능을 보였다. 규칙과 구 단위화에 가장 좋은 성능을 보인 Support Vector Machines의 F-score가 각각 91.87과 92.54인데 비하여, 본 논문에서 제시된 방법의 최종 F-score 는 94.19이다.