• 제목/요약/키워드: Document Feature Vector

검색결과 51건 처리시간 0.021초

2-D Conditional Moment for Recognition of Deformed Letters

  • Yoon, Myoong-Young
    • 한국산업정보학회논문지
    • /
    • 제6권2호
    • /
    • pp.16-22
    • /
    • 2001
  • 본 논문에서는 화상자료의 특성인 이웃 화소간의 종속성을 표현하는데 적합한 깁스분포를 바탕으로 특징벡터를 추출하여 변형된 글자를 인식하는 새로운 방법을 제안하였다. 추출된 특징벡터는 이미지의 크기, 위치, 회전에 대하여 불변한 특성을 갖는 2차원 조건부 모멘트로 구성된다. 변형된 글자 인식을 위한 알고리즘은 특징벡터 추출하는 과정과 패턴을 인식하는 과정으로 구성하였다. (i) 특징벡터는 하나의 이미지에 대하여 추정된 조건부 깁스분포를 바탕으로 2차원 조건부 모멘트를 계산하여 추출한다. (ii) 변형된 문자 인식은 제안된 판별거리함수를 계산하여 최소거리를 산출한 미지의 변형된 문자를 원형문자로 인식한다. 제안된 방법에 대한 성능평가를 위하여, 생성된 훈련 데이터를 만들어 Workstation에서 실험 한 결과 96%이상의 인식성능이 있음을 밝혔다.

  • PDF

Gabor, MDLC, Co-Occurrence 특징의 융합에 의한 언어 인식 (Language Identification by Fusion of Gabor, MDLC, and Co-Occurrence Features)

  • 장익훈;김지홍
    • 한국멀티미디어학회논문지
    • /
    • 제17권3호
    • /
    • pp.277-286
    • /
    • 2014
  • 본 논문에서는 Gabor 특징과 MDLC 특징, 그리고 co-occurrence 특징의 융합에 의한 질감 특징 기반언어 인식 방법을 제안한다. 제안된 방법에서는 먼저 시험 영상에 Gabor 변환에 이은 크기 연산자를 적용하여 Gabor 크기 영상을 얻고 그 통계치를 계산하여 결과를 벡터화한다. 이어서 MDLC 연산자를 이용하여 MDLC 영상을 얻고 역시 그 통계치를 계산하여 벡터화한다. 다음으로 시험 영상으로부터 GLCM을 계산하고 이를 이용하여 co-occurrence 특징을 계산한 다음 벡터화한다. 이들 Gabor, MDLC, co-occurrence 특징에 의한 벡터들은 벡터 융합에 의하여 특징 벡터로 사용된다. 분류 단계에서는 얼굴 인식에 주로 사용되는 WPCA를 분류기로 하여 시험 특징 벡터와 가장 유사한 학습 특징 벡터를 찾는다. 제안된 방법의 성능은 15개국 언어의 문서를 스캔하여 얻은 시험 문서 영상 DB에 대한 평균 인식률을 조사하여 알아본다. 실험 결과 제안된 방법은 시험 DB에 대하여 비교적 낮은 특징 벡터 차원으로 매우 우수한 언어 인식 성능을 보여준다.

한글 형태소 및 키워드 분석에 기반한 웹 문서 분류 (Web Document Classification Based on Hangeul Morpheme and Keyword Analyses)

  • 박단호;최원식;김홍조;이석룡
    • 정보처리학회논문지D
    • /
    • 제19D권4호
    • /
    • pp.263-270
    • /
    • 2012
  • 최근 초고속 인터넷과 대용량 데이터베이스 기술의 발전으로 웹 문서의 양이 크게 증가하였으며, 이를 효과적으로 관리하기 위하여 문서의 주제별 자동 분류가 중요한 문제로 대두되고 있다. 본 연구에서는 한글 형태소 및 키워드 분석에 기초한 문서 특성 추출 방법을 제안하고, 이를 이용하여 웹 문서와 같은 비구조적 문서의 주제를 예측하여 문서를 자동으로 분류하는 방법을 제시한다. 먼저, 문서 특성 추출을 위하여 한글 형태소 분석기를 사용하여 용어를 선별하고, 각 용어의 빈도와 주제 분별력을 기초로 주제 분별 용어인 키워드 집합을 생성한 후, 각 키워드에 대하여 주제 분별력에 따라 점수화한다. 다음으로, 추출된 문서 특성을 기초로 상용 소프트웨어를 사용하여 의사 결정 트리, 신경망 및 SVM의 세 가지 분류 모델을 생성하였다. 실험 결과, 제안한 특성 추출 방법을 이용한 문서 분류는 의사 결정 트리 모델의 경우 평균 Precision 0.90 및 Recall 0.84 로 상당한 정도의 분류 성능을 보여 주었다.

다차원 데이터에 대한 심층 군집 네트워크의 성능향상 방법 (Performance Improvement of Deep Clustering Networks for Multi Dimensional Data)

  • 이현진
    • 한국멀티미디어학회논문지
    • /
    • 제21권8호
    • /
    • pp.952-959
    • /
    • 2018
  • Clustering is one of the most fundamental algorithms in machine learning. The performance of clustering is affected by the distribution of data, and when there are more data or more dimensions, the performance is degraded. For this reason, we use a stacked auto encoder, one of the deep learning algorithms, to reduce the dimension of data which generate a feature vector that best represents the input data. We use k-means, which is a famous algorithm, as a clustering. Sine the feature vector which reduced dimensions are also multi dimensional, we use the Euclidean distance as well as the cosine similarity to increase the performance which calculating the similarity between the center of the cluster and the data as a vector. A deep clustering networks combining a stacked auto encoder and k-means re-trains the networks when the k-means result changes. When re-training the networks, the loss function of the stacked auto encoder and the loss function of the k-means are combined to improve the performance and the stability of the network. Experiments of benchmark image ad document dataset empirically validated the power of the proposed algorithm.

단어의 의미와 문맥을 고려한 순환신경망 기반의 문서 분류 (Document Classification using Recurrent Neural Network with Word Sense and Contexts)

  • 주종민;김남훈;양형정;박혁로
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권7호
    • /
    • pp.259-266
    • /
    • 2018
  • 본 논문에서는 단어의 순서와 문맥을 고려하는 특징을 추출하여 순환신경망(Recurrent Neural Network)으로 문서를 분류하는 방법을 제안한다. 단어의 의미를 고려한 word2vec 방법으로 문서내의 단어를 벡터로 표현하고, 문맥을 고려하기 위해 doc2vec으로 입력하여 문서의 특징을 추출한다. 문서분류 방법으로 이전 노드의 출력을 다음 노드의 입력으로 포함하는 RNN 분류기를 사용한다. RNN 분류기는 신경망 분류기 중에서도 시퀀스 데이터에 적합하기 때문에 문서 분류에 좋은 성능을 보인다. RNN에서도 그라디언트가 소실되는 문제를 해결해주고 계산속도가 빠른 GRU(Gated Recurrent Unit) 모델을 사용한다. 실험 데이터로 한글 문서 집합 1개와 영어 문서 집합 2개를 사용하였고 실험 결과 GRU 기반 문서 분류기가 CNN 기반 문서 분류기 대비 약 3.5%의 성능 향상을 보였다.

작성자 분석 기반의 공격 메일 탐지를 위한 분류 모델 (A Classification Model for Attack Mail Detection based on the Authorship Analysis)

  • 홍성삼;신건윤;한명묵
    • 인터넷정보학회논문지
    • /
    • 제18권6호
    • /
    • pp.35-46
    • /
    • 2017
  • 최근 사이버보안에서 악성코드를 이용한 공격은 메일에 악성코드를 첨부하여 이를 사용자가 실행하도록 유도하여 공격을 수행하는 형태가 늘어나고 있다. 특히 문서형태의 파일을 첨부하여 사용자가 쉽게 실행하게 되어 위험하다. 저자 분석은 NLP(Neutral Language Process) 및 텍스트 마이닝 분야에서 연구되어지고 있는 분야이며, 특정 언어로 이루어진 텍스트 문장, 글, 문서를 분석하여 작성한 저자를 분석하는 방법들은 연구하는 분야이다. 공격 메일의 경우 일정 공격자에 의해 작성되어지기 때문에 메일 내용 및 첨부된 문서 파일을 분석하여 해당 저자를 식별하면 정상메일과 더욱 구별된 특징들을 발견할 수 있으며, 탐지 정확도를 향상시킬 수 있다. 본 논문에서는 기존의 기계학습 기반의 스팸메일 탐지 모델에서 사용되는 특징들과 문서의 저자 분석에 사용되는 특징들로부터 공격메일을 분류 및 탐지를 할 수 있는 feature vector 및 이에 적합한 IADA2(Intelligent Attack mail Detection based on Authorship Analysis)탐지 모델을 제안하였다. 단순히 단어 기반의 특징들로 탐지하던 스팸메일 탐지 모델들을 개선하고, n-gram을 적용하여 단어의 시퀀스 특성을 반영한 특징을 추출하였다. 실험결과, 특징의 조합과 특징선택 기법, 적합한 모델들에 따라 성능이 개선됨을 검증할 수 있었으며, 제안하는 모델의 성능의 우수성과 개선 가능성을 확인할 수 있었다.

의미특징과 워드넷 기반의 의사 연관 피드백을 사용한 질의기반 문서요약 (Query-based Document Summarization using Pseudo Relevance Feedback based on Semantic Features and WordNet)

  • 김철원;박선
    • 한국정보통신학회논문지
    • /
    • 제15권7호
    • /
    • pp.1517-1524
    • /
    • 2011
  • 본 논문은 의미특징과 워드넷 기반의 의사연관피드백을 이용하여 사용자의 질의에 관련 있는 의미 있는 문장을 추출하여 문서요약을 하는 새로운 방법을 제안한다. 제안된 방법은 비음수 행렬 분해로부터 유도된 의미특정이 문서의 잠재의미를 잘 나타나기 때문에 문서요약의 질을 향상할 수 있다. 또한 의미특정과 워드넷기반의 의사연관피드백을 이용하여서 사용자의 요구사항과 제안방법의 요약결과 사이의 의미적 차이를 감소시킨다. 실험결과 제안방법이 유사도, 비음수행렬분해를 이용한 방법들에 비하여 좋은 성능을 보인다.

주성분 분석과 k 평균 알고리즘을 이용한 문서군집 방법 (Document Clustering Technique by K-means Algorithm and PCA)

  • 김우생;김수영
    • 한국정보통신학회논문지
    • /
    • 제18권3호
    • /
    • pp.625-630
    • /
    • 2014
  • 컴퓨터의 발전과 인터넷의 급속한 발전으로 정보의 양이 폭발적으로 증가하게 되었고 이러한 방대한 양의 정보들은 대부분 문서 형태로 관리되기 때문에, 이들을 효과적으로 검색하고 처리하는 방법의 연구가 필요하다. 문서 군집은 문서간의 유사도를 바탕으로 서로 연관된 문서들을 군집화하여 대용량의 문서들을 자동으로 분류하고 검색하고 처리하는데 효율과 정확성을 증대시킨다. 본 논문은 특징 벡터 공간 상의 벡터들로 표현되는 문서들을 K 평균 알고리즘으로 군집화할 때, 주성분 분석을 사용하여 초기 시드점들을 선정함으로써 군집의 효율을 높이는 방법을 제안한다. 실험 결과를 통하여 제안하는 기법이 기존의 K 평균 알고리즘보다 좋은 결과를 얻을 수 있음을 보였다.

Automated Analysis Approach for the Detection of High Survivable Ransomware

  • Ahmed, Yahye Abukar;Kocer, Baris;Al-rimy, Bander Ali Saleh
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권5호
    • /
    • pp.2236-2257
    • /
    • 2020
  • Ransomware is malicious software that encrypts the user-related files and data and holds them to ransom. Such attacks have become one of the serious threats to cyberspace. The avoidance techniques that ransomware employs such as obfuscation and/or packing makes it difficult to analyze such programs statically. Although many ransomware detection studies have been conducted, they are limited to a small portion of the attack's characteristics. To this end, this paper proposed a framework for the behavioral-based dynamic analysis of high survivable ransomware (HSR) with integrated valuable feature sets. Term Frequency-Inverse document frequency (TF-IDF) was employed to select the most useful features from the analyzed samples. Support Vector Machine (SVM) and Artificial Neural Network (ANN) were utilized to develop and implement a machine learning-based detection model able to recognize certain behavioral traits of high survivable ransomware attacks. Experimental evaluation indicates that the proposed framework achieved an area under the ROC curve of 0.987 and a few false positive rates 0.007. The experimental results indicate that the proposed framework can detect high survivable ransomware in the early stage accurately.

효과적인 문서 수준의 정보를 이용한 합성곱 신경망 기반의 신규성 탐지 (CNN-Based Novelty Detection with Effectively Incorporating Document-Level Information)

  • 조성웅;오흥선;임상훈;김선호
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권10호
    • /
    • pp.231-238
    • /
    • 2020
  • 웹 상에 수 많은 문서가 등장함에 따라 기존 문서와 내용이 중복되는 문서를 찾아서 제외함으로써 새로운 문서를 찾는 노력을 줄일 수 있어 문서 수준의 신규성 탐지(novelty detection)가 중요해졌다. 최근 연구에서는 합성곱 신경망(CNN) 구조 기반의 신규성 탐지 모델 구조가 제안되었고 상당한 성능 향상을 나타내였다. 본 논문에서는 기존의 CNN 기반의 모델에서 문서 수준의 정보가 제한적으로 사용되는 것을 관측하고 문서의 신규성을 결정할 때 문서 수준의 정보가 중요하므로 제한적인 사용이 문제가 된다고 가정하였다. 이에 대한 해결책으로, 본 논문에서는 합성곱 신경망 기반 신규성 탐지 모델 구조를 개선하여 문서 수준 정보를 효과적으로 사용하는 두 가지 방법을 제안한다. 본 논문에서 제안하는 방법은 대상(target) 문서와 증거로 주어진 출처(source) 문서 사이의 상대적(relative) 정보를 추출하여 신규성을 분류할 대상 문서의 특징 벡터를 구성하는 것에 초점을 맞춘다. 본 논문에서는 표준 벤치마크 데이터 셋인 TAP-DLND 1.0를 이용하여 여러 실험을 통해서 제안한 방법의 우수성을 보여준다.