• 제목/요약/키워드: Unknown word detection

검색결과 7건 처리시간 0.025초

영작문 자동평가를 위한 비속어 검출과 미등록어 분류 (Swear Word Detection and Unknown Word Classification for Automatic English Writing Assessment)

  • 이경호;김성권;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권9호
    • /
    • pp.381-388
    • /
    • 2014
  • 본 논문에서는 중 고등 수준 단문형 영어 작문시험의 자동채점 시스템을 위한 사전 미등록어 분류기 구현에 대해 다룬다. 영어 자동채점 과정에서 발생하는 사전 미등록어의 유형을 정의하고 각 유형에 대한 검출 방법에 대해 논의하였다. 또한 영작문 답안에서 나타날 수 있는 비속어의 유형을 정의하고 검출 방법에 대해 연구하였다. 영작문 자동평가 시스템의 모듈로서 비속어 검출 기능이 포함된 미등록어 분류기를 구현하였다. 미등록어 분류와 비속어 검출 방법에 대한 성능을 실제 시험 데이터에 적용하여 그 성능을 평가하였다.

사이버 공격에 의한 시스템 이상상태 탐지 기법 (Detection of System Abnormal State by Cyber Attack)

  • 윤여정;정유진
    • 정보보호학회논문지
    • /
    • 제29권5호
    • /
    • pp.1027-1037
    • /
    • 2019
  • 기존의 사이버 공격 탐지 솔루션은 일반적으로 시그니처 기반 내지 악성행위 분석을 통한 방식의 탐지를 수행하므로, 알려지지 않은 방식에 의한 공격은 탐지하기 어렵다는 한계가 있다. 시스템에서는 상시로 발생하는 다양한 정보들이 시스템의 상태를 반영하고 있으므로, 이들 정보를 수집하여 정상상태를 학습하고 이상상태를 탐지하는 방식으로 알려지지 않은 공격을 탐지할 수 있다. 본 논문은 정상상태 학습 및 탐지에 활용하기 위하여 문자열을 그 순서와 의미를 보존하며 정량적 수치로 변환하는 머신러닝 임베딩(Embedding) 기법과 이상상태의 탐지를 위하여 다수의 정상데이터에서 소수의 비정상 데이터를 탐지하는 머신러닝 이상치 탐지(Novelty Detection) 기법을 이용하여 사이버 공격에 의한 시스템 이상상태를 탐지하는 방안을 제안한다.

DroidVecDeep: Android Malware Detection Based on Word2Vec and Deep Belief Network

  • Chen, Tieming;Mao, Qingyu;Lv, Mingqi;Cheng, Hongbing;Li, Yinglong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권4호
    • /
    • pp.2180-2197
    • /
    • 2019
  • With the proliferation of the Android malicious applications, malware becomes more capable of hiding or confusing its malicious intent through the use of code obfuscation, which has significantly weaken the effectiveness of the conventional defense mechanisms. Therefore, in order to effectively detect unknown malicious applications on the Android platform, we propose DroidVecDeep, an Android malware detection method using deep learning technique. First, we extract various features and rank them using Mean Decrease Impurity. Second, we transform the features into compact vectors based on word2vec. Finally, we train the classifier based on deep learning model. A comprehensive experimental study on a real sample collection was performed to compare various malware detection approaches. Experimental results demonstrate that the proposed method outperforms other Android malware detection techniques.

KNE: An Automatic Dictionary Expansion Method Using Use-cases for Morphological Analysis

  • Nam, Chung-Hyeon;Jang, Kyung-Sik
    • Journal of information and communication convergence engineering
    • /
    • 제17권3호
    • /
    • pp.191-197
    • /
    • 2019
  • Morphological analysis is used for searching sentences and understanding context. As most morpheme analysis methods are based on predefined dictionaries, the problem of a target word not being registered in the given morpheme dictionary, the so-called unregistered word problem, can be a major cause of reduced performance. The current practical solution of such unregistered word problem is to add them by hand-write into the given dictionary. This method is a limitation that restricts the scalability and expandability of dictionaries. In order to overcome this limitation, we propose a novel method to automatically expand a dictionary by means of use-case analysis, which checks the validity of the unregistered word by exploring the use-cases through web crawling. The results show that the proposed method is a feasible one in terms of the accuracy of the validation process, the expandability of the dictionary and, after registration, the fast extraction time of morphemes.

동적 악성코드 분석 시스템 효율성 향상을 위한 사전 필터링 요소 연구 (Study of Pre-Filtering Factor for Effectively Improving Dynamic Malware Analysis System)

  • 윤광택;이경호
    • 정보보호학회논문지
    • /
    • 제27권3호
    • /
    • pp.563-577
    • /
    • 2017
  • 인터넷과 컴퓨터의 발달로 인해 신종 변종 악성코드가 하루에 약 1백만 개씩 출현하고 있다. 더욱이 기업을 대상으로 하는 표적공격의 경우 알려지지 않은 악성코드를 통해 공격이 진행되므로 전통적인 시그니처에 의한 탐지 방법은 대응에 대한 효율성이 낮게 되어 많은 기업들은 새로운 샌드박스와 같은 동적 분석 시스템을 도입하였다. 그러나 실행 파일뿐만 아니라 워드문서 또는 PDF 형태의 악성코드도 지속적으로 증가하고 있으며 새로운 악성코드 또한 동적 분석 시스템을 우회하는 기술을 포함하고 있어 효율적인 운영을 위해 많은 자원이 필요하고 새로운 기술이 필요하게 되었다. 본 연구에서는 효율적인 동적 분석 시스템을 위해 사전 필터링 기술을 사용하여 효율성을 향상시키기 위한 사전 필터링 기술 선정 요소를 도출하고 기술 도입 시 합리적인 선택을 할 수 있도록 AHP(Analytics Hierarchy Process)를 사용하여 의사 결정 모델을 제시하고, 도입 시 활용할 수 있도록 공식을 제시하고 검증하였다.

잘못 형성된 입력문장에 대한 CHART PARSER (CHART PARSER FOR ILL-FORMED INPUT SENTENCES)

  • 민경호
    • 인지과학
    • /
    • 제4권1호
    • /
    • pp.177-212
    • /
    • 1993
  • 본 연구는 잘못 형성된 입력에 대한 멜리쉬의 연구(1989)에 기반하고 있다. 이 글은 chart-based parser를 이용하여 구문론적 차원에서 잘못 형성된 입력 문자의 복구에 촛점을 둔다. 멜리쉬의 체계는 두가지 분석기, 즉 잘형성된 입력 분석기와 잘못 형성된 입력 분석기로 구성되는데, 필자의 연구는 그에 생각을 따르고 있다. 이글에서는 주로 chartparsing의 개념, 잘못형성된 입력에 대한 분석전략이 논의된다. 또한 필자가 제시하는 체계의 디자인과 구현, 필자의 체계를 멜리쉬의 체계와의 비교와 같은 사항들이 다루어질 것이다.

영상감시시스템에서 움직임의 비교사학습을 통한 비정상행동탐지 (Unsupervised Motion Learning for Abnormal Behavior Detection in Visual Surveillance)

  • 정하욱;장형진;최진영
    • 전자공학회논문지SC
    • /
    • 제48권5호
    • /
    • pp.45-51
    • /
    • 2011
  • 본 논문에서는 비교사학습법을 통해 영상의 방대한 정보를 효율적으로 모델링 하는 방법을 제안하고자 한다. 여기서 이동궤적들은 자연어 처리에 사용되는 알고리즘인 잠재 디리클레 할당 모형(Latent Dirichlet Allocation)에 의해 직진, 좌회전, 우회전등 각 상황 별로 주제에 따라 그 영역을 효과적으로 분류할 수 있다. LDA를 이용해 주제별로 의미 있는 영역을 분류한 후, 각 주제별로 분류된 궤적을 관측열로 보고 은닉 마르코프 모델(Hidden Markov Model)의 바움-웰치 알고리즘을 사용하여 학습한다. 전향 알고리즘을 사용하여 입력된 행동과 학습된 행동을 비교함으로써 영상내의 행동이 정상인지 비정상인지를 효과적으로 판단할 수 있다. 실험결과 다양한 영상에 대해 의미있는 주제별로 영역이 잘 분류되며 추적에러로 인한 궤적의 노이즈에도 강인하게 물체의 무단횡단, 신호위반과 같은 상황을 효과적으로 탐지하는 것을 확인할 수 있다.