• Title/Summary/Keyword: 분류의 오류

Search Result 653, Processing Time 0.03 seconds

Improving performance of Binary Text Classification Using the EM algorithm (EM 알고리즘을 이용한 이진 분류 문서 범주화의 성능 향상)

  • 한형동;고영중;서정연
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.790-792
    • /
    • 2004
  • 문서 범주화에서 이진분류를 다중 분류에 적용할 때, 일반적으로 One-Against-All 방법을 사용한다. 하지만, 이 One-Against-All 방법은 한가지 문제점을 가진다. 즉, positive 집합의 문서들은 사람이 직접 범주를 할당한 것이지만, negative 집합의 문서들은 사람이 직접 범주를 할당한 것이 아니기 때문에 오류 문서들이 포함될 수 있다는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해 Sliding Window기법과 EM 알고리즘을 이진 분류 기반의 문서 범주화에 적용할 것을 제안한다. 먼저 Sliding Window 기법을 이용하여 학습 데이터로부터 오류 문서들을 추출하고 이 문서들을 EM 알고리즘을 사용해서 다시 범주를 할당함으로써 이진 분류 기반의 문서 범주화 기법의 성능을 향상시킨다.

  • PDF

Design of the Error Test Module for a Linux Device Driver (리눅스 디바이스 드라이버 오류 테스트 모듈 설계)

  • Jang, Seung-Ju;Kim, Dong-Gun;Lim, Chae-Duk;Ma, Yu-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.1437-1440
    • /
    • 2005
  • 임베디드 리눅스 디바이스 드라이버의 개발이 증가하면서 리눅스 디바이스 드라이버에 대한 오류 테스트 기능을 가진 모듈의 필요성이 증가되고 있다. 본 논문은 리눅스 디바이스 드라이버를 위한 오류 테스트 모듈의 기본 개념을 제시하며, 기본 개념을 바탕으로 오류 테스트 모듈을 설계한다. 오류 테스트 모듈의 설계를 위해 리눅스 디바이스 드라이버의 메모리 관련 오류를 분류하고, 오류가 발생할 가능성이 존재하는 부분에 대한 검증을 위한 코드를 추가하여 테스트 모듈을 작성한다. 또한 작성된 오류 테스트 모듈의 실험을 진행하였다. 실험을 통해 리눅스 디바이스 드라이버의 오류 테스트 모듈이 동작을 확인 할 수 있다.

  • PDF

Error Detection Method for Korean Compound Noun Decomposition (한국어 복합명사 분해 오류 탐지 기법)

  • Kang, Minkyu;Seungshik, Kang
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.181-185
    • /
    • 2009
  • 복합명사를 분해하는데 있어서 발생하는 분해오류들은 대부분 예외상황들로 취급된다. 전체적으로 차지하는 비중은 크지 않은데 오류 처리를 위해 들어가는 비용이 상대적으로 크기 때문이다. 하지만 분해된 데이터를 색인기나 문서분류기, 기계번역기 등에 실제로 적용해야 할 경우, 분해오류들을 수정해주어야 더 나은 성능을 보일 수 있기 때문에 분해오류를 찾아내고 수정하는 방법을 고안해야 한다. 본 논문에서는 복합명사 분해기에서 추출된 결과를 살펴보고, 주요 분해오류들이 가진 공통적인 특징을 파악하여 분해오류를 발견하는 방법을 생각해보고자 한다.

  • PDF

Improving Korean Part-of-Speech Tagging Using The Lexical Specific Classifier (어휘별 분류기를 이용한 한국어 품사 부착의 성능 향상)

  • Choi, Won-Jong;Lee, Do-Gil;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.133-139
    • /
    • 2006
  • 한국어 형태소 분석 및 품사 부착을 위해 지금까지 다양한 모델들이 제안이 되었으며 어절단위 평가로 95%를 넘는 성능을 보여주는 자동 태거가 보고 되었다. 하지만 형태소 분석 및 품사 부착은 모든 자연어처리 시스템의 성능에 큰 영향을 미치므로 작은 오류도 중요하다. 본 연구에서는 대상 어절의 주변 형태소의 어휘와 품사 자질, 그리고 어절 자질을 이용하여 분류기를 학습한 후 자동 태거의 품사 부착 결과를 입력으로 받아 후처리 하는 어휘별 분류기를 제안한다. 실험 결과 어휘별 분류기를 이용한 후처리만으로 어절단위 평가 6.86%$(95.251%{\rightarrow}95.577%)$의 오류가 감소하는 성능향상을 얻었으며, 기존에 제안된 품사별 자질을 이용한 후처리 방법과 순차 결합할 경우 16.91%$(95.251%{\rightarrow}96.054%)$의 오류가 감소하는 성능 향상을 얻을 수 있었다. 특히 본 논문에서 제안하는 방법은 형태소 어휘까지 정정할 수 있기 때문에 품사별 자질을 이용한 후처리 방법의 성능을 더욱 향상시킬 수 있다.

  • PDF

Adaptive English Context-Sensitive Spelling Error Correction Techniques for Language Environments (언어 사용환경에 적응적인 영어 문맥의존 철자오류 교정 기법)

  • Kim, Minho;Jin, Jingzhi;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.133-136
    • /
    • 2015
  • 문서 교정기에서 문맥의존 철자오류를 교정하는 방법은 크게 규칙을 이용한 방법과 통계 정보를 이용한 방법으로 나뉜다. 한국어와 달리 영어는 오래전부터 통계 모형에 기반을 둔 문맥의존 철자오류 교정 연구가 활발히 이루어졌다. 그러나 대부분 연구가 문맥의존 철자오류 교정 문제를 특정 어휘 쌍을 이용한 분류 문제로 간주하기 때문에 실제 응용에는 한계가 있다. 또한, 대규모 말뭉치에서 추출한 통계 정보를 이용하지만, 통계 정보 자체에 오류가 있을 경우를 고려하지 않았다. 본 논문에서는 텍스트에 포함된 모든 단어에 대하여 문맥의존 철자오류 여부를 판단하고, 해당 단어가 오류일 경우 대치어를 제시하는 영어 문맥의존 철자오류 교정 기법을 제안한다. 또한, 통계 정보의 오류가 문맥의존 철자오류 교정에 미치는 영향과 오류 발생률의 변화가 철자오류 검색과 교정의 정확도와 재현율에 미치는 영향을 분석한다. 구글 웹데이터에서 추출한 통계 정보를 바탕으로 통계 모형을 구성하고 평가를 위해 브라운 말뭉치에서 무작위로 2,000문장을 추출하여 무작위로 문맥의존 철자오류를 생성하였다. 실험결과, 문맥의존 철자오류 검색의 정확도와 재현율은 각각 98.72%, 95.79%였으며, 문맥의존 철자오류 교정의 정확도와 재현률은 각각 71.94%, 69.81%였다.

  • PDF

Optimal Thresholds from Mixture Distributions (혼합분포에서 최적분류점)

  • Hong, Chong-Sun;Joo, Jae-Seon;Choi, Jin-Soo
    • The Korean Journal of Applied Statistics
    • /
    • v.23 no.1
    • /
    • pp.13-28
    • /
    • 2010
  • Assuming a mixture distribution for credit evaluation studies, we discuss estimating threshold methods to minimize errors that default borrowers are predicted as non defaults or non defaults are regarded as defaults. A method by using statistical hypotheses tests, the most powerful test and generalized likelihood ratio test, for the probability density functions which are defined with the score random variable and the parameter space consisted of only two elements such as the default and non default states is proposed to estimate a threshold. And anther optimal thresholds to maximize classification accuracy measures of the accuracy and the true rate for ROC and CAP curves are estimated as equations related with these probability density functions. Three kinds of optimal thresholds in terms of the hypotheses testing, the accuracy and the true rate are obtained from normal random samples with various means and variances. The sums of the type I and type II errors corresponding to each optimal threshold are obtained and compared. Finally we discuss about their efficiency and derive conclusions.

A Study on Human Error of DP Vessels LOP Incidents (DP 선박 위치손실사고의 인적오류에 관한 연구)

  • Chae, Chong-Ju
    • Journal of the Korean Society of Marine Environment & Safety
    • /
    • v.21 no.5
    • /
    • pp.515-523
    • /
    • 2015
  • This study reviewed 612 DP LOP(Loss of Position) incident reports which submitted to IMCA from 2001~2010 and identified 103 human error caused incidents and classified it through HFACS. And, this study analysis of conditional probability of human error on DP LOP incidents through application of bayesian network. As a result, all 103 human error related DP LOP incidents were caused by unsafe acts, and among unsafe acts 70 incidents(68.0 %) were related to skill based error which are the largest proportion of human error causes. Among skill based error, 60(58.3%) incidents were involved inadvertent use of controls and 8(7.8%) incidents were involved omitted step in procedure. Also, 21(20.8%) incidents were involved improper maneuver because of decision error. Also this study identified that unsafe supervision(68%) is effected as the largest latent causes of unsafe acts through application to bayesian network. As a results, it is identified that combined analysis of HFACS and bayesian network are useful tool for human error analysis. Based on these results, this study suggest 9 recommendations such as polices, interpersonal interaction, training etc. to prevent and mitigate human errors during DP operations.

Improve reliability of SSD through cluster analysis based on error rate of 3D-NAND flash memory and application of differentiated protection policy (3D-NAND 플래시 메모리의 오류율 기반 군집분석과 차별화된 보호정책 적용을 통한 SSD의 신뢰성 향상 방안)

  • Son, Seung woo;Oh, Min jin;Kim, Jaeho
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.1-2
    • /
    • 2021
  • 3D NAND 플래시 메모리는 플래너(2D) NAND 셀을 적층하는 방식으로 단위 면적당 고용량을 제공한다. 하지만 적층 공정의 특성상 각 레이어별 또는 셀 위치에 따라 오류 발생 빈도가 달라질 수 있는 문제가 있다. 이와 같은 현상은 플래시 메모리의 쓰기/지우기(P/E) 횟수가 증가할 수록 두드러진다. SSD와 같은 대부분의 플래시 기반 저장장치는 오류 교정을 위하여 ECC를 사용한다. 이 방법은 모든 플래시 메모리 페이지에 대하여 고정된 보호 강도를 제공하므로 물리적 위치에 따라 에러 발생률이 각기 다르게 나타나는 3D NAND 플래시 메모리에서는 한계를 보인다. 따라서 본 논문에서는 오류 발생률 차이를 보이는 페이지와 레이어를 분류하여 각 영역별로 차별화된 보호강도를 적용한다. 우리는 페이지와 레이어별로 오류 발생률이 현저하게 달라지는 3K P/E 사이클에서 측정된 오류율을 바탕으로 페이지와 레이어를 분류하고 오류에 취약한 영역에 대해서는 패리티 데이터를 추가하여 차별화된 보호 강도를 제공한다. 오류 발생 횟수에 따른 영역 구분을 위하여 K-Means 머신러닝 알고리즘을 사용한다. 우리는 이와 같은 차별화된 보호정책이 3D NAND 플래시 메모리의 신뢰성과 수명향상에 기여할 수 있는 가능성을 보인다.

  • PDF

Automatic English-Korean Address Translation System for Extremely Unpredictable Error Generating Language Environments (극한 언어 환경에 대응 가능한 영한 자동 주소번역 시스템)

  • Jin, Jingzhi;Hwang, Myeongjin;Lee, Seungphil
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.239-242
    • /
    • 2016
  • 데이터베이스 기반 자동 주소번역은 입력 오류에 취약하며 범용 기계번역을 이용한 주소번역은 입력 및 번역 주소에 대한 품질 평가가 어렵다. 본 논문에서는 예측할 수 없는 입력 오류에도 대응할 수 있는 자동 주소번역 시스템을 제안한다. 제안 시스템은 n-gram 기반 검색, 미검색/오검색 분류, 번역, 신뢰도 자동평가로 구성된다. 신뢰할 수 있는 입력으로 자동 분류한 영문 국내주소를 국문으로 번역한 결과 95%이상의 정확도를 보였다.

  • PDF

A New Clustering Method for Minimum Classification Error (분류 오류 최소화를 위한 클러스터링 기법)

  • Heo, Gyeong-Yong;Kim, Seong-Hoon
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.7
    • /
    • pp.1-8
    • /
    • 2014
  • Clustering is one of the most popular unsupervised learning methods, which is widely used to form clusters with homogeneous data. Clustering was used to extract contexts corresponding to clusters and a classification method was applied to each context or cluster individually. However, it is difficult to say that the unsupervised clustering is the best context forming method from the view of classification. In this paper, a new clustering method considering classification was proposed. The proposed method tries to minimize classification error in each cluster when a classification method is applied to each context locally. For this purpose, the proposed method adds constraints forcing two data points belong to the same class to have small distances, and two data points belong to different classes to have large distances in each cluster like in linear discriminant analysis. The usefulness of the proposed method is confirmed by experimental results.