• 제목/요약/키워드: weighted information entropy

검색결과 32건 처리시간 0.03초

시간 가중치 엔트로피를 이용한 결정 트리 생성 알고리즘 (ID3 Algorithm Improved with Time-weighted Entropy)

  • 동립권;이지형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.625-627
    • /
    • 2005
  • 결정 트리(Decision Tree)는 주어진 데이터의 경향을 학습하는 데 사용되는 대표적인 방식이다. 이것은 주어진 데이터를 구조화하기 위하여 데이터의 속성과 정보의 엔트로피에 기반을 둔 정보획득량을 이용한다. 본 논문에서는 유비쿼터스 환경에서 사용자 프로파일 정보처럼 시간에 따라 그 경향이 변하는 데이터에 유용하게 적용할 수 있는 시간 가중치 엔트로피를 정의한다. 그리고 ID3 알고리즘을 기반으로 새롭게 제안하는 시간 가중치 엔트로피를 이용하는 향상된 ID3 알고리즘을 쓰고 사용자의 경향을 분석한다. 본 논문에서 제안하는 엔트로피를 이용하는 방식은 데이터들의 시간에 관한 영향을 고려해서 기준방식보다 분석결과가 더욱 유리하다. 두 방식의 비교 테스트 결과를 보면 시간 가중치 엔트로피를 이용하는 알고리즘은 기존의 ID3 알고리즘보다 구성된 트리의 구조가 매우 간단하고 유리하다.

  • PDF

영역정보기반의 유전자알고리즘을 이용한 텍스트 후보영역 검출 (Detection of Text Candidate Regions using Region Information-based Genetic Algorithm)

  • 오준택;김욱현
    • 대한전자공학회논문지SP
    • /
    • 제45권6호
    • /
    • pp.70-77
    • /
    • 2008
  • 본 논문은 화소 단위의 정보가 아닌 분할된 영역들의 정보를 기반으로 유전자 알고리즘을 이용한 텍스트 후보영역 검출방안을 제안한다. 먼저, 영상분할을 수행하기 위해 색상별 화소분류와 비동질적인 군집의 감소를 위한 영역 단위의 재분류 알고리즘을 수행한다. 색상별 화소분류에 이용되는 EWFCM(Entropy-based Weighted Fuzzy C-Means) 알고리즘은 공간정보를 추가한 개선된 FCM 알고리즘으로써, 잡음에 강건한 특징을 가진다. EWFCM 알고리즘에 의해 분류된 화소들의 군집정보를 기반으로 수행되는 영역 단위의 재분류는 화소나 군집 단위의 재분류에 비해 효과적으로 영상에 존재하는 비동질적인 군집들을 감소시킬 수 있다. 그리고 텍스트 후보영역 검출은 분할된 영역들로부터 추출한 방향성 에지 성분에 대한 분산값 및 에너지, 크기, 개수 등의 정보를 기반으로 유전자알고리즘에 의해 수행된다. 이는 화소 단위의 정보를 이용한 방법보다 더 명확한 텍스트 영역정보를 획득할 수 있으며, 향후 자동문자인식에서 좀 더 손쉽게 이용될 수 있다. 실험 결과 제안한 분할방법은 기존 방법이나 화소나 군집 기반의 재분류보다 좋은 결과를 보였으며, 텍스트 후보영역 검출에서도 화소 단위의 정보를 이용한 기존 방법보다 더 좋은 결과를 보여 제안방법의 유효성을 확인하였다.

8비트 데이타 정밀도를 가지는 다층퍼셉트론의 역전파 학습 알고리즘 (Learning of multi-layer perceptrons with 8-bit data precision)

  • 오상훈;송윤선
    • 전자공학회논문지B
    • /
    • 제33B권4호
    • /
    • pp.209-216
    • /
    • 1996
  • In this paper, we propose a learning method of multi-layer perceptrons (MLPs) with 8-bit data precision. The suggested method uses the cross-entropy cost function to remove the slope term of error signal in output layer. To decrease the possibility of overflows, we use 16-bit weighted sum results into the 8-bit data with appropriate range. In the forwared propagation, the range for bit-conversion is determined using the saturation property of sigmoid function. In the backwared propagation, the range for bit-conversion is derived using the probability density function of back-propagated signal. In a simulation study to classify hadwritten digits in the CEDAR database, our method shows similar generalization performance to the error back-propagation learning with 16-bit precision.

  • PDF

ECVQ 를 이용한 영상의 계층적 대역분할 부호화 (ECVQ for Subband Pyramid Image Coding)

  • 이광기;김인겸;정준용;류종일;박규태
    • 전자공학회논문지B
    • /
    • 제31B권4호
    • /
    • pp.88-96
    • /
    • 1994
  • In this paper, we propose a subband pyramid image coding scheme that uses ECVQ (ntropy Constrained Vector Quantizer). In subband pyramid image coding, each subband can be encoded with a coder matched to the statistics of that particular subband, and available versions of the original image at different resolution are easily obtained. ECVQ, aiming at the minimization of the distortion for a fixed entropy of the quantizer output, is well combined with the subband pyramid image coding which yields high compression ratio and good image quality. The optimum bit allocation to each subbands corresponds to the points where the individual distortion rate curves are of particular slope, weighted to the number of samples in that subband, in designing ECVQ.

  • PDF

영역 기반의 Multi-level Thresholding에 의한 컬러 영상 분할 (Region-based Multi-level Thresholding for Color Image Segmentation)

  • 오준택;김욱현
    • 대한전자공학회논문지SP
    • /
    • 제43권6호
    • /
    • pp.20-27
    • /
    • 2006
  • Multi-level thresholding은 영상 분할 방법 중 하나로 널리 이용되고 있지만 대부분의 기존 논문들은 응용 분야에 직접적으로 이용되기에는 적합하지 않거나 영상 분할 단계까지 확장되지 않고 있다. 본 논문에서는 영상 분할을 위한 multi-level thresholding 방안으로써 영역 단위의 multi-level thresholding을 제안한다. 먼저, 영상의 색상별 성분에 대해서 EWFCM(Entropy-based Weighted Fuzzy C-Means) 알고리즘을 적용하여 2개의 군집으로 분류한 후 코드 영상을 생성한다. EWFCM 알고리즘은 화소들에 대한 공간 정보를 추가한 개선된 FCM 알고리즘으로 영상 내 존재하는 잡음을 제거한다. 그리고 코드 영상에 존재하는 군집의 수를 감소함으로써 좀 더 나은 영상 분할 결과를 얻을 수 있으며 군집의 감소는 하나의 군집내에 존재하는 영역들과 나머지 군집들간의 유사도를 기반으로 영역을 재분류함으로써 처리된다. 그러나 영상에는 여전히 많은 영역들이 존재하기 때문에 이를 해결하기 위한 하나의 후처리 방안으로써 영역간의 Kullback-Leibler 거리값을 기반으로 Bayesian 알고리즘에 의한 영역 합병을 수행한다. 실험 결과 제안한 영역 기반의 multi-level thresholding은 기존 방법이나 화소나 군집 기반의 multi-level thresholding보다 좋은 분할 결과를 보였으며 Bayesian 알고리즘을 이용한 후처리 방안에 의해 좀 더 나은 결과를 보였다.

Detection and Parameter Estimation for Jitterbug Covert Channel Based on Coefficient of Variation

  • Wang, Hao;Liu, Guangjie;Zhai, Jiangtao;Dai, Yuewei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권4호
    • /
    • pp.1927-1943
    • /
    • 2016
  • Jitterbug is a passive network covert timing channel supplying reliable stealthy transmission. It is also the basic manner of some improved covert timing channels designed for higher undetectability. The existing entropy-based detection scheme based on training sample binning may suffer from model mismatching, which results in detection performance deterioration. In this paper, a new detection method based on the feature of Jitterbug covert channel traffic is proposed. A fixed binning strategy without training samples is used to obtain bins distribution feature. Coefficient of variation (CV) is calculated for several sets of selected bins and the weighted mean is used to calculate the final CV value to distinguish Jitterbug from normal traffic. Furthermore, the timing window parameter of Jitterbug is estimated based on the detected traffic. Experimental results show that the proposed detection method can achieve high detection performance even with interference of network jitter, and the parameter estimation method can provide accurate values after accumulating plenty of detected samples.

연구자의 투고 학술지 현황에 근거한 국내 학문분야 네트워크 분석 (Analyzing the Network of Academic Disciplines with Journal Contributions of Korean Researchers)

  • 이재윤
    • 정보관리학회지
    • /
    • 제25권4호
    • /
    • pp.327-345
    • /
    • 2008
  • 이 연구는 국내 연구자의 학술지 논문 발표 자료를 활용하여 학문분야간 학술지 공유도를 산출하고, 이로부터 국내 학문분야의 구조를 나타내는 네트워크를 생성하였다. 생성된 패스파인더 네트워크는 '생물학' 분야를 핵심으로 하는 생명과학 분야가 중앙을 차지하고 있었으며, 인문학과 의약학, 공학에 속한 학문끼리는 학문간 연계가 매우 강하게 나타났다. 가중 네트워크로부터 각 학문분야의 중심성과 학제성을 파악하기 위해서 엔트로피 공식과 가중 네트워크 중심성 척도를 적용한 결과 전역 중심 학문, 지역 중심 학문, 전역 연계 학문, 기타 일반 학문의 네 가지 유형을 식별할 수 있었다. 가중 네트워크를 이진 네트워크로 변환한 패스파인더 네트워크에서는 다수의 약한 링크가 모인 데이트 허브가 드러나지 않았으나, 가중 네트워크에서의 중심성 지수인 삼각매개중심성의 측정 범위를 지역에서부터 전역까지 달리하며 측정한 결과로부터 '인지과학'분야와 같은 학제성이 높은 데이트 허브를 식별할 수 있었다.

윈도우 PE 포맷 바이너리 데이터를 활용한 Bidirectional LSTM 기반 경량 악성코드 탐지모델 (Bidirectional LSTM based light-weighted malware detection model using Windows PE format binary data)

  • 박광연;이수진
    • 인터넷정보학회논문지
    • /
    • 제23권1호
    • /
    • pp.87-93
    • /
    • 2022
  • 군(軍) PC의 99%는 윈도우 운영체제를 사용하고 있어 안전한 국방사이버공간을 유지하기 위해서는 윈도우 기반 악성코드의 탐지 및 대응이 상당히 중요하다. 본 연구에서는 윈도우 PE(Portable Executable) 포맷의 악성코드를 탐지할 수 있는 모델을 제안한다. 탐지모델을 구축함에 있어서는 탐지의 정확도보다는 급증하는 악성코드에 효율적으로 대처하기 위한 탐지모델의 신속한 업데이트에 중점을 두었다. 이에 학습 속도를 향상시키기 위해 복잡한 전처리 과정 없이 최소한의 시퀀스 데이터만으로도 악성코드 탐지가 가능한 Bidirectional LSTM(Long Short Term Memory) 네트워크를 기반으로 탐지모델을 설계하였다. 실험은 EMBER2018 데이터셋을 활용하여 진행하였으며, 3가지의 시퀀스 데이터(Byte-Entropy Histogram, Byte Histogram, String Distribution)로 구성된 특성 집합을 모델에 학습시킨 결과 90.79%의 Accuracy를 달성하였다. 한편, 학습 소요시간은 기존 탐지모델 대비 1/4로 단축되어 급증하는 신종 악성코드에 대응하기 위한 탐지모델의 신속한 업데이트가 가능함을 확인하였다.

Normalization and Valuation of Research Evaluation Indicators in Different Scientific Fields

  • Chakoli, Abdolreza Noroozi;Ghazavi, Roghayeh
    • Journal of Information Science Theory and Practice
    • /
    • 제4권1호
    • /
    • pp.21-29
    • /
    • 2016
  • Given the difference in research performance in various scientific fields, this study aims to weight and valuate current indicators used for evaluation of scientific productions (publications), in order to adjust these indicators in comparison to each other and make possible a more precise evaluation of scientific productions. This is a scientometrics study using documentary, evaluative, and survey techniques. The statistical population consisted of 106 top Iranian researchers, scientists, and scientific and research managers. Then their research résumé information was gathered and analyzed based on research questions. In order to compare values, the data gathered from research production performance of the population was weighted using Shannon entropy method. Also, the weights of each scientific production importance according to expert opinions (extracted from other works) was analyzed and after adjustment the final weight of each scientific production was determined. A pairwise matrix was used in order to determine the ratios. According to the results, in the area of engineering sciences, patents (0.142) in the area of science, international articles (0.074) in the area of humanities and social sciences, books (0.174), and in the area of medical sciences, international articles (0.111) had the highest weight compared to other information formats. By dividing the weights for each type of publication, the value of each scientific production compared to other scientific productions in the same field and productions of other fields was calculated. Validation of the results in the studied population resulted in very high credibility for all investigated indicators in all four fields. By using these values and normalized ratios of publication indicators it is possible to achieve precise and adjusted results, making it possible to feasibly use these results in realistic policy making.

광량 변화에 강건한 가중치 국부 기술자 기반의 스테레오 정합 (Robust Stereo Matching under Radiometric Change based on Weighted Local Descriptor)

  • 구자민;김용호;이상근
    • 전자공학회논문지
    • /
    • 제52권4호
    • /
    • pp.164-174
    • /
    • 2015
  • 기하학적 특성이 주어진 두 개 이상의 카메라를 사용하거나 한 개의 카메라를 이동시켜가면서 스테레오 영상을 얻을 때에, 카메라 설정 값의 차이, 조명의 변화 등으로 인해 광량의 변화가 발생한다. 하지만 색상 유사도를 기반으로 한 기존의 스테레오 정합 방법들은 정확한 대응점을 추정하지 못한다. 본 논문에서는 광량 변화에 강건하기 위한 방법으로 스테레오 영상에서 픽셀의 밝기 정보와 그라디언트 정보 및 텍스쳐 정보를 국부 기술자로 구성하는 새로운 방법을 제안하고, 엔트로피에 기반한 적응적 가중치를 국부 기술자에 부여하여 광량 변화에도 정확한 대응점을 추정할 수 있도록 한다. 제안하는 방법은 조명의 변화, 노출 시간의 차이로 인해 광량 변화가 발생된 Middlebury의 실험 영상을 통해 실험되었으며, 광량 변화에 강건한 최근의 방법들과 비교하였다. 그 결과, 제안하는 방법은 전체 영역에서의 오정합 비율이 약 5 % 정도로 비교하는 방법들보다 낮게 발생하여 가장 좋은 성능을 보여주었다.