• 제목/요약/키워드: Feature selection algorithm

검색결과 336건 처리시간 0.024초

임베디드 시스템의 영상압축을 위한 분할정렬 알고리즘의 개선 (Improvement of Set Partitioning Sorting Algorithm for Image Compression in Embedded System)

  • 김진만;주동현;김두영
    • 융합신호처리학회논문지
    • /
    • 제6권3호
    • /
    • pp.107-111
    • /
    • 2005
  • 멀티미디어 사용의 증가에 따라 정보화 사회에 있어 정지영상 정보를 높은 압축율로 방대한 데이터를 얼마나 빠르게 에러 없이 전송 또는 처리하는가 하는 문제가 요구되어지고 있다. 본 논문은 임베디드 시스템 환경의 정지영상 인코팅 분야에서 다양한 기능과 압축 성능을 보이고 있는 JPEG2000의 압축효율 향상을 위하여 양자화 전 단계에서 추출데이터를 축소시켜 EBCOT 단계로 전달되는 데이터의 양을 줄이는 방법으로, 웨이블렛 계수의 저주파 대역에 대한 부호화를 제거하여 부호화 과정에서의 sign bit를 줄이고, 중요도 판별과정에서 각 단계별 임계치를 설정하여 중복비트를 제거하는 분할 정렬 알고리즘을 이용하여 웨이블렛 계수를 줄이는 방법을 제안하였다. 실험결과, 제안한 방법을 통해 임베디드 환경아래에서 기존의 JPEG2000 표준보다 더 우수한 양질의 성능과 저 비트율을 확인할 수 있었다.

  • PDF

Design of comprehensive mechanical properties by machine learning and high-throughput optimization algorithm in RAFM steels

  • Wang, Chenchong;Shen, Chunguang;Huo, Xiaojie;Zhang, Chi;Xu, Wei
    • Nuclear Engineering and Technology
    • /
    • 제52권5호
    • /
    • pp.1008-1012
    • /
    • 2020
  • In order to make reasonable design for the improvement of comprehensive mechanical properties of RAFM steels, the design system with both machine learning and high-throughput optimization algorithm was established. As the basis of the design system, a dataset of RAFM steels was compiled from previous literatures. Then, feature engineering guided random forests regressors were trained by the dataset and NSGA II algorithm were used for the selection of the optimal solutions from the large-scale solution set with nine composition features and two treatment processing features. The selected optimal solutions by this design system showed prospective mechanical properties, which was also consistent with the physical metallurgy theory. This efficiency design mode could give the enlightenment for the design of other metal structural materials with the requirement of multi-properties.

네트워크 트래픽 데이터의 희소 클래스 분류 문제 해결을 위한 전처리 연구 (A Pre-processing Study to Solve the Problem of Rare Class Classification of Network Traffic Data)

  • 류경준;신동일;신동규;박정찬;김진국
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권12호
    • /
    • pp.411-418
    • /
    • 2020
  • 정보보안을 위한 IDS(Intrusion Detection Systems)는 통상적으로 서명기반(signature based) 침입탐지시스템과 이상기반(anomaly-based) 침입 탐지시스템으로 분류한다. 이 중에서도 네트워크에서 발생하는 트래픽 데이터를 기계학습으로 분석하는 이상기반 IDS 연구가 활발하게 진행됐다. 본 논문에서는 공격 유형 학습에 사용되는 데이터에 존재하는 희소 클래스 문제로 인한 성능 저하를 해결하기 위한 전처리 방안에 대해 연구했다. 희소 클래스(Rare Class)와 준 희소 클래스(Semi Rare Class)를 기준으로 데이터를 재구성하여 기계학습의 분류 성능의 개선에 대하여 실험했다. 재구성된 3종의 데이터 세트에 대하여 Wrapper와 Filter 방식을 연이어 적용하는 하이브리드 특징 선택을 수행한 이후에 Quantile Scaler로 정규화를 처리하여 전처리를 완료한다. 준비된 데이터는 DNN(Deep Neural Network) 모델로 학습한 후 TP(True Positive)와 FN(False Negative)를 기준으로 분류 성능을 평가했다. 이 연구를 통해 3종류의 데이터 세트에서 분류 성능이 모두 개선되는 결과를 얻었다.

Mobile Junk Message Filter Reflecting User Preference

  • Lee, Kyoung-Ju;Choi, Deok-Jai
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권11호
    • /
    • pp.2849-2865
    • /
    • 2012
  • In order to block mobile junk messages automatically, many studies on spam filters have applied machine learning algorithms. Most previous research focused only on the accuracy rate of spam filters from the view point of the algorithm used, not on individual user's preferences. In terms of individual taste, the spam filters implemented on a mobile device have the advantage over spam filters on a network node, because it deals with only incoming messages on the users' phone and generates no additional traffic during the filtering process. However, a spam filter on a mobile phone has to consider the consumption of resources, because energy, memory and computing ability are limited. Moreover, as time passes an increasing number of feature words are likely to exhaust mobile resources. In this paper we propose a spam filter model distributed between a users' computer and smart phone. We expect the model to follow personal decision boundaries and use the uniform resources of smart phones. An authorized user's computer takes on the more complex and time consuming jobs, such as feature selection and training, while the smart phone performs only the minimum amount of work for filtering and utilizes the results of the information calculated on the desktop. Our experiments show that the accuracy of our method is more than 95% with Na$\ddot{i}$ve Bayes and Support Vector Machine, and our model that uses uniform memory does not affect other applications that run on the smart phone.

A Network Intrusion Security Detection Method Using BiLSTM-CNN in Big Data Environment

  • Hong Wang
    • Journal of Information Processing Systems
    • /
    • 제19권5호
    • /
    • pp.688-701
    • /
    • 2023
  • The conventional methods of network intrusion detection system (NIDS) cannot measure the trend of intrusiondetection targets effectively, which lead to low detection accuracy. In this study, a NIDS method which based on a deep neural network in a big-data environment is proposed. Firstly, the entire framework of the NIDS model is constructed in two stages. Feature reduction and anomaly probability output are used at the core of the two stages. Subsequently, a convolutional neural network, which encompasses a down sampling layer and a characteristic extractor consist of a convolution layer, the correlation of inputs is realized by introducing bidirectional long short-term memory. Finally, after the convolution layer, a pooling layer is added to sample the required features according to different sampling rules, which promotes the overall performance of the NIDS model. The proposed NIDS method and three other methods are compared, and it is broken down under the conditions of the two databases through simulation experiments. The results demonstrate that the proposed model is superior to the other three methods of NIDS in two databases, in terms of precision, accuracy, F1- score, and recall, which are 91.64%, 93.35%, 92.25%, and 91.87%, respectively. The proposed algorithm is significant for improving the accuracy of NIDS.

문장 분류를 위한 정보 이득 및 유사도에 따른 단어 제거와 선택적 단어 임베딩 방안 (Selective Word Embedding for Sentence Classification by Considering Information Gain and Word Similarity)

  • 이민석;양석우;이홍주
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.105-122
    • /
    • 2019
  • 텍스트 데이터가 특정 범주에 속하는지 판별하는 문장 분류에서, 문장의 특징을 어떻게 표현하고 어떤 특징을 선택할 것인가는 분류기의 성능에 많은 영향을 미친다. 특징 선택의 목적은 차원을 축소하여도 데이터를 잘 설명할 수 있는 방안을 찾아내는 것이다. 다양한 방법이 제시되어 왔으며 Fisher Score나 정보 이득(Information Gain) 알고리즘 등을 통해 특징을 선택 하거나 문맥의 의미와 통사론적 정보를 가지는 Word2Vec 모델로 학습된 단어들을 벡터로 표현하여 차원을 축소하는 방안이 활발하게 연구되었다. 사전에 정의된 단어의 긍정 및 부정 점수에 따라 단어의 임베딩을 수정하는 방법 또한 시도하였다. 본 연구는 문장 분류 문제에 대해 선택적 단어 제거를 수행하고 임베딩을 적용하여 문장 분류 정확도를 향상시키는 방안을 제안한다. 텍스트 데이터에서 정보 이득 값이 낮은 단어들을 제거하고 단어 임베딩을 적용하는 방식과, 정보이득 값이 낮은 단어와 코사인 유사도가 높은 주변 단어를 추가로 선택하여 텍스트 데이터에서 제거하고 단어 임베딩을 재구성하는 방식이다. 본 연구에서 제안하는 방안을 수행함에 있어 데이터는 Amazon.com의 'Kindle' 제품에 대한 고객리뷰, IMDB의 영화리뷰, Yelp의 사용자 리뷰를 사용하였다. Amazon.com의 리뷰 데이터는 유용한 득표수가 5개 이상을 만족하고, 전체 득표 중 유용한 득표의 비율이 70% 이상인 리뷰에 대해 유용한 리뷰라고 판단하였다. Yelp의 경우는 유용한 득표수가 5개 이상인 리뷰 약 75만개 중 10만개를 무작위 추출하였다. 학습에 사용한 딥러닝 모델은 CNN, Attention-Based Bidirectional LSTM을 사용하였고, 단어 임베딩은 Word2Vec과 GloVe를 사용하였다. 단어 제거를 수행하지 않고 Word2Vec 및 GloVe 임베딩을 적용한 경우와 본 연구에서 제안하는 선택적으로 단어 제거를 수행하고 Word2Vec 임베딩을 적용한 경우를 비교하여 통계적 유의성을 검정하였다.

적응모드를 이용한 화면 내 부호화 알고리즘 (Intra Prediction Algorithm Using Adaptive Modes)

  • 임경민;이재호;김성완;박대현;이상윤
    • 한국통신학회논문지
    • /
    • 제38A권6호
    • /
    • pp.492-503
    • /
    • 2013
  • H.264/AVC는 화면 내, 화면 간 예측을 포함한 다양한 부호화 기술을 이용, 높은 부호화 성능을 보여준다. 그러나 화면 내 예측은 화면 간 예측에 비해 여전히 많은 부호화 데이터를 포함하고 있다. 본 논문에서는 적응적 모드 선택 기술을 포함한 새로운 화면 내 부호화 기술을 제안한다. 인접 모드의 결합을 통한 새로운 부호화 모드와 단순화된 gradient 모드가 추가되면서 세밀한 방향의 특징 및 gradation 영역을 효과적으로 부호화한다. 또한 주변블록을 통해서 적절한 모드를 선택적으로 제공하면서 상대적으로 적은 복잡도와 높은 부호화 성능을 보여준다. 제안한 방법은 1.72배의 복잡도 증가수준에서 1.96%의 비트율 절감 및 0.25 dB의 PSNR 향상을 보여주고 있다.

항만 경쟁력 평가를 위한 유사도 기반의 이산형 평균 알고리즘 (A Dispersion Mean Algorithm based on Similarity Measure for Evaluation of Port Competitiveness)

  • 추봉성;이철영
    • 한국항해항만학회지
    • /
    • 제28권3호
    • /
    • pp.185-191
    • /
    • 2004
  • 평균법과 클러스터링은 다속성 평가문제에서 널리 쓰이고 있는 중요한 데이터 마이닝 기법들이다. 그러나, 다양한 다속성 평가 문제에서 데이터 마이닝을 할 때, 데이터들의 특징은 그 중요성이 달라질 수 있기 때문에 이러한 데이터의 중요도 차이를 고려해야 할 필요가 있다. 따라서, 이러한 기법들은 데이터의 선택 및 중요도 등과 같이 그 특징을 얼마나 잘 반영하는 지가 중요하다. 게다가, 산술평균법의 경우에는 우선순위 및 가중치로 정의되는 평가구조에서 적합한 결과를 산출하기에는 한계가 있을뿐 만 아니라, 평가자 그룹별 특징을 반영하기 곤란하다. 따라서, 본 연구에서는 기하학적 도형을 바탕으로 유사도를 평가하여, 평가자 그룹별로 특징지어지는 이산적인 환경에서의 평균을 산출하는 알고리즘을 제안하였다. 본 알고리즘의 핵심사항 중 하나는, 항목별 우선순위의 혼돈없이 유사도를 평가할 수 있다는 점이다.

동시출현 자질과 집단 지성을 이용한 지식검색 문서 사용자 명성 평가 (User Reputation Evaluation Using Co-occurrence Feature and Collective Intelligence)

  • 이현우;한요섭;김래현;차정원
    • 인지과학
    • /
    • 제19권4호
    • /
    • pp.459-476
    • /
    • 2008
  • 많은 사용자들의 참여로 구축된 집단 지성을 이용한 지식 검색 서비스에서 사용자가 원하는 답변을 빨리 찾고자 하는 요구가 증가하고 있다. 기존의 연구에서 조회 수, 추천 수, 답변 수와 같은 비텍스트 정보가 답변을 평가하는데 좋은 자질임이 증명되었고, 신뢰도를 추정할 수 있는 여러 종류의 단어 사전을 이용하여 답변의 좋고 나쁨을 평가할 수 있는 연구도 진행되었다. 하지만, 조회 수, 추천 수, 답변 수와 같은 비텍스트 정보는 사용자 조작이 간단하여 지속적으로 관리를 해야 하며, 신뢰도를 추정할 수 있는 단어는 지속적으로 보강되어야 한다. 본 논문에서는 이러한 문제점을 해결하고자 동시출현 자질을 이용한 질문과 답변의 유사성을 활용하여 집단 지성에서 사용자의 활동을 분석하여 사용자의 명성을 평가하는 방법을 제안한다. 사용자의 명성을 계산할 수 있다면 조회 수와 추천 수가 많지 않은 답변의 신뢰도도 비교적 정확하게 추정할 수 있다. 이를 위해 우리는 PageRank 알고리즘을 수정하여 사용자 명성을 계산한다. 네이버 지식iN의 문서로 실험한 결과, 기존 정답 선택률을 보완할 수 있는 결과를 보였다.

  • PDF

실시간 탐지를 위한 인공신경망 기반의 네트워크 침입탐지 시스템 (An Intrusion Detection System based on the Artificial Neural Network for Real Time Detection)

  • 김태희;강승호
    • 융합보안논문지
    • /
    • 제17권1호
    • /
    • pp.31-38
    • /
    • 2017
  • 네트워크를 통한 사이버 공격 기법들이 다양화, 고급화 되면서 간단한 규칙 기반의 침입 탐지/방지 시스템으로는 지능형 지속 위협(Advanced Persistent Threat: APT) 공격과 같은 새로운 형태의 공격을 찾아내기가 어렵다. 기존에 알려지지 않은 형태의 공격 방식을 탐지하는 이상행위 탐지(anomaly detection)를 위한 해결책으로 최근 기계학습 기법을 침입탐지 시스템에 도입한 연구들이 많다. 기계학습을 이용하는 경우, 사용하는 특징 집합에 침입탐지 시스템의 효율성과 성능이 크게 좌우된다. 일반적으로, 사용하는 특징이 많을수록 침입탐지 시스템의 정확성은 높아지는 반면 탐지를 위해 소요되는 시간이 많아져 긴급성을 요하는 경우 문제가 된다. 논문은 이러한 두 가지 조건을 동시에 충족하는 특징 집합을 찾고자 다목적 유전자 알고리즘을 제안하고 인공신경망에 기반한 네트워크 침입탐지 시스템을 설계한다. 제안한 방법의 성능 평가를 위해 NSL_KDD 데이터를 대상으로 이전에 제안된 방법들과 비교한다.