• Title/Summary/Keyword: 데이터 필터링

Search Result 985, Processing Time 0.022 seconds

Using the Rule to Combination Commands and Arguments in Packet Filtering (패킷 필터링에서 명령어와 인자 결합 규칙을 이용한 로그 데이터의 감축 방법)

  • 서현진;박성인;이재영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.321-323
    • /
    • 1999
  • UNIX 시스템에서 로그 시스템은 공격시 쉽게 변경 및 삭제되는 위험성이 있고 제한된 시스템 및 네트워크 정보를 제공하므로, 보다 안전하고 풍부한 정보의 제공을 위해 패킷 필터링을 이용한 로그 시스템 등이 제안되어 왔다. 그러나 기존의 패킷 필터링을 이용한 로그 시스템에서는 모든 패킷을 기록하여 많은 양의 데이터가 발생하였으므로, 관리자가 그 정보를 분석하기란 어려웠다. 본 논문에서는 패킷을 처리하는 과정에서 각종 유형의 침입에 대한 사전 조사와 분석으로 얻은 명령어와 인자들의 결합에 의한 판정 규칙을 적용하여, 위험가능성이 내재된 패킷만을 수집, 기록함으로서 데이터의 양을 줄이고 보다 효율적인 로그 정보를 기록할 수 있었다.

  • PDF

Priority Filtering-based Skyline Query Processing in Wireless Sensor Networks (무선 센서 네트워크에서 우선순위 필터링을 이용한 스카이라인 질의 처리 기법)

  • Dong-Ook Seong;Myung-Ho Yeo;Jun-Ho Park;Jae-Soo Yoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.393-396
    • /
    • 2008
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 비교를 요구하므로 인-네트워크 처리가 쉽지 않다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 많은 False Positive 발생에 따른 불필요한 데이터 전송과 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 상향식 필터 설정을 통한 스카이라인 질의 처리 기법과 필터링 성능을 향상시키는 기법을 제안한다. 제안하는 기법은 데이터를 수집하는 과정에서 스카이라인 필터테이블(SFT)설정하는 상향식 필터링을 수행한다. 그리고 선-필터링(Pre-filtering) 기법을 통해 필터효과를 증가시킨다. 제안하는 알고리즘의 우수성을 보이기 위해 시뮬레이션을 통해 기존에 제안된 MFTAC기법과 비교하였으며, 그 결과 평균 False Positive가 평균 84.44% 감소하였고, 네트워크 수명이 약 75.99% 증가하였다.

Design and Implementation of Filtering Management Scheme for Synchronization in the Realtime RFID Middleware System (실시간 RFID 미들웨어시스템에서의 동기화를 고려한 필터링관리 기법의 설계 및 구현)

  • Park, Byoung-Seob
    • The Journal of the Korea Contents Association
    • /
    • v.7 no.8
    • /
    • pp.50-58
    • /
    • 2007
  • We design a filtering management scheme with synchronization function under a realtime RFID middleware system for larger-scale data processing. The application interface(AI) is to support a various access protocol, HTTP, XML, JMS, and SOAP for the RFID applications. Generally, the synchronization problem is occurred in multiple accessing of clients for single filtering file. In this paper, we implement a filtering management scheme supporting the synchronization using the filter management process, and then demonstrate the RFID middleware filtering scheme.

Method to Improve Data Sparsity Problem of Collaborative Filtering Using Latent Attribute Preference (잠재적 속성 선호도를 이용한 협업 필터링의 데이터 희소성 문제 개선 방법)

  • Kwon, Hyeong-Joon;Hong, Kwang-Seok
    • Journal of Internet Computing and Services
    • /
    • v.14 no.5
    • /
    • pp.59-67
    • /
    • 2013
  • In this paper, we propose the LAR_CF, latent attribute rating-based collaborative filtering, that is robust to data sparsity problem which is one of traditional problems caused of decreasing rating prediction accuracy. As compared with that existing collaborative filtering method uses a preference rating rated by users as feature vector to calculate similarity between objects, the proposed method improves data sparsity problem using unique attributes of two target objects with existing explicit preference. We consider MovieLens 100k dataset and its item attributes to evaluate the LAR_CF. As a result of artificial data sparsity and full-rating experiments, we confirmed that rating prediction accuracy can be improved rating prediction accuracy in data sparsity condition by the LAR_CF.

Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network (문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링)

  • Lee, Hyun-Young;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network (문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링)

  • Lee, Hyun-Young;Kang, Seung-Shik
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

A Study on the technique of DEM Generation from LiDAR Data (LIDAR 데이터를 이용한 DEM 생성 기법에 관한 연구)

  • Lee, Jeong-Ho;Yu, Ki-Yun
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 2004.12a
    • /
    • pp.125-131
    • /
    • 2004
  • LiDAR 데이터의 필터링은 원 데이터로부터 건물, 수목 등과 같은 비지면점을 제거하는 과정이며, 이러한 필터링을 통해 DEM을 생성할 수 있다. 대표적인 필터링 방법들로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, local maxima 필터 등이 있으며 이러한 기존의 기법들의 단점을 보완하기 위한 연구가 활발히 진행되고 있다. 대부분의 필터링 기법들은 필터의 크기(윈도우의 크기)와 같은 인자를 대상 지역에 적합하게 사용자가 직접 설정해주어야 한다. 더욱이 복잡한 지형, 지물이 존재하는 지역에 적용하기 위해서는 인자를 변형시켜줘야 하며 특히, 다양한 크기의 건물이 존재하는 지역에 대하여 적용하기 위해서는 가변적인 크기의 필터가 필요하다. 이에 본 논문에서는 다양한 크기의 건물이 존재하는 지역에 대하여 필터의 크기를 변화시키지 않고 필터링을 수행할 수 있는 연산기법을 제안하였다. 본 연구에서는 수목이나 자동차 등과 같은 작은 개체의 제거를 위해 고정된 작은 크기의 윈도우를 가지는 모폴로지 필터를 우선 적용한다. 그 후 건물과 같은 큰 개체의 포인트는 이웃 포인트와의 고도차이를 이용하여 인식하고 이웃에 위치하는 지면 포인트로 대체하며, 갱신된 값이 바로 다음 연산에 반영 되도록 한다. 또한 상, 하, 좌, 우 네 방향에 대하여 라인별로 독립된 연산을 수행한 후에 이들을 비교함으로써 오차를 보정한다.

  • PDF

Estimation of Single Vegetation Volume Using 3D Point Cloud-based Alpha Shape and Voxel (3차원 포인트 클라우드 기반 Alpha Shape와 Voxel을 활용한 단일 식생 부피 산정)

  • Jang, Eun-kyung;Ahn, Myeonghui
    • Ecology and Resilient Infrastructure
    • /
    • v.8 no.4
    • /
    • pp.204-211
    • /
    • 2021
  • In this study, information on vegetation was collected using a point cloud through a 3-D Terrestrial Lidar Scanner, and the physical shape was analyzed by reconfiguring the object based on the refined data. Each filtering step of the raw data was optimized, and the reference volume and the estimated results using the Alpha Shape and Voxel techniques were compared. As a result of the analysis, when the volume was calculated by applying the Alpha Shape, it was overestimated than reference volume regardless of data filtering. In addition, the Voxel method to be the most similar to the reference volume after the 8th filtering, and as the filtering proceeded, it was underestimated. Therefore, when re-implementing an object using a point cloud, internal voids due to the complex shape of the target object must be considered, and it is necessary to pay attention to the filtering process for optimal data analyzed in the filtering process.

Parallel Corpus Filtering and Korean-Optimized Subword Tokenization for Machine Translation (병렬 코퍼스 필터링과 한국어에 최적화된 서브 워드 분절 기법을 이용한 기계번역)

  • Park, Chanjun;kim, Gyeongmin;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.221-224
    • /
    • 2019
  • 딥러닝을 이용한 Neural Machine Translation(NMT)의 등장으로 기계번역 분야에서 기존의 규칙 기반,통계기반 방식을 압도하는 좋은 성능을 보이고 있다. 본 논문은 기계번역 모델도 중요하지만 무엇보다 중요한 것은 고품질의 학습데이터를 구성하는 일과 전처리라고 판단하여 이에 관련된 다양한 실험을 진행하였다. 인공신경망 기계번역 시스템의 학습데이터 즉 병렬 코퍼스를 구축할 때 양질의 데이터를 확보하는 것이 무엇보다 중요하다. 그러나 양질의 데이터를 구하는 일은 저작권 확보의 문제, 병렬 말뭉치 구축의 어려움, 노이즈 등을 이유로 쉽지 않은 상황이다. 본 논문은 고품질의 학습데이터를 구축하기 위하여 병렬 코퍼스 필터링 기법을 제시한다. 병렬 코퍼스 필터링이란 정제와 다르게 학습 데이터에 부합하지 않다고 판단되며 소스, 타겟 쌍을 함께 삭제 시켜 버린다. 또한 기계번역에서 무엇보다 중요한 단계는 바로 Subword Tokenization 단계이다. 본 논문은 다양한 실험을 통하여 한-영 기계번역에서 가장 높은 성능을 보이는 Subword Tokenization 방법론을 제시한다. 오픈 된 한-영 병렬 말뭉치로 실험을 진행한 결과 병렬 코퍼스 필터링을 진행한 데이터로 만든 모델이 더 좋은 BLEU 점수를 보였으며 본 논문에서 제안하는 형태소 분석 단위 분리를 진행 후 Unigram이 반영된 SentencePiece 모델로 Subword Tokenization를 진행 하였을 시 가장 좋은 성능을 보였다.

  • PDF

A Simple GMSK Modulator Using the Combined Gaussian Lowpass Filter and Integrator (가우시안 저역 통과 필터와 적분기를 결합시킨 간단한 GMSK 변조기)

  • 오성근;황병대
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.25 no.12B
    • /
    • pp.2039-2045
    • /
    • 2000
  • 본 논문에서는 계산이 간단한 두 가지의 GMSK (Gaussian minimum shift-keying) 변조기들을 제안한다. 제안된 방법들에서는 필터링과 적분과정의 순차적인 처리 대신에, 필터링되는 데이터 계열들에 따른 적분기 출력에서의 위상 성분들을 미리 구하고, ROM (read only memory)에 저장함으로써 계산량을 크게 줄일 수 있다. 첫 번째 방법에서는 필터링되는 심벌들에 따른 각 샘플시점에서의 위상 변화량들이 미리 계산되며, 위상 샘플 값은 필터에 입력되는 데이터 계열에 의한 샘플시점에서의 총 위상 변화량을 구하여 누적함으로써 얻어진다. 두 번째 방법에서는 입력되는 모든 가능한 데이터 계열들에 따른 모든 샘플시점에서의 총 위상 변화량들을 미리 구하여 ROM에 저장하며, 위상 샘플 값은 입력되는 데이터 계열에 따라 샘플시점에 해당하는 총 위상 변화량을 선택하여 누적함으로써 얻어진다. 또한, 두 번째 방법에서는 데이터 계열의 패턴에 따른 총 위상 변화량들의 대칭적인 성질을 이용함으로써 필요한 메모리량을 줄일 수 있다.

  • PDF