• 제목/요약/키워드: Distributed Detection

검색결과 783건 처리시간 0.027초

대용량 데이터 분석을 위한 맵리듀스 기반의 이상치 탐지 (Outlier Detection Based on MapReduce for Analyzing Big Data)

  • 홍예진;나은희;정용환;김양우
    • 인터넷정보학회논문지
    • /
    • 제18권1호
    • /
    • pp.27-35
    • /
    • 2017
  • 가까운 미래에는 빅데이터의 많은 부분을 IoT 데이터가 차지할 것이라는 전망이 나오고 있다. 그에 따라, IoT 데이터의 많은 부분을 차치하는 센서 데이터에 관한 관심과 연구 또한 활발하게 진행되고 있다. 여러 분야에서 활용되고 있는 센서 데이터는 분석할 때 실제와는 다른 값인 이상치를 포함하게 되면 정확한 분석이 어려우며, 왜곡된 결과가 도출되어 활용할 수 없는 경우가 생긴다. 따라서 본 논문에서는 정확한 결과를 도출하기 위해 수집된 원자료를 분석하기 전에 이상치 탐지 및 제거를 하였다. 또한, 점점 늘어나고 있는 대용량의 데이터를 빠르게 처리하기 위해 메모리 접근방식인 스파크를 사용한 분산처리환경에서 처리하였다. 맵리듀스 기반의 이상치 탐지 및 제거는 총 4단계로 나누어 구현하였으며, 각 단계를 매퍼와 리듀스로 구현하였다. 제안한 기법의 평가를 위해서 3가지 환경에서 비교하였으며, 그 결과 이상치 탐지 및 제거를 하고자 하는 데이터의 용량이 커질수록 스파크를 이용한 분산처리환경에서의 처리가 가장 빠르다는 결과를 얻었다.

Experimental investigations on detecting lateral buckling for subsea pipelines with distributed fiber optic sensors

  • Feng, Xin;Wu, Wenjing;Li, Xingyu;Zhang, Xiaowei;Zhou, Jing
    • Smart Structures and Systems
    • /
    • 제15권2호
    • /
    • pp.245-258
    • /
    • 2015
  • A methodology based on distributed fiber optic sensors is proposed to detect the lateral buckling for subsea pipelines in this study. Uncontrolled buckling may lead to serious consequences for the structural integrity of a pipeline. A simple solution to this problem is to control the formation of lateral buckles among the pipeline. This firms the importance of monitoring the occurrence and evolution of pipeline buckling during the installation stage and long-term service cycle. This study reports the experimental investigations on a method for distributed detection of lateral buckling in subsea pipelines with Brillouin fiber optic sensor. The sensing scheme possesses the capability for monitoring the pipeline over the entire structure. The longitudinal strains are monitored by mounting the Brillouin optical time domain analysis (BOTDA) distributed sensors on the outer surface of the pipeline. Then the bending-induced strain is extracted to detect the occurrence and evolution of lateral buckling. Feasibility of the method was validated by using an experimental program on a small scale model pipe. The results demonstrate that the proposed approach is able to detect, in a distributed manner, the onset and progress of lateral buckling in pipelines. The methodology developed in this study provides a promising tool for assessing the structural integrity of subsea pipelines.

Agent Intrusion Detection Model In Attributed Environment

  • Jeong, Jong-Geun;Kim, Chul-Won
    • Journal of information and communication convergence engineering
    • /
    • 제2권2호
    • /
    • pp.84-88
    • /
    • 2004
  • Firewall is not perfectly prevent hacker, Intrusion Detection System(IDS) is considered a next generation security solution for more trusted network i and system security. We propose a agent IDS model in the different platforms that can detect intrusions in the expanded distributed host environment, since that is a drawback of existing IDS. Then we implement a prototype and verify validity. We use a pattern extraction agent so that we extract audit files needed in intrusion detection automatically even in other platforms.

DDoS 공격 탐지를 위한 확장된 블룸 필터 기반의 효율적인 목적지 주소 모니터링 기법 (Efficient Bloom Filter Based Destination Address Monitoring Scheme for DDoS Attack Detection)

  • 유경민;심상헌;한경은;소원호;김영선;김영천
    • 한국통신학회논문지
    • /
    • 제33권3B호
    • /
    • pp.152-158
    • /
    • 2008
  • 최근 DDoS(Distributed Denial of Service) 공격이 네트워크 주요 위협요소로 부각되고 있다. 이들 공격은 주로 특정 victim에 다량의 패킷을 전송하는 특징을 가지기 때문에 발생 패킷들의 목적지 IP 주소를 모니터링하여 공격을 탐지하는 기법들이 제안되었다. 기존의 블룸 필터 탐지 기법은 구조가 간단하고 실시간 탐지가 가능한 장점을 갖지만 목적지 IP 주소의 세부 주소를 독립적으로 모니터링하므로 오탐지율이 높은 문제점을 가진다. 이러한 문제점을 해결하기 위하여 본 논문에서는 목적지 주소의 세부 주소 간 연관성을 정의하여 모니터링하는 확장된 블룸 필터 기반의 효율적인 목적지 주소 모니터링 기법을 제안한다. 제안한 기법에서는 세부 주소를 모니터링하는 테이블뿐만 아니라 세부 주소 간 연관성을 모니터링하는 추가 테이블을 유지한다. 시뮬레이션을 통한 성능 평가 결과 제안한 기법은 기존의 블룸 필터 탐지 기법보다 낮은 오탐지율을 보였다. 또한 공격 탐지 정확성 향상을 위하여 다층의 모니터링 구조를 제안하였으며, 층수와 추가 테이블의 수의 변화에 따라 정확도를 높일 수 있었다.

The Design of an Election Protocol based on Mobile Ad-hoc Network Environment

  • Park, Sung-Hoon;Kim, Yeong-Mok;Yoo, Su-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제21권8호
    • /
    • pp.41-48
    • /
    • 2016
  • In this paper, we propose an election protocol based on mobile ad-hoc network. In distributed systems, a group of computer should continue to do cooperation in order to finish some jobs. In such a system, an election protocol is especially practical and important elements to provide processes in a group with a consistent common knowledge about the membership of the group. Whenever a membership change occurs, processes should agree on which of them should do to accomplish an unfinished job or begins a new job. The problem of electing a leader is very same with the agreeing common predicate in a distributed system such as the consensus problem. Based on the termination detection protocol that is traditional one in asynchronous distributed systems, we present the new election protocol in distributed systems that are based on MANET, i.e. mobile ad hoc network.

모바일 애드 혹 분산 시스템에서 선출 알고리즘의 명세 및 설계 (Design and Specification of an Election Algorithm in Mobile Ad Hoc Distributed Systems)

  • 박성훈
    • 디지털콘텐츠학회 논문지
    • /
    • 제11권4호
    • /
    • pp.453-461
    • /
    • 2010
  • 모바일 애드혹 분산 시스템에서 선출 알고리즘을 명세하고 설계하는 것은 매우 어려운 작업이다. 왜냐하면 모바일 애드혹 분산 시스템은 기존의 분산시스템보다 시스템의 실패에 취약하기 때문이다. 본 논문의 목적은 모바일 애드혹 분산 컴퓨팅 환경에 적합한 선출 알고리즘을 명세하고 하나의 설계모형을 제시하는데 있다. 이러한 목적을 위하여 본 논문에서는 하나의 선출 알고리즘을 설계하고 알고리즘의 정확성을 정형적으로 검증 하였다. 이러한 해결방안은 기존의 분산시스템에서 고전적인 알고리즘인 노드 탐지 알고리즘에 기반으로 하고 있다.

Adaptive Band Selection for Robust Speech Detection In Noisy Environments

  • Ji Mikyong;Suh Youngjoo;Kim Hoirin
    • 대한음성학회지:말소리
    • /
    • 제50호
    • /
    • pp.85-97
    • /
    • 2004
  • One of the important problems in speech recognition is to accurately detect the existence of speech in adverse environments. The speech detection problem becomes severer when recognition systems are used over the telephone network, especially in a wireless network and a noisy environment. In this paper, we propose a robust speech detection algorithm, which detects speech boundaries accurately by selecting useful bands adaptively to noisy environments. The bands where noises are mainly distributed, so called, noise-centric bands are introduced. In this paper, we compare two different speech detection algorithms with the proposed algorithm, and evaluate them on noisy environments. The experimental results show the excellence of the proposed speech detection algorithm.

  • PDF

디지털 록인 앰프를 이용한 새로운 하이브리드 방식의 단독운전 검출법 (A Novel Hybrid Islanding Detection Method Using Digital Lock-In Amplifier)

  • Ashraf, Muhammad Noman;Choi, Woojin
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2019년도 전력전자학술대회
    • /
    • pp.77-79
    • /
    • 2019
  • Islanding detection is one of the most important issues for the distributed generation (DG) systems connected to the power grid. The conventional passive islanding detection methods inherently have a non-detection zone (NDZ), and active islanding detection methods may deteriorate the power quality of a power system. This paper proposes a novel hybrid islanding detection method based on Digital Lock-In Amplifier with no NDZ by monitoring the harmonics present in the grid. Proposed method detects islanding by passively monitoring the grid voltage harmonics and verify it by injecting small perturbation for only three-line cycles. Unlike FFT for the harmonic extraction, DLA HC have lower computational burden, moreover, DLA can monitor harmonic in real time, whereas, FFT has certain propagation delay. The simulation results are presented to highlight the effectiveness of the proposed technique. In order to prove the performance of the proposed method it is compared with several passive islanding detection methods. The experimental results confirm that the proposed method exhibits outstanding performance as compared to the conventional methods.

  • PDF

센서 네트워크에서 mHEED를 이용한 에너지 효율적인 분산 침입탐지 구조 (Energy Efficient Distributed Intrusion Detection Architecture using mHEED on Sensor Networks)

  • 김미희;김지선;채기준
    • 정보처리학회논문지C
    • /
    • 제16C권2호
    • /
    • pp.151-164
    • /
    • 2009
  • 센서 네트워크는 유비쿼터스 컴퓨팅 구현을 위한 기반 네트워크 중의 하나로 그 중요성이 점차 부각되고 있으며, 네트워크 특성상 보안 기술 또한 기반 기술과 함께 중요하게 인식되고 있다. 현재까지 진행된 센서 네트워크 보안 기술은 암호화에 의존하는 인증 구조나 키 관리 구조에 대한 연구가 주를 이루었다. 그러나 센서 노드는 쉽게 포획이 가능하고 암호화 기술을 사용하는 환경에서도 키가 외부에 노출되기 쉽다. 공격자는 이를 이용하여 합법적인 노드로 가장하여 내부에서 네트워크를 공격할 수 있다. 따라서 네트워크의 보안을 보장하기 위해서는 한정된 자원의 많은 센서로 구성된 센서 네트워크 특성에 맞는 효율적인 침입탐지 구조가 개발되어야 한다. 본 논문에서는 센서 네트워크에서 에너지 효율성과 침입탐지 기능의 효율성을 함께 고려하여 침입탐지 기능을 분산적이고 동적으로 변화시킬 수 있는 분산 침입탐지 구조를 제안한다. 클러스터링 알고리즘인 HEED 알고리즘을 수정 (modified HEED, mHEED라 칭함)하여 각 라운드에서 노드의 에너지 잔량과 이웃 노드 수에 따라 분산 침입탐지노드가 선택되고, 침입탐지를 위한 코드와 이전 감시 결과가 이동 에이전트를 통해 전달이 되어 연속적인 감시 기능을 수행한다. 감시된 결과는 일반 센싱 정보에 첨부되어 전달되거나 긴급한 데이터의 경우 높은 우선순위 전달을 통해 중앙 침입탐지 시스템에 전달이된다. 시뮬레이션을 통해 기존 연구인 적응적 침입탐지 구조와 성능 비교를 수행하였고, 그 결과 에너지 효율성 및 오버헤드, 탐지가능성과 그 성능 측면에서 뛰어난 성능 향상을 입증할 수 있었다.

검증된 IP 테이블을 사용한 통계 기반 DDoS 대응 시스템 (A Statistic-based Response System against DDoS Using Legitimated IP Table)

  • 박필용;홍충선;최상현
    • 정보처리학회논문지C
    • /
    • 제12C권6호
    • /
    • pp.827-838
    • /
    • 2005
  • DDoS는 네트워크나 개인 호스트를 위협하는 대표적인 공격 트래픽이다. DDoS 공격은 특정한 패턴을 가지고 있지 않기 때문에 탐지가 어려울 뿐 아니라, TNF2K와 같은 간단한 도구로 공격이 가능하여, 현재 추진 중인 BcN 환경에서도 그 심각성이 초래될 수 있다. 이러한 DDoS 를 탐지하기 위한 메커니즘이나 알고리즘은 많이 개발되었다. 하지만 DDoS의 근원지를 판별하고 대응하는 것이 아닌, 단지 방어 지점에서 전체 한계치를 낮추거나 리키버킷처럼 수용 능력 이상의 패킷을 폐기하는 방법으로 네트워크나 개인 호스트를 보호한다. 무분별하게 전체 트래픽을 줄이는 것은 네트워크의 자원을 고갈시키지는 않지만, 정상적인 클라이언트가 공격당하고 있는 호스트에 연결을 할 수가 없다. 이를 위해 여러 단계의 테스트를 통해 합법적인 검증 IP 테이블을 만들고, 검증 IP 테이블에 있는 소스 IP를 제외한 나머지 트래픽을 차단한다면 DDoS 공격에 대해서 대응을 하면서 정상적인 클라이언트의 연결을 보호 할 수 있다. 제안된 메커니즘을 Linux Zebra라우터환경에서 구현되었다.