• Title/Summary/Keyword: 스파크

Search Result 319, Processing Time 0.028 seconds

Real-time data analysis technique using large data compression based spark (스파크 기반의 대용량 데이터 압축을 이용한 실시간 데이터 분석 기법)

  • Park, Soo-Yong;Shin, Yong-Tae
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.545-546
    • /
    • 2020
  • 스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

  • PDF

An Acoustic-based Method of Detecting Electric Sparks in Underground Facilities (음향기반 지하시설물의 전기스파크 감지 방법)

  • Lee, Byung-Jin;Jung, Woo-Sug
    • Proceedings of the Korean Society of Disaster Information Conference
    • /
    • 2023.11a
    • /
    • pp.73-74
    • /
    • 2023
  • 본 논문에서는 음향센서를 기반으로 한 지하시설물 화재 위험감지 방법을 제안하였다. 음향센서는 진동이나 광센서처럼 접촉식이 아니기 때문에 결로가 발생하고 있는 취약구간에 설치하여 보다 효율적으로 활용이 가능하고 지하시설물 내부에 설치된 기기나 장비들과 상호작용하거나 간섭하지 않기 때문에 안전하게 관리가 가능하다. 이러한 특징으로 지하 시설물에서 내 통행이 불편하여 관리하기 힘든 구간이나 결로가 많아 화재안전에 주의가 필요한 곳에 설치하여 전기스파크 발생 감지를통해 재난이 발생하기 이전 화재위험을 감지하는 방법론 중 하나가 될 수 있다. 제안하는 방법은 음향 센서를 통해 지하공동구 안에서 발생하는 소리들을 수집하고 일정한 길이의 시간 단위 프레임들로 분할한 후 분석하여 전기스파크의 특징 벡터를 도출한다. 전기스파크 감지 모델로는 전기스파크 신호의 지역적 특성을 포착할 수 있도록 2D-CNN 구조를 사용하며 모델에서 출력된 전기 스파크 발생 예측확률을 분할된 단위 프레임 따라 계산하여 융합한다. 이로 인해 높은 정확도의 전기스파크 감지 정밀도를 얻을 수 있으며, 이는 전기 스파크에 의한 화재 이벤트 감지 있어서 효과적인 센싱 기술임을 알 수 있다.

  • PDF

A Solution to Protect the Power Supply Circuit Employing a New Spark-gap during Lightning Surge Inflow (뇌서지 유입 시 새로운 스파크-갭을 활용한 전원회로 보호 대책)

  • Lee, Kang-Hee;Park, Jun-Woo;Ryu, Dong-Kyun;Won, Jae-Sun;Hong, Sung-Soo
    • Proceedings of the KIPE Conference
    • /
    • 2013.07a
    • /
    • pp.153-154
    • /
    • 2013
  • 고전압, 대전류를 갖는 뇌서지는 전원회로에 유입되었을 때 소자 파손 및 회로 오동작 등의 문제를 일으킨다. 이에 대한 보호대책으로 SPD(Surge Protection Device)소자와 스파크-갭(Spark-gap)을 주로 사용한다. 이 때, 기존의 스파크-갭은 뇌서지 유입 시 방전현상 이후에 발생된 스파크-갭의 패턴 마모로 패턴의 복구가 불가능하고, 불규칙하고 변칙적인 방전으로 인하여 발생되는 서지주요 예측경로의 소자 및 패턴 파괴와 같이 2차적인 문제를 발생시킨다. 이를 해결하기 위해 본 논문에서는 초기 유입 시부터 스파크-갭의 방전을 통해 에너지를 우회시킴으로서 전원회로의 뇌서지 부담을 줄여 전원회로의 안전성 및 안정적인 정상동작을 확보하는 대책을 제안하고, 스파크-갭의 구조에 따른 효과를 실험을 통해 검증한다.

  • PDF

A performance comparison for Apache Spark platform on environment of limited memory (제한된 메모리 환경에서의 아파치 스파크 성능 비교)

  • Song, Jun-Seok;Kim, Sang-Young;Lee, Jung-June;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.01a
    • /
    • pp.67-68
    • /
    • 2016
  • 최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

  • PDF

Construction and operational characteristics of a nitrogen lawer system employing a multiplex spark gap (다극형 스파크 간격을 사용한 질소레이저의 제작과 그 동작 특성)

  • 양준묵;김윤주;추한태;이치원
    • Korean Journal of Optics and Photonics
    • /
    • v.7 no.1
    • /
    • pp.28-36
    • /
    • 1996
  • We have constructed and studied a laser system which consists of a multiplex spark gap with 8 couples of spark gaps and a multiple parallel plate capacitor type Blumlein transmission line circuit. In this laser system, the length of the laser tube, the length of the multiplex spark gap and the total thickness of the transmission line circuit are chosen to be 520 mm. The experimental results show that one couple of spark gaps cannot give a uniform and complete lasing through the whole laser tube. All the more, a multiplex spark gap could not perform completely and synchronously. However, a multiplex spark gap in found to contribute to the increase of laser output power and the laser has performed the best when the location is three quarters of the laser tube length.

  • PDF

Spatial Computation on Spark Using GPGPU (GPGPU를 활용한 스파크 기반 공간 연산)

  • Son, Chanseung;Kim, Daehee;Park, Neungsoo
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.5 no.8
    • /
    • pp.181-188
    • /
    • 2016
  • Recently, as the amount of spatial information increases, an interest in the study of spatial information processing has been increased. Spatial database systems extended from the traditional relational database systems are difficult to handle large data sets because of the scalability. SpatialHadoop extended from Hadoop system has a low performance, because spatial computations in SpationHadoop require a lot of write operations of intermediate results to the disk, resulting in the performance degradation. In this paper, Spatial Computation Spark(SC-Spark) is proposed, which is an in-memory based distributed processing framework. SC-Spark is extended from Spark in order to efficiently perform the spatial operation for large-scale data. In addition, SC-Spark based on the GPGPU is developed to improve the performance of the SC-Spark. SC-Spark uses the advantage of the Spark holding intermediate results in the memory. And GPGPU-based SC-Spark can perform spatial operations in parallel using a plurality of processing elements of an GPU. To verify the proposed work, experiments on a single AMD system were performed using SC-Spark and GPGPU-based SC-Spark for Point-in-Polygon and spatial join operation. The experimental results showed that the performance of SC-Spark and GPGPU-based SC-Spark were up-to 8 times faster than SpatialHadoop.

Application of an Arc Spark Detector for Prevention of Electric Fires in Communication Facilities (통신 전기설비 전기화재 예방을 위한 아크 스파크 검출기의 적용 방안)

  • Kim Charles J.;Kim Hee-Dong;Hwang C.S.
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 2002.08a
    • /
    • pp.168-171
    • /
    • 2002
  • 통신 전기설비에서 발생하는 전기화재의 주된 원인은 아크 및 스파크에 있으며, 조기경보의 원리는 스파크 및 아크의 검출에 있다. 이러한 원리에 의한 상용화 제품인 ASD(아크스파크검출기)의 원리를 소개하고, 무인분기 국사에 대한 적용방안을 제시하였으며, 하나의 무인국사에서 단독 설치후 시험한 결과를 소개하였다.

  • PDF

Characterization of Spark Signal of Electric Fire (전기 화재 요인으로서의 스파크 신호 특성 분석)

  • 김창종;노용호
    • Proceedings of the Korean Institute of IIIuminating and Electrical Installation Engineers Conference
    • /
    • 1997.10a
    • /
    • pp.55-59
    • /
    • 1997
  • 전기로 인한 재해의 가장 큰 비중을 차지하는 것이 전기 화재이다. 전기화재는 점점 증가하고 있는 추세이므로 이러한 전기 화재의 징후 검출이 가능하다면 늘어만가는 전기재해의 피해를 줄일 수 있게 된다. 이러한 전기화재는 전기 설비의 누전과 합선 및 과부하로 발생하며 이러한 현상으로 스파크를 수반하게 된다. 따라서 이러한 스파크 신호의 특성을 분석하여 전기설비의 이상현상 검출을 통하여 전기화재의 징후를 검출할 수 있게 되는 것이다. 본 논문에서는 FFT(Fast Fourier Transformation)와 DWT(Digital Wavelet Transformation) 을 이용하여 전기화재 요인으로서의 스파크 신호 특성을 분석 방법을 제시하였다.

  • PDF

A Performance Comparison of Machine Learning Library based on Apache Spark for Real-time Data Processing (실시간 데이터 처리를 위한 아파치 스파크 기반 기계 학습 라이브러리 성능 비교)

  • Song, Jun-Seok;Kim, Sang-Young;Song, Byung-Hoo;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.01a
    • /
    • pp.15-16
    • /
    • 2017
  • IoT 시대가 도래함에 따라 실시간으로 대규모 데이터가 발생하고 있으며 이를 효율적으로 처리하고 활용하기 위한 분산 처리 및 기계 학습에 대한 관심이 높아지고 있다. 아파치 스파크는 RDD 기반의 인 메모리 처리 방식을 지원하는 분산 처리 플랫폼으로 다양한 기계 학습 라이브러리와의 연동을 지원하여 최근 차세대 빅 데이터 분석 엔진으로 주목받고 있다. 본 논문에서는 아파치 스파크 기반 기계 학습 라이브러리 성능 비교를 통해 아파치 스파크와 연동 가능한 기계 학습라이브러리인 MLlib와 아파치 머하웃, SparkR의 데이터 처리 성능을 비교한다. 이를 위해, 대표적인 기계 학습 알고리즘인 나이브 베이즈 알고리즘을 사용했으며 학습 시간 및 예측 시간을 비교하여 아파치 스파크 기반에서 실시간 데이터 처리에 적합한 기계 학습 라이브러리를 확인한다.

  • PDF

Electric Fire Prediction by Detection of Spark Signals (스파크 신호검출에 의한 전기화재 예측)

  • 김일권;송재용;길경석;권장우
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2001.10a
    • /
    • pp.371-374
    • /
    • 2001
  • This paper describes a technique that can predict electric fires by detecting a spark signal generated from operation of electric facilities. An electric fire lead a loss of life as well as huge property, therefore it is very Important to predict an electric fire and eliminate the causes of it. Electrical spark which is ranked as majority causes of electric fires has a characterized frequency bandwidthdistinguishedfrompowerfrequenry. In the experiment, various spark signals are simulated in a condition such as short circuit, flashover and surface discharge. The results showed that the monitoring of spark signals can predict electric fires.

  • PDF