• 제목/요약/키워드: 스파크

검색결과 319건 처리시간 0.024초

스파크 기반의 대용량 데이터 압축을 이용한 실시간 데이터 분석 기법 (Real-time data analysis technique using large data compression based spark)

  • 박수용;신용태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.545-546
    • /
    • 2020
  • 스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

  • PDF

음향기반 지하시설물의 전기스파크 감지 방법 (An Acoustic-based Method of Detecting Electric Sparks in Underground Facilities)

  • 이병진;정우석
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2023년 정기학술대회 논문집
    • /
    • pp.73-74
    • /
    • 2023
  • 본 논문에서는 음향센서를 기반으로 한 지하시설물 화재 위험감지 방법을 제안하였다. 음향센서는 진동이나 광센서처럼 접촉식이 아니기 때문에 결로가 발생하고 있는 취약구간에 설치하여 보다 효율적으로 활용이 가능하고 지하시설물 내부에 설치된 기기나 장비들과 상호작용하거나 간섭하지 않기 때문에 안전하게 관리가 가능하다. 이러한 특징으로 지하 시설물에서 내 통행이 불편하여 관리하기 힘든 구간이나 결로가 많아 화재안전에 주의가 필요한 곳에 설치하여 전기스파크 발생 감지를통해 재난이 발생하기 이전 화재위험을 감지하는 방법론 중 하나가 될 수 있다. 제안하는 방법은 음향 센서를 통해 지하공동구 안에서 발생하는 소리들을 수집하고 일정한 길이의 시간 단위 프레임들로 분할한 후 분석하여 전기스파크의 특징 벡터를 도출한다. 전기스파크 감지 모델로는 전기스파크 신호의 지역적 특성을 포착할 수 있도록 2D-CNN 구조를 사용하며 모델에서 출력된 전기 스파크 발생 예측확률을 분할된 단위 프레임 따라 계산하여 융합한다. 이로 인해 높은 정확도의 전기스파크 감지 정밀도를 얻을 수 있으며, 이는 전기 스파크에 의한 화재 이벤트 감지 있어서 효과적인 센싱 기술임을 알 수 있다.

  • PDF

뇌서지 유입 시 새로운 스파크-갭을 활용한 전원회로 보호 대책 (A Solution to Protect the Power Supply Circuit Employing a New Spark-gap during Lightning Surge Inflow)

  • 이강희;박준우;류동균;원재선;홍성수
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2013년도 전력전자학술대회 논문집
    • /
    • pp.153-154
    • /
    • 2013
  • 고전압, 대전류를 갖는 뇌서지는 전원회로에 유입되었을 때 소자 파손 및 회로 오동작 등의 문제를 일으킨다. 이에 대한 보호대책으로 SPD(Surge Protection Device)소자와 스파크-갭(Spark-gap)을 주로 사용한다. 이 때, 기존의 스파크-갭은 뇌서지 유입 시 방전현상 이후에 발생된 스파크-갭의 패턴 마모로 패턴의 복구가 불가능하고, 불규칙하고 변칙적인 방전으로 인하여 발생되는 서지주요 예측경로의 소자 및 패턴 파괴와 같이 2차적인 문제를 발생시킨다. 이를 해결하기 위해 본 논문에서는 초기 유입 시부터 스파크-갭의 방전을 통해 에너지를 우회시킴으로서 전원회로의 뇌서지 부담을 줄여 전원회로의 안전성 및 안정적인 정상동작을 확보하는 대책을 제안하고, 스파크-갭의 구조에 따른 효과를 실험을 통해 검증한다.

  • PDF

제한된 메모리 환경에서의 아파치 스파크 성능 비교 (A performance comparison for Apache Spark platform on environment of limited memory)

  • 송준석;김상영;이정준;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
    • /
    • pp.67-68
    • /
    • 2016
  • 최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

  • PDF

다극형 스파크 간격을 사용한 질소레이저의 제작과 그 동작 특성 (Construction and operational characteristics of a nitrogen lawer system employing a multiplex spark gap)

  • 양준묵;김윤주;추한태;이치원
    • 한국광학회지
    • /
    • 제7권1호
    • /
    • pp.28-36
    • /
    • 1996
  • 질소레이저의 출력을 높이고 안정성을 향상시키기 위한 방법의 하나로 8쌍으로 구성된 다극형 스파크 간격과 Blumlein 형태의 다중 평행판 축전기형 전송회로로 구성된 레이저 장치를 제작하였고 실험은 스파크 간격을 자체트리거하는 방식과 외부트리거하는 두가지 방식을 택하여 실시하였다. 그 결과 긴 레이저관에 대하여 하나의 스파크 간격이 레이저관 전체를 통하여 레이저를 균일하고 완벽하게 발진시킬수는 없음을 확인하였으며 다극형 스파크 간격을 사용할 경우에도 스파크 간격 모두가 한 몸체처럼 완벽한 역할을 하지 못함을 확인하였다. 그러나 이와 같은 복합적인 결과로 부터 다극형 스파크 간격이 레이저 출력 증가에 기여를 할 수 있음을 확인하였고 그의 설치 범위는 레이저관의 길이(또는 전송회로의 두께)의 3/4이 최적임을 알았다.

  • PDF

GPGPU를 활용한 스파크 기반 공간 연산 (Spatial Computation on Spark Using GPGPU)

  • 손찬승;김대희;박능수
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권8호
    • /
    • pp.181-188
    • /
    • 2016
  • 최근 급격히 증가하는 공간 데이터를 효율적으로 처리하기 위해 많은 연구들이 진행되고 있다. 기존 관계형 데이터베이스 시스템을 확장한 공간 데이터베이스 시스템은 확장성에 대한 문제가 있으며, 분산 처리 플랫폼인 하둡을 확장한 SpatialHadoop은 중간 연산 결과를 디스크에 작성하기 때문에 파일 입출력의 오버헤드로 성능이 저하되는 문제가 있다. 본 논문은 인-메모리 기반 분산 처리 프레임워크인 스파크를 확장한 공간 연산 스파크를 제안하였다. 또한 공간 연산 스파크의 성능을 향상시키기 위하여 GPGPU를 결합한 모델을 개발하였다. 공간 연산 스파크는 중간 연산 결과를 메모리에 유지시키는 스파크의 특징을 그대로 사용하고 있으며, GPGPU 기반 공간 연산 스파크의 경우 다수의 PE를 이용하여 병렬처리하기 때문에 효율적으로 공간 연산을 수행할 수 있다. 본 논문은 단일 AMD 시스템에서 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크를 구현하였다. 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크의 성능을 평가하기 위하여 Point-in-Polygon 연산과 Spatial Join 연산을 수행하였으며, SpatialHadoop에 비하여 최대 8배의 성능 향상을 확인하였다.

통신 전기설비 전기화재 예방을 위한 아크 스파크 검출기의 적용 방안 (Application of an Arc Spark Detector for Prevention of Electric Fires in Communication Facilities)

  • ;김희동;황충상
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 한국정보통신설비학회 2002년도 하계학술대회 및 세미나
    • /
    • pp.168-171
    • /
    • 2002
  • 통신 전기설비에서 발생하는 전기화재의 주된 원인은 아크 및 스파크에 있으며, 조기경보의 원리는 스파크 및 아크의 검출에 있다. 이러한 원리에 의한 상용화 제품인 ASD(아크스파크검출기)의 원리를 소개하고, 무인분기 국사에 대한 적용방안을 제시하였으며, 하나의 무인국사에서 단독 설치후 시험한 결과를 소개하였다.

  • PDF

전기 화재 요인으로서의 스파크 신호 특성 분석 (Characterization of Spark Signal of Electric Fire)

  • 김창종;노용호
    • 한국조명전기설비학회:학술대회논문집
    • /
    • 한국조명전기설비학회 1997년도 추계학술발표회논문집
    • /
    • pp.55-59
    • /
    • 1997
  • 전기로 인한 재해의 가장 큰 비중을 차지하는 것이 전기 화재이다. 전기화재는 점점 증가하고 있는 추세이므로 이러한 전기 화재의 징후 검출이 가능하다면 늘어만가는 전기재해의 피해를 줄일 수 있게 된다. 이러한 전기화재는 전기 설비의 누전과 합선 및 과부하로 발생하며 이러한 현상으로 스파크를 수반하게 된다. 따라서 이러한 스파크 신호의 특성을 분석하여 전기설비의 이상현상 검출을 통하여 전기화재의 징후를 검출할 수 있게 되는 것이다. 본 논문에서는 FFT(Fast Fourier Transformation)와 DWT(Digital Wavelet Transformation) 을 이용하여 전기화재 요인으로서의 스파크 신호 특성을 분석 방법을 제시하였다.

  • PDF

실시간 데이터 처리를 위한 아파치 스파크 기반 기계 학습 라이브러리 성능 비교 (A Performance Comparison of Machine Learning Library based on Apache Spark for Real-time Data Processing)

  • 송준석;김상영;송병후;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
    • /
    • pp.15-16
    • /
    • 2017
  • IoT 시대가 도래함에 따라 실시간으로 대규모 데이터가 발생하고 있으며 이를 효율적으로 처리하고 활용하기 위한 분산 처리 및 기계 학습에 대한 관심이 높아지고 있다. 아파치 스파크는 RDD 기반의 인 메모리 처리 방식을 지원하는 분산 처리 플랫폼으로 다양한 기계 학습 라이브러리와의 연동을 지원하여 최근 차세대 빅 데이터 분석 엔진으로 주목받고 있다. 본 논문에서는 아파치 스파크 기반 기계 학습 라이브러리 성능 비교를 통해 아파치 스파크와 연동 가능한 기계 학습라이브러리인 MLlib와 아파치 머하웃, SparkR의 데이터 처리 성능을 비교한다. 이를 위해, 대표적인 기계 학습 알고리즘인 나이브 베이즈 알고리즘을 사용했으며 학습 시간 및 예측 시간을 비교하여 아파치 스파크 기반에서 실시간 데이터 처리에 적합한 기계 학습 라이브러리를 확인한다.

  • PDF

스파크 신호검출에 의한 전기화재 예측 (Electric Fire Prediction by Detection of Spark Signals)

  • 김일권;송재용;길경석;권장우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2001년도 추계종합학술대회
    • /
    • pp.371-374
    • /
    • 2001
  • 본 논문은 전기설비에서 발생되는 스파크를 검출함으로써 전기화재로 진행될 수 있는 현상을 파악하고 예측할 수 있는 방법에 대하여 기술하였다. 전기화재는 막대한 재산피해 뿐만 아니라 인명피해가 따르므로 전기에 의한 화재를 예측하고 화재발생요소를 사전에 제거하는 것은 대단히 중요하다. 전기화재의 발화원인중 상당수를 차지하는 스파크는 상용주파수와 구별되는 주파수 대역을 갖는다. 따라서 본 연구에서는 선박이나 가정과 같은 단위공간 내에서 적용이 가능한 전기화재 예측방법을 연구하고, 전기설비의 절연파괴나 단락사고와 같이 스파크가 발생할 수 있는 여러 가지 상황에 대하여 모의하였다. 스파크 발생에 의한 전압, 전류의 신호패턴을 검출하였으며, 실험결과 스파크 신호검출로 전기화재 예측이 가능함을 알 수 있었다.

  • PDF