• 제목/요약/키워드: 데이터 분석성능

검색결과 5,877건 처리시간 0.038초

라즈베리 파이 클러스터와 아파치 스파크를 활용한 빅데이터 분석 플랫폼 연구 (A Study for Big Data Analytics Platform with Raspberry Pi Cluster and Apache Spark)

  • 김영선;박지영;윤보람;이정현;용환승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1272-1275
    • /
    • 2015
  • 최근 관심이 증대되고 있는 빅데이터 분석 및 처리를 위한 병렬분산처리 시스템은 대용량 서버가 필요하고 인프라 구축을 위해 고비용을 지불해야 한다. 이를 해결하기 위해 본 연구에서는 저렴한 라즈베리 파이로 클러스터를 구성하고, 하둡보다 빠른 속도의 처리를 제공하는 아파치 스파크를 분석 솔루션으로 하는 빅데이터 분석 플랫폼을 구축하였다. 구축한 플랫폼이 빅데이터 활용을 위해 적절한 성능을 보이는지 확인하기 위해 텍스트 마이닝을 수행하였고, 분석 결과 유효한 성능을 보였다. 적절한 비용으로 빅데이터 분석이 가능해지면서 중소기업과 개인, 교육 기관에서도 빅데이터 활용이 가능해지면서 활용 분야가 크게 확대될 것으로 보인다.

빅데이터 기반 대용량 시계열 에너지 데이터 처리 시스템 (Time-series big data analytics software on IoT streaming data)

  • 강정훈;유준재
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.52-53
    • /
    • 2018
  • 본 논문은 에너지 빅데이터를 분석하기 위해 대용량의 시계열 데이터를 처리하는 시스템의 설계, 구축 방법을 제시한다. 이미 사용 중인 건물이나 공장의 에너지 효율화를 위해서 정부는 효율자원 시장 지원 사업을 수행하고 있다, 에너지 소비 설비에 따라 고효율 자원으로 변경 설치하는 데 필요한 자금의 일부를 지원하고 있다. 정부지원으로 고효율 설비로 변경함에 따라 실증 사이트에서는 측정 데이터를 수집하여, 효율화 정도를 파악하기 위한 에너지 데이터 분석 시스템을 구축하여 운영하였다. 해당 측정 정보는 IoT 전력량계를 통해 수집되며, 수집된 데이터는 클라우드 시스템에서 다양한 머신러닝 알고리즘에 적용되어, 에너지 소비 효율 평가에 필요한 성능 지표를 연산한다. 구현된 진단 시스템은 기축 건물의 에너지 효율향상 상황을 분석하는데 기여할 수 있다. 빅데이터 기반의 에너지 분석 기능을 사용하여 에너지 고효율 장비의 운영시간, 부하율 등의 효율성과 성능통계를 연산할 수 있다.

ATM LAN 시험망에서 TCP/IP 프로토콜의 성능분석 (Performance Evaluation of TCP/IP on ATM LAM Testbed)

  • 장우현;이세열;황선명;이봉환
    • 한국정보처리학회논문지
    • /
    • 제6권12호
    • /
    • pp.3634-3641
    • /
    • 1999
  • ATM 네트워크 상에서 기존의 LAN 환경의 데이터 서비스를 제공하기 위한 대표적인 프로토콜은 ATM Forum에서 제안한 LAN Emulation과 IETF에서 제안한 IPOA이다. 본 논문에서는 ATM환경에서 TCP/IP의 성능을 분석하기 위하여 현재 널리 사용되고 있는 LAN Emulation과 IPOA를 ATM LAN 상에 구현하여 각각의 성능을 비교 분석하였으며, 또한 기존의 Ethernet 환경에서의 성능과 비교하였다. 성능 비교를 위한 파라미터로는 전송지연시간, 전송률, CPU 사용률, CPU 사용률에 대한 데이터 전송률 등을 사용하였다. ATM LAN에서의 클라이언트와 서버간의 대용량 데이터 전송을 통한 성능 비교 결과 LAN Emulation과 IPOA는 Ethernet에 비하여 월등한 성능을 보였고 IPOA가 LAN Emulation에 비하여 적은 전송지연시간 및 높은 전송률을 제공하였으며, CPU 사용률에 대한 데이터 전송률에서도 IPOA가 우수한 결과를 보였다.

  • PDF

빅데이터 환경에서 메모리 캐싱을 활용한 Presto 아키텍처 제안 (Presto Architecture Proposal Using Memory Caching in Big Data Environment)

  • 황선희;김태원;신민규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.89-92
    • /
    • 2019
  • 빅데이터 환경에서 대화형 분석 질의문을 수행하려는 요구사항이 늘어나면서 데이터 처리속도가 중요한 성능 지표가 되었다. 이에 Presto 는 많은 빅데이터 처리 엔진 중 메모리 기반으로 빠른 질의 처리가 가능하여 널리 사용되어 왔다. 하지만 메모리 처리 엔진인 Presto 도 디스크 기반의 저장소를 사용한 일부 경우에 성능 저하 현상이 보고되었다. 그래서 본 논문은 빅데이터 처리 성능 향상을 위해 Presto Memory Connector 를 사용하여 메모리 캐싱을 활용한 아키텍처를 제안한다. 그 과정에서 캐싱과 비 캐싱 환경에서 성능검증을 위한 데이터 처리 성능 실험을 수행하였고, 그 결과 향상된 성능을 제공할 수 있음을 확인하였다. 이를 통해 빅데이터 분산환경에서 캐싱을 활용하여 Presto 아키텍처를 설계하는데 근거를 제공하고자 한다.

디스크 배열에서 작은쓰기 문제 해결을 위한 압축 패리티 로깅 기법 (Compressed Parity Logging for Overcoming the small Write Problem in Redundant Disk Arrays)

  • 김근혜;김성수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.12-14
    • /
    • 1998
  • 본 논문은 RAID5가 갖는 쓰기 문제를 극복하기 위하여 지금까지의 연구 중에서 가장 우수한 성능을 나타내는 패리티 로깅 기법의 단점을 개선한 새로운 패리티 로깅 기법을 제안한다. 제안된 기법은 패리티 로깅기법에서 가장 큰 오버헤드인 패리티 로그의 크기를 줄이기 위하여 로그 데이터를 압축하는 방법을 사용한다. 로그 데이터의 압축은 로그 데이터의 저장에 필요한 비휘발성 버퍼의 크기와 로그 데이터 접근시간을 감소시켜 전체적인 성능을 향상시킬수 있다. 시뮬레이션을 통한 성능분석 결과에서 제안된 기법은 기존의 패리티 로깅 기법에 비하여 디스크 접근시간에서 우수한 성능을 나타냄을 보인다.

  • PDF

특징 선택 방법들의 성능 비교 분석에 대한 연구 (An Experimental Study on Feature Subset Selection Methods)

  • 윤철민;양지훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.439-442
    • /
    • 2007
  • 패턴 인식의 성능 향상을 위해 효율적인 특징 선택을 해주는 것은 중요한 과정 중 하나이다. 본 연구에서는 최근에 제시되었던 특징 선택 방법들 중 대표적인 4 가지의 방법을 선택하여 성능을 비교 분석하였다. 데이터의 특징을 줄여주는 기능과 적은 수의 특징으로 더 좋은 패턴 인식 성능을 보여주는 기능의 수행 능력을 중심으로 평가하였으며, 각기 다른 형태의 데이터에 대해 각 방법들이 보이는 성능도 관찰하였다. 이를 토대로 각 방법의 장단점과 특징에 대해 생각해 본다.

  • PDF

이상 탐지를 위한 합성 데이터 생성 및 성능 분석 (Synthetic Data Generation and Performance Analysis for Anomaly Detection)

  • 황주효;진교홍
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.19-21
    • /
    • 2022
  • 자기 지도 학습을 이용한 이상 탐지는 일반적으로 합성 데이터를 생성해 정상과 이상을 학습하고, 실제 이상 데이터를 테스트 데이터로 사용하여 이상 탐지 성능을 측정한다. 정상 데이터와 유사한 합성 데이터를 생성하기 위해 기존 연구에서는 원본 이미지에서 특정 패치를 자르고 붙이는 식으로 합성 데이터를 생성한다. 이런 방식에서 정상 데이터와 유사한 정도는 패치 개수와 크기에 따라 달라지므로 이상 탐지 성능에 영향을 미칠 수 있다. 본 연구에서는 패치 크기 및 개수를 다르게 하여 합성 데이터를 생성한 뒤 사전 학습된 모델을 사용하여 정상 데이터와의 유사성 측정 및 분석을 진행하였고 모델을 학습시켜 이상 탐지 성능을 측정하여 보았다.

  • PDF

벅데이터 로그파일 처리 분석을 통한 성능 개선 방안 (Improving Performance based on Processing Analysis of Big data log file)

  • 이재한;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.539-541
    • /
    • 2016
  • 최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

일사량 데이터를 이용한 태양광 부스트 컨버터의 MPPT 성능분석 (MPPT Performance Analysis of the PV Boost Converter using Solar Irradiance DATA)

  • 김학수;강성관;노의철;김흥근;전태원
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2017년도 추계학술대회
    • /
    • pp.89-90
    • /
    • 2017
  • 본 논문에서는 일사량 데이터를 이용한 태양광 부스트 컨버터의 MPPT 성능분석에 대한 연구를 제안한다. 실외 실험을 통해 일사계(Pyranometer)로 측정한 일사량 데이터와 그에 따른 태양광 패널의 출력 데이터를 검토하여 부스트 컨버터의 MPPT 성능을 테스트 하였으며, 측정한 일사량 데이터를 토대로 수행한 시뮬레이션과 실험결과를 비교 분석하였다.

  • PDF

비행시험용 실시간 데이터 융합필터 성능분석 (Performance Analysis on the Real-time Data Fusion Filter for Flight Test)

  • 원종훈;이자성;이용재;김흥범
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2003년도 하계학술대회 논문집 D
    • /
    • pp.2034-2036
    • /
    • 2003
  • 본 논문에서는 21차 상태변수를 갖는 칼만필터 형태의 비행시험용 데이터 융합필터 알고리듬의 성능을 분석하였다. 실측 데이터에 대한 분석을 통하여 상태변수 선택의 적절성을 검증하였다. 공분산 해석기법을 통하여 기 개발된 데이터 융합 알고리듬의 추정값의 오차범위를 구하였다. 수치적인 성능값을 구하고자 간단한 시뮬레이터를 설계하였다. 20회 몬테칼로 시뮬레이션과 공분산 해석결과에 기반하여 필터 계수를 튜닝하였고 이를 기설계된 분산형 칼만필터에 적용하였다. 실시간 소프트웨어 모듈의 수행결과를 동일한 실측데이터를 적용한 후처리 실험결과와 비교하였다.

  • PDF