• Title/Summary/Keyword: 에코시스템

검색결과 178건 처리시간 0.022초

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법 (Anomaly Detection Technique of Log Data Using Hadoop Ecosystem)

  • 손시운;길명선;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권2호
    • /
    • pp.128-133
    • /
    • 2017
  • 최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.

벅데이터 로그파일 처리 분석을 통한 성능 개선 방안 (Improving Performance based on Processing Analysis of Big data log file)

  • 이재한;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.539-541
    • /
    • 2016
  • 최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

FNN 기반 신경회로망을 이용한 기상 레이더 에코 분류기 설계 : 에코판단 모듈의 비교 분석 (Design of Meteorological Radar Echo Classifier Using Fuzzy Relation-based Neural Networks : A Comparative Studies of Echo Judgement Modules)

  • 고준현;송찬석;오성권
    • 한국지능시스템학회논문지
    • /
    • 제24권5호
    • /
    • pp.562-568
    • /
    • 2014
  • 기상레이더에는 강수에코와 비강수 에코가 섞여 존재한다. 이런 모호한 지점의 판단이 난해함으로 정확한 일기 예보를 하기는 매우 어려운 일이다. 본 논문에서는 기상청 레이더의 UF 데이터로부터 데이터를 추출하였다. 설계하는 두 분류기의 입출력 데이터는 강수 에코와 비 강수 에코의 특성분석을 통해 구성된다. 더 좋은 성능을 나타나는 입력변수를 사용 하였으며, 에코분류기는 퍼지 뉴럴 네트워크를 기반으로 설계한다. 에코 판단모듈 1과 판단모듈 2를 고려하여 에코분류기의 성능 비교연구를 수행 한다.

안드로이드 기반의 모바일 APP 개발을 위한 모바일 클라우드 컴퓨팅 (Toward Mobile Cloud Computing-Cloudlet for implementing Mobile APP based android platform)

  • 라이오넬;장종욱
    • 한국정보통신학회논문지
    • /
    • 제19권6호
    • /
    • pp.1449-1454
    • /
    • 2015
  • 자동차 진단 데이터의 양이 증가함에 따라 자동차 에코시스템의 액터는 스마트 자동차에서 수집된 데이터에 따라 새로운 서비스를 시뮬레이션 하거나 설계하기 위하여 실시간으로 분석을 해야 하는 어려움에 직면하게 된다. 본 논문에서는 자동차에서 생성된 막대한 양의 자동차 내장 진단 데이터를 처리하고 분석하는데 필수적이고 심오한 해석학을 제시하는 빅 데이터 솔루션에 관한 연구를 하였다. Hadoop 및 그 에코시스템은 자동차 소유자에 대한 새로운 서비스 제공을 위해 자동차 에코시스템의 액터에 의해 사용될 수 있는 막대한 데이터 및 전달된 유용한 결과를 처리하기 위해 개발된 것이다. 지능형 교통시스템이 안전성 보장, 속도로 인한 사고로 입는 상해 및 충돌의 비율 감소 등에 관여함에 따라, 자동차 진단 데이터 기반의 빅 데이터 솔루션 개발을 통해 향후 실시간 결과 감시, 여러 스마트 자동차에서의 데이터 수집, 수집된 데이터에 대한 신뢰성 있는 처리 및 용이한 저장을 실현화하게 된다.

Hadoop을 이용한 스마트 자동차 서비스용 빅 데이터 솔루션 개발 (Addressing Big Data solution enabled Connected Vehicle services using Hadoop)

  • 라이오넬;장종욱
    • 한국정보통신학회논문지
    • /
    • 제19권3호
    • /
    • pp.607-612
    • /
    • 2015
  • 자동차 진단 데이터의 양이 증가함에 따라 자동차 에코시스템의 액터는 스마트 자동차에서 수집된 데이터에 따라 새로운 서비스를 시뮬레이션 하거나 설계하기 위하여 실시간으로 분석을 해야 하는 어려움에 직면하게 된다. 본 논문에서는 자동차에서 생성된 막대한 양의 자동차 내장 진단 데이터를 처리하고 분석하는데 필수적이고 심오한 해석학을 제시하는 빅 데이터 솔루션에 관한 연구를 하였다. Hadoop 및 그 에코시스템은 자동차 소유자에 대한 새로운 서비스 제공을 위해 자동차 에코시스템의 액터에 의해 사용될 수 있는 막대한 데이터 및 전달된 유용한 결과를 처리하기 위해 개발된 것이다. 지능형 교통시스템이 안전성 보장, 속도로 인한 사고로 입는 상해 및 충돌의 비율 감소 등에 관여함에 따라, 자동차 진단 데이터 기반의 빅 데이터 솔루션 개발을 통해 향후 실시간 결과 감시, 여러 스마트 자동차에서의 데이터 수집, 수집된 데이터에 대한 신뢰성 있는 처리 및 용이한 저장을 실현화하게 된다.

EcoMon: 에코 드라이빙 모니터링 시스템 (EcoMon: A System for Monitoring Eco-Driving)

  • 한동호;김상철
    • 한국산학기술학회논문지
    • /
    • 제15권11호
    • /
    • pp.6830-6837
    • /
    • 2014
  • 최근 지구 온난화와 에너지 고갈 문제가 심각해지면서, 차량의 에코 드라이빙 (에너지 절약형 운행)에 대한 관심이 높다. 본 논문에서는 ISG(공회전 제한 장치)가 장착된 차량의 공회전 제한 사용과 정속 운전을 모니터링하는 시스템을 제안한다. 본 시스템은 차량 운행 정보 수집용 G/W 장치, 에코 드라이빙 모니터링용 스마트폰 앱 및 서버 시스템으로 구성된다. 본 논문의 주요 기여는 공회전 제한을 포함하는 에코 드라이빙의 모니터링 시스템이 제공해야 할 통합적인 기능, 구조 및 동작 원리를 정의한 것이다. 본 시스템을 통해 사용자는 공회전 제한 시간, 운전 속도, 연료 절감량, CO2 배출량 등을 확인해 봄으로써, 에코 드라이빙을 실천하는 좋은 운전 습관을 가지게 될 것이다. 서버 시스템은 운행 정보를 저장 또는 조회하는 기능을 OpenAPI 형태의 웹 서비스로 제공하여, 다양한 응용들을 쉽게 개발할 수 있는 환경을 제공한다.

멀티 에이전트 프레임워크 기반의 생태계 모방 시스템 소프트웨어 아키텍처 개발 (Development of Bio-Inspired System Software Architecture Based on Multi-Agents Framework)

  • Lee, Hak-Joo;Song, Ji-Young;Lee, Keun-Jun;Park, Sung-Yong;Jung, Sung-Won;Yang, Ji-Hoon;Nang, Jong-Ho
    • 한국생물정보학회:학술대회논문집
    • /
    • 한국생물정보시스템생물학회 2003년도 제2차 연례학술대회 발표논문집
    • /
    • pp.258-267
    • /
    • 2003
  • 네트워크의 발전으로 인해 현재 존재하는 소프트웨어 구조에 몇 가지 문제점을 내포하게 되었다. 이러한 환경에 대응하기 위해 생태계 구조를 모방한(Bio-inspired) 네트워크 기반적응 생존형 시스템을 제안한다. 여기서는 생태계의 여러 특성 중 적응성(adaptability) 확장성(scalability), 생존성(survivability)을 모델링 하고자한다. 이 시스템은 상기의 특성을 포함하는 몇 개의 계층으로 구성되어 있다. 독립된 개체의 역할을 하는 에코전트 레이어와 에코전트의 활동을 지원하는 에코전트 플랫폼 레이어, 효율적인 네트워크 활용을 위한 플랫폼 콜레버레이션 레이어로 이루어져 있다. 본 논문에서는 이러한 시스템의 구체적인 기능과 구성 그리고 이 시스템의 활용 분야에 대해 살펴본다.

  • PDF

레이더 데이터 분석을 위한 Fuzzy Logic 기반 클러스터링 기법에 관한 연구 (A Study on Fuzzy Logic based Clustering Method for Radar Data Analysis)

  • 이한수;김은경;김성신
    • 한국지능시스템학회논문지
    • /
    • 제25권3호
    • /
    • pp.217-222
    • /
    • 2015
  • 클러스터링 기법은 탐색적 자료 분석 기법으로 알려진 중요한 데이터마이닝 기법 중 하나로서 패턴 인식, 원격 탐사 등의 분야에 사용되고 있다. 이 방법을 이용하여 데이터의 기본 구조를 추출하고, 개체의 군집화 혹은 군집의 계층을 조직한다. 기상 레이더는 대기 중에 존재하는 물체에서 반사되는 신호를 이용하여 관측을 수행하고, 해당 좌표에 데이터를 저장하는 원리로 동작하는데, 이를 분석하기 위해서는 흩어져있는 레이더 데이터를 유사도를 바탕으로 강수에코와 비강수에코를 구분하여 군집화 할 필요가 있다. 따라서 본 논문에서는 클러스터링 기법을 레이더 데이터에 적용하는 방법에 대한 연구를 수행하였다. 또한, 강수에코와 비강수에코가 인접해 있을 경우 발생할 수 있는 문제를 해결하기 위하여 퍼지 로직과 계층적 클러스터링 기법을 접목하여 유사도를 판별하는 방법에 대한 연구를 수행하였다. 실제 사례를 바탕으로 본 논문에서 제안한 클러스터링 기법을 적용한 결과, 강수에코와 비강수에코가 인접해 있는 경우 기존 기법보다 좋은 결과를 도출하는 것을 확인할 수 있었다.