• 제목/요약/키워드: MapReduce

검색결과 849건 처리시간 0.027초

NoSQL기반의 MapReduce를 이용한 방화벽 로그 분석 기법 (The Method of Analyzing Firewall Log Data using MapReduce based on NoSQL)

  • 최보민;공종환;홍성삼;한명묵
    • 정보보호학회논문지
    • /
    • 제23권4호
    • /
    • pp.667-677
    • /
    • 2013
  • 방화벽은 대표적인 네트워크 보안 장비로서 대부분의 네트워크 내/외부에 설치되어 패킷의 입/출입을 통제하는 시스템이다. 때문에 이에 저장된 로그 데이터를 분석하는 것은 네트워크 보안연구에 중요한 기초 자료를 제공해 줄 수 있다. 그런데 최근 기술의 발달로 인터넷망의 속도가 향상되고, 네트워크가 대형화 되면서 방화벽에서 저장하는 로그데이터들의 양도 대용량화 또는 빅데이터화 되어 가고 있다. 이러한 추세 속에서, 기존의 전통적인 RDBMS방식으로 로그데이터를 분석하는 데는 한계가 있다. 본 논문은 NoSQL 기반의 MapReduce 설계를 이용한 방화벽 로그 분석기법을 통해 NoSQL방식을 도입하는 것이 대용량 로그 데이터를 더욱 효율적으로 분석할 수 있다는 점을 발견했다. 우리는 기존의 RDBMS방식과의 데이터 처리 성능을 비교하여 NoSQL방식 데이터베이스의 우수한 성능을 입증하였고, 이를 바탕으로 제안하는 설계 기법을 평가하기 위해 3가지 공격 패턴을 선정하고 이를 집계 하여 분석을 수행하는 실험을 통해 제안하는 분석 기법의 성능 및 정확성을 입증하였다.

맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘 (Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1303-1313
    • /
    • 2015
  • 맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.

MapReduce 기반 분산 이미지 특징점 추출을 활용한 빠르고 확장성 있는 이미지 검색 알고리즘 (A Fast and Scalable Image Retrieval Algorithms by Leveraging Distributed Image Feature Extraction on MapReduce)

  • 송환준;이진우;이재길
    • 정보과학회 논문지
    • /
    • 제42권12호
    • /
    • pp.1474-1479
    • /
    • 2015
  • IoT 시대를 맞아 모바일 기기의 급격한 성능 향상에 힘입어 폭발적으로 증가하는 멀티미디어 빅데이터의 빠른 처리가 요구되고 있다. 하지만, 이런 환경의 대격변 속에서도 이미지 검색 연구 분야에서는 정확도 향상에 주로 초점을 맞춘 나머지, 고해상도 멀티미디어 데이터 Query에 대한 빠른 처리 측면에서는 제대로 대응하지 못하고 있다. 이에 우리는 이미지 검색만을 분산화한 선행연구와 달리 MapReduce 기반 분산 이미지 특징점 추출 기법을 활용하여 정확도는 유지하면서 빠른 응답시간을 확보하며, BIRCH 인덱싱을 기반으로 메모리 확장성까지 해결한 새로운 분산 이미지 검색 알고리즘을 제안한다. 그리고 제안하는 분산 이미지 검색 알고리즘의 정확도, 처리시간, 확장성에 대한 실험을 통해 뛰어난 성능을 확인한다.

분산 하둡 시스템의 성능 비교 분석 (Performance Analysis of Distributed Hadoop Systems)

  • 배병진;김영주;김영국
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.479-482
    • /
    • 2014
  • 오늘날 급증하는 빅데이터를 효율적으로 관리하기 위해 오픈소스인 하둡을 많이 사용한다. 하둡은 분산 파일 처리 시스템인 HDFS(Hadoop Distributed File System)와 분산 병렬 처리 시스템인 맵리듀스(MapReduce)로 구성되어 있다. 하둡의 맵리듀스 프레임워크에서는 빅데이터를 HDFS에서 읽어들이고 분석 처리된 결과를 다시 HDFS에 쓴다. 이러한 분산 병렬 처리 방식은 하둡 버전에 따라 다른 시스템 구조를 가진다. 따라서 본 논문에서는 하둡 버전에 따른 빅데이터 처리 시에 동작하는 하둡시스템들의 내부 성능을 비교 분석한다. 이를 위해서 하둡 시스템을 감시할 수 있는 방법을 고안하여 내부적으로 생성되는 프로세스 및 스레드들과 변수들의 발생빈도를 측정하여 분석 지표로 사용한다.

  • PDF

HMIPv6에서의 고속 매크로 핸드오프 지원 방안 (A Fast Handoff between MAPs in Hierarchical Mobile IPv6)

  • 신태일;문영성
    • 대한전자공학회논문지TC
    • /
    • 제43권2호
    • /
    • pp.16-21
    • /
    • 2006
  • Internet Engineering Task Force(IETF)는 효율적인 이동성 지원을 위해 Hierarchical Mobile IPv6(HMIPv6)를 제안하였다. HMIPv6는 Mobility Anchor Point(MAP) 도메인 내에서 기존 Mobile IP(MIP)에서 모바일 노드의 이동시 마다 필수적이었던 시그널링 오버헤드와 Binding Update(BU)로 인한 지연을 줄 일수 있는 방법을 제공한다 하지만 MAP과 MAP사이를 이동하는 사용자에 대해서는 아무런 대비책을 제시하지 않고 있기 때문에 실시간 응용프로그램의 사용에 있어서 이 경우 상당한 지연이 발생한다. 본 논문은 MAP과 MAP사이를 이동하는 사용자에 대해서도 사용자의 통신에 대한 영향을 최소화할 수 있도록 핸드오프 지연시간을 단축할 수 있는 고속 핸드오프를 제안하고 수학적 모델을 통하며 기존의 HMIPv6와 비교하였다.

마인드맵이 감정노동과 소진에 미치는 효과: 암전문병원 외래간호사를 중심으로 (Effects of the Mind Map for Emotional Labor and Burnout: A Survey of Nurses in Outpatient Departments of Cancer Hospitals)

  • 이진아;박석원;김경지;백현옥;전은영
    • 간호행정학회지
    • /
    • 제21권5호
    • /
    • pp.511-518
    • /
    • 2015
  • Purpose: The purpose of this research was to develop and evaluate the effect of a mind map for relief of emotional labor and burnout among nurses in outpatient departments in cancer hospitals. Methods: We developed a mind map to reduce emotional labor and burnout. A quasi-experimental study was used with a nonequivalent control group pretest-posttest design. Data were collected from December 2012 to April 2013. Participants were 35 nurses working in the outpatient department of a cancer hospital. The experimental group participated in the mind map program biweekly for 10 weeks. Data were analyzed using $x^2$-test, Mann-Whitney U test, paired t-test, and Wilcoxon sign rank test with the SPSS 21.0 program. Results: The physical burnout and total burnout scores decreased significantly in the intervention group which took the mind map program. Conclusion: Findings indicate that the mind map is an effective intervention to reduce burnout in outpatient department nurses.

MapReduce 환경에서 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템 (Real-time Network Attack Pattern Analysis System using Snort Log on MapReduce Environment)

  • 강문환;장진수;신영성;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.75-77
    • /
    • 2017
  • 최근 급격히 증가하고 있는 네트워크 로그 상에서 보안위협에 신속히 대응하기 위해 기업들은 방화벽, IDS 등의 네트워크 보안 로그를 분석하여 보안 위협을 파악한다. Snort는 이러한 보안 위협에 대응하기 위해 네트워크 로그를 수집하는 도구 중 하나이다. 그러나 보안 관제 담당자는 방대한 양의 보안 관련 로그를 분석하기 위해 많은 시간이 필요하기 때문에, 관제 결과를 보고하고 대응하기까지 시간이 지체되는 문제가 존재한다. 이러한 문제를 해결하기 위해, 본 논문에서는 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템을 제안한다. 제안하는 시스템은 대용량 데이터 처리에 효과적인 MapReduce 분산 처리를 활용하여 방대한 네트워크 로그를 추출 및 분석하기 때문에 보안 위협 상황 발생 여부를 실시간으로 빠르게 인지할 수 있다.

Design of Testbed for Agile Computing of MapReduce Applications by using Docker

  • Kang, Yunhee
    • International Journal of Contents
    • /
    • 제12권3호
    • /
    • pp.29-33
    • /
    • 2016
  • Cloud computing makes extensive use of virtual machines that permit for workloads, as well as resource usage, to be isolated from one another, and a hypervisor can be used by a virtual machine to construct cloud computing infrastructure. However, the hypervisor has high resource usage when constructing virtual machines, which results in a waste of allocated resources when not activated. Docker provides a more light-weight method to obtain agile computing resources based on a container technique that handles this problem. In this study, we have chosen this specific tool due to the increasing popularity of MapReduce and cloud container technologies such as Docker. This study aims to automatically configure Twister workloads for container-driven clouds. Basically, this is the first attempt towards automatic configuration of Twister jobs on a container-based cloud platform VM for many workloads.

빅데이터 처리를 위한 맵리듀스 연구 (A study of MapReduce Algorithm for Bigdata)

  • 김만윤;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.341-342
    • /
    • 2014
  • 지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.

  • PDF

MapReduce 기반 POI를 추출하기 위한 GPS 데이터 분할 방법 (GPS Data Partitioning Method for POI Extraction Based MapReduce)

  • 오주성;전혜지;이혜진;정민아;이성로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1199-1201
    • /
    • 2015
  • 위치 기반 서비스는 여러 분야에서 활용되어지고 있다. 사용자들에게 정확한 정보를 제공하기 위해서는 대량의 위치 데이터를 분석하여 POI를 추출하고 분석해야 된다. 본 논문에서는 POI를 추출하는 방법으로 DBSCAN 클러스터링을 이용하고 이를 MapReduce 환경에서 구현한다. 또한 알고리즘의 수행속도를 향상시키기위해 데이터를 분할하는 방법을 제안한다.