• 제목/요약/키워드: Processing Map

검색결과 1,462건 처리시간 0.03초

SSD를 사용한 맵리듀스 정렬 성능개선 (A Study for Improving MapReduce Performance using Solid State Drive)

  • 강석훈;강운학;이상원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1118-1120
    • /
    • 2012
  • 컴퓨터 메모리의 용량이 커지고 기술이 발전하며 메모리와 저장장치의 데이터 처리속도 차이는 나날이 커지고 있다. 이를 보완하고자 데이터 처리를 가급적 메모리에서 해결하여 처리속도를 높이고자 하는 연구가 많이 있다. 그 중 MapReduce에 대한 연구는 현재 주목이 되고 있는 분야이다. MapReduce는 빅데이터를 클러스터 환경에서 처리하기에 대중적인 프로그래밍 모델이다. 본 논문은 MapReduce 기반의 Hadoop을 SSD를 적용하여 실행속도를 증진시키려 한다. 전통적인 MapReduce 모델은 데이터를 정렬하는데에 I/O가 크게 발생하는데, MapRedce가 사용하는 병합정렬의 I/O 병목현상을 개선하고자 SSD를 사용하였다.

MapReduce 프레임워크의 I/O 비용 평가 (I/O Cost Evaluation of the MapReduce Framework)

  • 김현규;강우람
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1068-1069
    • /
    • 2013
  • 최근 정보 기술과 웹의 발전으로 많은 응용에서 데이터의 양이 급격이 증가하였다. MapReduce는 이러한 대용량 데이터를 처리하기 위해 구글에서 제안한 프레임워크이다. MapReduce 프레임워크는 데이터 전달 패러다임을 기반으로 한다. 이로부터, 데이터 처리 및 질의에 있어 I/O 비용이 전체 처리 비용에서 큰 부분을 차지한다. 본 논문에서는 MapReduce 프레임워크에서 I/O에 소요되는 비용을 확인하기 위해, 실제 데이터를 기반으로 실험을 수행하였다. 이를 통해, MapReduce 기반 시스템의 성능 예측이나 성능 향상을 위해 고려되어야 할 부분을 제시하고자 하였다.

클라우드에서 SPARQL 질의 처리를 위한 조인 성능 향상 (Improving Join Performance for SPARQL Query Processing in the Clouds)

  • 최규진;손윤희;이규철
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.700-709
    • /
    • 2016
  • 최근 LOD 데이터의 급격한 증가로 인해 기존의 싱글 머신 시스템을 통한 대량의 LOD 처리는 성능의 한계를 가진다. 이러한 문제를 해결하기 위해 최근 연구들은 분산, 병렬 프레임워크인 맵리듀스를 활용한다. 하지만 맵리듀스를 통해 SPARQL 질의를 처리하기 위해서는 다수의 맵리듀스 잡이 필요하고, 이로 인해 추가적인 비용이 발생하게 된다. 또한, 조인을 위해 불필요한 데이터를 처리해야 하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 SPARQL 질의 처리 시 발생하는 맵리듀스 잡의 개수를 줄이고 Bitmap을 기반으로 조인 인덱스를 작성 후 이용하여 불필요한 데이터 처리를 최소화 하는 방법을 제안한다.

동적 배경에서의 고밀도 광류 기반 이동 객체 검출 (Dense Optical flow based Moving Object Detection at Dynamic Scenes)

  • 임효진;최연규;구엔 칵 쿵;정호열
    • 대한임베디드공학회논문지
    • /
    • 제11권5호
    • /
    • pp.277-285
    • /
    • 2016
  • Moving object detection system has been an emerging research field in various advanced driver assistance systems (ADAS) and surveillance system. In this paper, we propose two optical flow based moving object detection methods at dynamic scenes. Both proposed methods consist of three successive steps; pre-processing, foreground segmentation, and post-processing steps. Two proposed methods have the same pre-processing and post-processing steps, but different foreground segmentation step. Pre-processing calculates mainly optical flow map of which each pixel has the amplitude of motion vector. Dense optical flows are estimated by using Farneback technique, and the amplitude of the motion normalized into the range from 0 to 255 is assigned to each pixel of optical flow map. In the foreground segmentation step, moving object and background are classified by using the optical flow map. Here, we proposed two algorithms. One is Gaussian mixture model (GMM) based background subtraction, which is applied on optical map. Another is adaptive thresholding based foreground segmentation, which classifies each pixel into object and background by updating threshold value column by column. Through the simulations, we show that both optical flow based methods can achieve good enough object detection performances in dynamic scenes.

맵리듀스에서 집계 질의 스트림의 효율적인 처리 기법 (Efficient Processing of an Aggregate Query Stream in MapReduce)

  • 최현진;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권2호
    • /
    • pp.73-80
    • /
    • 2014
  • 맵리듀스는 빅데이터 분석 및 처리에 널리 사용되는 프로그래밍 모델이다. 빅데이터 분석을 위해 흔히 사용되는 질의 중 하나는 집계 질의(aggregate query)이다. 본 논문에서는 여러 사용자가 동시에 여러 집계 질의를 계속해서 요청하는 경우, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 각 집계 질의를 개별적으로 처리하지 않고, 여러 집계 질의를 묶어 하나의 최적화된 맵리듀스 잡(job)으로 만들어 일괄 처리한다. 그 결과로 제안 방법은 단순 방법에 비해 시간당 처리하는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 질의 처리 속도를 크게 향상시킴을 보인다.

Refinement of Disparity Map using the Rule-based Fusion of Area and Feature-based Matching Results

  • Um, Gi-Mun;Ahn, Chung-Hyun;Kim, Kyung-Ok;Lee, Kwae-Hi
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 1999년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.304-309
    • /
    • 1999
  • In this paper, we presents a new disparity map refinement algorithm using statistical characteristics of disparity map and edge information. The proposed algorithm generate a refined disparity map using disparity maps which are obtained from area and feature-based Stereo Matching by selecting a disparity value of edge point based on the statistics of both disparity maps. Experimental results on aerial stereo image show the better results than conventional fusion algorithms in the disparity error. This algorithm can be applied to the reconstruction of building image from the high resolution remote sensing data.

  • PDF

Implementation of Tile Searching and Indexing Management Algorithms for Mobile GIS Performance Enhancement

  • ;최진영
    • 사물인터넷융복합논문지
    • /
    • 제1권1호
    • /
    • pp.11-19
    • /
    • 2015
  • The mobile and ubiquitous environment is experiencing a rapid development of information and communications technology as it provides an ever increasing flow of information. Particularly, GIS is now widely applied in daily life due to its high accuracy and functionality. GIS information is utilized through the tiling method, which divides and manages large-scale map information. The tiling method manages map information and additional information to allow overlay, so as to facilitate quick access to tiled data. Unlike past studies, this paper proposes a new architecture and algorithms for tile searching and indexing management to optimize map information and additional information for GIS mobile applications. Since this involves the processing of large-scale information and continuous information changes, information is clustered for rapid processing. In addition, data size is minimized to overcome the constrained performance associated with mobile devices. Our system has been implemented in actual services, leading to a twofold increase in performance in terms of processing speed and mobile bandwidth.

MapAppGen: Drupal 기반 맵 응용 생성기 (MapAppGen : Drupal Based Map Application Generator)

  • 정민경;남미진;강혜림;음두헌
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.72-75
    • /
    • 2010
  • Google을 시작으로 포털 사이트들이 Maps API를 공개하면서 맵 응용에 대한 수요가 급증하고 있다. 맵 응용의 개발은 대부분 수작업으로 이루어지고 있기 때문에 맵 응용의 생산성이 떨어질 뿐만 아니라 유지 보수에도 많은 시간과 노력이 요구되고 있다. 우리가 설계하고 구현한 MapAppGen은 ModuleGen, IndexGen, MapGen으로 구성되며 맵 응용을 자동으로 생성한다. MapAppGen은 Google Maps API를 사용하여 CMS(Content Management System) 중의 하나인 Drupal에 적용 가능한 모듈들을 생성해 맵 응용에 대한 생산성을 향상시켜 준다. MapAppGen처럼 맵 응용을 위해 Drupal 모듈을 생성하는 생성기는 현재 존재하지 않으며 Gmap이나 NodeMap과 같이 고정된 맵 인터페이스 모듈들은 존재한다. 그러나 Gmap이나 NodeMap 모듈은 Drupal의 기본 컨텐츠 타입 모듈에 의존하기 때문에 사용자는 원하는 지형/지물 컨텐츠 타입을 생성해 활용할 수 없고 지형/지물들을 유형별로 맵 상에 표시하고 연관된 컨텐츠들을 검색할 수도 없다.

MapReduce 분산 데이터처리 플랫폼에 기반한 모바일 디바이스 UX 분석 (UX Analysis for Mobile Devices Using MapReduce on Distributed Data Processing Platform)

  • 김성숙;김성규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권9호
    • /
    • pp.589-594
    • /
    • 2013
  • 웹의 특징인 개방과 공유의 사고방식이 더욱 일반화 되면서 개발자 뿐 만 아니라 사용자가 직접 발생시키는 데이터도 복합적으로 늘어나고 있는 실정이다. 이러한 상황에서 모바일 디바이스 User eXperience(UX) 분석에서 다른 무엇보다도 디바이스에 기록되는 대용량의 로그 기록에서 필요한 데이터들을 자동으로 요약 정리해 주는 기법이 필요하다. 이에, 본 논문에서는 분석하고자 하는 모바일 디바이스 특성에 맞게 사전에 로그 데이터 속성에 대한 정의를 먼저하고, 직접 이를 반영한 사용자의 로그를 수집하여 저장하였다. 또한, 발생되는 대용량의 로그 기록에 기초한 UX를 분석하고자 다양한 로그 데이터 타입을 설정 및 처리할 수 있는 Hadoop(하둡)에서 제공하는 MapReduce 기법을 활용하여 데이터를 분산 처리하였다. 이를 통해, Map과 Reduce의 다양한 조합으로 대용량의 모바일 디바이스에서 발생되는 로그 데이터 셋에서 복잡한 스키마를 단순화시켜 분산 데이터 처리 환경에 맞게 UX 분석 방안을 제시하였다.

스노우보드 게임을 위한 3D Height Map Tool 구현 (Implementation of 3D Height Map Tool for SnowBoard Game)

  • 김은주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.177-180
    • /
    • 2006
  • 체감형 게임을 하기 위한 지형 인터페이스 모델로써 스노우보드 게임에서 사용되는 지형 Map Tool을 구현한다. 게임에 쓰이게 될 3D 지형을 하이트 2D 맵 편직기만을 이용해서 만들기는 힘들며 이러한 방법은 지형의 세밀함이 떨어지고 게임상에서 계속 불러들여 확인하는 것은 비효율적이다. 하이트맵을 3D 상에서 직접 불러와 편집을 하고 저장할 수 있게 된다면 훨씬 효율적이며 퀄리티를 높일 수 있을 것이다.

  • PDF