• 제목/요약/키워드: MapReduce

검색결과 852건 처리시간 0.025초

Query Optimization on Large Scale Nested Data with Service Tree and Frequent Trajectory

  • Wang, Li;Wang, Guodong
    • Journal of Information Processing Systems
    • /
    • 제17권1호
    • /
    • pp.37-50
    • /
    • 2021
  • Query applications based on nested data, the most commonly used form of data representation on the web, especially precise query, is becoming more extensively used. MapReduce, a distributed architecture with parallel computing power, provides a good solution for big data processing. However, in practical application, query requests are usually concurrent, which causes bottlenecks in server processing. To solve this problem, this paper first combines a column storage structure and an inverted index to build index for nested data on MapReduce. On this basis, this paper puts forward an optimization strategy which combines query execution service tree and frequent sub-query trajectory to reduce the response time of frequent queries and further improve the efficiency of multi-user concurrent queries on large scale nested data. Experiments show that this method greatly improves the efficiency of nested data query.

클라우드 컴퓨팅을 이용한 유시티 비디오 빅데이터 분석 (An Analysis of Big Video Data with Cloud Computing in Ubiquitous City)

  • 이학건;윤창호;박종원;이용우
    • 인터넷정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.45-52
    • /
    • 2014
  • 유비쿼터스 시티(유시티)에서는 수많은 비디오 카메라들이 설치된다. 이렇게 설치된 많은 카메라로부터 대용량의 비디오 데이터가 실시간으로 끊임없이 발생하고 유시티의 관리 시스템으로 전달된다. 유시티의 다양한 서비스들을 뒷받침하기 위해서는 이러한 비디오 데이터를 저장하고, 이렇게 저장된 대용량의 비디오 데이터를 분석할 수 있는 방법과 관리 시스템이 요구된다. 그래서, 이 논문에서는 클라우드 컴퓨팅을 기반으로 한 유시티 비디오 관리 시스템을 제안한다. 또한, 근래 주목받고 있는 데이터 병렬처리 프레임워크인 Hadoop MapReduce를 이용하여 이러한 빅데이터 비디오를 분석하는 방법을 제안하고, 이에 따른 우리의 성능 평가를 소개한다.

IEEE 802.16e 기반에서의 Improved Fast Handover Protocol using HMIPV6 (Unproved Fast Handover Protocol using HMIPv6 based on IEEE 802.16e Network)

  • 구교두;문영성
    • 정보처리학회논문지C
    • /
    • 제14C권6호
    • /
    • pp.503-508
    • /
    • 2007
  • 와이브로 서비스가 공식적으로 서비스됨에 따라서 이동 노드가 차량 속도로 이동시 실질적인 리얼 타임 서비스가 가능한지에 대한 사항이 고려되어야 한다. 표준문서 RFC 4140인 Hierarchical Mobile IPv6 mobility management에서 다루고 있는 Fast Handover에 대한 것은 이동노드가 같은 도메인 MAP 내에서만 이동했을 경우에 대해 다루고 있고 MAP을 넘어가는 경우에 대해서는 다루고 있지 않다. 그래서 MAP간의 이동시 생기는 핸드오버 지연을 줄이기 위해 Macro Mobility Handover in HMIPv6[7]가 제안되었다. 그러나 이 방안 역시 끊김없는 서비스를 제공하는 데에는 부족함이 있다. 그래서 전체적인 핸드오버 지연을 줄이기 위해서 향상된 FHMIPv6 방안을 제안한다. 이 방안에서는 FHMIPv6에서 사용되는 3계층 핸드오버 메시지의 일부를 2계층 핸드오버 메시지에 포함시켜서 전송하는 방법을 사용한다. 이렇게 함으로서 이동노드는 핸드오버시 발생하는 전체 지연을 줄일 수 있게 되고, 수치적으로 계산하였을 때 기존의 FHMIPv6 보다 IFHMIPv6가 약 32% 향상된 성능을 보이게 된다.

ESI Map 구축 연구 (Establishment of Korean Environmental Sensitivity Index Map)

  • 성홍근;이한진;이문진;강창구
    • 한국해양환경ㆍ에너지학회지
    • /
    • 제6권4호
    • /
    • pp.3-12
    • /
    • 2003
  • 지속적인 산업화와 도시화에 따른 에너지 수요의 급증으로 인해 원유와 석유제품의 해양수송이 점점 증가하고 있다. 우리나라의 경우 국내의 유류 수요를 맞추기 위해서는 매일 30만톤급의 대형 유조선이 입항해야 하기 때문에 대형 유류오염 사고에 노출되어 있다 해양 유류오염사고의 가능성을 줄이기 위해 부단한 노력에도 불구하고 회복하기 어려운 유출 사고는 인간의 실수, 악천후 또는 복합적인 이유로 일어나게 된다. 따라서 적절한 대응시스템으로 지역방제계획을 세워 최악의 경우에 대비하고 해양환경과 연안자원을 보호해야만 한다. 특히 보호의 우선순위를 명확히 하고 현장 방제전략을 세움으로써 유출과 방제의 노력이 환경에 미치는 영향을 줄이기 요구되는 방제정보지도에 초점을 맞추었다. 본 논문에서는 기름에 대한 민감도의 정의와 개발한 소프트웨어의 주요특짚과 함께 방제정보지도를 간략히 소개한다.

  • PDF

하이퍼텍스트상의 Local Map 구조에 대한 사용편의성 평가 (Usability evaluation of the local map structures on a hypertext)

  • 한성호;최필성
    • 대한산업공학회지
    • /
    • 제21권3호
    • /
    • pp.397-407
    • /
    • 1995
  • Use of a hypertext is growing as multimedia and hypermedia systems become popular. The major difference between hypertext-based and ordinary user interfaces is navigation. Typically, there are two major navigation problems in a hypertext compared to the ordinary user interface: "Disorientation" and "Cognitive Overload". To reduce or eliminate these problems of the hypertext system, a variety of aiding tools have been proposed. Among them, a local map is a good tool for helping users navigate through screens, especially for a large and complex system. This study examined three major design variables of a local map in a hypertext: breadth, depth, and functionality of a map. A human factors experiment was conducted to investigate the effects of these variables. Based upon the results of the experiment, design guidelines are suggested.

  • PDF

소음지도제작방법에 따른 소음노출인구산정방법 (Assessment Method of Noise Exposed Population for Manufacture Type of Noise Map)

  • 박인선;오종화;박상규
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2007년도 추계학술대회논문집
    • /
    • pp.1129-1133
    • /
    • 2007
  • Assessment of noise exposed population is a method for checking the degree of environmental noise and social influence in order to reduce the risks such as annoyance and disturbance that are generated by environmental noise. Also, this method suggests the preferential noise reduction policy and action plan by accurately assessing the area that noise causes harm to human health. Recently, a noise map, which can predict noise in comprehensive areas, is used for the assessment of noise exposed population, breaking from the methods using existing measures. In particular, countermeasure for the noise can be considered more effectively by using assessment methods of noise exposed population for specific noise levels, areas, and building types which are the main input factors in noise maps. In this study, Assessment methods of noise exposed population by using 2D noise map are compared with those by 3D noise map.

  • PDF

지역 지도 기반의 이동 로봇 탐사 기법 (Local Map-based Exploration Strategy for Mobile Robots)

  • 유혜정;정완균
    • 로봇학회논문지
    • /
    • 제8권4호
    • /
    • pp.256-265
    • /
    • 2013
  • A local map-based exploration algorithm for mobile robots is presented. Segmented frontiers and their relative transformations constitute a tree structure. By the proposed efficient frontier segmentation and a local map management method, a robot can reduce the unknown area and update the local grid map which is assigned to each frontier node. Although this local map-based exploration method uses only local maps and their adjacent node information, mapping completion and efficiency can be greatly improved by merging and updating the frontier nodes. Also, we suggest appropriate graph search exploration methods for corridor and hall environments. The simulation demonstrates that the entire environment can be represented by well-distributed frontier nodes.

자기 조직화 맵을 이용한 강화학습 제어기 설계 (Design of Reinforcement Learning Controller with Self-Organizing Map)

  • 이재강;김일환
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제53권5호
    • /
    • pp.353-360
    • /
    • 2004
  • This paper considers reinforcement learning control with the self-organizing map. Reinforcement learning uses the observable states of objective system and signals from interaction of the system and environment as input data. For fast learning in neural network training, it is necessary to reduce learning data. In this paper, we use the self-organizing map to partition the observable states. Partitioning states reduces the number of learning data which is used for training neural networks. And neural dynamic programming design method is used for the controller. For evaluating the designed reinforcement learning controller, an inverted pendulum on the cart system is simulated. The designed controller is composed of serial connection of self-organizing map and two Multi-layer Feed-Forward Neural Networks.

휘도맵의 작성을 위한 HDRI 획득에 있어서 EV의 범위 (An EV Range in HDRI Acquisition as a Luminance Map Creation)

  • 홍승대
    • 조명전기설비학회논문지
    • /
    • 제24권10호
    • /
    • pp.5-12
    • /
    • 2010
  • The purpose of this study is to present the EV range in HDRI acquisition process to create luminance map. The proposed method in this study is to capture the scene at EV ${\pm}0$ that is the longest exposure points and reference point in the scene. With this reference point, sets of 25 LDRI test case were taken manually at ${\pm}2$ EV using the aperture-priority manual mode. The 25 HDRIs were created using Adobe Photoshop. The HDRIs were then imported Radiance lighting simulation program to be analyzed into falsecolor. The analysis results of the 25 HDRIs test case are 50[%] of the all tested case have a margin of error of 10[%]. In case of f/5.6, the luminance map generated with HDRI were similar to the spot luminance meter. As a result, the EV range to reduce error of luminance map generated with HDRI is EV $+2{\sim}{\pm}0{\sim}-10$.

TMDR 기반의 실시간 데이터 통합 환경 설계 (Design of The Environment for a Realtime Data Integration based on TMDR)

  • 정계동;황치곤
    • 한국정보통신학회논문지
    • /
    • 제13권9호
    • /
    • pp.1865-1872
    • /
    • 2009
  • 본 논문은 레거시를 통합 검색하기 위한 방안으로 XMDR을 확장하는 방안을 제안한다. 이러한 확장은 메타데이터의 관리를 위한 메타 시멘틱 온톨로지, 위치 정보를 위한 메타 로케이션, 그리고 시멘틱 웹을 표현하기 위한 표준 언어인 토픽맵을 결합한다. 본 논문에서는 이것을 TMDR(Topic Map MetaData Registry)이라 한다. 토픽맵은 지식계층으로 인덱스와 같은 역할을 수행한다. 그러나 토픽맵은 데이터의 변화가 빈번한 경우에는 효율이 떨어질 수 있다. 이러한 문제를 해결하기 위해 본 시스템은 메타 데이터 사이의 관계, 실제 데이터 사이의 관계 그리고 메타데이터와 실제 데이터 사이의 관계를 토픽맵으로 표현한다. 표현된 토픽맵은 메타 데이터 간의 관계로 인해 실제 데이터간의 관계 변화를 줄이는 방안을 제시한다.