• 제목/요약/키워드: Map Reduce

검색결과 852건 처리시간 0.022초

브라질의 사회주택 프로그램에 관한 문헌분석연구 - "민하 카사 민하 비다" 사례를 중심으로- (The Brazilian Housing program "Minha Casa Minha Vida" - A Systematic Literature Review -)

  • 코왈토스키, 도리스;그라야, 아리오발도 데니스;모레이라, 다니엘 드카발호;피나, 실비아 미카미;올리비아, 캐롤라이나 아센시오;카스트로, 마리아나 리오스
    • 한국주거학회논문집
    • /
    • 제26권6호
    • /
    • pp.35-42
    • /
    • 2015
  • The Brazilian Federal Housing Program "Minha Casa Minha Vida" -PMCMV (My House My Life) is part of a large housing policy to eradicate the housing deficit, estimated at around five million homes in the country. The Ministry for Cities created a network of independent research organizations to evaluate the program, and the PMCMV has attracted many studies. Despite the inherent worth of these individual studies, there is a need for a holistic evaluation. A Systematic Literature Review (SLR) is seen as an important contribution to focus research efforts on the problems identified, to avoid the repetition of studies and to provide novel insights. This article carried out a SLR to map and quantify the types of research and represent a graphic panorama of published studies. Gap spotting was part of the study. In the five-year period from 2010-2014, the SLR identified 1489 bibliographic items. The panorama is categorised according to types of publications, and the analysis of items shows that most studies are concentrated on housing policies, financial questions, urban impacts and Brazilian social development. The results of this SLR raise some new research questions and show opportunities to reduce errors in the housing projects themselves.

빅데이터 환경에서 연속 질의 처리를 위한 리버스 k-최근접 질의 처리 기법 (Reverse k-Nearest Neighbor Query Processing Method for Continuous Query Processing in Bigdata Environments)

  • 임종태;박선용;서기원;이민호;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제14권10호
    • /
    • pp.454-462
    • /
    • 2014
  • 최근 위치 측정 기술과 모바일 기기들의 발달과 함께 위치 기반 서비스가 중요하게 연구되고 있다. 위치기반서비스를 제공하기 위해 많은 연구자들이 맵리듀스를 활용한 다양한 질의 처리 기법을 제안하였다. 그 중에 하나가 맵리듀스를 활용한 리버스 k-최근접 질의 처리 기법이다. 하지만 기존 기법들은 연속 리버스 k-최근접 질의 처리를 수행하기 위해 많은 처리 비용이 요구된다. 본 논문에서는 맵리듀스를 활용한 효율적인 연속 리버스 k-최근접 질의 처리 기법을 제안한다. 제안하는 기법은 60도 가지치기 기법을 이용한다. 제안하는 기법은 60도 가지치기 기법을 활용하여 모니터링 영역을 생성하고 모니터링을 수행하여 결과 업데이트을 수행하기 때문에 효율적으로 결과 업데이트를 수행한다. 또한, 본 논문에서는 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 성능평가를 수행한다.

최적안전항로를 위한 충돌위험도 평가시스템의 개발 (Development of a Collision Risk Assessment System for Optimum Safe Route)

  • 전호군;정연철
    • 해양환경안전학회지
    • /
    • 제24권6호
    • /
    • pp.670-678
    • /
    • 2018
  • 선박의 통행량이 많은 연안해역은 선박들 사이에 복잡한 조우상황이 자주 발생하기 때문에 충돌사고의 가능성이 높다. 따라서 해상에서 충돌사고를 줄이기 위해서는 항해사의 국제충돌예방규칙(COLREG) 준수에 더하여 정량적인 충돌위험평가가 요구된다. 본 연구에서는 선박의 계획항로에 대한 충돌위험을 평가하기 위한 새로운 충돌위험도 평가시스템이 개발되었다. 먼저 기존의 충돌위험 평가모델들을 검토함으로써 적절한 충돌위험 평가방법이 제시되었다. 시스템은 MATLAB을 사용하여 개발되었으며 해도, 범퍼 및 평가의 세 부분으로 구성된다. 개발된 시스템은 시험을 위해 간단한 계산조건으로 시험해역에 적용되었으며, 그리고 검증을 위해 실제 계산조건으로 실제해역에 적용되었다. 그 결과 충돌위험은 자선의 길이, 항해시간 및 항로 등에 의해 영향을 받는 것으로 나타났다. 개발된 시스템은 항해사가 출항전 최적안전항로를 선택하는데 도움을 줄 수 있을 것으로 기대된다.

LDBAS: Location-aware Data Block Allocation Strategy for HDFS-based Applications in the Cloud

  • Xu, Hua;Liu, Weiqing;Shu, Guansheng;Li, Jing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권1호
    • /
    • pp.204-226
    • /
    • 2018
  • Big data processing applications have been migrated into cloud gradually, due to the advantages of cloud computing. Hadoop Distributed File System (HDFS) is one of the fundamental support systems for big data processing on MapReduce-like frameworks, such as Hadoop and Spark. Since HDFS is not aware of the co-location of virtual machines in the cloud, the default scheme of block allocation in HDFS does not fit well in the cloud environments behaving in two aspects: data reliability loss and performance degradation. In this paper, we present a novel location-aware data block allocation strategy (LDBAS). LDBAS jointly optimizes data reliability and performance for upper-layer applications by allocating data blocks according to the locations and different processing capacities of virtual nodes in the cloud. We apply LDBAS to two stages of data allocation of HDFS in the cloud (the initial data allocation and data recovery), and design the corresponding algorithms. Finally, we implement LDBAS into an actual Hadoop cluster and evaluate the performance with the benchmark suite BigDataBench. The experimental results show that LDBAS can guarantee the designed data reliability while reducing the job execution time of the I/O-intensive applications in Hadoop by 8.9% on average and up to 11.2% compared with the original Hadoop in the cloud.

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

프리픽스 할당에 기반한 중첩된 NEMO 환경에서의 경로최적화 기법 (Route Optimization Scheme in Nested NEMO Environment based on Prefix Delegation)

  • 노경택;강정진
    • 한국인터넷방송통신학회논문지
    • /
    • 제8권5호
    • /
    • pp.95-103
    • /
    • 2008
  • 망이동성지원 프로토콜 (NEMO basic support protocol)은 이동망의 통신노드들에 대해 인터넷 연결을 제공하기 위한 확장된 MIPv6이다. 그러나, 망이동성지원 프로토콜은 중첩된 이동망의 경우에 다중 캡슐화와 함께 최적화되지 않은 경로 선택으로 인하여 데이터 전송 지연과 많은 비용을 요구한다. 본 논문에서는 계층적 MIPv6 (HMIPv6)와 계층적 프리픽스 할당 (HPD) 프로토콜을 결합한 제안 기법을 통해 핸드오프 발생시 효율적인 경로최적화와 더불어 패킷헤더비용과 위치등록부하를 감소시켰다. 제안 기법은 계층적 프리픽스할당과 트리기반 경로방법을 통하여 이동망 노드들에 대한 주소를 할당하고, 마이크로 이동성을 지원함과 동시에 도메인 내에서의 상호통신을 가능케 한다. 제안된 기법의 성능평가를 위해 NS-2로 모의실험을 하였다.

  • PDF

짝·홀 교차 사상을 이용한 Double Flow 기법 기반 병렬 터보 복호기 설계 (A Design of Parallel Turbo Decoder based on Double Flow Method Using Even-Odd Cross Mapping)

  • 좌유철;임종석
    • 전자공학회논문지
    • /
    • 제54권7호
    • /
    • pp.36-46
    • /
    • 2017
  • 오류 정정부호의 일종인 터보 코드는 우수한 BER 성능을 얻기 위하여 동일한 복호 과정을 반복 수행해야 하므로 긴 복호시간을 필요로 한다. 따라서 복호시간을 줄이기 위하여 병렬처리를 이용할 수 있는데, 이 경우, 추가 버퍼를 필요로 하는 메모리 경합이 있을 수 있다. QPP 인터리버는 이러한 메모리 경합을 피하기 위하여 제안되었으나, double flow 복호 기법과 함께 사용하여 복호기를 구성할 경우 여전히 메모리 경합이 발생할 가능성이 있다. 본 논문에서는 double-flow 기법을 이용한 복호에서 메모리 충돌을 피할 수 있는 even-odd cross mapping 기법을 제안한다. 이 방법은 QPP 인터리버의 주소 생성 특성을 사용하며, 복호 모듈과 LLR 메모리 블록 간의 인터리빙 회로 구현에 사용될 수 있다. Double flow 기법과 제안한 방법을 적용하여 복호기를 구현하고, 이를 기존의 MDF 기법에 의한 구현과 비교하였을 때, 전체 면적은 약 8% 증가하지만, 복호시간을 최대 약 32% 줄일 수 있다.

하둡과 하이브를 이용한 BGP 아카이브 데이터의 포렌직 분석 툴 (Yet Another BGP Archive Forensic Analysis Tool Using Hadoop and Hive)

  • 이연희;이영석
    • 정보과학회 논문지
    • /
    • 제42권4호
    • /
    • pp.541-549
    • /
    • 2015
  • 지속적으로 축적되는 BGP 아카이브 파일은 데이터의 규모로 인해 관리와 분석 방법에 대한 기술적인 어려움에 처해 있다. 최근 오픈소스 분산 컴퓨팅 기반인 하둡 (Hadoop)의 발전에 힘입어 대량의 데이터를 효율적으로 다루는 것이 가능해졌다. 본 논문에서는 대량의 BGP 아카이브 데이터로부터 민첩한 분석 방법을 제공하고 저가의 컴퓨터를 이용하여 성능 확장이 가능한 하둡 기반의 BGP 분석 아키텍쳐 (BGPdoop)를 제안한다. BGPdoop은 여러 지점에서 수집하여 오랜 기간 축적된 대량의 BGP 아카이브 데이터의 효율적인 관리와 분석을 위하여 데이터의 구조와 접근 방법을 정의하고, 유연하고 민첩한 질의 기반의 BGP 분석 방법을 제시한다. 20대 노드로 구성된 테스트베드를 이용한 규모확장성 실험에서 4대 노드 대비 5배의 단위 시간당 증가된 처리량을 확인했다. 또한 하이브 (Hive) 질의를 이용한 BGP 라우팅의 포렌식 분석 사례를 통해 본 논문의 제안방법에 대한 타당성을 제시한다.

GIS 기반의 뿌리보강모델을 활용한 산사태 위험도 작성방법 연구 (GIS Landslide Hazard Mapping Using Root Strength Reinforcement Model)

  • 김민구;윤영진;장훈
    • 대한공간정보학회지
    • /
    • 제13권1호
    • /
    • pp.45-53
    • /
    • 2005
  • 우리나라는 전 국토의 약 70%가 산지로 구성되어 있고, 장마 및 태풍 등에 의해 산사태가 매년 발생하여 큰 피해를 주고 있는 실정이다. 이것은 또한, 도시의 팽창과 더불어 산업화의 발전에 의해서도 해마다 그 발생횟수가 증가하고 있다. 2002년 8월 발생한 태풍 루사는 우리나라 곳곳에 심각한 영향을 끼쳤으며, 특히 강원도 강릉 지역에 가장 큰 피해를 야기했다. 이런 위험 지역의 삼림이나 산사태 관리를 위해 산사태 위험도가 반드시 필요하다고 여겨진다. 지리정보 시스템(GIS)은 산사태 위험도를 제작하기에 시간 뿐 아니라, 노동력과 비용을 경감시킬 수 있을 뿐만 아니라, 위험 지역에 대한 조사와 공간적 예측 모델을 구축하는데 효과적으로 활용될 수 있다. 다양한 방법들로 산사태 위험도를 제작할 수 있다. 본 연구에서는, 뿌리보강 모델을 활용하였다. 이 모델은 경사도, 토심, 토양의 특성과 식생과 같은 인자들을 활용하여 산사태 위험도를 작성하였다.

  • PDF

국내주요수종의 수고생장에 대하여 (On the Height Growth of Several Species growing in the Middle Korea)

  • 마상규
    • 한국산림과학회지
    • /
    • 제21권1호
    • /
    • pp.39-45
    • /
    • 1974
  • 지위지수추정시 발생되는 오차를 감소시키기 위하여 수고생장과정에 적합한 실험식과 기타 정보를 얻고자 이 연구를 착수한 것이다. 11개 실험식으로 물오리나무, 일본잎갈나무, 잎갈나무, 잣나무, 젓나무, 리기다소나무, 상수리나무와 갈참나무의 수고생장 추정식을 계산하였다. 계산결과에 의하면 수종간에는 적합실험식의 종류가 서로 다르며 지위지수는 임령에 따라 항상 일정한 것이 아니고 변동하는 경우가 있으므로 지위지수추정시 수간석해 또는 다변형지위지수 곡선을 이용함이 합리적인 것으로 생각된다.

  • PDF