• 제목/요약/키워드: 프리패칭

검색결과 25건 처리시간 0.025초

하둡 맵리듀스 성능 향상을 위한 데이터 프리패칭과 스트리밍 (Data Prefetching and Streaming for Improving the Performance of Mapreduce of Hadoop)

  • 이정준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제51차 동계학술대회논문집 23권1호
    • /
    • pp.151-154
    • /
    • 2015
  • 최근 소셜 네트워크, 바이오 컴퓨팅, 사물 인터넷 등의 출현으로 인해 기존의 IT환경보다 많은 데이터가 생성되고 있고, 이로 인해 효율적인 대용량 데이터 처리기법에 대한 연구가 진행 되고 있다. 맵리듀스는 데이터 집약적인 연산 어플리케이션에 효과적인 프로그래밍 모델로써, 대표적인 맵리듀스 어플리케이션으로는 아파치 소프트웨어 재단에서 개발 지원중인 하둡이 있다. 본 논문은 하둡 맵리듀스의 성능 향상을 위해 데이터 프리패칭 기법과 스트리밍 기법을 제안한다. 하둡 맵리듀스의 성능 이슈 중 하나는 맵리듀스 과정에서 입력 데이터 전송에 의한 작업 지연이다. 이러한 데이터 전송 시간을 최소화하기 위해, 기존 맵리듀스와는 달리 데이터 전송을 담당하는 프리패칭 스레드를 별도로 생성하였다. 그 결과 데이터의 맵리듀스 작업 중에도 데이터 전송이 가능하게 되어 전체 데이터 처리 시간을 줄일 수 있었다. 이러한 프리패칭 기법을 사용해도 하둡 맵리듀스의 특성상 최초 데이터 전송 시에는 작업대기를 하게 되는데, 이 대기시간을 줄이고자 스트리밍 기법을 사용하여 데이터 전송에 의한 대기시간을 추가로 줄일 수 있었다. 제안하는 기법의 성능을 측정하기 위해 수학적인 모델링을 하였으며, 성능 측정결과 기존의 하둡 맵리듀스 및 프리패칭 기법만 적용된 맵리듀스 보다 스트리밍 기법이 추가 적용된 맵리듀스의 성능이 향상되었음을 확인 할 수 있었다.

  • PDF

사용자 기반의 캐싱과 프리패칭을 이용한 분산 가상 환경하에서의 확장성 있는 데이터 관리 기법 (Scalable Data Management Using User-Based Caching and Prefetching in Distributed Virtual Environments)

  • 박성주;이동만;한승현;임민규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.697-699
    • /
    • 2001
  • 가상환경에서의 실시간 상호작용을 지원하기 위해 가상세계의 데이터를 서버에서 클라이언트로 복제 해놓는 방법이 쓰여지고 있다. 효과적인 복제를 위해서는 두 가지 기법 - 우선 순위기반의 객체 전송과 캐싱 및 프리패칭 기법이 쓰이고 있다. 기존의 캐시와 프리패칭 기법들은 사용자와 객체간의 지역적 관계를 이용하고 있지만, 이는 어떤 종류의 객체가 사용자에게 더 중요한 지를 결정할 수 없는 단점이 있다. 본 연구에서는 지역적 관계 뿐 아니라 개별 사용자의 객체에 대한 관심도로부터 발생하는 객체에 대한 우선 순위를 이용하여 사용자 기반의 캐싱과 프리패칭을 사용하는 분산 가상환경 하에서의 확장성 있는 데이터 관리 기법을 제안한다. 또한 이 기법에서는 사용자의 행동 모드를 구분함으로써 더욱 높은 캐시 적중 비율을 얻을 수 있다.

  • PDF

하이브리드 플래시-디스크 저장장치용 Flash Translation Layer의 성능 개선을 위한 순차패턴 마이닝 기반 2단계 프리패칭 기법 (Improving Flash Translation Layer for Hybrid Flash-Disk Storage through Sequential Pattern Mining based 2-Level Prefetching Technique)

  • 장재영;윤언근;김한준
    • 한국전자거래학회지
    • /
    • 제15권4호
    • /
    • pp.101-121
    • /
    • 2010
  • 본 논문은 플래시 메모리와 하드디스크로 구성되는 하이브리드 저장장치의 성능을 높이기 위한 프리패칭 기법을 제안한다. 하이브리드 저장장치에 포함된 플래시 메모리는 하드디스크에 비해 쓰기/읽기 연산 속도가 상대적으로 빠르기 때문에 이를 캐시 공간처럼 활용하여 성능을 높일 수 있다. 프리패칭을 위한 기본 전략은 순차패턴 마이닝을 이용하는 것이며, 이를 이용하면 시간적 흐름을 가지는 과거 객체 참조열로부터 반복되는 객체 접근 패턴을 추출할 수 있다. 프리패칭 기법을 사용하여 하이브리드 저장장치의 성능을 최대화하기 위하여 본 논문은 두 가지 방법을 사용하였다. 첫 번째는 플래시 메모리 매핑을 위하여 기존의 FAST 알고리즘을 개선하였고, 두 번째는 제한된 플래시 메모리의 공간을 효율적으로 사용하기 위하여 프리패칭 단위로 파일 수준과 블록 수준을 동시에 고려하였다. 제안 기법의 효용성을 평가하기 위해 참조 지역성을 가지는 합성 데이터와 UCC 데이터를 활용하여 실험을 실시하여 제안된 방법의 우수성을 증명하였다.

VoD 서버를 위한 P2P 기반의 프리픽스 패칭 기법 (A Peer to Peer Prefix Patching Scheme for VoD Servers)

  • 이치훈;이근정;최창열;최황규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.217-220
    • /
    • 2005
  • VoD 시스템의 병목현상의 주요원인은 저장장치 또는 네트워크 입출력으로 인한 대역폭 요구량과 디지털 비디오의 장시간 서비스로 인한 높은 대역폭 요구량 때문이다. 패칭은 멀티캐스트 사용하여 VoD 시스템의 병목 현상을 극복한 가장 효과적인 기술 중 하나이다. 본 논문에서는 클라이언트를 이용한 프리픽스 패칭 사용과 함께 서버로부터 정규 멀티캐스트 스트림을 사용하여 기존의 패칭 기법을 개선하기 위한 P2Prefix 패칭 기법을 제안한다. 제안된 기법에서 각 클라이언트는 동일한 비디오 스트림을 요청하는 다른 클라이언트에게 프리픽스 스트림을 제공하기 위한 패칭 서버로서의 역할을 한다. 그 결과, 서버 대역폭 요구량은 서버로부터 패칭 채널을 제거하는 것으로 줄일 수 있다. 성능 평가에서 본 논문에서 제안한 패칭 기법이 기존의 패칭 기법과 비교해 볼 때 서버 대역폭 요구를 줄일 수 있음을 보인다.

  • PDF

VOD 서버에서 클라이언트 버퍼 확장을 통한 효율적인 패칭 기법 (Efficient Patching Scheme Based on Client Buffer Expanding for VOD Servers)

  • 이근정;권춘자;최황규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.877-879
    • /
    • 2005
  • 본 논문은 클라이언트 버퍼 확장 기법과 프록시 프리픽스 캐싱을 응용하여 기존의 패칭 기법의 성능을 향상시키기 위한 새로운 패칭 기법을 제안한다. 제안된 기법은 프록시에서 비디오의 프리픽스를 캐싱하여 패칭 윈도우 크기를 확장한다. 또한 클라이언트의 버퍼로 부터 오버플로우된 스트림을 공유하고 저장하기 위해 프록시 버퍼를 통해 클라이언트의 버퍼 공간을 확장한다. 프록시에서 프리픽스와 패칭 윈도우 크기가 확장되므로 기존의 패칭 기법보다 서버의 대역폭 요구량이 현저히 줄어들게 된다. 성능 평가를 통해 제안된 기법이 서버의 대역폭 요구량을 줄일 수 있음을 보인다.

  • PDF

위치인식 이동정보서비스를 위한 프리패칭 방법론 (A Prefetching Scheme for Location-Aware Mobile Information Services)

  • 김문자;차우석;조인준;조기환
    • 정보처리학회논문지C
    • /
    • 제8C권6호
    • /
    • pp.831-838
    • /
    • 2001
  • 이동정보서비스는 휴대단말을 소지한 사용자가 생활현장에서 정보를 처리할 때 유용성을 제공코자 하는 서비스 패러다임을 말한다. 여기서 사용자의 이동성, 현장성으로 인하여 정보를 요구하고 있는 현재 상황(context)에 적응적인 서비스 방법론은 매우 중요한 기술요소로 인식되고 있다. 본 논문은 이동정보서비스에서 고려될 수 있는 상황 중에서 사용자의 위치 변화에 따른 상황인식요소인 위치인식 이동정보서비스를 위한 프리패칭 방법론을 다룬다. 먼저 단말 혹은 사용자의 이동 패턴을 상황인식에 활용하기 위하여 속도기반 이동모델을 채택한다. 이동속도 및 이동방향을 근거로 하여 프리패칭의 대상정보를 선정하는 프리패칭 영역을 정의함으로써, 프리패칭되는 대상 정보의 수를 효과적으로 제한하는 반면에 현재 상황에 최적인 정보서비스를 적응적으로 처리하는 기반을 제공한다. 제안된 프리패칭 방법론은 시뮬레이터를 이용하여 효용성 관점에서 분석 평가하였다. 본 논문에서 제안된 방법론은 다른 이동정보서비스 상황인 서비스 요구시간, 단말 입출력장치, 네트워크 전송률 등의 활용에 개념적으로 확장될 수 있을 것으로 기대된다.

  • PDF

하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법 (A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System)

  • 유상현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

모바일 AR에서 효율적인 연속 공간 질의를 위한 프리패칭 기법 (Prefetching Techniques of Efficient Continuous Spatial Queries on Mobile AR)

  • 양평우;정용희;한정혜;이연식;남광우
    • Spatial Information Research
    • /
    • 제21권4호
    • /
    • pp.83-89
    • /
    • 2013
  • 최근 모바일 장치의 성능이 가속화됨으로써, 고성능 연산처리 기능을 요구하는 기술들을 이용한 다양한 컨텐츠들이 생산되고 있다. 이동하는 사용자가 자신의 위치를 기반으로 여러 정보를 검색하는 이동정보 서비스들이 증강현실 서비스와 결합하여 많은 서비스들이 생산되고 있다. 이동정보 서비스는 사용자가 새로운 위치로 이동했을 때 정보를 새로이 알아야하는 특성이 있다. 이러한 이동정보 서비스의 특성은 사용자가 위치를 변경하고 새로운 검색을 하였을 때 많은 통신횟수를 요구한다. 이 단점을 보완하기 위하여 본 논문에서는 속도 및 시야각 기반 프리패칭 기법을 제안한다. 기존의 프리패칭 기법은 사용자의 이동 속도와 이동 방향을 고려를 하여 다음 위치에 대한 검색을 하였다. AR에서 화면에 보이는 데이터는 모바일 장치의 시야각에 제한을 받는다는 특징이 있다. 이러한 특징 때문에 기존의 프리패칭 기법은 실제 필요한 데이터보다 훨씬 더 많은 데이터를 검색한다는 단점이 있다. 본 논문에서는 모바일 장치의 시야각을 이용하는 AR에서 더 효율적인 검색 방법을 제안한다. 제안하는 기법은 사용자의 속도, 방향, 시야각을 이용하여 필요 없는 공간에 대한 검색을 줄여준다. 줄어든 검색 범위만큼 검색되는 데이터가 더 작아지기 때문에 검색의 효율 또한 기존의 방법들 보다 우수하다.

대규모 VOD 시스템을 위한 효율적인 P2P 기반의 프록시 패칭 기법 (An Efficient P2P Based Proxy Patching Scheme for Large Scale VOD Systems)

  • 권춘자;최황규
    • 정보처리학회논문지A
    • /
    • 제12A권5호
    • /
    • pp.341-354
    • /
    • 2005
  • 대규모 VOD 시스템에서는 동시에 다수의 클라이언트 요청에 따른 서버 저장장치 및 네트워크 대역폭 병목현상이 발생하며, 이를 해소하기 위한 효율적인 서버 대역폭 감소 기법이 필요하다. 패칭 기법은 멀티캐스트를 활용한 대표적인 VOD 시스템의 병목현상 해결 기법 중의 하나이다. 본 논문은 기존 패칭 기법의 성능 향상을 위하여 프리픽스 캐싱과 P2P 프록시를 결합한 새로운 P2P 프록시 패칭 기법을 제안한다. 제안된 기법에서 각각의 클라이언트는 자신이 받고 있는 스트림을 동일한 비디오를 요청한 다른 클라이언트들에게 멀티캐스트 함으로써 다른 클라이언트를 위한 프록시 역할을 수행한다. P2P 프록시와 프리픽스 캐싱의 사용으로 인하여 패칭 윈도우 크기를 벗어나는 사용자 요청들은 새로운 정규 채널을 생성하는 대신 이전의 패칭 그룹에 속한 다른 클라이언트로부터 정규 스트림을 전송받음으로써 서버로 집중되는 부하를 줄일 수 있다. 시뮬레이션을 통하여 프리픽스 크기와 요청 간격에 따른 서버의 대역폭 요구량을 측정한 결과에서 제안된 기법이 기존의 패칭 방법보다 서버의 평균 대역폭 요구량을 전체적으로 약 $33\%$ 감소시킬 수 있음을 보인다.

웹 지리정보시스템을 위한 확률 기반의 타일 프리페칭과 캐쉬대채 알고리즘의 성능평가 (Performance Study of Probability-based Tile Pre-fetching and Cache Replacement Algorithms for Web Geographical Information Systems)

  • 강용균;김기창;김유성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.139-141
    • /
    • 2001
  • 기존의 웹 지리정보시스템에서 전송되는 지리 데이타의 단위가 매우 크기 때문에 사용자들은 지도의 긴초기로딩시간과 늦은 응답시간동안 기다려야 했다. 지리정보시스템에서 기존 연구들은 타일과 레이어의 개념을 이용하여 지도의 긴 초기로딩시간을 최적화하는데 초점을 맞추고 있으나 사용자들의 응답시간을 줄이는 연구는 상대적으로 적었다. 응답시간을 줄이기 위해서 일반적으로 서버로부터 사용자가 앞으로 사용하게 될 타일들을 미리 예측하여 클라이언트로 가져다 놓는 프리패칭 메카니즘을 사용한다. 본 논문에서는 확률기반 모델로 표현된 사용자의 타일접근패턴을 이용하여 앞으로 사용될 타일을 정확하게 예측하여 응답시간을 줄이는 프리패칭 알고리즘과 이와 연동하는 캐쉬대체정책을 제안했다. 제안된 알고리즘을 시뮬레이션을 통해 실험해 본 결과 사용자 응답시간이 36%~40%정도 빨라지는 성능향상을 보였다.

  • PDF