• 제목/요약/키워드: In-Memory Data grid

검색결과 58건 처리시간 0.032초

시공간 데이터 스트림 처리를 위한 영역 기반의 연산자 공유 기법 (Partition-based Operator Sharing Scheme for Spatio-temporal Data Stream Processing)

  • 정원일;김영기
    • 한국산학기술학회논문지
    • /
    • 제11권12호
    • /
    • pp.5042-5048
    • /
    • 2010
  • 유비쿼터스 환경에서 다양한 센서로부터 생성되는 데이터 스트림에 대해 사용자가 요구하는 위치 기반 서비스를 효과적으로 지원하기 위해 연산자 네트워크와 공유 등을 통한 연속 질의 처리 기법이 활용되고 있다. 위치 정보 기반의 연속 질의 처리는 특정 영역을 중심으로 유사 질의가 집중적으로 발생할 수 있으므로, 본 논문에서는 유사한 조건을 갖는 공간 연산을 공유하기 위해 그리드 영역 분할을 이용한 공간 연산 공유 기법을 제안한다. 제안기법은 공간 연산을 직접 공유하지 않고 그리드 셀 별로 이동객체를 공유하기 때문에 유사한 조건을 갖는 공간 연산의 공유가 가능하여 공간 연산의 실행 빈도수를 크게 감소시켜 질의 처리 속도의 향상과 함께 메모리 이용률을 향상시킨다.

SBR-k(Sized-based replacement-k) : 데이터 그리드 환경에서 파일 교체 (SBR-k(Sized-base replacement-k) : File Replacement in Data Grid Environments)

  • 박홍진
    • 한국콘텐츠학회논문지
    • /
    • 제8권11호
    • /
    • pp.57-64
    • /
    • 2008
  • 데이터 그리드는 대용량의 데이터 어플리케이션 처리를 위해 지리적으로 분산되어 있는 저장 자원을 제공한다. 대용량을 처리해야 하는 데이터 그리드 환경에서는 기존 웹 캐싱 정책이나 가상 메모리 캐쉬 교체 정책과는 다른 파일 교체 정책이 필요하다. LRU(Least Recently Used)나 LCB-K(Least Cost Beneficial based on K), EBR(Economic-based cache replacement), LVCT(Least Value-based on Caching Time) 같은 기존의 파일 교체 전략은 파일 교체를 위해 추가적인 자원이 필요하거나 미래를 예측해야한다. 본 논문은 이를 해결하기 위해 파일의 크기에 기반하여 파일 교체를 수행하는 SBR-k(Sized-based replacement-k)을 제안한다. 제안된 정책은 불확실한 미래 예측의 부담을 줄이고, 요청된 파일에 대응되는 교체 파일의 개수가 적게 하이 위해 파일 크기를 고려하였다. 성능평가 결과 캐쉬 크기가 작은 경우에 적중률이 비슷하나 캐쉬 크기가 크면 본 논문에서 제시한 정책이 우수함을 보였다.

메모리 효율 향상을 위한 고정격자기반 실시간 지형 LOD 알고리즘에 관한 연구 (A Study on Regular Grid Based Real-Time Terrain LOD Algorithm for Enhancing Memory Efficiency)

  • 황보택근;양영규;문민수
    • 대한원격탐사학회지
    • /
    • 제20권6호
    • /
    • pp.409-418
    • /
    • 2004
  • LOD(Level of Detail)는 대용량의 데이터를 갖는 게임이나 애니메이션에서 실시간에 자연스러운 처리를 위해서는 사용되는 기법으로, i차원 게임이나 애니메이션에 자주 사용되고 있으며 3차원을 표현하기 위한 중요한 기술로 부각되고 있다. 본 논문에서는 기존의 2진 트리 방식에서 부모노드의 정보를 배제하여, 널리 사용되고 있는 2진 트리 방식인 ROAM(Realtime Optimally Adapting Meshes) 알고리즘 보다 메모리의 양을 적게 사용하며 성능은 오히려 향상된 새로운 LOD 알고리즘을 제시하고자 한다. 본 알고리즘의 성능을 검증하기 위하여 3차원 지형에서 실시간 네비게이션 시 기존의 ROAM알고리즘과 제안된 알고리즘을 비교하였으며 그 결과 메모리는 제안 알고리즘이 기존의 알고리즘에 약 1/4정도를 사용하고 수행 시간은 약 4배가량 빠른 것으로 조사되었다.

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF

클라우드 시스템에서 해양수치모델 성능 최적화 (Performance Optimization of Numerical Ocean Modeling on Cloud Systems)

  • 정광욱;조양기;탁용진
    • 한국해양학회지:바다
    • /
    • 제27권3호
    • /
    • pp.127-143
    • /
    • 2022
  • 최근 클라우드 컴퓨팅 환경에서 해양수치모델 실험을 수행하는 많은 연구가 활발하게 진행되고 있다. 클라우드 컴퓨팅 환경은 대규모 자원이 필요한 해양수치모델을 구현하는데 매우 효과적인 수단이 될 수 있다. 정보처리 기술의 발달로 클라우드 컴퓨팅 시스템은 가상화와 원격 고속 네트워크, 직접 메모리 액세스와 같은 수치모델의 병렬처리에 필요한 다양한 기술과 환경을 제공한다. 이러한 새로운 기능은 클라우드 컴퓨팅 시스템에서 해양수치모델링 실험을 용이하게 한다. 많은 과학자들과 엔지니어들은 해양수치모델 실험에 있어서 가까운 미래에 클라우드 컴퓨팅이 주류가 될 것으로 기대하고 있다. 해양수치모델링을 위한 클라우드 컴퓨팅의 처리성능 분석은 수치모델의 수행 시간과 리소스 활용량을 최소화하는 데 도움이 될 수 있으므로 최적의 시스템을 적용하는 데 필수적이다. 특히 모델 격자 내 다양한 변수들이 다차원 배열 구조로 되어 있기 때문에 대량의 입출력을 처리하는 해양수치모델의 구조는 캐시메모리의 효과가 크며, 대량의 자료가 이동하는 통신 특성으로 인해서 네트워크의 속도가 중요하다. 최근에 주요한 컴퓨팅환경으로 자리잡고 있는 클라우드 환경이 이러한 해양수치모델을 수행하기에 적합한지 실험을 통해서 검토할 필요가 있다. 본 연구에서는 상용 클라우드 시스템에서 해양수치모델로 대표적인 Regional Ocean Modeling System (ROMS)와 더불어 다른 해양모델의 클라우드 환경으로 전환에도 도움이 될 수 있게 병렬처리 시스템의 성능을 측정할 수 있는 표준 벤치마킹 소프트웨어 패키지인 High Performance Linpack을 활용하여 초당 부동소수점 연산횟수 처리능력과 및 STREAM 벤치마크를 활용하여 다중 노드들로 구성된 수치모델용 클러스터의 메모리처리성능을 평가하고 비교하였다. 이러한 평가내용은 클라우드 환경에서 해양수치모델을 어떻게 수행할 것인가에 대해 중요한 정보를 제공할 수 있다. 가상화 기반 상용 클라우드에서 얻은 실제 성능 자료와 구성 설정 분석을 통해 가상화 기반 클라우드 시스템에서 해양수치모델의 다양한 격자 크기에 대한 컴퓨터 리소스의 효율성을 평가했다. 본 연구를 통해서 캐시 계층과 용량이 큰 메모리를 사용하는 HPC 클러스터가 ROMS의 성능에 매우 중요하다는 것을 발견했다. 수치모델링의 실행 시간을 줄이기 위해 코어 수를 늘리는 것은 작은 격자 보다 큰 격자 모델에서 더 효과적이다. 이러한 처리 성능 분석 결과는 클라우드 컴퓨팅 시스템에서 해양수치모델을 효율적으로 구축하는 데 중요한 자료로 이용될 것이다.

다단계 정육면체 격자 기반의 가상점 생성을 통한 대용량 3D point cloud 가시화 (Massive 3D Point Cloud Visualization by Generating Artificial Center Points from Multi-Resolution Cube Grid Structure)

  • 양승찬;한수희;허준
    • 한국측량학회지
    • /
    • 제30권4호
    • /
    • pp.335-342
    • /
    • 2012
  • 건축, 토목, 의료, 컴퓨터 그래픽스 분야 등 다양한 분야에서 이용되는 3D point cloud는 최근 레이저 스캐너의 발달로 인해 그 용량이 점점 커지게 되었다. 컴퓨터 메모리의 용량을 넘어서서 모든 데이터를 한 번에 처리할 수 없는 대용량 3D point cloud를 가시화하고 편집하기 위해 여러 전처리 및 가시화 방법들이 소개되었고 본 논문에서 비교한 QSplat의 경우 3D 모델의 형상 확인과 용량 감소를 목적으로 원본 좌표를 손실 압축하여 저장하였다. 본 논문에서 제시하는 방법은 3D point cloud를 정육면체 격자로 분할하고 center sampling을 통해 가상점 집합을 생성하며 가시화 과정에서 격자에 저장된 point 집합 취득을 통한 빠른 렌더링이 가능하다. 홍익대학교 인근 지역을 측정한 약 1억 2천만 개 point의 대용량 3D point cloud를 QSplat과 다단계 정육면체 격자 기반 방법으로 비교한 결과 전처리 과정에서는 QSplat이, 가시화 과정에서는 다단계 정육면체 격자 기반 방법이 빠른 속도를 보여주었다. 또한 다단계 정육면체 격자 기반 방법은 point의 원본 좌표를 저장하기에 추후 가시화 외에 편집, segmentation 등의 작업을 고려하여 고안되었다.

메모리기반 데이터 그리드 환경에서 확장성을 고려한 분산 캐시 구조 및 데이터 조달 기법 (Distributed Cache Framework and its Data Procurement Algorithm on In-Memory Data Grid)

  • 김병상;윤찬현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1767-1769
    • /
    • 2010
  • 본 논문은 그리드 혹은 클라우드 컴퓨팅환경과 같은 인터넷 기반의 대규모 분산 환경에서 데이터집약적인 작업의 실행에 있어서 확장성을 위해 필수적으로 고려되는 데이터 전송 부하를 분산시키는 기법을 논하고 있다. 우리는 다수의 메모리기반의 데이터 노드를 활용하여 분할기법(Partitioning)을 기반으로 데이터 전송 부하를 줄이고자 하며 다수의 데이터 노드에 실시간으로 최적의 데이터의 양을 공급하는 기법에 대한 이론적인 분석과 시뮬레이션을 통한 성능 검증을 포함하고 있다.

Numerical Analysis of Micro-jet Array Cooling Device with Various Configurations

  • Jung, Yang-Ki;Lee, In-Chan;Ma, Tae-Young
    • Transactions on Electrical and Electronic Materials
    • /
    • 제6권2호
    • /
    • pp.39-45
    • /
    • 2005
  • Numerical and visualization procedures are used in a finite difference grid to analyze and better understand the heat transfer in the MEMS based air micro-jet array (MIA) impingement cooling device. The Navier-Stokes (NS) equations with incompressible flow are solved using an implicit procedure. The temperature contour and velocity vector visualization diagrams are used for illustration. The computed temperature distribution at the bottom of the MIA is in good agreement with the experimental measurement data. The parameters are investigated to improve the efficiency of heat transfer in the MIA. The optimum configuration of the MIA is suggested. The present modeling explains the flow phenomenon and yields valuable information to understand the flow and heat transfer in MIA.

가전제품 전력 사용 분류를 위한 장단기 메모리 기반 비침입 부하 모니터링 기법 (Non-Intrusive Load Monitoring Method based on Long-Short Term Memory to classify Power Usage of Appliances)

  • 경찬욱;선준호;선영규;김진영
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권4호
    • /
    • pp.109-116
    • /
    • 2021
  • 본 논문은 분산자원 집합 거래시장의 활성화와 에너지 관리의 중요성이 증가되면서 에너지 관리 모니터링 기술로서 합산된 전체 전력으로부터 각각의 가전제품의 전력을 찾아내는 비 침입 부하 모니터 기법을 제안한다. 본 논문에서는 데이터 전처리를 통해 각 가전제품들의 power on-off상태가 나오도록 한다. 이러한 데이터를 LSTM을 모델로 사용하여 각 가전제품들의 power on-off 상태를 예측한다. 예측한 상태들을 데이터 후처리를 한 후, 실제 상태들과 비교하여 정확도를 측정한다. 본 논문에서는 전자제품의 개수, 데이터 후처리 방법과 Time step size를 다르게 하여 정확도를 측정하여 비교한다. 전자 제품의 개수가 6개이고, Round함수로 데이터 후처리 방법을 사용하고, Time step size는 6으로 설정하였을 때, 가장 높은 정확도가 나온 것으로 측정되었다.

스트리밍 방식을 이용한 대용량 DEM 프로세싱 프로그램의 개발 (Developing Program for Processing a Mass DEM Data using Streaming Method)

  • 이동하;이영균;서용철
    • 대한공간정보학회지
    • /
    • 제17권4호
    • /
    • pp.61-66
    • /
    • 2009
  • 본 연구는 넓은 지역의 DEM 생성 시 하드웨어 성능에 따라 자료를 부분적으로 처리해야 하는 불편을 개선하고 DEM의 정밀도를 개선하는 것에 그 목적이 있다. 본 연구에서 개발된 DEM Generator 프로그램은 대용량 LiDAR 자료, 수치지형도 자료에 스트리밍 방식을 적용하여 인덱싱 및 델로니 삼각망 생성을 수행하고, Natural Neighborhood 또는 TIN 보간법을 적용한 가상 파일을 생성하여 특정한 해상도로 대규모 지역의 DEM 및 음영기 복도를 효율적으로 생성하도록 설계되었다. 최종적으로 생성된 DEM 및 음영기복도는 GeoTIFF 포맷으로 제공된다. DEM Generator 프로그램은 GIS, 기상, 환경 분석 등 넓은 지역의 DEM 생성이 필요한 분야에서 기존의 부분적인 DEM 생성 및 인접 처리 과정에 의해 발생했던 시간적 경제적 손실을 절감시킬 수 있을 것으로 판단되며, 추가적인 인접 및 수정 작업이 불필요하여 DEM의 정밀도를 높일 수 있을 것으로 판단된다.

  • PDF