• 제목/요약/키워드: Data partitioning

검색결과 390건 처리시간 0.028초

계층 자료구조의 결합과 3차원 클러스터링을 이용하여 적응적으로 부하 균형된 GPU-클러스터 기반 병렬 볼륨 렌더링 (Adaptive Load Balancing Scheme using a Combination of Hierarchical Data Structures and 3D Clustering for Parallel Volume Rendering on GPU Clusters)

  • 이원종;박우찬;한탁돈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권1_2호
    • /
    • pp.1-14
    • /
    • 2006
  • 대용량 볼륨 데이타를 가시화하는 효과적인 방법인 후-정열 병렬 렌더링은 부하균형에 의해 성능이 결정된다. 기존의 정적 데이타 분할 방법은 태스크 병렬성만의 관점에서는 자기균형을 쉽게 얻을 수 있었지만, 데이타 내부의 빈 공간을 고려하지 않았기 때문에 데이타 병렬성의 관점에서는 심각한 불균형을 초래할 수 있었다. 본 논문은 태스크 병렬성과 데이타 병렬성이 함께 고려된, 적응적이며 확장적인 부하 균형 기법을 제안한다. 우리는 계층적 자료 구조인 옥트리와 BSP-트리를 효과적으로 결합하여 볼륨 데이타의 실제 영역만을 추출하여 렌더링 노드들로 균등하게 분산시켰으며, 각 렌더링 노드들에서는 3차원 클러스터링 알고리즘을 적용하여 렌더링 순서를 효과적으로 결정하였다. 제안하는 방법은 기존의 정적 데이타 분산 기법에 비해 최대 22배의 병렬성을 높였고 동기화 비용을 낮추어 렌더링 성능을 크게 향상시켰음을 실험을 통해 알 수 있었다.

CNN을 이용한 Quad Tree 기반 2D Smoke Super-resolution (Quad Tree Based 2D Smoke Super-resolution with CNN)

  • 홍병선;박지혁;최명진;김창헌
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제25권3호
    • /
    • pp.105-113
    • /
    • 2019
  • 물리 기반 유체 시뮬레이션은 고해상도 연산을 위해 많은 시간이 필요하다. 이 문제를 해결하기 위해 저해상도 유체 시뮬레이션의 한계를 딥 러닝으로 보완하는 연구들이 있으며, 그중에서는 저해상도의 시뮬레이션 데이터를 고해상도로 변환해주는 Super-resolution 분야가 있다. 하지만 기존 기법들은 전체 데이터 공간에서 밀도 데이터가 없는 부분까지 연산하므로 전체 시뮬레이션 속도 면에서 효율성이 떨어지며, 입력 해상도가 큰 경우에는 GPU 메모리가 부족해 연산할 수 없는 경우가 발생할 수 있다. 본 연구에서는 공간 분할 법 중 하나인 쿼드 트리를 활용하여 시뮬레이션 공간을 분할 및 분류하여 Super-resolution 하는 기법을 제안한다. 본 기법은 필요 공간만 Super-resolution 하므로 전체 시뮬레이션 가속화가 가능하고, 입력 데이터를 분할 연산하므로 GPU 메모리 문제를 해결할 수 있게 된다.

연합 학습 환경에서의 Task-Specific Adaptive Differential Privacy 메커니즘 평가 방안 연구 (Study on Evaluation Method of Task-Specific Adaptive Differential Privacy Mechanism in Federated Learning Environment)

  • 우타리예바 아쎔;최윤호
    • 정보보호학회논문지
    • /
    • 제34권1호
    • /
    • pp.143-156
    • /
    • 2024
  • 연합 학습(FL)은 여러 공동 작업자 간에 분산된 모델 학습을 위한 강력한 방법론으로 부상해 데이터 공유의 필요성을 없애준다. FL은 데이터 프라이버시를 보호하는 기능으로 호평을 받고 있지만, 다양한 유형의 프라이버시 공격으로부터 자유롭지 않다. 대표적인 개인정보 보호 기술인 차분 프라이버시(DP)는 이러한 취약점에 대응하기 위해 널리 사용된다. 이 논문에서는 기존의 작업별 적응형 DP 메커니즘을 FL 환경에 적용해 성능을 평가한다. 포괄적인 분석을 통해 다양한 DP 메커니즘이 공유 글로벌 모델의 성능에 미치는 영향을 평가하며, 특히 다양한 데이터 배포 및 분할 스키마에 주의를 기울인다. 이를 통해, FL에서 개인정보 보호와 유용성 간의 복잡한 상호 작용에 대한 이해를 심화하고, 성능 저하 없이 데이터를 보호할 수 있는 검증된 방법론을 제공한다.

Modeling the Fate of Priority Pharmaceuticals in Korea in a Conventional Sewage Treatment Plant

  • Kim, Hyo-Jung;Lee, Hyun-Jeoung;Lee, Dong-Soo;Kwon, Jung-Hwan
    • Environmental Engineering Research
    • /
    • 제14권3호
    • /
    • pp.186-194
    • /
    • 2009
  • Understanding the environmental fate of human and animal pharmaceuticals and their risk assessment are of great importance due to their growing environmental concerns. Although there are many potential pathways for them to reach the environment, effluents from sewage treatment plants (STPs) are recognized as major point sources. In this study, the removal efficiencies of the 43 selected priority pharmaceuticals in a conventional STP were evaluated using two simple models: an equilibrium partitioning model (EPM) and STPWIN$^{TM}$ program developed by US EPA. It was expected that many pharmaceuticals are not likely to be removed by conventional activated sludge processes because of their relatively low sorption potential to suspended sludge and low biodegradability. Only a few pharmaceuticals were predicted to be easily removed by sorption or biodegradation, and hence a conventional STP may not protect the environment from the release of unwanted pharmaceuticals. However, the prediction made in this study strongly relies on sorption coefficient to suspended sludge and biodegradation half-lives, which may vary significantly depending on models. Removal efficiencies predicted using the EPM were typically higher than those predicted by STPWIN for many hydrophilic pharmaceuticals due to the difference in prediction method for sorption coefficients. Comparison with experimental organic carbon-water partition coefficients ($K_{ocs}) revealed that log KOW-based estimation used in STPWIN is likely to underestimate sorption coefficients, thus resulting low removal efficiency by sorption. Predicted values by the EPM were consistent with limited experimental data although this model does not include biodegradation processes, implying that this simple model can be very useful with reliable Koc values. Because there are not many experimental data available for priority pharmaceuticals to evaluate the model performance, it should be important to obtain reliable experimental data including sorption coefficients and biodegradation rate constants for the prediction of the fate of the selected pharmaceuticals.

GC-트리 : 이미지 데이타베이스를 위한 계층 색인 구조 (GC-Tree: A Hierarchical Index Structure for Image Databases)

  • 차광호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권1호
    • /
    • pp.13-22
    • /
    • 2004
  • 멀티미디어 데이타의 사용이 증가함에 따라 고차원 이미지 데이타에 대한 효율적인 색인과 검색 기법이 크게 요구되고 있다. 그러나 많은 노력에도 불구하고 현재의 다차원 색인 기법들은 고차원 데이타 공간에서 만족할 만한 성능을 보여주지 못하고 있다. 이러한 소위 차원의 저주를 해결하기 위해 최근에 차원을 줄이거나 근사 해를 구하는 둥의 접근법이 시도되고 있지만 이러한 방법들은 근본적으로 정확도의 상실이라는 문제를 갖고 있다. 정확도의 보존을 위해 VA-file, LPC-file둥과 같이 벡터 근사에 기반 한 기법들이 최근에 개발되었다. 그러나 이 기법은 검색 성능이 색인 파일의 크기에 큰 영향을 받으며, 한번에 큰 검색 공간을 줄이는 계층 색인 구조의 장점을 상실한다. 본 논문에서는 이미지 데이터베이스에서 유사성 질의를 위한 새로운 계층 색인 구조인 GC-트리를 제안한다. GC-트리는 밀도 함수에 기초하여 데이타 공간을 적응적으로 분할하고, 색인 구조를 동적으로 생성한다. 이러한 특성을 갖는 GC-트리는 군집화 된 고차원 이미지 데이타 검색에 훌륭한 성능을 나타낸다.

Retrieval of Key Hydrological Parameters in the Yellow River Basin Using Remote Sensing Technique

  • Dong, Jiang;Jianhua, Wang;Xiaohuan, Yang;Naibin, Wang
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2002년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.721-727
    • /
    • 2002
  • Precipitation evapotranspiration and runoff are three key parameters of regional water balance. Problems exist in the traditional methods for calculating such factors , such as explaining of the geographic rationality of spatial interpolating methods and lacking of enough observation stations in many important area for bad natural conditions. With the development of modern spatial info-techniques, new efficient shifts arose for traditional studies. Guided by theories on energy flow and materials exchange within Soil-Atmosphere-Plant Continuant (SPAC), retrieval models of key hydrological parameters were established in the Yellow River basin using CMS-5 and FengYun-2 meteorological satellite data. Precipitation and evapotranspiration were then estimated: (1) Estimating tile amount of solar energy that is absorbed by the ground with surface reflectivity, which is measured in the visible wavelength band (VIS): (2) Assessing the partitioning of the absorbed energy between sensible and latent heat with the surface temperature, which was measured in the thermal infrared band (TIR), the latent heat representing the evapotranspiration of water; (3) Clouds are identified and cloud top levels are classified using both VIS and TIR data. Hereafter precipitation will be calculated pixel by pixel with retrieval model. Daily results are first obtained, which are then processed to decade, monthly and yearly products. Precipitation model has been has been and tested with ground truth data; meanwhile, the evapotranspiration result has been verified with Large Aperture Scintillometry (LAS) presented by Wageningen University of the Netherlands. Further studies may concentrate on the application of models, i.e., establish a hydrological model of the Yellow river basin to make the accurate estimation of river volume and even monitor the whole hydrological progress.

  • PDF

주기억장치 할당 문제의 블록 채우기 알고리즘 (Algorithm for Block Packing of Main Memory Allocation Problem)

  • 이상운
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권6호
    • /
    • pp.99-105
    • /
    • 2022
  • 본 논문은 주기억장치의 사용자 공간이 컴파일 시간에 가변적 크기의 블록들로 분할된 상태에서, 준비상태 큐에 도착한 다중 프로세서들을 적절히 블록에 할당하는 문제를 다루었다. 기존의 할당법인 최초적합, 최적합, 최악적합과 다음 적합 방법들은 준비상태 큐에 도착한 모든 프로세서들을 할당하지 못해 특정 프로세서는 대기상태가 되는 단점을 갖고 있었다. 본 논문에서 제안된 알고리즘은 분할된 블록(홀)의 크기와 준비상태 큐에 있는 프로세서 크기를 내림차순으로 정렬하여 가장 큰 크기의 블록에 가능한 많은 프로세서들을 할당하는 단순한 블록 채우기 알고리즘이다. 제안된 알고리즘을 9개의 벤치마킹 실험 데이터에 적용한 결과 분할 오류로 인해 대기상태 프로세서가 발생하는 1개 데이터를 제외한 8개 데이터 모두에 대해 최소의 내부 단편(IF)을 가지면서도 모든 프로세서들을 할당하는 성능을 보였다.

다중방송 채널에서 인덱스를 이용한 브로드캐스트 디스크 기반의 데이타 할당 기법 (A Data Allocation Method based on Broadcast Disks Using Indices over Multiple Broadcast Channels)

  • 이원택;정성원
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권3호
    • /
    • pp.272-285
    • /
    • 2008
  • 무선 환경에서 브로드캐스트방법을 이용하여 데이타를 전송할 때, 중요한 문제는 모바일 클라이언트가 요구하는 데이타에 빠르게 접근한 수 있도록 하는 것이다. 기존 연구는 선호도에 따라 정렬된 데이타들을, 제공된 채널의 수만큼 평균접근시간을 줄이는 최적의 분할지점을 찾아 채널에 할당하는 기법을 사용하였다. 이러한 방법의 문제는 동등 채널 내의 데이타 간 선호도 차이가 브로드캐스트 스케줄링에 반영되지 못한다는 것이다. 이 문제점을 해결하고자 기존 방법에 따라서 다중 채널에 데이타를 분할한 후, 브로드캐스트 디스크(broadcast disk)기법을 적용하여 동등 채널 내의 데이타들 사이에도 선호도 차이에 따라 차별적인 반복주기가 적용되도록 하는 방법이 제안 되었다. 그러나 기존의 데이타 분할은 선호도 차이에 따라 정렬된 데이타를 순서대로 채널에 할당하였기 때문에 각 채널 안에서의 데이타 간 선호도 차이가 크지 않았다. 결국 브로드캐스트 디스크 기법을 적용하더라도 각 데이타의 반복주기 차이는 선호도 차이에 따라 작게 나타나기 때문에 접근시간의 단축 효과는 크지 않다. 본 연구에서는 제공된 다중 채널에 선호도가 높은 데이타와 낮은 데이타가 고르게 분포되도록 하는 방법을 제안한다. 제안하는 방법은 정렬된 데이타들이 인접 데이타와 떨어져 각각 다른 채널에 포함되도록 할당한다. 기존의 방법은 인덱싱 기법을 사용하지 않더라도 상위채널부터 선호도 순서에 따른 데이타 접근이 가능했다. 하지만, 제안하는 방법은 선호도 순위에 따른 데이타 접근이 어렵기 때문에 접근시간을 줄이기 위해서는 인덱스사용이 필수적이다. 이에 대해서 제안하는 데이타 할당 방법에 접근시간 단축을 위한 효율적인 인덱스 기술도 제시한다. 인덱스 방법은 요구 데이타에 대한 마른 채널 위치 검색을 위해 독립적인 인덱스 채널을 사용한다. 위의 과정을 통해서 제시하는 방법은 기존의 연구들보다 데이타의 선호도를 보다 정확하게 반영하여 전체 클라이언트의 선호 데이타에 대한 마른 접근 성능을 보이는 것을 실험을 통해서 보여줄 것이다.

VRTEC : 내용 기반 비디오 질의를 위한 다단계 검색 모델 (VRTEC : Multi-step Retrieval Model for Content-based Video Query)

  • 김창룡
    • 전자공학회논문지T
    • /
    • 제36T권1호
    • /
    • pp.93-102
    • /
    • 1999
  • 본 논문은 내용 기반 비디오 질의를 위한 데이터 모델과 검색 방법을 제안한다. 하나의 비디오를 같은 길이의 프레임(frame)들의 집합 즉 비디오-윈도우로 나눈 후에 각각의 비디오-윈도우를 다차원 공간의 한 점으로 사상시킨다. 인접한 비디오-윈도우를 연결하면 하나의 비디오는 다차원 공간에서의 하나의 궤적(trajectory)이된다. 두 비디오-윈도우의 유서성은 두 점의 유클리디안 거리로 정의되며, 비디오 단편(segment)의 유사성 비교는 궤적을 비교함으로써 검사한다. 여과(filtering), 정제(refinement)과정을 가지는 새로운 검색 방법을 개발한다. 새로운 검색 방법을 여과/정제 과정이 없는 질의 결과가 정확하고, 질의 처리 속도는 약 4.7배 향상되었다.

  • PDF

하이브리드 애드 혹 네트워크에서의 에너지 예측모델을 이용한 라우팅 알고리즘 (Routing Protocol for Hybrid Ad Hoc Network using Energy Prediction Model)

  • 김태경
    • 인터넷정보학회논문지
    • /
    • 제9권5호
    • /
    • pp.165-173
    • /
    • 2008
  • 하이브리드 애드 혹 네트워크는 통합 네트워크로서 홈 네트워크, 텔레매틱스, 센서 네트워크 등에서 다양한 종류의 서비스를 제공할 수 있다. 특히 애드 혹 네트워크의 각 노드는 이웃 노드들에 데이터를 전송해야 하므로, 전체 에너지의 사용량을 줄이면서, 균형적으로 에너지를 사용하게 해야 한다. 균형적으로 에너지를 사용하지 않으면 부하가 걸린 노드에서 빠른 시간 내에 노드 전송 실패가 나타날 수 있으며, 이는 네트워크 분할 및 네트워크의 기능제공 시간이 단축되는 것을 의미한다. 그러므로 본 논문에서는 에너지의 효율성을 고려한 라우팅 알고리즘에 관한 연구를 수행하였다. 제안한 알고리즘에서는 예측모델을 이용해 각 노드의 에너지의 잔량을 예측하므로, 라우팅 경로의 설정시 에너지 정보를 얻기 위한 많은 부하를 감소시킬 수 있으며, 전체 노드에 걸쳐 에너지의 사용을 균형적으로 사용하게 할 수 있다. 이에 따라 에너지의 손실의 감소 및 네트워크의 가용시간을 연장할 수 있다

  • PDF