• 한국콘텐츠학회논문지
• /
• 제14권5호
• /
• pp.8-17
• /
• 2014

슈퍼컴퓨팅 자원들은 주로 MPI와 같은 메시지 교환 인터페이스에 기반한 통신 집적도가 높은 고성능 컴퓨팅(HPC: High Performance Computing) 응용 분야를 지원하는데 활용되어 왔다. 반면에, 대규모 계산처리 컴퓨팅(HTC: High Throughput Computing) 방식의 패러다임은 주로 계산 집적도가 높고(상대적으로 적은 I/O 연산), 독립적인(작업들 간의 통신이 적음) 많은 수의 작업을 처리하는 것을 요구하고 있다. 국내에서도 고에너지 물리, 신약개발, 핵물리와 같은 연구 분야를 중심으로 대규모 컴퓨팅 자원을 요구하는 계산처리에 대한 수요가 증가하고 있다. 본 논문에서는 이러한 HTC 과학 응용들에 대한 효율적인 지원을 국가차원의 슈퍼컴퓨팅 분산 환경에서 제공하기 위해 연구/개발되어진 대규모 계산처리 서비스(HTCaaS: High Throughput Computing as a Service)의 전체 구조 및 구성 요소, 실행 시나리오 및 실제 응용 적용 사례 등에 대해 서술한다.

• Journal of Information Processing Systems
• /
• 제17권3호
• /
• pp.489-504
• /
• 2021

By distributing computing tasks among devices at the edge of networks, edge computing uses virtualization, distributed computing and parallel computing technologies to enable users dynamically obtain computing power, storage space and other services as needed. Applying edge computing architectures to Internet of Vehicles can effectively alleviate the contradiction among the large amount of computing, low delayed vehicle applications, and the limited and uneven resource distribution of vehicles. In this paper, a predictive offloading strategy based on the MEC load state is proposed, which not only considers reducing the delay of calculation results by the RSU multi-hop backhaul, but also reduces the queuing time of tasks at MEC servers. Firstly, the delay factor and the energy consumption factor are introduced according to the characteristics of tasks, and the cost of local execution and offloading to MEC servers for execution are defined. Then, from the perspective of vehicles, the delay preference factor and the energy consumption preference factor are introduced to define the cost of executing a computing task for another computing task. Furthermore, a mathematical optimization model for minimizing the power overhead is constructed with the constraints of time delay and power consumption. Additionally, the simulated annealing algorithm is utilized to solve the optimization model. The simulation results show that this strategy can effectively reduce the system power consumption by shortening the task execution delay. Finally, we can choose whether to offload computing tasks to MEC server for execution according to the size of two costs. This strategy not only meets the requirements of time delay and energy consumption, but also ensures the lowest cost.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권12호
• /
• pp.5972-5989
• /
• 2019

With the onset of the big data age, data is growing exponentially, and the issue of how to optimize large-scale data processing is especially significant. Large-scale global optimization (LSGO) is a research topic with great interest in academia and industry. Spark is a popular cloud computing framework that can cluster large-scale data, and it can effectively support the functions of iterative calculation through resilient distributed datasets (RDD). In this paper, we propose a hybrid mechanism of particle swarm optimization (PSO) and differential evolution (DE) algorithms based on Spark (SparkPSODE). The SparkPSODE algorithm is a parallel algorithm, in which the RDD and island models are employed. The island model is used to divide the global population into several subpopulations, which are applied to reduce the computational time by corresponding to RDD's partitions. To preserve population diversity and avoid premature convergence, the evolutionary strategy of DE is integrated into SparkPSODE. Finally, SparkPSODE is conducted on a set of benchmark problems on LSGO and show that, in comparison with several algorithms, the proposed SparkPSODE algorithm obtains better optimization performance through experimental results.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제12권6호
• /
• pp.349-357
• /
• 2006

본 논문에서는 프로그램의 성능을 향상시키기 위하여 프로그래머들이 다른 성능조율 대안들을 평가하는 것을 돕는 새로운 평가 방법론을 소개한다. 이 방법론은 조율 대안이 채택된 경우의 성능을 평가할 수 있게 한다. 구체적으로 말하자면, 성능 병목 지점의 확인을 위하여 프로그램 구성 요소들에서 소요되는 시간을 수량화하는 전통적인 성능 평가 방법론과는 대조적으로 분산 또는 병렬 프로그램이 처리하는 일의 이동 이후의 성능을 예측한다. 따라서, 이 방법론은 일의 처리 장소를 변경함으로써 성능을 향상시키는 것에 대한 가이드라인을 제공한다. 이 방법론을 사용하면 기반 네트워크 변경에 따른 성능에 대한 파급효과도 예측할 수 있다. 이 방법론은 조율할 프로그램이 실행되는 동안 점진적으로 그리고 온라인으로 성능을 평가할 수 있다. 본 논문에서는 이 방법론을 구현한 후 사용했을 때 여섯 프로그램들의 검사 집합에 대하여 다른 조율 대안들의 성능을 정확히 예측할 수 있다는 실험 검증 결과를 보인다.

• 전자공학회논문지
• /
• 제49권9호
• /
• pp.196-204
• /
• 2012

최근 많은 응용 분야에서 대규모 데이터에 대해 온라인 다차원 분석(OLAP)을 사용하고 있다. 다차원 데이터 큐브는 OLAP 분석에서 핵심 도구로 여긴다. 본 논문에서는 맵리듀스 분산 병렬 처리를 이용하여 효율적으로 데이터 큐브를 계산하는 방법을 연구하고자 한다. 이를 위해, 맵리듀스 프레임워크에서 데이터 큐브 계산 방법으로 잘 알려진 PipeSort 알고리즘을 구현하는 효율적인 방법에 대해서 살펴본다. PipeSort는 데이터 큐브의 한 큐보이드에서 동일한 정렬 순서를 갖는 여러 큐보이드를 한 파이프라인으로 한꺼번에 계산하는 효율적인 방식이다. 이 논문에서는 맵리듀스 프레임워크에서 PipeSort의 파이프라인을 구현한 네 가지 방법을 20대의 서버에서 수행하였다. 실험 결과를 보면, 고차원 데이터에 대해서는 PipeMap-NoReduce 알고리즘이 우수한 성능을 보였으며, 저차원 데이터에 대해서는 Post-Pipe 알고리즘이 더 우수함을 보였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권7호
• /
• pp.429-439
• /
• 2006

데스크탑 그리드는 컴퓨팅 집약적인 분산 어플리케이션을 수행하는데 있어서 유망한 플랫폼으로 부각되고 있다. 그러나 비 신뢰적이고 예측할 수 없는 자원의 특성 때문에 데스크탑 그리드에서 병렬 어플리케이션의 효율적인 스케줄링은 어려운 문제로 알려져 있다. 이에 따라서 빈약한 스케줄링 능력과 함께 현재 데스크탑 그리드는 고 처리 어플리케이션(high throughput application)의 실행에는 적합하지만 빠른 반환 시간을 요구하는 어플리케이션의 실행을 지원하는데 있어서 어려움을 갖는다. 빠른 반환 시간을 요구하는 어플리케이션의 효율적인 실행은 어플리케이션의 전체 실행 시간(makespan)을 축소함으로써 해결할 수 있는 문제로써 데스크탑 그리드가 이를 지원할 수 있게 하는 것은 매력적인 제안이 될 것이다. 본 논문에서는 데스크탑 그리드에서 효율적인 어플리케이션의 실행을 지원하기 위한 새로운 스케줄링 방법을 제안한다. 7주간의 시간동안 40대의 데스크탑에서 추출된 추적(trace) 데이타의 분석을 통해서 데스크탑 사용 경향성과 비 신뢰적인 데스크탑의 영향이 스케줄링의 성능을 개선하는데 있어서 활용 될 수 있음을 확인하였고 이 요소들을 고려함으로써 데스크탑 그리드의 비 신뢰적이고 예측할 수 없는 자원의 특성을 스케줄링에 적절하게 반영 할 수 있는 스케줄링 기법이 제안되었다. 제안된 스케줄링 기법은 실제 데스크탑들의 행동 패턴을 반영한 추적 기반 시뮬레이션(trace-driven simulation)을 통해서 기존의 스케줄링 방법들과 스케줄링 성능이 비교되었고 시뮬레이션 결과를 통해서 제안된 스케줄링 기법이 기존의 데스크탑 스케줄링 기법들에 비해서 병렬 어플리케이션의 전체 실행 시간을 축소하고 중지(suspension)와 장애(failure)의 발생 빈도를 줄이는 것을 보여준다.

• 대한전자공학회논문지SP
• /
• 제44권4호통권316호
• /
• pp.101-108
• /
• 2007

고성능 네트워크와 분산처리구조가 병렬처리와 함께 결합되면, 전체적인 디지털 신호처리 시스템의 계산능력, 신뢰도, 다양성을 향상시킨다. 본 논문에서는, 발전된 형태의 수중레이더 (sonar) 알고리즘인 수중정합장처리 (Matched-Field Processing MFP)를 위한 병렬처리 알고리즘을 디자인하고 다중 DSP 프로세서 기반의 병렬처리 시스템 상에서 성능분석과 함께 최적의 병렬처리 솔루션을 제안한다. 각각의 병렬 알고리즘은 특정한 도메인에서 주어진 계산량을 분산시키며 이를 통한 속도향상을 추구한다. 필요한 연산량과 형태에 따라서 병렬 알고리즘은 각기 다른 성능향상을 보여준다. 또한, 알고리즘의 계산량 분산방식 프로세서간의 통신방식, 알고리즘의 복잡도, 프로세서의 속도, 목적하는 시스템의 구성에 따라서 다양한 성능지표를 보여준다. 제안하는 주파수와 출력값 기반의 병렬 알고리즘은 상당한 계산량을 요구하는 수중정합처리 알고리즘을 적절히 다중 프로세서에 균형 있게 분산시켜 프로세서의 개수와 비례하는 성능향상을 보여주고 있다.

• 한국통신학회논문지
• /
• 제37권8C호
• /
• pp.670-679
• /
• 2012

최근 클라우드 컴퓨팅 환경의 보급과 함께 스토리지의 데이터양이 급증함에 따라 그에 따른 스토리지 저장 비용이 빠르게 증가하고 있다. 더불어, 사용자들의 다양한 서비스 및 데이터 요청으로 클라우드 스토리지의 부하 또한 급증하고 있다. 이러한 문제를 해결하기 위해 분산 파일 시스템을 통한 저비용 고성능 스토리지 환경을 제공하고자 하는 기존의 연구가 있었으나, 이에는 데이터 병렬처리, 임의위치 접근처리, 빈번한 작은 워크로드 접근처리 등의 취약점이 존재한다. 최근에는 캐싱 기술을 이용하여 이를 개선하려는 연구가 주목받고 있다. 본 논문에서는 분산 파일 시스템 환경에서 병렬 캐싱, 분산 캐싱과 공유 자원을 고려한 데이터 병렬 전송방법을 제공하는 CHPC(Cloud storage High-Performance Caching) 구조를 제안하며, 또한 이를 기존의 방법들과 비교 평가하여 스토리지 부하를 최적화하는 방법을 제시한다. 더불어, 제안 기법이 기존 클라우드 시스템에 비하여 스토리지 서버의 디스크 입출력 감소, 서버로 데이터의 요청이 집중되어 발생하는 병목현상 방지, 각 클라이언트의 중복되는 페이지 캐시 제거, 데이터 전송률 향상의 장점을 가짐을 보인다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2004년도 학술대회지
• /
• pp.686-689
• /
• 2004

Computational grids are emerging as a new infrastructure for internet-based parallel and distributed computing. Grid systems are enables the sharing, exchanging, discovery and aggregation of resources which distributed multiple administrative domains, organizations and enterprises. Accounting information service is one of the main obstacles to widespread adoption of the grid. But, most of grid portals do not support accounting information service. In this paper, we design an accounting information service and build a web-based grid portal including account management service and accounting information service.

• Journal of Electrical Engineering and Technology
• /
• 제6권4호
• /
• pp.573-579
• /
• 2011

To meet the scalability and performance requirements of data analyses, which often involve voluminous data, efficient parallel or concurrent algorithms and frameworks are essential. We present a high-performance Korean morphological analyzer which employs the MapReduce framework on the graphics processing unit (GPU). MapReduce is a programming framework introduced by Google to aid the development of web search applications on a large number of central processing units (CPUs). GPUs are designed as a special-purpose co-processor. Their programming interfaces are typically formulated for graphics applications. Compared to CPUs, GPUs have greater computation power and memory bandwidth; however, GPUs are more difficult to program because of the design of their architectures. The performance of the Korean morphological analyzer using the MapReduce framework on the GPU is evaluated in comparison with the CPU-based model. The proposed Korean Morphological analyzer shows promising scalable performance on distributed computing with the GPU.