Speed-up Techniques for High-Resolution Grid Data Processing in the Early Warning System for Agrometeorological Disaster

The objective of this study is to enhance the model's speed of estimating weather variables (e.g., minimum/maximum temperature, sunshine hour, PRISM (Parameter-elevation Regression on Independent Slopes Model) based precipitation), which are applied to the Agrometeorological Early Warning System (http://www.agmet.kr). The current process of weather estimation is operated on high-performance multi-core CPUs that have 8 physical cores and 16 logical threads. Nonetheless, the server is not even dedicated to the handling of a single county, indicating that very high overhead is involved in calculating the 10 counties of the Seomjin River Basin. In order to reduce such overhead, several cache and parallelization techniques were used to measure the performance and to check the applicability. Results are as follows: (1) for simple calculations such as Growing Degree Days accumulation, the time required for Input and Output (I/O) is significantly greater than that for calculation, suggesting the need of a technique which reduces disk I/O bottlenecks; (2) when there are many I/O, it is advantageous to distribute them on several servers. However, each server must have a cache for input data so that it does not compete for the same resource; and (3) GPU-based parallel processing method is most suitable for models such as PRISM with large computation loads.

농업기상재해 조기경보시스템에서의 고해상도 격자형 자료의 처리 속도 향상 기법

데이터 처리 속도는 예보 능력과 관련이 있다. 최신의 입력 자료를 이용한 예측 데이터의 고속 생산은 신속한 대처를 가능하게 한다. 또한 알고리즘 작성, 계산, 결과 평가, 알고리즘 개선으로 이어지는 순환 구조를 원활하게 할 뿐만 아니라 오류 발생시 빠른 시간 내에 복구할 수 있게 하는 등 매우 중요한 요소이다. 현재의 조기경보 시스템은 매 계산 주기 마다 섬진강 유역의 10개 시군에 대해 30미터 해상도의 격자형 자료를 400개 이상 생성하고 있으며(중간 데이터 포함) 최대 9일까지 예보되는 자료를 포함할 경우 600개 이상이다. 이는 전국을 30미터 해상도로 약 45개를 생성하는 계산양과 비슷하다. 또한 14,000여개의 필지에 대한 구역 통계와, 각 래스터의 평균, 최대, 최소 등의 통계자료 생성도 함께 수행 해야 한다. 이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다. 그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다. 또한 GPU를 이용한 연산을 적용할 경우 일부 모듈에 대해 매우 큰 폭으로 수행 시간을 단축 시킬 수 있음을 확인하였다. 다만 캐시를 위한 추가적인 디스크, GPU라는 별도의 하드웨어, 추가된 하드웨어 지원을 위한 고출력 전원 장치와 이에 따른 UPS (Uninterruptible power supply, 무정전 전원공급 장치)까지 상대적으로 높은 사양으로 준비해야 하는 비용적인 문제가 발생할 수 있다. 본 연구에서 제시한 네 가지 기법 중 세 가지는 계산 서버 추가를 통한 수평적 성능 확장에 관한 것이다. 하지만 서버의 추가가 처리 속도 향상으로 이어지지 않음은 물론 오히려 저하시키는 경우가 있다. 본 연구에서는 특정 시간 내로 작업을 완료 시키지 못하면 해당 작업을 반환하여 다른 서버가 처리하는 간단한 방식을 이용한다. 하지만 이런 문제를 지속적으로 발생시키는 계산 서버가 발견된다면 정해진 기준에 따라 계산 작업에서 완전히 퇴출 시켜야 성능 향상에 도움이 된다. 따라서 처리 속도에 대한 정확한 원인을 검사하고 이를 실시간으로 반영할 수 있는 기법이 필요하다.