• 한국콘텐츠학회논문지
• /
• 제14권5호
• /
• pp.8-17
• /
• 2014

슈퍼컴퓨팅 자원들은 주로 MPI와 같은 메시지 교환 인터페이스에 기반한 통신 집적도가 높은 고성능 컴퓨팅(HPC: High Performance Computing) 응용 분야를 지원하는데 활용되어 왔다. 반면에, 대규모 계산처리 컴퓨팅(HTC: High Throughput Computing) 방식의 패러다임은 주로 계산 집적도가 높고(상대적으로 적은 I/O 연산), 독립적인(작업들 간의 통신이 적음) 많은 수의 작업을 처리하는 것을 요구하고 있다. 국내에서도 고에너지 물리, 신약개발, 핵물리와 같은 연구 분야를 중심으로 대규모 컴퓨팅 자원을 요구하는 계산처리에 대한 수요가 증가하고 있다. 본 논문에서는 이러한 HTC 과학 응용들에 대한 효율적인 지원을 국가차원의 슈퍼컴퓨팅 분산 환경에서 제공하기 위해 연구/개발되어진 대규모 계산처리 서비스(HTCaaS: High Throughput Computing as a Service)의 전체 구조 및 구성 요소, 실행 시나리오 및 실제 응용 적용 사례 등에 대해 서술한다.

• 정보과학회 논문지
• /
• 제42권5호
• /
• pp.573-579
• /
• 2015

국가 슈퍼컴퓨팅 인프라는 국내 여러 지역에 분산된 슈퍼컴퓨팅 클러스터들로 이루어져 있으며, 본 연구팀에서는 이러한 이기종의 지리적으로 분산된 클러스터들을 대규모 과학 응용 연구자들에게 효율적으로 제공하기 위해 대규모 계산처리 시스템인 HTCaaS(High-Throughput Computing as a Service)를 자체 개발하였다. 본 논문에서는 이러한 대규모 계산처리 시스템(HTCaaS)을 활용하여 각 계산 자원을 동적으로 관리하는 방법에 대해서 논의하고, 신약재창출이라는 실제 과학 응용을 통해 그 효율성을 검증한다. 특히 유효 자원 식별을 위한 대기시간 및 성공률 개념을 이용한 동적 계산 자원 관리 기술을 적용함으로써 자원 활용률과 정확성, 신뢰성, 편의성이 향상될 수 있으며, 그 결과 전체적인 작업 시간의 단축과 작업 처리량도 향상될 수 있음을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 추계학술발표대회
• /
• pp.113-114
• /
• 2009

클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 이에 본 논문에서는 현재 가동중인 188개의 계산 노드, 3008개 CPU 자원을 보유한 대규모 클러스터 시스템에서 병렬 분산 파일 시스템에 대한 워크로드를 분석하였다.

• 정보화연구
• /
• 제9권4호
• /
• pp.455-464
• /
• 2012

최근 데이터의 폭발적인 증가로 인해 대규모 데이터의 분석에 대한 요구를 충족할 수 있는 방법들이 계속 연구되고 있다. 본 논문에서는 맵리듀스를 이용한 분산 병렬 처리를 통해 대규모 데이터 큐브의 효율적인 계산이 가능한 MRIterativeBUC 알고리즘을 제안하였다. MRIterativeBUC 알고리즘은 기존의 BUC 알고리즘을 맵리듀스의 반복적 단계에 따른 효율적인 동작이 가능하도록 개발되었고, 기존의 대규모 데이터 큐브 계산에 따른 문제인 데이터 크기와 저장 및 처리 능력의 한계를 해결하였다. 또한, 분석자의 관심 부분에 대해서만 계산하는 빙산 큐브 개념의 도입과 파티셔닝, 정렬과 같은 큐브 계산을 분산 병렬 처리하는 방법 등의 장점들을 통해 데이터 방출량을 줄여서 네트워크 부하를 줄이고, 각 노드의 처리량을 줄이며, 궁극적으로 전체 큐브 계산 비용을 줄일 수 있다. 본 연구 결과는 맵리듀스를 이용한 데이터 큐브 계산에 대해서 상향식 처리와 반복적 알고리즘을 통해 다양한 확장이 가능하며, 여러 응용 분야에서 활용이 가능할 것으로 예상된다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.21-23
• /
• 2012

과학 연구에 있어서 데이터 집약형 컴퓨팅은 데이터의 대형화와 함께 그 중요성이 날로 더하여지고 있다. 데이터 집약형 컴퓨팅은 대용량 데이터의 분석을 통해 과학적 지식을 발견하는 것을 목적으로 하고 있으며, 그 처리 방법에 있어서 데이터 병렬화 기법을 주로 사용하게 되는데, 이는 클라우드 컴퓨팅을 통해 도움을 받을 수 있는 계산 처리 방식이다. 또 데이터 집약형 컴퓨팅 서비스에서는 데이터의 검색 및 추출, 전송 등에 있어서 대용량의 데이터를 다룰 수 있는 고도화된 기술을 필요로 하게 된다. 본 연구에서는 대규모 과학 데이터 분석을 위해서 필요한 연구 환경을 유연하고 확장성 있게 제공하는 데이터 집약형 클라우드 서비스를 제안하였다. 본 연구의 목표 시스템은 대량의 데이터 분석을 위해 필요한 다양한 형태의 플랫폼, 응용 프로그램, 시스템 프로그램 등을 제공하는 클라우드 기반의 분석 서비스와 데이터 속성에 기반하여 빠른 검색 및 추출, 효율적인 전송을 제공하는 데이터 서비스로 이루어진다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.37-39
• /
• 2023

사용자 응용 프로그램의 특징을 분석하고 효율적인 시스템 운영을 통하여 사용자 프로그램 최적화를 지원하기 위하여 소프트웨어 프로파일링을 수행한다. 특히 국가 슈퍼컴퓨터인 누리온과 같이 8,400대가 넘는 계산노드로 구성된 클러스터 시스템에서 응용 프로그램의 프로파일링 데이터를 사용자의 개입없이 수집하고 데이터를 분석하는 것에는 한계가 있다. 본 연구에서는 배치작업 스케줄러를 활용하여 사용자의 개입 없이 응용 프로그램의 프로파일링 데이터를 수집하기 위한 방법을 제안한다. 그리고 제안한 방법을 누리온에서 구현하고 사용자 응용 프로그램이 실행될 때 프로파일링 데이터가 수집되는 것을 확인한다.

• 디지털콘텐츠학회 논문지
• /
• 제14권1호
• /
• pp.65-72
• /
• 2013

기상, 바이오, 천문학, 암호학 등 다양한 분야의 대규모 작업을 처리하기 위하여 다수의 계산 자원을 동시에 사용하기 위한 병렬 컴퓨팅 기법들이 제안되어져 왔다. 병렬 컴퓨팅은 여러 프로세서에게 작업을 분담시켜 동시에 계산을 수행하게 함으로써 프로그램의 실행시간을 단축시킬 수 있을 뿐만 아니라 해결할 수 있는 문제의 규모를 확장 시킬 수 있다. 본 논문에서는 실제 암호 알고리즘 분석하기 위하여 병렬 처리 방식을 적용하여 그 효율성을 분석하였다. 암호 알고리즘의 실질적인 안전성 요소인 키의 길이는 전수조사 계산량에 의존한다. 이에 병렬 처리 환경에서 DES 키 탐색 암호 알고리즘의 키 전수조사 작업을 수행하기 위한 세부적인 절차에 대해서 논하였고, 클러스터링 장비에 적용하여 시뮬레이션 수행하였다. 그 결과 컴퓨터의 양에 따라서 계산량의 추이를 실증적으로 예측함으로써 암호 알고리즘의 안전성 강도를 측정할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.49-51
• /
• 2022

대규모 데이터를 처리하기 위해 머신러닝, 딥러닝과 같은 AI 활용 연구가 일반화되면서 시스템 환경 또한 병렬처리 연산에 강화된 가속기 기반의 이기종 아키텍처로 확산되고 있다. CPU 기반의 계산 환경과 달리 상대적으로 성능이 낮은 수천 개의 산술연산장치(ALU)를 활용해 쓰레드 방식으로 연산을 수행하며, I/O의 특성 또한 대규모의 데이터들이 수많은 연산장치에 전달되기 위한 Small I/O, High-throughput 처리 성능이 애플리케이션에 큰 영향을 끼친다. 본 논문에서는 병렬 컴퓨팅 환경에 AI 애플리케이션이 접목되면서 요구되는 스토리지, 파일시스템의 환경을 분석하고 나아가 성능 검증을 통해 I/O 특성을 파악하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.6-8
• /
• 2021

슈퍼컴퓨터 5호기 누리온은 8,437대의 계산노드와 33.88PB 규모의 병렬스토리지가 100Gbps의 Omni-Path(OPA) 인터커넥트로 연결되어 있는 초대형 클러스터 시스템이다. 누리온의 계산자원은 PBS 작업스케줄러를 통해 관리되고 있고 병렬 스토리지는 DDN사의 Exascaler Monitoring System(ESMON)을 통해 influxDB에 read/write IO 통계 데이터를 수집하고 있다. 본 논문에서는 PBS의 과금 데이터와 ESMON influxDB의 IO 통계 데이터를 활용하여 사용자의 작업별 IO 통계 정보를 생성하는 방안에 대하여 소개한다.

• 정보처리학회논문지A
• /
• 제18A권4호
• /
• pp.123-128
• /
• 2011

본 논문은 원격지간의 연결된 대규모 분산 환경에서 데이터 분석 작업의 실행을 위해 필수적으로 고려되는 데이터 전송 부하를 감소시키는 기법을 제안한다. 계산 노드들이 밀집된 지역 인근에 다수의 데이터 노드를 배치시킴으로서 계산 노드들이 단일 데이터센터가 아닌 자신과 인접한 데이터 노드에 접근하여 작업을 수행함으로서 전송부하를 감소시키고 확장성을 증가시키는 것이 가능하다. 따라서 본 논문은 지역적으로 분산된 데이터 노드들의 데이터 처리율을 기반으로 실시간 데이터 공급을 수행함으로서 전송 지연을 최소화 할 수 있는 이론적인 모델과 시뮬레이션을 통한 성능 평가를 수행한다. 제안된 기법은 PRAGMA 그리드 테스트베드에서 실험을 통하여 성능의 우수성을 검증하였다.