• 정보과학회 논문지
• /
• 제43권6호
• /
• pp.613-620
• /
• 2016

본 논문에서는 대규모의 작업을 고성능으로 처리하기 위한 Many-Task Computing(MTC) 기술을 기존의 빅데이터 처리 플랫폼인 Hadoop에 적용하기 위한 MOHA(Many-Task Computing on Hadoop) 프레임워크에 대해 기술한다. 세부적으로는 MOHA의 기본 개념과 개발 동기, 분산 작업 큐에 기반한 PoC(Proof-of-Concept) 수행 결과를 제시하고 향후 연구 방향에 대해서 논의하고자 한다. MTC 응용은 각각의 태스크들이 요구하는 I/O 처리량은 상대적으로 많지 않지만, 동시에 대량의 태스크들을 고성능으로 처리해야하고 이들이 파일을 통해서 통신한다는 특징을 가지고 있다. 따라서 기존의 상대적으로 큰 데이터 블록 사이즈에 기반한 Hadoop 응용과는 또 다른 패턴의 데이터 집약형 워크로드라고 할 수 있다. 이러한 MTC 기술과 빅데이터 기술의 융합을 통해 멀티 응용 플랫폼으로 진화하고 있는 Hadoop 생태계에 신규 프레임워크로서 대규모 계산과학 응용을 실행할 수 있는 MOHA를 추가하여 기여할 수 있을 것이다.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1122-1133
• /
• 2019

본 연구팀에서는 YARN 기반의 하둡 플랫폼에서 대규모의 태스크들로 구성된 Many-Task Computing(MTC) 응용들을 효율적으로 지원할 수 있는 신규 프레임워크로서 MOHA(Mtc On HAdoop)를 연구/개발해왔다. MTC 응용들은 수십만 개에서 수백만 개 이상의 대규모 태스크들로 구성되고 각 응용별로 자원의 사용 패턴이 다를 수 있기 때문에, 전체적인 시스템 성능 향상을 위해 MOHA-TaskExecutor(MTC 응용 태스크를 실행하는 주체)의 Adaptive Parallel Computability 기술 연구를 수행하였다. 이는 한 번에 하나의 태스크를 실행하던 기존의 처리 모델을 고도화하여 하나의 TaskExecutor가 동시에 여러 개의 태스크들을 실행함으로써 YARN Container의 병렬 컴퓨팅 능력을 극대화하기 위함이다. 이를 위해 각각의 TaskExecutor들이 "독립적이고, 동적으로" 동시에 실행시키는 MTC 응용 태스크들을 조정할 수 있도록 하였으며, 최적의 동시 실행 태스크 숫자를 찾기 위해서 Hill-Climbing 알고리즘을 활용하였다.

• 정보과학회 논문지
• /
• 제42권1호
• /
• pp.15-22
• /
• 2015

본 논문에서는 대규모의 계산 작업을 고성능으로 처리해야 하는 신약재창출 시뮬레이션 분야에 분산 슈퍼컴퓨팅 기술을 적용한 사례에 대해 논의하고자 한다. 신약재창출이란 기존에 알려진 약물의 새로운 적응증을 규명하는 것을 의미하며, 이러한 신약재창출은 비교적 짧은 수행시간을 갖는 대규모의 도킹(docking) 연산들을 고성능으로 처리해야한다는 점에서 Many-Task Computing (MTC) 성격을 지니고 있다. 이러한 MTC 응용들의 대표 사례로서 신약재창출 시뮬레이션을 분산 슈퍼컴퓨팅 환경 기반의 HTCaaS 시스템에 적용하였으며, 이를 통해 효율적인 작업 배포, 동적인 자원 할당 및 로드 밸런싱, 안정성 및 다양한 자원들의 효율적인 통합 등이 이러한 과학 응용들을 지원하는 데 있어 필수적인 기능임을 확인할 수 있었다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제6권10호
• /
• pp.407-414
• /
• 2017

다수의 태스크로 구성된 돈사 감시 응용은 내재된 데이터 병렬성을 활용하고 성능가속기를 사용하여 병렬 처리가 가능하다. 본 논문에서는 멀티코어 CPU와 매니코어 GPU로 구성된 이기종 컴퓨팅 플랫폼에서 돈사 감시 응용 수행 시 태스크 분배 방법을 제안한다. 즉, 각 태스크별로 OpenCL을 이용한 병렬 프로그램을 작성한 뒤, deviceCPU와 deviceGPU 각각에서 수행시켜 측정된 수행시간을 기준으로 가장 적합한 처리기를 결정한다. 제안 방법은 간단하지만 매우 효과적이고, CPU와 GPU로 구성된 이기종 컴퓨팅 플랫폼에서 다수의 태스크로 구성된 다른 응용을 병렬화하는 경우에도 적용될 수 있다. 실험 결과, 상이한 이기종 컴퓨팅 플랫폼에서 최적의 태스크 분배로 수행한 경우 가 전체 태스크들을 deviceGPU에서 수행한 GPU-only 방법에 비교하여 각각 2.7배, 8.7배, 2.7배 성능 개선이 되었음을 확인하였다.

• 응용통계연구
• /
• 제33권1호
• /
• pp.87-105
• /
• 2020

통계공학은 실험계획법, 품질관리/품질경영, 신뢰성공학으로 구성된다. R은 무료로 개방되어 있는 통계패키지로서 통계모형, 통계 계산 및 통계 그래픽 관련 패키지가 방대하다. 우리는 이러한 R 패키지를 통계공학을 위한 기본 통계패키지로 유용하게 사용할 수 있다. 본 논문에서는 통계공학을 위한 R 패키지 응용을 살펴보고 통계공학 관련 CRAN Task Views가 필요함을 제안하였다.

• 방송과미디어
• /
• 제22권4호
• /
• pp.11-17
• /
• 2017

본 고에서는 멀티 응용 데이터 플랫폼으로 진화하고 있는 하둡(Hadoop) 2.0의 주요 특징과 관련된 다양한 데이터 처리 프레임워크들에 대해서 기술하고자 한다. 기존의 맵리듀스(MapReduce) 기반의 배치 처리(Batch Processing)에 최적화되어 있던 하둡 1.0과는 달리, YARN의 등장과 함께 시작된 하둡 2.0 플랫폼은 다양한 형태의 데이터 처리 워크플로우들(Batch, Interactive, Streaming 등)을 지원할 수 있는 기능을 제공하고 있다. 또한, 최근에는 고성능컴퓨팅 분야에서 주로 활용되던 기술들도 하둡 2.0 플랫폼에서 지원되고 있다. 마지막으로 YARN 어플리케이션 개발 사례로서 본 연구팀에서 개발 중에 있는 Many-Task Computing (MTC) 응용을 위한 신규 데이터 처리 프레임워크를 소개한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권6호
• /
• pp.392-396
• /
• 2017

모바일 기기 관련 기술의 급속한 발달에도 자원 제약적인 특성으로 인한 많은 문제들이 아직까지 해결되지 못하고 있다. 이러한 물리적인 한계성을 극복하기 위해 인터넷으로 연결된 클라우드 서버의 자원을 활용하는 컴퓨테이션 오프로딩이 고안되었고 에너지 절약 측면에서 다양한 연구들이 진행되었다. 그러나 실시간성을 만족시켜야 하는 응용에서는 에너지 보다 마감시간 내에 작업의 수행을 완료하는 것이 더 중요하다. 본 논문에서는 이러한 실시간 응용을 지원하기 위해서 클라우드의 스케줄링 지연 시간을 고려한 오프로딩 결정 기법을 제안했다. 제안 기법에서는 오프로딩의 예상 여유시간과 모바일 기기 내에서 수행했을 때의 여유 시간을 비교하여 마감시간을 더 효과적으로 만족할 수 있는 방법을 선정함으로써 실시간 작업에 대한 신뢰성을 향상 시킬 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제15권3호
• /
• pp.137-141
• /
• 2015

모바일 클라우드 컴퓨팅은 모바일 기기의 자원 제약적인 문제를 해결하기 위해 클라우드 서비스를 활용한다. 이렇게 모바일 기기에서 수행해야할 작업을 클라우드로 위임하는 것을 오프로딩이라고 하고 에너지 소모의 관점에서 많은 연구들이 진행되고 있다. 본 논문에서는 응답 시간의 관점에서 오프로딩 기법 적용의 효율성을 측정하기 위해 센 싱 데이터 동기화를 고려한 응답 시간 모델을 설계하였다. 제안 모델에서는 클라우드에서 모바일 기기가 요청한 작업 을 처리할 때 필요한 센싱 데이터에 대한 동기화 작업을 고려하여 정교한 응답 시간 예측을 가능하도록 했으며 모의실험을 통해 새로운 센서 데이터의 발생 비율과 동기화 주기가 응답 시간에 어떤 영향을 주는지를 확인하였다.

• 문화기술의 융합
• /
• 제7권1호
• /
• pp.615-619
• /
• 2021

이 연구는 사물인터넷, 클라우드 컴퓨팅 그리고 에지 컴퓨팅 등 많은 임베디드 시스템에서 성능 및 에너지 효율을 높이고자 최적화하는 메모리 시스템에 초점을 맞추어 그 성능 개선 기법을 제안한다. 제안하는 기법은 최근 많이 이용되고 있는 머신 러닝 알고리즘을 기반으로 메모리 시스템 성능을 도모한다. 머신 러닝 기법은 학습을 통하여 다양한 응용에 사용될 수 있는데, 메모리 시스템 성능 개선에서 사용되는 데이터의 분류 태스크에 적용될 수 있다. 정확도 높은 머신 러닝 기법 기반 데이터 분류는 데이터의 사용 패턴에 따라 데이터를 적절하게 배치할 수 있게 하여 전체 시스템 성능 개선을 도모할 수 있게 한다.

• Journal of applied mathematics & informatics
• /
• 제28권1_2호
• /
• pp.351-361
• /
• 2010

The solution of large sparse linear systems is one of the most important problems in large scale scientific computing. Among the many methods developed, the preconditioned Krylov subspace methods are considered the preferred methods. Selecting a suitable preconditioner with appropriate parameters for a specific sparse linear system presents a challenging task for many application scientists and engineers who have little knowledge of preconditioned iterative methods. The prediction of ILU type preconditioners was considered in [27] where support vector machine(SVM), as a data mining technique, is used to classify large sparse linear systems and predict best preconditioners. In this paper, we apply the data mining approach to the sparse approximate inverse(SAI) type preconditioners to find some parameters with which the preconditioned Krylov subspace method on the linear systems shows best performance.