• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
• /
• pp.9-13
• /
• 2014

The performance of large scale software applications has been automatically increasing for last few decades under the influence of Moore's law - the number of transistors on a microprocessor roughly doubled every eighteen months. However, on-chip transistors limitations and heating issues led to the emergence of multicore processors. The energy efficient ARM based System-on-Chip (SoC) processors are being considered for future high performance computing systems. In this paper, we present a case study of two widely used parallel programming models i.e. MPI and MapReduce on distributed memory cluster of ARM SoC development boards. The case study application, Black-Scholes option pricing equation, was parallelized and evaluated in terms of power consumption and throughput. The results show that the Hadoop implementation has low instantaneous power consumption that of MPI, but MPI outperforms Hadoop implementation by a factor of 1.46 in terms of total power consumption to execution time ratio.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제7권4호
• /
• pp.99-102
• /
• 2018

Caffe는 학술 연구용으로 널리 사용되는 신경회로망 학습 소프트웨어이다. 신경회로망 구조 결정에서 가장 중요한 요소에 GPU 기억 용량이 포함된다. 예를 들어 많은 객체 검출 소프트웨어는 신경회로망이 12GB 이하의 기억 용량을 사용하게 하여 하나의 GPU에 적합하게 설계되어 있다. 본 논문에서는 큰 신경회로망을 두 개 이상의 GPU에 분산 저장하여 12GB 이상의 기억 용량을 사용할 수 있게 Caffe를 확장하였다. 확장된 소프트웨어를 검증하기 위하여 3개 GPU를 가진 PC에서 최신 객체 검출 소프트웨어의 배치 크기에 따른 학습 효율을 실험하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권3호
• /
• pp.21-31
• /
• 2018

태풍, 해일, 홍수, 범람 등에 관련된 자연재난 데이터를 빠르고 효과적으로 가시화하여 재난 재해 상황에서 정확한 의사결정을 할 수 있도록 지원하는 시스템을 소개한다. 재난정보를 포함하는 데이터는 적게는 수백 MB에서 많게는 수십, 수백 GB로 구성되어 있으므로 개인이 지닌 컴퓨터로는 처리할 수 없다. 그렇기 때문에 본 시스템은 클라이언트-서버 기반의 시스템을 제공하여 고성능 서버에서 가시화 결과를 생성하고 클라이언트에서는 결과를 받아 출력하는 형태로 구현되었다. 서버는 클라이언트의 요청을 처리하고 내장된 고성능 클러스터로 렌더링된 결과를 클라이언트로 전송한다. 클라이언트는 원하는 기간을 지정하여 가시화된 결과를 이미지, 동영상, 3D 그래픽 모델 중 원하는 형태로 서버로부터 제공받아 표출할 수 있으며 사용자 친화적인 GUI와 효과적으로 가시화 결과를 볼 수 있는 다양한 기능을 사용자에게 제공한다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권5호
• /
• pp.1035-1045
• /
• 2015

최근 빅데이터 분야에서 데이터를 메모리에 적재 후 빠르게 처리하는 인메모리 컴퓨팅 기술이 새롭게 부각되고 있다. 인메모리 컴퓨팅 기술은 과거 대용량 메모리와 다중 프로세서를 탑재한 고성능서버에 적용 가능하였지만, 점차 일반 컴퓨터를 초고속 네트워크로 연결하여 분산 병렬처리가 가능한 구조로 변화하고 있다. 본 논문은 In-memory data grid (IMDG) 기술을 택시 애플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상시키는 기법을 제안한다. IMDG 기술을 적용한 경우 기존의 데이터베이스 기반의 웹서비스에 비해 처리속도와 처리량이 평균 6~9배정도 증가하며, 또한 부하량에 따른 처리량 변화의 폭이 매우 작음을 확인 하였다.

• 정보처리학회논문지A
• /
• 제16A권1호
• /
• pp.9-16
• /
• 2009

그리드 시스템은 넓은 지역에 분산되어 있는 이질적인 자원들로 구성되어 있어서 가까운 지역에 비교적 동질적이고 통제가 가능한 자원들을 대상으로 하는 전통적 병렬시스템의 스케줄링 알고리즘으로는 효율적인 작업처리가 불가능하다. 본 논문에서는 그리드 시스템의 특성을 반영한 알고리즘을 제안하기 위해 기존의 스케줄링 알고리즘에서 사용하고 있는 정보의 종류에 초점을 두고 선행연구에서 제안된 알고리즘들을 비교 분석하여 개선할 수 있는 요소들을 도출하였다. 알고리즘들을 비교 분석한 결과 프로세서의 수나 성능과 같은 자원의 정적 정보가 스케줄링 알고리즘에 유용하게 사용될 수 있으며, 처리속도가 극단적으로 느리거나 사용이 불가능한 자원을 회피하기 위한 수단이 필요하고, 비교적 장시간 처리를 하는 그리드의 특성상 자원의 실시간 부하정보를 이용하는 경우 효용성이 떨어지는 것을 확인할 수 있었다. 본 논문에서는 이러한 분석 결과를 바탕으로 WQR(Workqueue Replication) 알고리즘의 논리에 정적 자원정보를 고려하도록 개선한 새로운 알고리즘(WQRuSI)을 제안하였으며, 시뮬레이션을 통하여 새로운 알고리즘의 성능이 우수함을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권2호
• /
• pp.97-106
• /
• 2013

인간 게놈 프로젝트의 완성 이후 유전체 분석 비용은 매우 빠르게 감소하고 있다. 이에 따라 인간 유전체 분석 요구가 급증할 것으로 예상된다. 인간 유전체 분석과 같은 대규모 바이오 데이터 분석을 고속으로 수행하기 위해서는 비IT 전문가들이 다양한 특성의 바이오 응용들을 고성능컴퓨팅 시스템을 통해 효과적으로 실행할 수 있어야 한다. 이를 위해서는 여러 응용들이 조합되어 순서를 갖고 실행되어야 하는 바이오 응용들을 워크플로우 형태로 쉽게 정의할 수 있어야 하며, 이 워크플로우를 HPC 클러스터 시스템에서 최적 자원을 할당 받아 분산 병렬 수행시켜야 한다. 이를 통해 바이오 데이터 분석 성능과 응답시간의 개선을 기대할 수 있다. 본 논문에서는 HPC 환경에 익숙하지 않은 비IT 바이오 연구자들이 쉽게 바이오 데이터 분석을 할 수 있도록 바이오 워크플로우를 쉽게 정의하고 실행할 수 있는 바이오 특화된 워크플로우 기반 대규모 데이터 분석 시스템을 제안한다.

• 정보과학회 논문지
• /
• 제43권1호
• /
• pp.61-70
• /
• 2016

근래에 들어 다양한 시멘틱 서비스를 위하여 기존의 지식을 바탕으로 새로운 지식을 고속으로 추론할 수 있는 대용량 온톨로지 추론 기법이 요구되고 있다. 이런 추세에 따라 대규모의 클러스터를 활용하는 하둡 및 Spark 프레임워크 기반의 온톨로지 추론 엔진 개발이 연구되고 있다. 또한, 기존의 CPU에 비해 많은 코어로 구성되어 있는 GPGPU를 활용하는 병렬 프로그래밍 방식도 온톨로지 추론에 활용되고 있다. 앞서 말한 두 가지 방식의 장점을 결합하여, 본 논문에서는 RDFS 대용량 온톨로지 데이터를 인-메모리 기반 프레임워크인 Spark를 통해 분산시키고 GPGPU를 이용하여 분산된 데이터를 고속 추론하는 방법을 제안한다. GPGPU를 통한 온톨로지 추론은 기존의 추론 방식보다 저비용으로 고속 추론을 수행하는 것이 가능하다. 또한 Spark 클러스터의 각 노드를 통하여 대용량 온톨로지 데이터에 대한 부하를 줄일 수 있다. 본 논문에서 제안하는 추론 엔진을 평가하기 위하여 LUBM10, 50, 100, 120에 대해 추론 속도를 실험하였고, 최대 데이터인 LUBM120(약 1백7십만 트리플, 2.1GB)의 실험 결과, 인-메모리(Spark) 추론 엔진 보다 7배 빠른 추론 성능을 보였다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 방송공학회논문지
• /
• 제10권1호
• /
• pp.83-102
• /
• 2005

The problem of video scheduling is analyzed in the framework of divisible load scheduling. A divisible load can be divided into any number of fractions (parts) and can be processed/computed independently on the processors in a distributed computing system/network, as there are no precedence relationships. In the video scheduling, a frame can be split into any number of fractions (tiles) and can be processed independently on the processors in the network, and then the results are collected to recompose the single processed frame. The divisible load arrives at one of the processors in the network (root processor) and the results of the computation are collected and stored in the same processor. In this problem communication delay plays an important role. Communication delay is the time to send/distribute the load fractions to other processors in the network. and the time to collect the results of computation from other processors by the root processors. The objective in this scheduling problem is that of obtaining the load fractions assigned to each processor in the network such that the processing time of the entire load is a minimum. We derive closed-form expression for the processing time by taking Into consideration the communication delay in the load distribution process and the communication delay In the result collection process. Using this closed-form expression, we also obtain the optimal number of processors that are required to solve this scheduling problem. This scheduling problem is formulated as a linear pro-gramming problem and its solution using neural network is also presented. Numerical examples are presented for ease of understanding.

• 인터넷정보학회논문지
• /
• 제15권1호
• /
• pp.45-53
• /
• 2014

UI-Mashup은 웹 응용프로그램 개발의 최신 경향 중 하나로 인터넷 상에 분산된 다양한 콘텐츠를 조합하여 가치를 추가해 서비스하는 방안으로 널리 사용되고 있다. 현재까지 UI-Mashup 관련 연구는 동적 서비스 조합에 초점이 맞추어져 있고 급변하는 웹 표준에 적응하지 못하여 최종 사용자 입장에서 UI-Mashup은 느리고 불편하며 보안에 취약한 서비스로 인식되고 있다. 본 연구에서는 UI-Mashup의 성능 향상을 위한 아키텍처를 제안한다. 제안한 아키텍처는 빠른 서비스 제공과 보안 강화를 위해 UI조각을 서버에서 병렬로 수집하고 매쉬업된 UI의 레이아웃과 UI조각들을 별도의 전송 채널을 통해 클라이언트로 전송하여 빠른 반응시간과 응답시간을 제공한다. 본 연구에서는 제안한 아키텍처를 실증적으로 검증하기 위해 구현하였으며 성능테스트를 진행하였다. 성능테스트 결과 제안한 아키텍처는 기존 UI-Mashup 기법에 비해 2 ~ 3배 빠른 응답시간을 기록하였고, 4배이상의 처리량을 보였다.