• 제목/요약/키워드: distributed parallel computing

검색결과 156건 처리시간 0.031초

이질적인 분산 환경에서의 MPEG비디오의 파싱을 위한 스케줄링 알고리즘 (A Scheduling Algorithm for Parsing of MPEG Video on the Heterogeneous Distributed Environment)

  • 남윤영;황인준
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제31권12호
    • /
    • pp.673-681
    • /
    • 2004
  • 디지털 비디오의 사용이 보편화되면서 비디오에 대한 효율적인 브라우징이나 검색의 요구가 증가하게 되었다. 이러한 연산을 지원하기 위해서는 효과적인 비디오 인덱싱이 결랍되어야 한다. 비디오 인덱싱에서 가장 기초적인 단계의 하나는 비디오론 샷과 장면으로 파싱하는 것이다. 일반적으로, 비디오 파싱은 복잡한 연산을 필요로 하기 때문에, 기존의 단일 컴퓨터 환경에서는 많은 시간이 소요된다. 기존의 연구는 일정한 시간 동안에 각 슬레이브들에게 작업을 할당하는 라운드 로빈 방식을 사용하였다. 그러나 이러한 방식은 이질적인 환경에서는 적용하는데 어려움이 있다. 본 논문에서는 이질적인 분산 컴퓨팅 환경에서 사용가능한 병렬 파싱 알고리즘인 사이즈 적응적인 라운드 로빈과 동적으로 사이즈 적응적인 라운드 로빈 방식을 제안하였다 성능을 비교하기 위해 몇 가지 실험을 하였으며, 그 결과를 분석하였다.

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

병렬 GPU를 이용한 분자 도킹 시스템 (Molecular Docking System using Parallel GPU)

  • 박성준
    • 한국콘텐츠학회논문지
    • /
    • 제8권12호
    • /
    • pp.441-448
    • /
    • 2008
  • 분자 도킹 실험은 일반적으로 계산 량이 매우 많아 슈퍼 컴퓨팅 파워를 요구하는 실험이다. 따라서 시간이 많이 소요되기 때문에 일반적으로 CPU가 탑재된 컴퓨터를 여러 대 묶어서 사용하는 분산 환경 혹은 그리드 환경에서 실험을 수행하고 있다. 이와 같은 실험 환경은 시간적, 공간적 제약성이 많아 일반적으로 과학자들이 접근하기가 어렵다. 그래서 근래에는 많은 CPU를 사용하기 보다는 월등히 성능이 높은 GPU를 병렬 화하여 과학 분야에 계산하는 연구가 매우 활발히 이루어지고 있는 추세이다. CUDA는 병렬 GPU 프로그래밍을 가능하게 하는 공개 기술이다. 본 논문에서는 이러한 CUDA 기술을 사용하여 분자 도킹 실험을 할 수 있는 시스템을 제안한다. 또한, 분자 도킹 실험에 있어서 중요한 에너지 최소화 계산을 병렬 화하는 알고리즘을 제안한다. 이와 같은 실험을 검증하기 위해 본 논문에서는 일반적인 CPU에서 분자 도킹 실험 시간과 본 논문에서 제안한 병렬 CPU 기반의 분자 도킹 시간을 비교 분석 하였다.

InterCom : 에이전트 기반 인터넷 컴퓨팅 환경 설계 및 구현 (InterCom : Design and Implementation of an Agent-based Internet Computing Environment)

  • 김명호;박권
    • 정보처리학회논문지A
    • /
    • 제8A권3호
    • /
    • pp.235-244
    • /
    • 2001
  • 네트워크와 컴퓨터 기술의 발달로 물리적으로 분산된 컴퓨터를 하나의 자원으로 사용하려는 연구가 많이 진행되고 있다. 일반적으로 이러한 연구들은 메시지 패싱을 기반으로 하는 환경을 개발하는 것이 주류를 이루고 있다. 이러한 환경은 보통 과학계산용 문제를 풀기 위해 많이 사용되고 주어진 문제의 내부병렬성을 이용하여 병렬처리 하게 된다. 따라서 보통 이러한 환경에서는 고도의 병렬성을 얻을 수 있다는 장점이 있는 반면에, 프로그래밍이 어렵고, 사용하기가 어려우며, 분산된 컴퓨터에 사용자의 계정이 있어야 한다는 단점이 있다. 그런데 만일 주어진 문제가 완전히 독립적인 작은 문제를 분할된다면 더욱 효율적인 환경을 만들 수 있다. 이러한 문제 유형은 생물정보학, 3차원 애니메이션, 그래픽스 등에 많이 준재하며, 이를 위한 새로운 환경 개발은 매우 중요한 연구라 할 수 있다. 따라서 본 논문에서는 이러한 문제를 효율적으로 처리하는 프록시 컴퓨팅 기반의 InterCom이라는 새로운 환경을 제안하고, 이들 구현한 것에 대해서 설명한다. 이 환경은 에이전트, 서버, 클라이언트로 구성되어 있다. 이 환경의 장점은 프로그래밍하기가 쉽고 분산된 모든 컴퓨터에 사용자 계정이 없어도 되며, 분산되는 코드를 자동 컴파일해 줌으로써 사용하기 쉽다는 것이다.

  • PDF

분산 인공지능 학습 기반 작업증명 합의알고리즘 (Distributed AI Learning-based Proof-of-Work Consensus Algorithm)

  • 채원부;박종서
    • 한국빅데이터학회지
    • /
    • 제7권1호
    • /
    • pp.1-14
    • /
    • 2022
  • 대부분의 블록체인이 사용하는 작업증명 합의 알고리즘은 채굴이라는 형태로 대규모의 컴퓨팅리소스 낭비를 초래하고 있다. 작업증명의 컴퓨팅리소스 낭비를 줄이기 위해 유용한 작업증명 합의 알고리즘이 연구 되었으나 여전히 블록 생성 시 리소스 낭비와 채굴의 중앙화 문제가 존재한다. 본 논문에서는 블록생성을 위한 상대적으로 비효율적인 연산 과정을 분산 인공지능 모델 학습으로 대체하여 블록생성 시 리소스 낭비문제를 해결하였다. 또한 학습 과정에 참여한 노드들에게 공평한 보상을 제공함으로써 컴퓨팅파워가 약한 노드의 참여 동기를 부여했고, 기존 중앙 집중 인공지능 학습 방식에 근사한 성능은 유지하였다. 제안된 방법론의 타당성을 보이기 위해 분산 인공지능 학습이 가능한 블록체인 네트워크를 구현하여 리소스 검증을 통한 보상 분배를 실험 하였고, 기존 중앙 학습 방식과 블록체인 분산 인공지능 학습 방식의 결과를 비교하였다. 또한 향후 연구로 블록체인 메인넷과 인공지능 모델 확장 시 발생 할 수 있는 문제점과 개발 방향성을 제시함으로서 논문을 마무리 하였다.

MPI를 이용한 PSC 프레임 비선형해석 프로그램의 병렬화 (Parallel Implementation of Nonlinear Analysis Program of PSC Frame Using MPI)

  • 이재석;최규천
    • 한국전산구조공학회:학술대회논문집
    • /
    • 한국전산구조공학회 2001년도 봄 학술발표회 논문집
    • /
    • pp.61-68
    • /
    • 2001
  • A parallel nonlinear analysis program of prestressed concrete frame is migrated on a PC cluster system and a massively parallel processing system, CRAY T3E system, using MPI. The PC cluster system is configured with Pentium Ⅲ class PCs and fast ethernet. The CRAY T3E system is composed of a set of nodes each containing one Processing Element (PE), a memory subsystem and its distributed memory interconnect network. Parallel computing algorithms are implemented on element-wise processing parts including the calculation of stiffness matrix, element stresses and determination of material states, check of material failure and calculation of unbalanced loads. Parallel performance of the migrated program is evaluated through typical numerical examples.

  • PDF

SGI Origin 2000/Cray T3e /IBM SP2 시스템에서 병렬 분산 VHDL 시뮬레이터의 개발 (Development of Parallel Distributed VHDL Simulator on SGI Origin 2000/Cray T3e/IBM SP2 Systems)

  • 정영식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권2호
    • /
    • pp.196-208
    • /
    • 1999
  • 본 논문에서는 시뮬레이션 속도 향상을 위하여 VHDL(Very high speed integrated circuit Hardware Description Language)로 기술된 디지털 회로 시뮬레이션을 위한 병렬 분산 VHDL 시뮬레이터(Parallel Distributed VHDL Simulator : PDVS)를 개발한다. 개발된 프로그램을 대규모 병렬 프로그래밍 환경에서도 수행될 수 있도록 하기 위해서 표준 통신 라이브러리인 MPI(Message Passing Interface)를 이용하여 구현된다. PDVS 의 전체적인 시스템구성도, PDVS 에 사용된 시뮬레이션 프로토콜, 전역가상시간 계산 메카니즘 및 논리적 프로세스의 내부 구성요소들간의 관계와 PDVS의 제어 흐름도를 제시한다. 그리고 본 연구에서는 병렬 분산 시뮬레이션의 병렬성 정도를 분석하기 위하여 디지털 회로의 크기 변화와 처리되는 사건수(grain size)의 변화에 따른 성능 결과를 제시한다. 이 연구에서 4배크기의 디지털 회로를 적용한 경우는 프로세서를 12개 사용할 때에 8배의 속도향상을 얻었다. 그리고 처리되는 사건의 수가 200인 경우는 프로세서를 32개 사용할 때에 12배의 속도향상을 얻었다. 또한 동일한 방법을 SGI Origin 2000, Cray T3e 및 IBM SP2에 적용함으로서 그 성능의 간접적인 비교결과도 제시한다.

인간 친화적 로봇 서비스를 위한 대용량 분산 처리 기술 및 사용자 인증에 관한 연구 (A Study on Distributed Processing of Big Data and User Authentication for Human-friendly Robot Service on Smartphone)

  • 최옥경;정우열;이봉규;문승빈
    • 인터넷정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.55-61
    • /
    • 2014
  • 현재 기업에서는 다양한 인간 친화적 로봇 서비스와 인터넷을 이용해 IT 자원을 필요한 만큼 빌려 쓰는 컴퓨팅 패러다임인 모바일 클라우드 컴퓨팅을 이용한 업무 처리 프로세스가 활발히 진행되고 있다. 그러나 모바일 클라우드 컴퓨팅 접속시 필요한 인증 서비스와 대용량 분산 처리 기술에 대한 부분은 현재 많은 취약점들을 내포하고 있는 실정이다. 본 연구에서는 모바일 클라우드 컴퓨팅 모델의 인증 서비스 취약점을 분석하고 이러한 문제점을 개선시킨 모바일 클라우드 컴퓨팅 모델을 구축하여 효율적이고 안전한 업무 처리 프로세스가 가능하도록 하고자 한다. 제안하는 모바일 클라우드 컴퓨팅 모델은 실시간 비정형 데이터를 분석하고 처리하는 기술에 대한 연구를 함께 진행함으로써 향후 비정형 데이터를 활용한 개개인 맞춤 정보 제공 서비스가 가능하다.

Hadoop 기반 분산 컴퓨팅 환경에서 네트워크 I/O의 성능개선을 위한 TIPC의 적용과 분석 (Applying TIPC Protocol for Increasing Network Performance in Hadoop-based Distributed Computing Environment)

  • 유대현;정상화;김태훈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권5호
    • /
    • pp.351-359
    • /
    • 2009
  • 최근 인터넷 서비스 기반의 데이터는 대용량화되고 있으며 대용량 데이터를 효과적으로 처리할 수 있는 구글 플랫폼, Apache Hadoop과 같은 플랫폼 기술이 각광받고 있다. 이러한 플랫폼에서는 분산 프로그래밍을 위한 기법으로 MapReduce가 수행되며, 이 과정에서 각 태스크의 결과를 전달하기 위한 네트워크 I/O의 부하 문제가 발생한다. 본 논문에서는 구글 플랫폼, Hadoop과 같은 대규모 PC 클러스터상의 분산 컴퓨팅 환경에서 네트워킹 부하를 경감하고 성능을 향상시키는 방안으로 TIPC(Transparent Inter-Process Communication)의 적용을 제안한다. TIPC는 경량화된 연결설정 및 스택 크기, 계층적 주소체계로 인해 TCP보다 가볍고 CPU 부하가 적은 장점을 가지고 있다. 본 논문에서는 Hadoop 기반 분산 컴퓨팅 환경의 특징을 분석하여 그와 유사한 실험환경을 모델화하고 다양한 프로토콜의 비교실험을 수행하였다. 실험결과 평균 전송률에서 CUBIC-TCP, SCTP와 비교해 TIPC의 성능이 가장 우수하였으며, TIPC는 CPU 점유율 측면에서 TCP와 비교해 최대 15%의 낮은 CPU 점유율을 보였다.

분산 병렬 계산환경에 적합한 초대형 유한요소 해석 결과의 효율적 병렬 가시화 (Efficient Parallel Visualization of Large-scale Finite Element Analysis Data in Distributed Parallel Computing Environment)

  • 김창식;송유미;김기욱;조진연
    • 한국항공우주학회지
    • /
    • 제32권10호
    • /
    • pp.38-45
    • /
    • 2004
  • 본 논문에서는 병렬 랜더링 기법의 특정들을 고창하고 이를 토대로 대규모 유한요소 해석결과를 효율적으로 가시화 할 수 있는 병렬 가시화 알고리듬을 제안하였다. 제안된 알고리듬은 요소영역별 계산을 기반으로 하는 병렬 유한요소 해석의 특성에 적합하도록 부분 후 분류방식을 기반으로 설계되었으며, 이미지 조합 과정에 수반되는 네트워크 통신을 효율화하고자 이진 트리구조 통신 패턴을 적용하여 구성되었다. 자체 개발된 소프트웨어를 이용하여 벤치마킹 테스트를 수행하고, 이를 통해 제안된 알고리듬의 병렬 가시화 성능을 측정하였다.