• Title/Summary/Keyword: 병렬분산처리 모델

Search Result 82, Processing Time 0.03 seconds

인터넷 기반의 분산된 병렬 처리를 지원하기 위한 분산 처리 지원 도구의 보안 기능과 운영 방안

  • Lee, Sang-Yun;Ahn, Cheol-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.640-642
    • /
    • 2005
  • 분산된 컴퓨팅 환경은 프로세서의 개수를 적응적으로 활용하는 병렬 처리 환경으로 활용할 수 있다. 병렬 처리예 의한 수행 시간 단축 효과에 가장 많은 영향을 주는 것은 활용되는 프로세서의 개수와 병렬 처리 요소 상호 간의 통신 오버헤드이다. 분산된 컴퓨팅 환경으로 구성한 병렬 처리는 통신 오버헤드에 의한 단점과 프로세서의 개수를 자유롭게 활용할 수 있다는 장점이 상반되는 특성을 가지며 레이트레이싱에 의한 렌더링과 같이 계산량이 많고 병렬 처리 요소 상호 간의 통신량이 적은 응용 분야에 효과적이다. 분산된 컴퓨팅 환경을 병렬 처리에 활용하기 위하여 기존의 분산 처리 모델을 적웅용면 통신 오버헤드 이외에 부수적인 오버헤드(프로그래밍 및 확용 절차)로 인하여 실효성을 발휘하기 어렵다. 단일 컴퓨팅 환경을 위한 절차와 서비스를 그대로 적용하여 분산된 컴퓨팅 환경을 구성하는 여러 대의 컴퓨터를 통합하여 활용하는 방안은 이와 같은 부수적인 오버헤드를 해결할 수 있으며 본 연구팀에서 이미 발표한 TORB(Transparent Object Request Broker)는 프로그래밍 투명성의 제공을 통하여 분산된 컴퓨팅 환경을 활용하기 위한 프로그램을 단일 컴퓨팅 환경을 위한 프로그래밍 기법을 적응하여 작성할 수 있도록 지원한다. 지속적인 연구를 통하여 프로그래밍 투명성의 범위를 확장함과 동시에 활용 절차의 투명성을 지원하는 방안을 추가하였고 새로운 분산 처리 모델을 설계하여 이러한 절차와 서비스를 체계적으로 정립하였다. 인터넷에 연결된 컴퓨터는 적절한 수준의 컴퓨팅 능력을 갖추고 있고 상호 간의 정보 교환을 할 수 있는 상태이므로 "TORB"와 같이 잘 정의된 패러다임으로 이들을 통합하여 운영하면 병렬 처리에 참여하는 프로세서의 개수를 자유롭게 활용하여 수행시간 감소 효과(병렬 처리에 의한)를 극대화할 수 있다. 그러나 인터넷을 기반으로 하는 분산된 병렬 처리를 지원하기 위해서는 "TORB"가 이미 제공하는 투명성 외에 불특정한 타인이 작성한 프로그램 코드가 "TORB"를 통하여 자신의 컴퓨터에서 실행되어도 악의적인 동작을 수행하지 못하게 하는 보안 기능과 인터넷에 연결된 방대한 수의 컴퓨터를 "TORB"에 의해 구성되는 분산된 컴퓨팅 환경에 참여시키는 시나리오가 필요하다.

  • PDF

Parallel Speech Recognition on Distributed Memory Multiprocessors (분산 메모리 다중 프로세서 상에서의 병렬 음성인식)

  • 윤지현;홍성태;정상화;김형순
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.747-749
    • /
    • 1998
  • 본 논문에서는 음성과 자연언어의 통합처리를 위한 효과적인 병렬 계산 모델을 제안한다. 음소모델은 continuous HMM에 기반을 둔 문맥종속형 음소를 사용하며, 언어모델은 knowledge-based approach를 사용한다. 또한 계층구조의 지식베이스상에서 다수의 가설을 처리하기 위해 memory-based parsing기술을 사용하였다. 본 연구의 병렬 음성인식 알고리즘은 분산메모리 MIMD 구조의 다중 Transputer 시스템을 이용하여 구현되었다. 실험을 통하여 음성인식 과정에서 발생하는 speech-specific problem의 해를 제공하고 음성인식 시스템의 병렬화를 통하여 실시간 음성인식의 가능성을 보여준다.

  • PDF

Parallel and Distributed System Based on PC Lab. (대학교 PC 실습실 기반의 대규모 병렬.분산 처리 시스템)

  • 김상선;정갑주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.367-369
    • /
    • 2003
  • 최근 응용과학 분야를 연구하는데 많은 컴퓨팅 자원을 필요로 하고 있다. 예로 미생물학 분야에서 분자 모사를 이용한 바이오-나노 연구는 대규모 컴퓨팅 자원을 필요로 한다. 그와 함께 대규모 컴퓨팅 환경을 구축하기 위해서는 많은 자본이 필요하지만, 대부분의 대학에서는 예산 부족 및 관리 능력 부족으로 인해 이러한 장비를 보유하지 못하고 있는 실정이다. 본 논문에서는 이러한 상황에서 컴퓨팅 자원을 제공하기 위해 기존의 대학 실습실의 컴퓨터들을 이용해서 대규모 병렬-분산 처리 시스템을 구현 모델로 제시하고 실제 직접 구현한 결과를 보여준다. 구현 결과로는 병렬-분산 처리 시스템인 PLinda 시스템과 애플리케이션인 Raytracing 병렬처리 프로그램을 보여 준다.

  • PDF

Design of Translator for generating Java Bytecode in Distributed environment from Thread code of Multithreaded Models (다중스레드 모델의 스레드 코드를 분산환경에서 실행 가능한 자바 바이트 코드로 변환하기 위한 번역기 설계)

  • 김기태;조선문;고훈준;이갑래;유원희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04a
    • /
    • pp.49-51
    • /
    • 2001
  • 다중스레드 모델은 데이터플로우 모델의 내부적인 병렬성, 비동기적 자료 가용성과 폰 노이만 모델의 실행 지역성을 결합하여 병렬처리 시스템의 성능을 향상시켰다. 이 모델은 프로그램의 실행을 위하여 컴파일러에 의해 생성된 스레드를 수행하며, 스레드의 생성 방법에 따라 자원 활용 빈도나 동기화 빈도와 같은 스레드의 질이 결정되는 특징이 있다. 하지만 다중스레드 모델은 실행 모델이 특정 플랫폼에 제한되는 단점을 가지고 있다. 이에 반해 자바는 플랫폼에 독립거인 특징을 가지고 있어 다중스레드 모델의 스레드 코드를 실행 단위인 자바 언어로 변환하여 다중스레드 모델의 특징을 여러 플랫폼에서 수정 없이 사용할 수 있게 된다. 자바는 분산된 환경에 적합한 언어이기 때문에 본 논문에서 제안한 번역기에 의해 다중스레드 모델의 스레드 코드를 자바 언어로 변환한 후 자바의 원격 매소드 호출을 이용하여 다중스레드 모델의 스레드 코드를 분산된 환경에서 처리하였다. 본 논문은 다중스레드 코드가 로컬 컴퓨터에서 여러 스레드를 생성하여 처리하던 것을 자바의 원격 메소드 호출을 이용하여 분산된 환경에서 실행 가능하도록 한다. 다중스레드 모델의 스레드 코드를 분산 환경에서 실행 가능한 자바 바이트 코드로 변환하는 번역기를 설계, 구현한다.

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

An Efficient Distribution Method for Parallel Computation Based on a Mobile Agent System (이동 에이전트 시스템 기반의 병렬 계산을 위한 효율적인 분산 방법)

  • 김경하;김영균;김영학;오길호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.615-617
    • /
    • 2000
  • 인터넷 상에 분산되어 있는 다수의 일반 컴퓨터들을 이용하여 높은 컴퓨팅 파워를 요구하는 응용문제를 병렬분산 처리함으로써 값 비싼 고성능의 수퍼컴퓨터를 사용하는 것 보다 경제적인 효과를 얻을 수 있다. 본 연구에서는 다중 에이전트 시스템을 이용해서 가장 병렬 시스템을 구성하고, 기존 방법들 보다 더 효과적인 방법으로 워커 에이전트와 작업 패키지를 분산하고 결과를 얻는 새로운 방법을 제안한다. IBM의 Aglet 시스템을 이용하여 이동 컴퓨팅 환경을 모델링 하였고, 제안된 분산 기법에 관한 성능 모델을 수학적으로 유도하여 그 결과를 기존 결과와 비교함으로써 본 논문에서 제안된 방법이 더 효율적임을 보인다.

  • PDF

High-performance and Highly Scalable Big Data Analysis Platform (고성능, 고확장성 빅데이터 분석 플랫폼)

  • Park, Kyongseok;Yu, Chan Hee;Kim, Yuseon;Um, Jung-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.535-536
    • /
    • 2021
  • 빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

Generating Raster DSM from Airborne Laser Scanned Data Using Parallel Processing and Virtual Grid (병렬처리와 가상격자를 이용한 대용량 항공 레이저 스캔 자료의 정규격자 수치표면모델 생성)

  • Han, Soo-Hee;Heo, Joon;Kim, Sung-Sam;Kim, Sung-Hoon
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.318-321
    • /
    • 2008
  • 본 연구에서는 대용량의 항공 레이저 스캔 포인트 자료로부터 정규 격자 형태의 수치 표면 모델을 고속으로 생성하기 위하여 가상격자와 병렬처리를 기반으로 한 자료 처리 기법을 제안하였다. 수십$\sim$수백 평방 킬로미터 영역에 대하여 항공 레이저 스캔을 중복적으로 수행할 경우 포인트 수는 수억$\sim$수십억에 이르며 이를 일반적인 시스템에서 처리하는 데에는 한계가 존재한다. 이에 본 연구에서는 병렬처리를 위해 구성한 피씨 클러스터 상에서 자료를 분산시켜 가상격자를 이용하여 처리하는 방식을 제안하였다. 즉, 마스터 노드는 포인트 자료를 읽어 들여 포인트의 평면 좌표 값에 따라 슬래이브 노드로 전송하고 각 슬래이브 노드에서는 전송받은 포인트를 가상 격자에 저장한 후 보간(interpolation)을 수행한다. 보간 방식으로는 IDW(Inverse Distance Weightin)을 사용하였으며 제안한 방식의 효율성을 평가하기 위하여 사용된 슬래이브 노드 수에 대한 처리 시간을 측정하였다.

  • PDF

Speedup Analysis Model for High Speed Network based Distributed Parallel Systems (고속 네트웍 기반의 분산병렬시스템에서의 성능 향상 분석 모델)

  • 김화성
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.26 no.12C
    • /
    • pp.218-224
    • /
    • 2001
  • The objective of Distributed Parallel Computing is to solve the computationally intensive problems, which have several types of parallelism, on a suite of high performance and parallel machines in a manner that best utilizes the capabilities of each machine. In this paper, we propose a computational model including the generalized graph representation method of distributed parallel systems for speedup analysis, and analyze how the super-linear speedup is achieved when scheduling of programs with diverse embedded parallelism modes onto a distributed heterogeneous supercomputing network environment. The proposed representation method can also be applied to simple homogeneous or heterogeneous systems whose components are heterogeneous only in terms of the processor speed. In order to obtain the core speedup, the matching of the parallelism characteristics between tasks and parallel machines should be carefully handled while minimizing the communication overhead.

  • PDF

A Study on effective parallel processing in Transputer (트랜스퓨터에서의 효율적인 병렬처리에 관한 연구)

  • 김영희;박두순
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 1998.04a
    • /
    • pp.355-360
    • /
    • 1998
  • 병렬처리 컴퓨터는 하드웨어, 소프트웨어적인 두 가지 측면에서 동시에 만족되어질 때 최적의 성능 향상을 가져올 수 있다. 본 연구는 다양한 토폴로지를 제공하고 가격대 성능비가 좋은 트랜스퓨터상에서 자료간 종속 관계에 있는 병렬 코드를 수행하는 방법들을 소프트웨어적인 기법을 통해 알아보고 종속 관계에 있는 자료 처리 시 프로세서 수의 증가를 통한 속도향상을 실험하였다. 그 결과 본 논문에서 제시한 코드로 자료의 교환량을 최소화하기 위한 기법인 경우 프로세서의 수가 2개 일 때 cost-effective임을 제시하였다. 따라서 트랜스퓨터에서 효율적인 병렬 처리를 위해서는 각 node의 토폴로지, 자료분산 모델, processor의 개수들이 반드시 고려되어야 한다.

  • PDF