• Title/Summary/Keyword: 분산연산

Search Result 419, Processing Time 0.027 seconds

A Method to Access Data for Spatial Operation in Parallel Distributed Processing System (병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안)

  • Kim, Jindeog
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2016.10a
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

PDSWeb: Performance Evaluation of Distributed Parallel Processing Scheme on the Intranet (PDSWeb: Intranet에서 분산 병렬 처리 스킴의 성능평가)

  • 송은하;정영식
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2001.11a
    • /
    • pp.378-383
    • /
    • 2001
  • Intranet 환경에 다수의 유휴 호스트를 이용하여 많은 계산량을 지닌 응용 문제를 분산시켜 병렬 수행함으로써 효율성의 향상이 기대된다. 하지만 유휴 호스트를 이용하는데 있어서 이질성과 가변성 및 자율성으로 인해 요청에 대한 신뢰성을 예측하기가 어렵다. 본 논문에서는 태스크 할당 및 호스트 관리에 있어서 부하 균등을 위한 동적 분산 병렬 스킴인 적응적 태스크 재할당 기법을 제시한다. 또한, 이미지 랜더링 생성과 프랙탈 이미지 처리와 같은 많은 연산량을 지닌 응용 문제를 PDSWeb 시스템에 적용하여 제안 알고리즘의 성능을 분석하고 평가한다.

  • PDF

Parallel Parsing of MPEG Video in Heterogeneous Distributed Environment (이질 분산환경에서 MPEG 비디오의 병렬 파싱)

  • 남윤영;황인준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.91-93
    • /
    • 2003
  • 디지털 비디오의 사용 증가로 인해 비디오의 인덱싱, 브라우징, 검색과 같은 서비스가 필요하게 되었다. 이와 같은 서비스의 효율적인 구축을 위한 단계 중, 비디오 파싱은 멀티미디어 애플리케이션에서 중요한 부분을 차지하고 있다. 일반적으로. 비디오 파싱은 복잡한 연산을 하기 때문에. 전통적인 단일 컴퓨터에 의한 파싱 방법은 많은 시간이 소요된다. 이러한 문제는 병렬 및 분산 컴퓨팅을 사용하여 파싱에 필요한 시간을 줄임으로써 해결할 수 있다. 본 논문에서는 이질 분산 환경의 멀티 컴퓨터를 사용한 세 가지 MPEG 비디오의 병렬 스케쥴링 알고리즘을 제안하였다. 성능 평가에서는 제안한 스케쥴링 알고리즘의 speedup과 load balancing에 관하여 비교 실험하였으며, 제안한 스케쥴링 알고리즘을 통해 매우 좋은 성능 향상을 얻을 수 있었다.

  • PDF

Design and Implementation of job Migration on a Grid Computing Environment (그리드 컴퓨팅 환경에서의 작업 마이그레이션의 설계 및 구현)

  • Kim Young-Gyun;Cho Kum Won;Song Young-Duk;Go Soon-Heum;Na Jeong-su;Oh Gi1-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.577-579
    • /
    • 2005
  • 본 논문에서는 Cactus와 Globus를 사용하는 그리드 컴퓨팅 환경에서 작업 마이그레이션(Job Migration)에 대해 연구 하였다. 그리드 컴퓨팅은 고속의 네트워크로 연결된 다중의 사이트에 분산되어 있는 연산 자원들을 활용하는 것으로서, 연산 자원들의 효율적인 이용이 중요하다. 연산자원의 효율적인 이용의 한 방법으로서 작업 마이그레이션은 이동 에이전트, 부하 균등화, 결함 허용 등을 위해 사용될 수 있다. 본 논문에는 한 사이트에서 실행중인 연산 작업이 중단된 경우, 유휴한 다른 사이트의 연산자원으로 이동한 후 체크포인팅 파일을 이용하여 중단된 지점부터 복구하여 연산을 계속 수행하도록 하는 연구를 수행하였다. K*Grid 환경에서 연산시간을 효과적으로 단축함을 실험으로 확인하였다. 보다 동적인 그리드 컴퓨팅에서 결함허용, 연산자원의 효율적인 이용 방법으로 사용될 수 있다.

  • PDF

A Study on Integrated Binding Service Strategy Based on Name/property in Wide-Area Object Computing Environments (광역 객체 컴퓨팅 환경에서 이름/속성기반의 통합 바이딩 서비스 방안)

  • Jeong, Chang-Won;Oh, Sung-Kwun;Joo, Su-Chong
    • The KIPS Transactions:PartA
    • /
    • v.9A no.2
    • /
    • pp.241-248
    • /
    • 2002
  • With the structure of tilde-area computing system which Is specified by a researching team in Vrije University, Netherlands, lots of researchers and developers have been progressing the studies of global location and interconnection services of distributed objects existing in global sites. Most of them halve focused on binding services of only non-duplicated computational objects existing wide-area computing sites without any consideration of duplication problems. But all of objects existing on the earth rave the duplicated characteristics according to how to categorize their own names or properties. These objects with the same property can define as duplicated computational objects. Up to now, the existing naming or trading mechanism has not supported the binding services of duplicated objects, because of deficiency of independent location service. For this reason, we suggest a new model that can not only manages locations of duplicated objects In wide-area computing environments, but also provide minimum binding time by considering both the optimal selection of one of duplicated objects and load balance among distributed systems. Our model is functionally divided into 2 parts, one part to obtain an unique object handle of duplicated objects with same property as a naming and trading service, and the other to search one or more contact addresses by a node manager using a liven object handle, as a location service For location transparency, these services are independently executing each other. Based on our model, we described structure of wide-area integrated tree and algorithms for searching and updating contact address of distributed object on this tree. finally, we showed a federation structure that can globally bind distributed objects located on different regions from an arbitrary client object.

Fast Distributed Video Coding using Parallel LDPCA Encoding (병렬 LDPCA 채널코드 부호화 방법을 사용한 고속 분산비디오부호화)

  • Park, Jong-Bin;Jeon, Byeung-Woo
    • Journal of Broadcast Engineering
    • /
    • v.16 no.1
    • /
    • pp.144-154
    • /
    • 2011
  • In this paper, we propose a parallel LDPCA encoding method for fast transform-domain Wyner-Ziv video encoding which is suitable in an ultra fast and low power video encoding. The conventional transform-domain Wyner-Ziv video encoding performs LDPCA channel coding of quantized transform coefficients in bitplane-serial fashion, which takes about 60% of total encoding time, and this computational complexity becomes severer as the bitrate increases. The proposed method binds several bitplanes into one packed message and carries out the LDPCA encoding in parallel. The proposed LDPCA encoding method improves the encoding speed by 8 ~ 55 times. In the experiment, the proposed Wyner-Ziv encoder can encode 700 ~ 2,300 QCIF size frames per second with GOP=64. The method can be applied to the pixel-domain Wyner-Ziv encoder using LDPCA, and has a wide scope of application.

An Efficient Distributed Shared Memory System for Parallel GIS (병렬 GIS를 위한 효율적인 분산공유메모리 시스템)

  • Jeong, Sang-Hwa;Ryu, Gwang-Yeol;Go, Yun-Yeong;Gwak, Min-Seok
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.6
    • /
    • pp.700-707
    • /
    • 1999
  • 본 논문에서는 GIS 관련 연산을 실시간에 효율적으로 처리하기 위한 분산공유메모리 기반 병렬처리 시스템을 제안한다. 본 논문의 분산공유메모리 시스템은 메시지전달 방식의 분산메모리 MIMD 컴퓨터 상에 소프트웨어 기반 분산공유메모리 모듈을 탑재함으로써 구현되었다. 또한 GIS 연산의 기본이 되는 공간 객체를 공유의 기본 단위로 설정하고, GIS 데이타의 특성을 반영하여 읽기전용 공유데이타 타입을 추가하였으며, 네트워크 오버헤드를 줄이기 위하여 복수의 객체를 한번에 읽어오는 bulk access가 가능하도록 하였다. 본 시스템에서는 GIS 데이타의 효율적인 분배를 위하여 부하균등화 기법으로 guided self scheduling을 사용하였다. 실험결과 본 시스템은 네트워크 캐쉬의 효율적인 활용을 통하여 소프트웨어 기반 분산메모리 시스템의 오버헤드에도 불구하고 MPI 기반 메시지전달 방식에 비하여 향상된 성능을 얻을 수 있었다.Abstract In this paper, we propose a distributed shared memory(DSM) based parallel processing system to process GIS related computations efficiently in real time. The system is based on a software DSM module implemented on top of a distributed MIMD computer. In the DSM system, spatial object, which is a fundamental structure to represent GIS data, is used as a basic unit for sharing, and a read-only shared data type is added to reflect the characteristics of GIS data. In addition, a bulk access to multiple shared data is made possible to reduce the network overhead. A guided self scheduling method is devised for efficient load balancing in distributing GIS data to parallel processors. The experimental results show that the DSM system performs better than an MPI based message-passing system through the efficient utilization of network cache in spite of the system's software overhead.

Optimization of Read-Only Transaction for Presumed Commit Protocol (PC(Presumed Commit Protocol) 규약을 위한 읽기 전용 트랜잭션의 최적화)

  • 안인순;김경찬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.78-80
    • /
    • 1998
  • 분산 데이터베이스 시스템에서 완료규약의 수행은 다수의 메시지의 교환과 로그 레코드를 하게 되는 데 이것은 통신비용과 I/O 비용을 증가시키고 시스템의 성능에 영향을 미친다. 현대의 네트워크와 시스템은 속도는 매우 빠르고, 신뢰할 수 있기 때문에 분산 트랜잭션은 대부분 연산을 성공적으로 수행하고 승인한 후에 완료될 가능성이 많다. 본 논문에서는 향상된 PC규약을 제안한다. PC 규약에서 완료규약 수행 전에 참여자 사이트에서 처리한 연산의 종류를 미리 알 수 있게 하여 규약 테이블에 등록한다. 따라서 읽기 전용 트랜잭션에 대한 메시지 비용을 줄일 수 있고 Initiation 레크드에 읽기 전용 트랜잭션의 정보를 삭제함으로 일기 전용 트랜잭션에 대한 Initiation 레코드 비용을 줄인다. 또한 갱신 트랜잭션에 대한 Initiation 레코드 비용을 줄였다.

A Study on the Filtering Technique of LiDAR Data (라이다 자료의 필터링기법에 관한 연구)

  • 이정호;한수희;유기윤;변영기
    • Proceedings of the Korean Society of Surveying, Geodesy, Photogrammetry, and Cartography Conference
    • /
    • 2004.04a
    • /
    • pp.471-475
    • /
    • 2004
  • LiDAR의 표고점 데이터에서 건물, 수목 등과 같이 주위보다 높은 고도 값을 가지는 대상물을 제거하여 DEM을 생성하기 위한 여러 가지 필터링 기법들이 개발되고 있으며 대표적인 필터링 방법으로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, dual rank 필터 등이 있다. 이러한 기법들은 커널(kernel)의 크기를 대상 지역에 맞도록 사용자가 직접 지정해주어야 하고, 건물의 크기가 다양한 지역에 적용하기 위해서는 가변 크기(variable size)의 커널을 필요로 한다. 본 연구에서는 다양한 크기의 건물이 존재하는 지역에 대하여 커널의 크기를 변화시키지 않고 필터링을 수행하는 새로운 커널 연산 기법을 제안하였다. 또한 기존 필터링 기법에서는 커널에 의해 갱신된 연산값이 다음 연산에 반영되지 않으나 본 연구에서는 갱신된 값이 바로 다음 연산에 반영되도록 하였다. 건물과 수목 등을 제거하기 위하여 주변 화소와의 높이 차를 이용하였으며 대상물이 제거된 부분은 주변 화소를 이용하여 보간하였다.

  • PDF

Buffering analysis of CNN module based on RISC-V platform (RISC-V 플랫폼 기반 CNN 모듈의 버퍼링 분석)

  • Kim, Jin-Young;Lim, Seung-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.9-11
    • /
    • 2021
  • 최근 임베디드 엣지 컴퓨팅 디바이스에서 AI와 같은 인공지은 연산을 수행하여 AI 추론 연산의 가속화 및 분산화가 많이 이루어지고 있다. 엣지 디바이스는 임베디드 프로세서를 기반으로 AI의 가속 연산을 위해서 내부에 딥러닝 가속기를 포함하여 가속화시키는 시스템 구성을 하고 있다. 딥러닝 가속기는 복잡한 Neural Network 연산을 위한 데이터 이동이 많으며 외부 메모리와 내부 딥러닝 가속기간의 효율적인 데이터 이동 및 버퍼링이 필요하다. 본 연구에서는 엣지 디바이스 딥러닝 가속기 내부의 버퍼 구조를 모델링하고, 버퍼의 크기에 따른 버퍼링 효과를 분석해 보았다. 딥러닝 가속기 버퍼 구조는 RISC-V 프로세서 기반 가상 플랫폼에 구현되었다. 이를 통해서 딥러닝 모델에 따른 딥러닝 가속기 버퍼의 사용성을 분석할 수 있다.