• 제목/요약/키워드: PC cluster

검색결과 266건 처리시간 0.027초

대용량 위성영상의 무감독 분류를 위한 k-Means Clustering 알고리즘의 병렬처리: 다중코어와 PC-Cluster를 이용한 Hybrid 방식 (Parallel Processing of k-Means Clustering Algorithm for Unsupervised Classification of Large Satellite Images: A Hybrid Method Using Multicores and a PC-Cluster)

  • 한수희;송정헌
    • 한국측량학회지
    • /
    • 제37권6호
    • /
    • pp.445-452
    • /
    • 2019
  • 본 연구에서는 대용량 위성영상의 무감독분류를 위해 k-means clustering 알고리즘의 병렬처리 코드를 개발하여 PC-cluster에서 구현하였다. 이를 위해 OpenMP (Open Multi-Processing)를 기반으로 CPU (Central Processing Unit)의 다중코어를 이용하는 intra-node 코드와 message passing interface를 기반으로 PC-cluster를 이용하는 inter-nodes 코드, 그리고 이 둘을 병용하는 hybrid 코드를 구현하였다. 본 연구에 사용한 PC-cluster는 한 대의 마스터 노드와 여덟 대의 슬래이브 노드로 구성되어 있고 각 노드에는 여덟 개의 다중코어가 장착되어 있다. PC-cluster에는 Microsoft Windows와 Canonical Ubuntu의 두 가지 운영체제를 설치하여 병렬처리 성능을 비교하였다. 실험에 사용한 자료는 두 가지 다중분광 위성영상으로서 중용량인 LANDSAT 8 OLI (Operational Land Imager) 영상과 대용량인 Sentinel 2A 영상이다. 병렬처리의 성능을 평가하기 위하여 speedup과 efficiency를 측정한 결과 전반적으로 speedup은 N/2 이상, efficiency는 0.5 이상으로 나타났다. Microsoft Windows와 Canonical Ubuntu를 비교한 결과 Ubuntu가 2-3배의 빠른 결과를 나타내었다. 순차처리와 병렬처리 결과가 일치하는지 확인하기 위해 각 클래스의 밴드별 중심값과 분류된 화소의 수를 비교하고 결과 영상간 화소대 화소 비교도 수행하였다. Intra-node 코드를 구현할 때에는 OpenMP에 의한 false sharing이 발생하지 않도록 주의해야 하고, PC-cluster에서 대용량 위성영상을 처리하기 위해서는 파일 I/O에 의한 성능저하를 줄일 수 있도록 코드 및 하드웨어를 설계해야 함을 알 수 있었다. 또한 PC-cluster에 설치된 운영체제에 따라서도 성능 차이가 발생함을 알 수 있었다.

LAN상의 유휴 PC들을 사용한 파이프라인 방식의 PC Cluster의 설계 (Design of a Pipelined PC Cluster using Idle PCs on LAN)

  • 김영균;오길호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (중)
    • /
    • pp.1037-1040
    • /
    • 2003
  • 본 논문에서는 LAN 상에서 유휴 PC 들을 연산에 활용하는 PC Cluster 시스템에 대해 연구하였다. 특히, PC 실습실에 있는 PC 들의 유휴시간(Idle time)대를 이용하여 Cluster 연산에 사용함으로써 별도의 전용 클러스터 시스템을 설치하기 위한 하드웨어 및 설치 공간이 필요로 하지 않는다는 장점을 갖는다. PC 실습실의 PC 들은 주간에는 주로 교육 및 실습에 사용되며 오후 6시부터 오전 9시까지의 실습에 사용되지 않는 유휴시간을 CPU-Intensive 한 작업들을 병렬로 수행하는 PC Cluster로 구성하여 저가격의 고성능 시스템을 구축할 수 있다. 그리고 특정 연산을 전담하는 노드들을 지정하고 이 노드들의 연산 결과를 인접한 다른 노드들에게 전달함으로써 연속적인 다음 연산을 적용할 수 있도록 파이프라인(Pipeline) 형태로 구성한다. 파이프라인 형태의 PC Cluster 에서 연산을 겹침(Overlapped)으로서 처리량(Throughput)을 높일 수 있다. LAN으로 연결된 PC 실습실의 PC 들은 인터넷상의 연산 자원들보다 안정되고 신뢰성이 있기 때문에 복잡한 보안 기법을 사용하지 않아도 된다. 또한 연산시간이 유휴시간으로 고정되어 있기 때문에 네트워크의 부하 및 노드의 부하를 고려하는 복잡한 부하균등화 기법이나 스케줄링 기법이 필요로 하지 않는다.

  • PDF

PC-Cluster 구축 및 활용 (Needs for PC-Cluster and its Applicable Fields)

  • 이상문;양우진;신순철
    • 한국전산유체공학회:학술대회논문집
    • /
    • 한국전산유체공학회 2002년도 춘계 학술대회논문집
    • /
    • pp.1-1
    • /
    • 2002
  • This abstract contains information of PC-Cluster systems that Samsung Advanced Institute of Technology (SAIT) have developed and researched since 1998. This paper introduce not only the reasons that why SAIT has been interested and focused in such system, but also where to SAIT has applied. There are many other applicable areas but this paper emphasis only in the fields of high performance computing and storage system. With the result of SAIT's PC-Cluster research, we hope we can create many new applicable areas with collaborations.

  • PDF

인터넷상의 대규모 유휴 PC들을 사용한 효율적인 PC Cluster의 설계 (Design of an Efficient PC Cluster using a Very Large Idle PCs on Internet)

  • 김영균;최종욱;김용호;오길호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (3)
    • /
    • pp.223-225
    • /
    • 2002
  • 본 논문에서는 인터넷 상에서 대규모의 유휴 PC들을 연산에 활용하는 PC Cluster시스템에 대해 연구하였다. 인터넷상의 노드는 i)이질적이고, ii)각 노드의 신뢰성이 확보되지 않는 특징을 갖는다. 또한 각각의 노드는 iii)지역 작업을 가질 수 있다. 작업 할당시 연산에 참여하는 노드의 이력 정보와 유휴상태를 함께 고려하여 작업을 할당함으로서 i), ii)를 고려한 PC클러스터링 방법을 제안하였다. 작업 할당시 노드의 이전 작업들의 처리에 대한신뢰성과, 작업 반환 시간을 고려하여 작업을 노드에 할당함으로써 신뢰성이 떨어지는 노드와 평균 반환 시간이 상대적으로 다른 노드들에 비해 큰 노드에 대해서 작업 할당을 가능한 줄임으로써 전체 작업의 신뢰성을 높일 수 있고 평균 작업 반환 시간을 단축시킬 수 있다. 제안한 방법에서는 iii)의 지역 작업을 가질 수 있는 인터넷상의 서로 다른 성능의 이질적인PC로 Cluster를 구축할 경우 보다 적합한 Self-Scheduling을 사용함으로서 효율적으로 작업할당이 가능하도록 하였다. 제안한 방법은 지역 작업을 갖고 있는 인터넷상의 대규모 PC들로 구성된 신뢰성 있는 PC클러스터 구축을 가능하도록 한다.

  • PDF

높은 집적도를 가지는 Windows XP PC 클러스터 구축 (Construction of Highly Integrated PC Cluster based on Windows XP)

  • 이성기;신재렬;최정열
    • 한국전산유체공학회:학술대회논문집
    • /
    • 한국전산유체공학회 2005년도 춘계 학술대회논문집
    • /
    • pp.41-46
    • /
    • 2005
  • A new PC cluster was designed and constructed based on Windows XP Operating system. Primary target of the present design was the high node density per rack by using the general PC parts those are cost-effective and readily available in the market. Other major design points were system cooling and the convenient maintenance using standard PC parts. Presently 24 nodes per rack seems to be optimum considering the specification of the network switching device, system cooling and power supply, but 40 nodes can be accommodated within a single rack at maximum. Windows XP was selected as a high-performance computing environment considering the cost and the convenience in acquisition, maintenance and education. Both fast-Ethernet and Gigabit Ethernet network connection were tested and compared with previous data, especially for Linux doter using Myrinet. The result shows that there is no significant difference between the operating systems and the Fast-Ethernet and/or Gigabit Ethernet are good solution for the high-performance PC cluster considering the cost and performance.

  • PDF

SCI 기반 PC 클러스터링을 위한 CC-NUMA 프로토타입 카드의 설계와 성능 (Design and Performance of a CC-NUMA Prototype Card for SCI-Based PC Clustering)

  • 오수철;정상화
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권1호
    • /
    • pp.35-41
    • /
    • 2002
  • 고성능 PC 클러스터 시스템을 구축하기 위해서는 네트워크 접근시간을 최소화하는 것이 중 요하다. SCI 기반 PC 클러스터 시스템에서는 각 노드에 네트워크 캐쉬를 유지함으로써 네트워크 접근 시 간을 줄이는 것이 가능하다. 본 논문에서는 SCI 기반 PC 클러스터 시스템을 위해서 네트워크 캐쉬를 활용하는 CC-NUMA 카드를 제안한다. CC-NUMA 카드는 각 노드의 PCI 슬롯(slot)에 plug-in 되는 형태이며 공유메모리 네트워크 캐쉬 네트워크 제어 모듈을 포함한다. 네트워크 캐쉬는 클러스터 노드의 PCI 버스상에서 존재하는 공유메모리를 캐쉬하여 공유메모리와 네트워크 캐쉬 사이의 일관성은 IEEC SCI 표준 에 의해 유지된다. 본 연구에서는 SCI 기반 PC 클러스터 시스템의 성능을 측정하기 위하여 CC-NUMA 프로토타입 카드를 개발하였으며, 이를 기반으로 하여 클러스터 시스템을 구축하였다. 실험결과. CC- NUMA 카드를 장착한 클러스터 시스템이 네트워크 캐쉬를 활용하지 않는 NUMA 기반 클러스터 시스템 에 비해서 우수한 성능을 보임을 알 수 있었다.

PC-Cluster를 사용한 내용기반의 화상 검색 시스템의 설계 및 구현 (Design & Implementation of a Content-Based Image Retrieval System using a PC-Cluster)

  • 김영균;오길호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.1461-1464
    • /
    • 2004
  • 본 논문에서는 LAN 상에서 유휴 PC들을 사용하여 PC Cluster를 구성한 후 이를 사용한 내용기반의 화상 정보 검색(CBIR) 시스템에 관한 연구를 수행하였다. LAN 상의 유휴 PC 들은 인터넷상의 연산 자원들보다 안정되고 신뢰성이 있기 때문에 복잡한 보안 기법을 사용하지 않아도 되며 또한 연산시간이 유휴시간으로 고정되어 있기 때문에 네트워크의 부하 및 노드의 부하를 고려하는 복잡한 부하 균등화 기법이나 스케쥴링 기법이 필요로 하지 않는 특징을 갖는다. 내용기반의 화상 정보 검색은 화상 데이터의 대용량 특징으로 인해 화상 특징 추출 및 유사도 계산을 위해 많은 연산을 필요로 한다. 특히 다양한 내용기반의 정보 검색 서비스를 지원하기 위해 다중 특징(Multiple Features)을 동시에 추출하고자 할 때 연산시간은 급격히 증가한다. 따라서 이러한 내용 기반의 화상 정보 검색 시스템을 구현하기 위해 저비용의 고성능의 PC Cluster를 사용하여 전체 연산시간을 단축하고 실시간 정보검색이 가능하도록 하는 연구를 수행 하였다.

  • PDF

PC 클러스터에서 스케줄링 기법의 구현 (Implementation of Scheduling Strategies on PC Clusters)

  • 강오한;송희헌;정중수
    • 정보처리학회논문지A
    • /
    • 제11A권7호
    • /
    • pp.521-528
    • /
    • 2004
  • 본 논문에서는 버스 기반의 클러스터 구조에 적합한 새로운 태스크 스케줄링 기법을 소개하고, PC 클러스터에 구현하여 스케줄링 기법의 성능을 분석한다. 구현된 스케줄링 기법은 태스크 그래프를 입력으로 받아 PC 클러스터로 스케줄링하며, 휴리스틱을 사용하여 태스크를 선택적으로 중복함으로써 병렬연산시간을 단축한다. PC 클러스터는 리눅스 OS가 설치된 6대의 PC가 Gigabit Ethernet으로 연결되어 있다. 통신을 위해 TCP/IP 프로토콜을 사용하며, 메시지 교환을 위해 표준화된 병렬 프로그래밍 도구로 MPI를 사용한다. 실험을 한 결과 본 논문에서 소개한 스케줄링 기법이 비교 기법보다 병렬연산시간 측면에서 성능이 우수함을 확인하였다.

온라인 선로상정사고 분산처리를 위한 SIMD 구조의 PC 클러스터링 (The PC Clustering of the SIMD Structure for a Distributed Process of On-line Contingency)

  • 장세환;김진호;박준호
    • 전기학회논문지
    • /
    • 제57권7호
    • /
    • pp.1150-1156
    • /
    • 2008
  • This paper introduces the PC clustering of the SIMD structure for a distributed processing of on-line contingency to assess a static security of a power system. To execute on-line contingency analysis of a large-scale power system, we need to use high-speed execution device. Therefore, we constructed PC-cluster system using PC clustering method of the SIMD structure and applied to a power system, which relatively shows high quality on the high-speed execution and has a low price. SIMD(single instruction stream, multiple data stream) is a structure that processes are controlled by one signal. The PC cluster system is consisting of 8 PCs. Each PC employs the 2 GHz Pentium 4 CPU and is connected with the others through ethernet switch based fast ethernet. Also, we consider N-1 line contingency that have high potentiality of occurrence realistically. We propose the distributed process algorithm of the SIMD structure for reducing too much execution time on the on-line N-1 line contingency analysis in the large-scale power system. And we have verified a usefulness of the proposed algorithm and the constructed PC cluster system through IEEE 39 and 118 bus system.

PC Network Cluster를 사용한 대규모 재료 시뮬레이션에 관한 연구 (A Study on a large-scale materials simulation using a PC networked cluster)

  • 최덕기;류한규
    • 한국항공우주학회지
    • /
    • 제30권5호
    • /
    • pp.15-23
    • /
    • 2002
  • 분자 동역학 기법을 사용한 재료 파괴 시뮬레이션은 계산량의 방대함으로 인하여 극히 최근까지 활발한 연구가 진행되지 못하였으나 최근 컴퓨터의 성능향상으로 인하여 새로운 연구분야로 떠오르고 있다. 분자 동역학은 그 특성상 계산 집약적인 환경을 요구함으로 대규모의 연산을 위해서는 슈퍼컴퓨터나 클러스터(cluster)의 사용이 필수적이나 고가의 장비와 사용료로 인하여 많은 제한을 받아왔다. 본 연구에서는 PC를 사용하여 클러스터를 제작하고, 균열이 있는 시편을 사용하여 파괴현상에 대한 분자 수준의 거동을 시뮬레이션 하였으며, 클러스터의 노드(node) 수, 효율, 분자 수, 노드간의 통신시간 등의 상호관계를 파악하여 최적의 성능을 가진 클러스터를 구성하는 데 필요한 요소들을 분석하였다. 제작된 PC 클러스터를 사용하여 약 50,000개의 분자를 사용한 재료 파괴 시뮬레이션을 수행하였다.