• 제목/요약/키워드: Cluster computing environment

검색결과 109건 처리시간 0.094초

상황인식 이동성 예측 모델에서의 효율적인 포워딩 경로 산출 기법 (Efficient Forwarding Path Computing Method for Context-Awareness Mobility Prediction Model)

  • 정래진;오영준;이강환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.93-95
    • /
    • 2014
  • 본 논문은 계층적 클러스터 구조에서, 상황인식 이동성 예측모델을 통해 예측된 이동성으로 효율적인 포워딩 경로를 산출하는 기법을 제안한다. 이동성으로 인하여 노드 간 연결이 쉽게 변화하는 환경에서 통신의 불안정성을 극복하기 위해, 제안하는 알고리즘은 상황인식 이동성 예측모델을 통해 얻은 클러스터의 예측된 속성정보를 활용한다. 예측정보를 통해 클러스터간의 연결성을 매트릭스의 형태로 정리하며, 마스킹 기법을 응용한 포워딩 경로 산출 기법을 통해 효율적인 경로를 도출한다. 모의실험 결과, 제안하는 알고리즘으로 클러스터의 이동성을 고려하여 노드 간의 연결이 오래 지속될 수 있는 포워딩 경로를 선택 후에 전송함으로써 지연시간이 줄어드는 결과가 기대된다.

  • PDF

Parallel Algorithm of Improved FunkSVD Based on Spark

  • Yue, Xiaochen;Liu, Qicheng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권5호
    • /
    • pp.1649-1665
    • /
    • 2021
  • In view of the low accuracy of the traditional FunkSVD algorithm, and in order to improve the computational efficiency of the algorithm, this paper proposes a parallel algorithm of improved FunkSVD based on Spark (SP-FD). Using RMSProp algorithm to improve the traditional FunkSVD algorithm. The improved FunkSVD algorithm can not only solve the problem of decreased accuracy caused by iterative oscillations but also alleviate the impact of data sparseness on the accuracy of the algorithm, thereby achieving the effect of improving the accuracy of the algorithm. And using the Spark big data computing framework to realize the parallelization of the improved algorithm, to use RDD for iterative calculation, and to store calculation data in the iterative process in distributed memory to speed up the iteration. The Cartesian product operation in the improved FunkSVD algorithm is divided into blocks to realize parallel calculation, thereby improving the calculation speed of the algorithm. Experiments on three standard data sets in terms of accuracy, execution time, and speedup show that the SP-FD algorithm not only improves the recommendation accuracy, shortens the calculation interval compared to the traditional FunkSVD and several other algorithms but also shows good parallel performance in a cluster environment with multiple nodes. The analysis of experimental results shows that the SP-FD algorithm improves the accuracy and parallel computing capability of the algorithm, which is better than the traditional FunkSVD algorithm.

지구환경 데이터를 위한 멀티플랫폼 가시화 시스템 (Multi-platform Visualization System for Earth Environment Data)

  • 정석철;정서원;김종용;박상훈
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제21권3호
    • /
    • pp.36-45
    • /
    • 2015
  • 대용량 볼륨 데이터로부터 연속적인 고화질 영상을 생성하는 것은 공학이나 자연과학 분야에서 중요한 연구주제이다. 최신 가시화 기법을 이용해 고해상도데이터의 시각적 영상 정보를 효과적으로 보여줌으로써 데이터에 내재된 유용한 정보의 분석을 돕는 소프트웨어의 필요성이 증대되고 있다. 본 논문에서는 관측, 예측을 통해 구축된 지구환경 데이터를 효과적으로 분석, 표출하기 위해 클라이언트-서버기반의멀티플랫폼가시화시스템을설계했다.클러스터로구성된가시화서버는병렬/분산 처리를 통해 데이터를 클라이언트에게 전달하고, 클라이언트는 다양한 플랫폼에서 구동되도록 개발되었다. 개발된 클라이언트는 멀티 터치, 센서를 통해 직관적인 구동이 가능하고, 영상기반조명 기법의 적용으로 사실적인 렌더링을 지원한다.

Design and Implementation of Incremental Learning Technology for Big Data Mining

  • Min, Byung-Won;Oh, Yong-Sun
    • International Journal of Contents
    • /
    • 제15권3호
    • /
    • pp.32-38
    • /
    • 2019
  • We usually suffer from difficulties in treating or managing Big Data generated from various digital media and/or sensors using traditional mining techniques. Additionally, there are many problems relative to the lack of memory and the burden of the learning curve, etc. in an increasing capacity of large volumes of text when new data are continuously accumulated because we ineffectively analyze total data including data previously analyzed and collected. In this paper, we propose a general-purpose classifier and its structure to solve these problems. We depart from the current feature-reduction methods and introduce a new scheme that only adopts changed elements when new features are partially accumulated in this free-style learning environment. The incremental learning module built from a gradually progressive formation learns only changed parts of data without any re-processing of current accumulations while traditional methods re-learn total data for every adding or changing of data. Additionally, users can freely merge new data with previous data throughout the resource management procedure whenever re-learning is needed. At the end of this paper, we confirm a good performance of this method in data processing based on the Big Data environment throughout an analysis because of its learning efficiency. Also, comparing this algorithm with those of NB and SVM, we can achieve an accuracy of approximately 95% in all three models. We expect that our method will be a viable substitute for high performance and accuracy relative to large computing systems for Big Data analysis using a PC cluster environment.

Myrinet 환경에서 예조건화 Navier-Stokes 코드의 병렬처리 성능 (Parallel Performance of Preconditioned Navier-Stokes Code on Myrinet Environment)

  • 김명호;이기수;최정열;김귀순;김성룡;정인석
    • 한국전산유체공학회:학술대회논문집
    • /
    • 한국전산유체공학회 2001년도 춘계 학술대회논문집
    • /
    • pp.149-154
    • /
    • 2001
  • Parallel performance of a Myrinet based PC-cluster was tested and compared with a conventional Fast-Ethernet system. A preconditioned Navier-Stokes code was parallelized with domain decomposition technique, and used for the parallel performance test. Speed-up ratio was examined as a major performance parameter depending on the number of processor and the network topology. As was expected, Myrinet system shows a superior parallel performance to the Fast-Ethernet system even with a single network adpater for a dual processor SMP machine. A test for the dependency on problem size also shows that network communication speed is a crucial factor for parallelized computational fluid dynamics analysis and the Myrinet system is a plausible candidate for high performance parallel computing system.

  • PDF

클러스터 컴퓨팅 환경에서 자원 스케줄링의 최적화 (An Optimization of Resource Scheduling in the Cluster Computing Environment)

  • 이훈순;김창수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.56-57
    • /
    • 2016
  • 본 논문에서는 클러스터 컴퓨팅 환경에서 가용한 자원의 추이를 고려한 자원 스케줄링 최적화 방법을 제안한다. 제안하는 스케줄링 방법은 데이터 인텐시브 응용의 특성인 자원 추가에 따른 처리 성능의 선형적 확장성을 활용하는데, 사용자가 작업 수행을 위해 명시한 자원이 가용하지 않은 경우에 해당 자원이 가용해질 때까지 기다리는 것이 아니라 가용한 자원 상황 추이를 고려하여 융통성 있는 자원 할당을 하게 함으로써 자원 조각화를 최소화한다. 시물레이션을 통한 실험으로 제안하는 방법이 기존 방법에 비해 자원 활용률과 처리량 측면에서 우수함을 검증하였다.

PHLOX : 데이터를 공유하는 워크스테이션 클러스터 환경기반 고성능 트랜잭션 처리 시스템 (PHLOX : A High Performance Transaction Processing System on Workstation Cluster Environment with Data Sharing)

  • 조행래;문애경;정재규;박재용;김태우;이우범
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권1호
    • /
    • pp.29-42
    • /
    • 1999
  • 은행이나 증권시장 혹은 통신 분야와 같은 온라인 트랜잭션처리 (OLTP) 응용 분야들이 계속 증가하고 있으며 그 규모와 복잡성은 매년 405에서 50% 이상 증가하고 있는 것으로 평가되고 있다. 이러한 복잡한 OLTP 응용분야들은 한 대의 개인용 컴퓨터나 워크스테이션으로는 처리가 불가능하며, 슈퍼 컴퓨터나 MPP와 같은 고성능의 컴퓨터를 이용하는 경우에는 방대한 예산이 소요될 것이다. 본 논문에서는 데이터를 공유하는 워크스테이션 클러스터에서 트랜잭션을 병렬로 처리할 수 있는 고성능 트랜잭션처리 시스템인 PHLOX를개발한다. PHLOX는 네트워크 파일 시스템을 이용하여 데이터를 공유함으로써 확장성이 뛰어나며 각 워크스테이션의 메모리 버퍼간에 직접 데이터 전송을 지원함으로써 디스크 액세스빈도수를 줄일 수 있다는 장점을 갖는다.

MANET에서 안정된 침입탐지에 관한 연구 (A Study of Stable Intrusion Detection for MANET)

  • 양환석;양정모
    • 정보보호학회논문지
    • /
    • 제22권1호
    • /
    • pp.93-98
    • /
    • 2012
  • 이동 노드로만 구성된 MANET은 유비쿼터스 컴퓨팅 환경을 구축하기 위한 핵심 기술로 많은 관심을 받고 있다. 또한 중앙 기반 시설이 없기 때문에 보안에 더욱 취약하다. 따라서 악의적인 공격을 탐지해 낼 수 있는 침입탐지 시스템이 반드시 필요하다. 본 논문에서는 안정된 침입탐지를 위해 클러스터를 이용하였으며, 네트워크 문제인 것처럼 보이는 공격도 정확히 탐지할 수 있도록 다양한 공격에 대해 규칙을 정의하였다. 실험을 통해 본 논문에서 제안한 기법이 노드의 수가 증가하더라도 안정된 탐지율을 보이는 것을 확인하였다.

리눅스 클러스터에서 MPI 기반 병렬 프로그램의 동적 동시 스케줄링 기법 (A Dynamic Co-scheduling Scheme for MPI-based Parallel Programs on Linux Clusters)

  • 김혁;이윤석
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.29-35
    • /
    • 2008
  • 빈번한 메시지를 주고받는 MPI 기반의 병렬 프로그램에서 효과적으로 통신이 이뤄지기 위해서는 송수신 프로세스들이 각 노드에서 동시에 스케줄되어야 한다. 그러나, 일반적으로 클러스터 컴퓨터를 구성하는 각 노드는 범용시분할 운영체제를 기반으로 하며, 이 경우 병렬 프로그램을 구성하는 프로세스들은 각 스케줄러에 의해 자율적으로 관리되므로 이들을 동시에 함께 실행시키는 것은 쉽지 않다. 본 연구에서는 리눅스 클러스터에서 효과적으로 병렬 MPI 프로그램을 실행시키기 위해, 메시지 교환 정보를 활용하여 통신에 참여하는 프로세스들이 동시에 스케줄 되는 기법을 제안하고 실제 구현을 통해 성능을 살펴보았다. NPB 병렬 벤치마크의 수행을 통해 측정한 결과에 따르면, 통신량이 높은 프로그램에서 33-56%의 실행 시간 감소 효과를 보였다.

  • PDF

HPC 환경을 위한 데이터 전송 노드 클러스터 구축 및 성능분석 (Deployment and Performance Analysis of Data Transfer Node Cluster for HPC Environment)

  • 홍원택;안도식;이재국;문정훈;석우진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.197-206
    • /
    • 2020
  • HPC(High Performance Computing) 서비스를 기반으로 한 거대과학 응용분야의 협업연구는 원거리에 떨어져 있는 연구자들 사이에서 대용량 데이터의 빠른 전송을 필요로 한다. 이와 관련하여 최근 미국 내의 주요 슈퍼컴퓨터들을 연계하여 고속 전송하기 위한 연구들이 수행되고 있다. 본 논문에서는 기 구축되어 운영 중인 한국과학기술정보연구원의 누리온 슈퍼컴퓨터 병렬 파일시스템 내의 대용량 데이터를 고속 전송하기 위해서 고성능 과학기술연구망 기반의 데이터 전송 노드(DTN) 클러스터를 구축하고 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 전송 실험을수행한다. 실험을 통해 다른 크기의 파일들로 구성된 실험 군들에 대해 DTN 클러스터링에 따른 전송 성능을 비교하였고, 3대의 멀티 노드로 구성된 DTN 클러스터는 두 종류의 병행성, 병렬성 설정에서 단일 노드 대비 각각 약 1.8, 2.7배의 전송 성능 향상을 가져올 수 있음을 확인하였다.