• 제목/요약/키워드: 병렬/분산 컴퓨팅

검색결과 153건 처리시간 0.024초

하둡 클러스터 기반의 대용량 정성 공간 추론기의 설계 (Design of a Large-Scale Qualitative Spatial Reasoner Based on Hadoop Clusters)

  • 김종환;김종훈;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1316-1319
    • /
    • 2015
  • 본 논문에서는 대규모 분산 병렬 컴퓨팅 환경인 하둡 클러스터 시스템을 이용하여, 공간 객체들 간의 위상 관계를 효율적으로 추론하는 대용량 정성 공간 추론기를 제안한다. 본 논문에서 제안하는 공간 추론기는 추론 작업의 순차성과 반복성을 고려하여, 작업들 간의 디스크 입출력을 최소화할 수 있는 인-메모리 기반의 아파치 스파크 프레임워크를 이용하여 개발하였다. 따라서 본 추론기에서는 추론의 대상이 되는 대용량 공간 지식들을 아파치 스파크의 분산 데이터 집합 형태인 PairRDD와 RDD로 변환하고, 이들에 대한 데이터 오퍼레이션들로 추론 작업들을 구현하였다. 또한, 본 추론기에서는 추론 시간의 많은 부분을 차지하는 이행 관계 추론에 필요한 조합표를 효과적으로 축소함으로써, 공간 추론 작업의 성능을 크게 향상시켰다. 대용량의 공간 지식 베이스를 이용한 성능 분석 실험을 통해, 본 논문에서 제안한 정성 공간 추론기의 높은 성능을 확인할 수 있었다.

Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선 (Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality)

  • 이세훈;김민아;이중연;허영주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

실시간 스트림 프로세싱 시스템에서의 버퍼 컨트롤 최적화 기법 (Optimal Buffer Control in Real-Time Stream Processing Systems)

  • 김병상;김대순;윤찬현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.211-212
    • /
    • 2011
  • 스트림 프로세싱 시스템은 실시간 데이터 수집 장치와 대규모 분산 컴퓨팅 환경이 결합되어 데이터 생성과 가공을 통하여 다수의 결과를 병렬적으로 도출하는 분산 프로그래밍 모델이다. 본 논문에서는 프로세스간에 필수적으로 요구되는 유입데이터 버퍼 관리에 초점을 두고 있다. 데이터의 유입률에 따라 동적으로 분석 프로세스를 확장시킴으로서 프로세스간 버퍼의 크기를 제어하는 기법을 제안하며 시뮬레이션을 통하여 성능 분석을 하였다.

그리드 컴퓨팅에서 서비스 품질을 위한 결함 포용 서비스의 구현 (The Implementation of Fault Tolerance Service for QoS in Grid Computing)

  • 이화민
    • 컴퓨터교육학회논문지
    • /
    • 제11권3호
    • /
    • pp.81-89
    • /
    • 2008
  • 광범위 분산 컴퓨팅 시스템인 그리드 컴퓨팅에서는 자원 결함의 발생 정도가 기존의 병렬 컴퓨팅보다 더 높다. 그리드 컴퓨팅에서 자원들의 결함은 작업 수행에 있어서 치명적인 영향을 줄 수 있기 때문에 결함 포용 기능은 필수적인 요소이다. 그리고 그리드 서비스들은 바람직한 작업의 수행을 위해 그리드 자원들의 최소한의 서비스 품질을 요구한다. 하지만 그리드 컴퓨팅 서비스를 제공하는 대표적인 미들웨어인 글로버스(Globus)는 결함 탐지 서비스와 관리 서비스 그리고 QoS 요구사항을 만족하는 결함 포용 서비스를 제공하지 않는다. 이에 본 논문에서는 그리드 컴퓨팅에서 QoS 요구사항을 만족하는 결합 포용 서비스를 제안한다. 이를 위해 본 논문에서는 프로세스 결함, 프로세서 결함, 네트워크 결함과 같이 결함의 정의를 확장한다. 그리고 자원 스케줄링 서비스, 결함 탐지 서비스, 결함 관리 서비스를 제안하고 구현 및 실험 결과를 제시한다.

  • PDF

GEN_BLOCK간 재분산을 위한 통신 스케줄 (Communication Schedule for GEN_BLOCK Redistribution)

  • 육현규;박명순
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권5호
    • /
    • pp.450-463
    • /
    • 2000
  • 배열 재분산은 분산 메모리 컴퓨팅 환경에서 응용 프로그램의 수행 속도를 빠르게 하기 위해 많이 사용되고 있다. 특히 GEN BLOCK간 재분산은 동적으로 부하가 변화하는 경우 최적화된 성능을 보이기 위해 필요하다. 배열 재분산에 관한 기존 연구들은 대부분 CYCLIC(N)등과 같은 정규 분산 패턴간 재분산에 대해서만 이루어져 왔다. 그러나 GEN BLOCK등과 같은 비정규 분산 패턴간 재분산에서 발생하는 메시지패싱들은 정규 분산 패턴간 재분산과는 다른 특정을 보이기 때문에 이에 대한 새로운 연구가 필요하다. 본 논문은 GEN BLOCK간 재분산에서 발생하는 메시지패싱들에 정규 분산 패턴간 재분산에서 발견되 는 규칙성은 없는 반면 공간 지역성 (spacial locality)이 존재함을 보이고, 이를 기반으로 최소 스텝 정리와 최소 크기 정리가 재분산의 성능을 향상시키는데 중요함을 증병하였으며, 기존의 리스트 스케줄링 방식에 재구성 단계(relocation phase)를 추가함으로써 최적 스케줄을 생성하는 알고리즘을 제시하였다. 마지막으로 제안한 알고리즘의 성능을 평가하기 위해 , CRAY T3E와 IBM SP2에서 성능 평가를 수행 하였으며, 그 결과 분산 메모리 병렬 머신에서 최소 스텝 정리와 최소 크기 정리를 만족하는 스케줄이 GEN BLOCK간 재분산의 성능 향상에 중요함을 보였다.

  • PDF

다중 분산 웹 클러스터모델의 안전한 데이터 전송을 위한 상호 인증 프로토콜 (Mutual Authentication Protocol for Safe Data Transmission of Multi-distributed Web Cluster Model)

  • 이기준;김창원;정채영
    • 정보처리학회논문지C
    • /
    • 제8C권6호
    • /
    • pp.731-740
    • /
    • 2001
  • 기존의 클러스터 시스템을 확장한 다중 분산 웹 클러스터 모델은 개방 네트워크상에 존재하는 다수의 시스템 노드들을 단일한 가상 네트워크로 구축하여 사용자로부터 요구되어지는 대규모 작업을 병렬 컴퓨팅 방식으로 처리하는 클러스터 시스템이다 구성된 특성상 다중 분산 웹 클러스터 모델은 불법적인 3자에 의해 내부 시스템 노드들이 노출되어 있으며, 각 시스템 노드간의 협조작업 시 고의적인 방해와 공격으로 정상적인 작업수행이 불가능할 가능성을 지니고 있다. 본 논문에서는 시스템 노드의 서비스 코드 블록의 등록, 요구, 협조 및 결과취합 시 해당 시스템노드의 인증을 위하여 키 분배방식을 통한 시스템 노드 상호 인증 프로토콜을 제시하며, 전체 시스템 노드의 대칭키를 안전하고 효율적으로 관리하며 분배하는 SNKDC를 설계한다. SNKDC는 시스템 노드가 작업수행 시 필요한 대칭키를 분배하며, 제공된 키를 기반으로 시스템 노드는 암호화된 패킷을 전송한다. 시스템 노드간의 주고받는 암호화 패킷은 3자에 의해 해독되거나 거짓 메시지를 통한 정보의 유출을 방지할 수 있다.

  • PDF

유비쿼터스 응용 개발을 위한 센서 네트워크 시뮬레이터 (Sensor Network Simulator for Ubiquitous Application Development)

  • 김방현;김종현
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제13권6호
    • /
    • pp.358-370
    • /
    • 2007
  • 유비쿼터스 컴퓨팅의 인프라가 되는 무선 센서 네트워크의 설계 및 응용 개발을 위하여 소프트웨어 시뮬레이션이 널리 사용되고 있다. 본 연구에서는 센서 네트워크 응용프로그램의 동작을 확인할 수 있고, 실행시간 및 전력소모량을 예측할 수 있으며, 많은 수의 센서노드들을 시뮬레이션 할 수 있는 센서 네트워크 시뮬레이터를 개발하였다. 시뮬레이터는 명령어 수준의 병렬 이산 사건 시뮬레이션 방법을 이용하여 구현되었다. 명령어 수준의 시뮬레이션은 실제 센서보드에 적재되는 실행이미지를 시뮬레이션 작업부하로 사용하기 때문에 시뮬레이션 정밀도가 높다. 병렬 시뮬레이션은 여러 대의 컴퓨터를 사용하여 작업부하를 분산 처리하므로 대규모의 센서 네트워크를 시뮬레이션 할 수 있게 해준다. 구현된 시뮬레이터는 센서보드 내의 모듈 별 동작시간 및 실행된 명령어 수를 근거로 하여 전력소모량을 예측할 수 있다. 또한 다양한 시나리오의 유비쿼터스 응용프로그램의 수행 과정을 시뮬레이션 할 수 있으며, 디버깅도 가능하다. 이 연구에서 시뮬레이션의 작업부하인 명령어 트레이스로는 ATmega128L 마이크로컨트롤러용 크로스컴파일러에 의해 생성된 실행이미지를 사용하였다.

맵리듀스 기반 대용량 개인정보 분산 암호화 처리 시스템 (The Distributed Encryption Processing System for Large Capacity Personal Information based on MapReduce)

  • 김현욱;박성은;어성율
    • 한국정보통신학회논문지
    • /
    • 제18권3호
    • /
    • pp.576-585
    • /
    • 2014
  • 대량의 개인정보가 수집되어 활용됨에 따라 개인정보 유출 등의 보안 문제가 발생하고 있다. 이에 최근에는 수집된 개인정보를 암호화 하여 저장하고 활용하는 방법이 사용되고 있다. 본 논문에서는 기존에 수집된 대량의 개인정보를 단시간에 암호화하기 위한 방법으로 맵리듀스 기반의 분산 암호화 처리 방법을 제안하고, 시스템을 설계하고 구현하였다. 또한 맵리듀스 기반의 분산 암호화 처리 방법의 성능을 검증을 위해 테스트 환경을 구축하여 비교 실험을 진행하였다. 실험 결과 토큰 서버의 암호화 처리 시간이 순차처리 대비 평균 시간 효율이 약 15.3% 정도 향상 하였으며, 병렬처리대비 약 3.13%정도 향상되는 것을 확인 하였다.

멀티프로세서 태스크 할당을 위한 GA과 SA의 비교 (Comparison of Genetic Algorithms and Simulated Annealing for Multiprocessor Task Allocation)

  • 박경모
    • 한국정보처리학회논문지
    • /
    • 제6권9호
    • /
    • pp.2311-2319
    • /
    • 1999
  • 병렬 컴퓨팅에 있어 NP-complete 문제인 태스크 할당문제에 대한 두 가지 휴리스틱 알고리즘을 제시한다. 할당문제는 분산 메모리 멀티컴퓨터의 멀티 프로세싱 노드에 다중통신 태스크들을 최적의 매핑을 찾는 것이다. 태스크들을 목표 시스템 구조의 노드들에 매핑시키는 목적은 해법 품질에 손상 없이 병렬 실행시간을 최소화하기 위함이다. 많은 휴리스틱 기법들이 만족한 매핑을 얻기 위해 채택되어 왔다. 본 논문에서 제시되는 휴리스틱 기법은 유전자 알고리즘(GA)과 시뮬레이티드 어닐링(SA) 기법에 기반을 둔다. 매핑 설정을 위한 총 계산 비용으로 목적함수를 수식화하고 휴리스틱 알고리즘들의 성능을 평가한다. 랜덤, 그리디, 유전자, 어닐링 알고리즘들을 사용하여 얻은 해법의 품질과 시간을 비교한다. 할당 알고리즘 시뮬레이션 연구를 통한 실험적 결과를 보여준다.

  • PDF

소켓 및 RMI 기반 자바 메시지 전달 시스템의 구현 및 성능평가 (Implementation and Performance Evaluation of Socket and RMI based Java Message Passing Systems)

  • 방승준;안진호
    • 인터넷정보학회논문지
    • /
    • 제8권5호
    • /
    • pp.11-20
    • /
    • 2007
  • 본 논문은 자바 언어로 완성된 MPI(Message Passing Interface) 스펙인 MPJ(Message Passing in Java) 스펙을 준수하여 병렬 컴퓨팅 환경에서 메시지 통신 인터페이스를 제공하는 JMPI(Java Message Passing Interface) 라이브러리를 설계하고 구현하였다. 이 라이브러리는 간단하면서도 매우 편리한 GUI(Graphical User Interface) 도구를 제공하여, 사용자가 손쉽게 병렬 컴퓨팅 환경을 구성할 수 있다. 또한, 본 논문에서는 두 가지 전형적인 분산 시스템 통신 메커니즘인 소켓과 RMI(Remote Method Invocation) 방식을 이용하여 두 가지 버전의 시스템을 구현하였고, 기존의 JPVM 시스템과의 성능을 벤치마크 애플리케이션들을 통하여 컴퓨터 대수의 증가에 따른 처리 속도를 비교해 보았다. 실험 결과로는 본 논문에서 제시한 JMPI 시스템이 JPVM시스템보다 다양한 측면에서 높은 성능을 발휘한다는 것과 컴퓨터의 가장 효율적인 처리 속도는 애플리케이션에 따라 컴퓨터의 수를 증가시킨다고 해서 일정하게 처리속도가 증가하는 것이 아니라 네트워크의 트래픽을 고려하여 컴퓨터의 수를 증가시켰을 때 얻을 수 있다는 것을 보여준다. 마지막으로 컴퓨터의 수가 증가함에 따라 RMI를 사용하여 메시지를 전달하는 것이 소켓에 부속된 객체 스트림을 사용하여 메시지를 전달하는 것보다 효과적이라는 것을 알 수 있다.

  • PDF