• 제목/요약/키워드: 실시간 분산병렬처리

검색결과 55건 처리시간 0.022초

PDP 시스템의 실시간 모니터링 (Real-Time Monitoring of the PDP System)

  • 김수자;정재홍;박복자;송은하;정영식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.379-381
    • /
    • 2003
  • 인터넷을 이용한 분산/병렬 시스템은 지리적으로 분산된 다양한 성능의 유휴 상태 호스트 자원을 사용하여 대용량 작업을 처리한다. 인터넷의 호스트들은 다양한 성능을 가질 뿐만 아니라, 상태가 언제 변할지 예측하기 힘들다. 호스트의 성능은 작업 처리율에 영향을 주므로 인터넷 기반 분산/병렬 시스템은 호스트성능에 따른 작업 할당 스키마를 제공한다. 그러나, 호스트의 성능에 따라 할당받은 작업을 수행하는 중에 각 호스트 성능과 상태가 변하여 작업 진행률에 영향을 주므로 작업 할당 알고리즘들의 수행 중에 실시간 모니터링이 요구된다. 실시간 모니터링은 PDP 시스템에 부하 균형 및 결함 허용을 제공하고 관리자와 시스템 개발자에게 보다 효율적인 작업 할당 정책을 제안한다. 본 논문에서는 인터넷 기반 분산/병렬 시스템인 PDP에서 호스트 성능과 상태들의 실시간 모니터링 방법에 대해서 논의한다.

  • PDF

실시간 네트워크 모니터링을 적용한 PDP 시스템의 성능 평가 (Performance Evaluation of PDP System Using Realtime Network Monitoring)

  • 송은하;정재홍;정영식
    • 정보처리학회논문지A
    • /
    • 제11A권3호
    • /
    • pp.181-188
    • /
    • 2004
  • 인터넷 기반 분산/병렬 처리 시스템인 PDP(Parallel/Distributed Processing)는 인터넷의 유휴상태 호스트들을 이용하여 대용량 작업을 병렬로 처리해서 전체 수행 시간을 감소시킨다. 본 연구에서는 실시간 네트워크 모니터링을 활용하여 수시로 변화하는 네트워크 환경에 적응하여 병렬/분산 처리되는 방안을 제안한다. 실시간 네트워크 모니터링 정보를 PDP 주요 핵심 알고리즘들에 적용하여 네트워크 과부하 및 결함으로 발생하는 작업 지연 요소에 적응적으로 대처함으로써 전체 성능이 향상됨을 보인다.

PDP 시스템의 실시간 모니터링 및 시각화 (Realtime Monitoring and Visualization for PDP System)

  • 김수자;송은하;박복자;정영식
    • 한국멀티미디어학회논문지
    • /
    • 제7권5호
    • /
    • pp.755-765
    • /
    • 2004
  • 최근에 많은 유휴 상태의 호스트 자원들을 이용한 인터넷 기반 분산/병렬 컴퓨팅은 대용량 작업처리와 여러 중요 논제들에 대해 그 유용성이 증명되고 있다. 대용량 작업이 수행되는 동안, 작업에 참여하는 호스트의 성능과 상태 변화에 대처하기 위한 실시간 모니터링 기능이 요구된다. 본 연구에서는 글로벌 컴퓨팅 (global computing) 인트라스트럭처(infrastructure)로 구축된 인터넷 기반 분산/병렬 처리 프레임워크인 PDP(Parallel Distributed Processing)상의 실시간 모니터링 및 시각화에 대한 내용을 소개한다.

  • PDF

분산 스트림 컴퓨팅 기술 동향 (Technology of Distributed Stream Computing)

  • 이미영
    • 전자통신동향분석
    • /
    • 제26권1호
    • /
    • pp.80-88
    • /
    • 2011
  • 데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

  • PDF

분산 메모리 다중 프로세서 상에서의 병렬 음성인식 (Parallel Speech Recognition on Distributed Memory Multiprocessors)

  • 윤지현;홍성태;정상화;김형순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.747-749
    • /
    • 1998
  • 본 논문에서는 음성과 자연언어의 통합처리를 위한 효과적인 병렬 계산 모델을 제안한다. 음소모델은 continuous HMM에 기반을 둔 문맥종속형 음소를 사용하며, 언어모델은 knowledge-based approach를 사용한다. 또한 계층구조의 지식베이스상에서 다수의 가설을 처리하기 위해 memory-based parsing기술을 사용하였다. 본 연구의 병렬 음성인식 알고리즘은 분산메모리 MIMD 구조의 다중 Transputer 시스템을 이용하여 구현되었다. 실험을 통하여 음성인식 과정에서 발생하는 speech-specific problem의 해를 제공하고 음성인식 시스템의 병렬화를 통하여 실시간 음성인식의 가능성을 보여준다.

  • PDF

실시간 네트워크 모니터링 기반 분산/병렬 컴퓨팅의 작업 할당 전략 (Task Allocation strategy for Distributed/Parallel Computing based on Realtime Network Monitoring)

  • 정재홍;김수자;박복자;송은하;정영식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.631-633
    • /
    • 2003
  • 인터넷 가반 분산/병렬 처리 프레임 워크 PDP(Parallel/Distributed Processing Scheme on Web)는 네트워크 내 유휴 상태 호스트들을 활용하여 대용량 작업을 병렬로 처리한다. 본 논문에서는 이러한 서브 작업을 할당받는 자원이 동작하는 네트워크 환경을 모니터링 함으로써 수시로 변화하는 네트워크 환경에 대처하는 방안을 제시한다. 특히 네트워크 환경 모니터링 예측 결과를 PDP의 작업 할당 알고리즘에 적용하여 네트워크 과부하 및 결함 등으로 인해 발생되는 작업 지연 요소에 적응적 대처함으로써 전체 작업 수행 처리율 향상을 도모하는 방법을 제안한다.

  • PDF

스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론 (Real Time Distributed Parallel Processing to Visualize Noise Map with Big Sensor Data and GIS Data for Smart Cities)

  • 박종원;심예찬;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제19권4호
    • /
    • pp.1-6
    • /
    • 2018
  • 스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다. 본 논문은, 스마트 시티의 융복합된 유비쿼터스센서네트워크들로부터 끊임없이 전달되는 대량의 스트림 데이터를, 실시간으로 전달받아서, 지리정보시스템 (GIS)의 정보들과 융합하여, 시각적으로 소음정보를 표시하여 주는, 3차원 소음지도를 실시간으로 제작하는, 실시간 분산병렬처리 방법론을 제시하였다. 이 방법론을 오픈소스소프트웨어를 활용하여 실제 시스템으로 개발되어 구현하였다. 본 논문에서는, 이와 같이 구현된 시스템들 중에서, 아파치 스톰(Apache Storm) 프레임워크를 사용하여 구현한 실제 시스템을 소개한다. 본 연구에서는, 이 실제 구현된 시스템을 성능평가하였다. 대량의 비정형 데이터를 실시간으로 처리하려면, 큰 컴퓨팅 파워가 필요하며, 필요한 컴퓨팅 파워의 규모도 사전에 알 수 없다는 문제들이 있다. 이 문제들을 해결하기 위하여, 본 연구에서는, 컴퓨팅 파워를 자유롭게 조절하여 공급할 수 있는. 클라우드 컴퓨팅을 사용하여 성능평가를 하였다. 이와 같은 성능평가를 통하여, 본 논문에서 제시한 방법론이 적절함을 확인하였고, 개발하여 구현한 시스템이 잘 작동함도 확인하였다. 나아가서는. 실시간으로 소음지도를 생산할 수 있음을 확인하였다. 본 논문은 이와 같은 성능평가 내용도 소개하고 상세히 설명한다.

스트림 데이터 처리를 위한 시계열 데이터베이스 병렬 접근 기반 읽기 지연 개선 기법 (Improving Read Latency for Stream Data Processing via Parallel Access of Time Series Database)

  • 황용하;노순현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.44-47
    • /
    • 2018
  • 시계열 데이터 처리를 위해 방대한 양의 데이터를 스토리지에서 빠르게 읽어와 처리하려는 움직임이 많아지고 있다. 이를 위해 스토리지의 read latency 를 개선하기 위한 여러 기법들이 제안되었지만, 이 기법들은 분산 노드의 스토리지 자원을 충분히 활용하지 못한다는 한계가 있다. 따라서 우리는 시계열 데이터를 실시간으로 처리하기 위해 스토리지에 병렬적으로 접근하여 read latency 를 개선하는 기법을 제안한다. 제안된 기법은 분산 환경에서 스토리지에 병렬적으로 접근하여, 각 노드에서 부분적으로 데이터를 읽어와 전체 데이터를 읽어오는 지연시간을 줄인다. 우리는 제안된 기법을 여러 노드로 구성된 분산 환경에서 구현하였다. 제안된 기법을 적용한 결과, 전체 데이터를 읽어오는 read latency 가 기존 기법보다 28.04% 줄어든 것을 확인하였다.

분산 실시간 시스템에서 통신시간 개선을 위한 타스크 중복 스케줄링 (Task Duplication Scheduling to improve Communication Time in Distributed Real-Time Systems)

  • 박미경;김창수
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 1998년도 춘계학술발표논문집
    • /
    • pp.376-381
    • /
    • 1998
  • 다른 지역에 존재하는 자원이나 데이터들을 이용가능하게 하고, 지정된 마감시간내에 결과를 제공해야 하는 시간적 특성을 가진 분산 실시간 시스템의 성능과 신뢰성을 향상시킬 수 있는 장점을 가진다. 이러한 시스템에서 수행되는 타스크는 크게 주기적 타스크와 비주기적 타스크로 나누어지는데, 빠른 수행시간을 위해 대부분의 타스크들은 병렬로 처리되기 위해 여러 개의 서브 타스크들로 분할되어 실행된다. 본 연구에서는 분산 실시간 환경에서 임의의 시간에 마감시간을 가지고 도착한 주기적 타스크에 서브 타스크의 유형에 따라 서브 타스크간의 통신시간과 수행시간을 고려한 EST(Earliest Start Time)기법을 이용하여 서브 타스크들의 효율적인 마감시간 할당 알고리즘과 ITC(Inter Task Communication)시간을 개선하기 위한 처리기 중복 할당 알고리즘을 제시하고 있다. 수행된 결과는 기존의 방법과 비교하여 타스크 전체의 마감시간 위반 최소화와 처리기의 이용률 개선 및 처리기간의 통신시간과 수행 완료시간을 개선하고 있다.

  • PDF

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리 (Real-Time IoT Big-data Processing for Stream Reasoning)

  • 윤창호;박종원;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.1-9
    • /
    • 2017
  • 스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.