• 제목/요약/키워드: 병렬시스템

검색결과 2,501건 처리시간 0.034초

전문용어 인식 시스템을 위한 분산 병렬 처리 플랫폼 최적화 및 성능평가 (Optimization and Performance Analysis of Distributed Parallel Processing Platform for Terminology Recognition System)

  • 최윤수;이원구;이민호;최동훈;윤화묵;송사광;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제12권10호
    • /
    • pp.1-10
    • /
    • 2012
  • 과학기술 문헌의 전문용어 인식 분야는 지금까지 다양한 통계적 방법론을 사용하여 용어 인식 정확률을 향상시키기 위하여 연구되어 왔다. 하지만 기존의 연구는 단일-코어 또는 단일 머신 상에서 수행되었기 때문에, 폭발적으로 증가하는 문헌들에 대한 실시간 분석 요구를 처리할 수 없는 상황에 직면하고 있다. 본 논문에서는 전문용어를 인식하는 과정에서 병목현상이 발생하는 작업을 '후보용어 추출 과정'의 언어처리부분과 '용어 가중치 할당 과정'에서 통계정보를 취합하는 부분으로 분류하고, 각 작업을 분산병렬 처리 기반의 맵리듀스 작업을 이용하여 해결하는 전문용어 인식 방법을 구현하고 실험하였다. 실험은 확장성과 분산 병렬 처리 환경 최적화 두 가지로 수행하였고, 첫 번째 실험에서 12개의 노드를 사용하여 분산 병렬 처리하였을 때 단일 머신을 사용한 경우보다 11.27배의 처리속도 향상을 보였다. 두 번째 실험에서 1)기본 환경, 2)복수 리듀서, 3)컴바이너, 4) 2)와 3)의 조합에 대하여 수행하였고, 3)컴바이너 사용이 가장 우수한 성능을 보여 주었다. 본 논문에서 구현된 전문용어 인식 시스템은 대용량 과학기술 문헌에 대한 지식 추출 작업속도 개선에 기여하였다.

실시간 CFD 모델링을 위한 오픈소스 분산 컴퓨팅 기술 연구 (A Research about Open Source Distributed Computing System for Realtime CFD Modeling (SU2 with OpenCL and MPI))

  • 이준엽;오종우;이동훈
    • 한국농업기계학회:학술대회논문집
    • /
    • 한국농업기계학회 2017년도 춘계공동학술대회
    • /
    • pp.171-171
    • /
    • 2017
  • 전산유체역학(CFD: Computational Fluid Dynamics)를 이용한 스마트팜 환경 내부의 정밀 제어 연구가 진행 중이다. 시계열 데이터의 난해한 동적 해석을 극복하기위해, 비선형 모델링 기법의 일종인 인공신경망을 이용하는 방안을 고려하였다. 선행 연구를 통하여 환경 데이터의 비선형 모델링을 위한 Tensorflow활용 방법이 하드웨어 가속 기능을 바탕으로 월등한 성능을 보임을 확인하였다. 그럼에도 오프라인 일괄(Offline batch)처리 방식의 한계가 있는 인공신경망 모델링 기법과 현장 보급이 불가능한 고성능 하드웨어 연산 장치에 대한 대안 마련이 필요하다고 판단되었다. CFD 해석을 위한 Solver로 SU2(http://su2.stanford.edu)를 이용하였다. 운영 체제 및 컴파일러는 1) Mac OS X Sierra 10.12.2 Apple LLVM version 8.0.0 (clang-800.0.38), 2) Windows 10 x64: Intel C++ Compiler version 16.0, update 2, 3) Linux (Ubuntu 16.04 x64): g++ 5.4.0, 4) Clustered Linux (Ubuntu 16.04 x32): MPICC 3.3.a2를 선정하였다. 4번째 개발환경인 병렬 시스템의 경우 하드웨어 가속는 OpenCL(https://www.khronos.org/opencl/) 엔진을 이용하고 저전력 ARM 프로세서의 일종인 옥타코어 Samsung Exynos5422 칩을 장착한 ODROID-XU4(Hardkernel, AnYang, Korea) SBC(Single Board Computer)를 32식 병렬 구성하였다. 분산 컴퓨팅을 위한 환경은 Gbit 로컬 네트워크 기반 NFS(Network File System)과 MPICH(http://www.mpich.org/)로 구성하였다. 공간 분해능을 계측 주기보다 작게 분할할 경우 발생하는 미지의 바운더리 정보를 정의하기 위하여 3차원 Kriging Spatial Interpolation Method를 실험적으로 적용하였다. 한편 병렬 시스템 구성이 불가능한 1,2,3번 환경의 경우 내부적으로 이미 존재하는 멀티코어를 활용하고자 OpenMP(http://www.openmp.org/) 라이브러리를 활용하였다. 64비트 병렬 8코어로 동작하는 1,2,3번 운영환경의 경우 32비트 병렬 128코어로 동작하는 환경에 비하여 근소하게 2배 내외로 연산 속도가 빨랐다. 실시간 CFD 수행을 위한 분산 컴퓨팅 기술이 프로세서의 속도 및 운영체제의 정보 분배 능력에 따라 결정된다고 판단할 수 있었다. 이를 검증하기 위하여 4번 개발환경에서 운영체제를 64비트로 개선하여 5번째 환경을 구성하여 검증하였다. 상반되는 결과로 64비트 72코어로 동작하는 분산 컴퓨팅 환경에서 단일 프로세서 기반 멀티 코어(1,2,3번) 환경보다 보다 2.5배 내외 연산속도 향상이 있었다. ARM 프로세서용 64비트 운영체제의 완성도가 낮은 시점에서 추후 성공적인 실시간 CFD 모델링을 위한 지속적인 검토가 필요하다.

  • PDF

고해상도 SAR 영상처리 고속화를 위한 병렬 성능 최적화 기법 연구 (A Study on Parallel Performance Optimization Method for Acceleration of High Resolution SAR Image Processing)

  • 이규범;김규빈;안솔보름;조진연;임병균;김동현;김정호
    • 한국항공우주학회지
    • /
    • 제46권6호
    • /
    • pp.503-512
    • /
    • 2018
  • SAR(Synthetic Aperture Radar)는 레이더를 이용하여 얻은 신호를 처리해 영상을 획득하는 기술로서, SAR 영상의 활용도와 고해상도 영상에 대한 요구가 증가하고 있는 상황이다. 따라서 본 연구에서는 고해상도 영상 데이터의 고속 처리를 위해 SAR 영상처리 알고리즘을 다중코어 기반의 컴퓨터 구조에서 최적의 성능을 낼 수 있도록 구현하기 위한 연구를 수행했다. 고해상도 영상에 따른 방대한 양의 입출력에 의한 성능 저하를 개선시키기 위해 메모리를 최대한 활용하는 성능 최적화 기법을 적용하고 OpenMP의 동적 스케쥴링 기법과 중첩 병렬성(nested parallelism)을 사용해 코드의 병렬화 비율을 높였다. 그 결과 전체 계산시간을 줄일 뿐만 아니라 병렬 성능의 최대 한계치를 크게 높일 수 있었으며, 제안된 기법을 10개 코어를 가진 다중코어 시스템에 적용한 결과 기존 대비 8배 이상의 성능 향상이 있었다. 본 연구 결과는 대용량 메모리를 가진 다중코어 시스템을 대상으로 하는 고해상도 SAR 영상처리 소프트웨어 개발에 효과적으로 활용될 수 있을 것으로 기대된다.

교류전기철도 병렬급전 운영을 위한 위상조정장치 제어기법 (A Control Method of Phase Angle Regulator for Parallel-Feeding Operation of AC Traction Power Supply System)

  • 이병복;최규형
    • 한국산학기술학회논문지
    • /
    • 제21권5호
    • /
    • pp.672-678
    • /
    • 2020
  • 교류전기철도 급전시스템에 병렬급전방식을 적용할 경우, 전동차 부하로 인한 전압강하 및 최대순시부하를 감소시켜 급전구간을 연장하고 급전용량을 향상시킬 수 있다는 장점이 있다. 그러나 변전소 간에 위상차가 있을 경우 순환전력이 발생하기 때문에 적용이 제한되며, 전동차 운행에 따른 부하 분포에 따라 변전소 부하 불균형이 커져서 급전용량이 저하되는 문제점이 있다. 본 논문에서는 변전소 위상차 및 전동차 부하분포에 따라 변동하는 순환전력을 실시간 제어하고 변전소 부하 불균형을 해소하기 위하여 사이리스터 제어 위상조정장치 (TCPAR: Thyristor Controlled Phase Angle Regulator, 이하 TCPAR)를 적용하는 방식을 제안하고, 이를 구현하기 위한 검토를 수행하였다. 전기철도 급전 시스템에 TCPAR을 적용하기 위한 제어 기법으로서, 변전소 공급전력을 입력으로 이용하여 변전소 위상차 및 전동차 부하 분포에 따라 변동하는 순환전력과 변전소 부하 불균형을 효과적으로 억제하는 제어모델을 제시하였다. PSCAD/EMTDC를 이용한 시뮬레이션 결과, 전기철도 병렬급전에 제안한 TCPAR을 적용함으로써 변전소 위상차 및 전동차 부하분포에 따라 변동하는 순환전력 및 변전소 부하 불균형을 효과적으로 억제시킬 수 있다는 것을 확인하였다. 제안 기법을 전기철도 병렬급전에 적용할 경우, 병렬급전 적용 범위를 확대하고 급전용량을 증가시킬 수 있을 것으로 기대된다.

스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론 (Real Time Distributed Parallel Processing to Visualize Noise Map with Big Sensor Data and GIS Data for Smart Cities)

  • 박종원;심예찬;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제19권4호
    • /
    • pp.1-6
    • /
    • 2018
  • 스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다. 본 논문은, 스마트 시티의 융복합된 유비쿼터스센서네트워크들로부터 끊임없이 전달되는 대량의 스트림 데이터를, 실시간으로 전달받아서, 지리정보시스템 (GIS)의 정보들과 융합하여, 시각적으로 소음정보를 표시하여 주는, 3차원 소음지도를 실시간으로 제작하는, 실시간 분산병렬처리 방법론을 제시하였다. 이 방법론을 오픈소스소프트웨어를 활용하여 실제 시스템으로 개발되어 구현하였다. 본 논문에서는, 이와 같이 구현된 시스템들 중에서, 아파치 스톰(Apache Storm) 프레임워크를 사용하여 구현한 실제 시스템을 소개한다. 본 연구에서는, 이 실제 구현된 시스템을 성능평가하였다. 대량의 비정형 데이터를 실시간으로 처리하려면, 큰 컴퓨팅 파워가 필요하며, 필요한 컴퓨팅 파워의 규모도 사전에 알 수 없다는 문제들이 있다. 이 문제들을 해결하기 위하여, 본 연구에서는, 컴퓨팅 파워를 자유롭게 조절하여 공급할 수 있는. 클라우드 컴퓨팅을 사용하여 성능평가를 하였다. 이와 같은 성능평가를 통하여, 본 논문에서 제시한 방법론이 적절함을 확인하였고, 개발하여 구현한 시스템이 잘 작동함도 확인하였다. 나아가서는. 실시간으로 소음지도를 생산할 수 있음을 확인하였다. 본 논문은 이와 같은 성능평가 내용도 소개하고 상세히 설명한다.

블록 중심 그래프 처리 시스템의 부하 분산을 위한 동적 블록 재배치 기법 (Dynamic Block Reassignment for Load Balancing of Block Centric Graph Processing Systems)

  • 김예원;배민호;오상윤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권5호
    • /
    • pp.177-188
    • /
    • 2018
  • 최근 웹, 소셜 네트워크 서비스, 모바일, 사물인터넷 등의 ICT 기술의 발전으로 인해 처리 및 분석이 필요한 그래프 데이터의 규모가 급속하게 증가하였다. 이러한 대규모 그래프 데이터는 단일 기기에서의 처리가 어렵기 때문에 여러 기기에 나누어 분산/병렬 처리하는 것이 필요하다. 기존 그래프 처리 알고리즘들은 단일 메모리 환경을 기반으로 연구되어 분산/병렬 처리환경에 적용되기 힘들다. 이에 대규모 그래프의 보다 효과적인 분산/병렬 처리를 위해 정점 중심 방식의 그래프 처리 시스템들과, 정점 중심 방식의 단점을 보완한 블록 중심 방식의 그래프 처리 시스템들이 등장하였다. 이러한 시스템들은 초기 그래프 분할 상태가 전체 처리 성능에 상당한 영향을 미친다. 한 번에 최적의 상태로 그래프를 분할하는 것은 매우 어려운 문제이므로, 그래프 처리 시간에 점진적으로 그래프 분할 상태를 개선하는 여러 로드 밸런싱 기법들이 연구되었다. 그러나 기존 기법들은 대부분 정점 중심 그래프 처리 시스템을 대상으로 하여 블록 중심 그래프 처리 시스템에 적용이 어렵다. 본 논문에서는 블록 중심 그래프 처리 시스템을 대상으로 적용 가능한 로드 밸런싱 기법을 제안한다. 제안 기법은 동적으로 블록을 재배치하여 점진적으로 그래프 분할 상태를 개선시키며, 해를 찾아나가는 과정에서 지역 최적해를 벗어나기 위한 블록 분할 전략을 함께 제시한다.

오디세우스/Parallel-OOSQL: 오디세우스 정보검색용 밀결합 DBMS를 사용한 병렬 정보 검색 엔진 (Odysseus/Parallel-OOSQL: A Parallel Search Engine using the Odysseus DBMS Tightly-Coupled with IR Capability)

  • 류재준;황규영;이재길;권혁윤;김이른;허준석;이기훈
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권4호
    • /
    • pp.412-429
    • /
    • 2008
  • 최근 들어 인터넷의 성장으로 인하여 문서의 양이 기하급수적으로 증가함에 따라, 대용량의 문서를 마르게 검색 할 수 있는 병렬 정보 검색 엔진에 대한 중요성이 더욱 대두되고 있다. 병렬 정보 검색 엔진을 구현하기 위하여서는 역 색인을 분할하고, 분할된 역 색인을 통하여 병렬적으로 검색하는 것이 필요하다. 역 색인을 분할하는 기존 방법으로는 1) 문서 식별자 분할 방법과 2) 식별자 분할 방법이 있다. 그러나 각 분할 방법은 다음과 같은 단점들을 가지고 있다. 문서 식별자 분할 방법은 문서의 추가가 용이하고 처리량(throughput)이 높은 반면에 top-k 질의 처리 성능이 좋지 않다. 그리고 식별자 분할 방법은 top-k 질의 처리 성능이 좋은 반면에 문서의 추가가 어렵고 처리량이 낮다. 본 논문에서는 이러한 단점들을 해결하기 위하여 혼합 분할 방법을 제안하고 이를 정보 검색 기능과 밀결합된 DBMS인 오디세우스에 실현한 병렬 정보 검색 엔진을 설계하고 구현한다. 먼저, 제안된 병렬 정보 검색 엔진인 오디세우스/parallel-OOSQL의 아키텍쳐를 설명한다. 그리고 체계적인 실험을 통하여 제안된 시스템의 유용성을 보인다. 실험 결과, 문서 식별자 분할 방법은 질의 처리 시간이 역 색인 분할의 블록의 개수에 근사적으로 역 비례함을 보였으며, 키워드 식별자 분할 방법은 top-k 질의 처리에 좋은 성능을 보였다. 본 논문에서 제안된 병렬 정보 검색 엔진은 세 가지 분할 방법을 모두 제공하기 때문에 응용 환경에 따라 분할 방법을 커스터마이즈함으로써 항상 좋은 성능을 낼 수 있다. 오디세우스/parallel-OOSQL 병렬 정보 검색 엔진은 각 슬레이브 노드 당 1억 건의 웹 문서를, 시스템 전체로는 수십억 건의 웹 문서를 인덱스하여 저장하고 질의를 처리할 수 있다.

분산 공유메모리를 기반으로 한 서브 클러스터 그룹의 자료전송방식 (A Data Transfer Method of the Sub-Cluster Group based on the Distributed and Shared Memory)

  • 이기준
    • 정보처리학회논문지A
    • /
    • 제10A권6호
    • /
    • pp.635-642
    • /
    • 2003
  • 최근 네트워크 기술의 비약적인 발전은 고속 그리고 저가의 클러스터 시스템을 구축할 수 있는 기본 토대를 제공하여 주었다. 이러한 기존 클러스터 시스템은 안정화된 고속의 지역 네트워크를 기반으로 일정 수준의 시스템으로 구성되는 것이 일반적인 경향이다. 본 논문에서 제안하는 다중 분산 웹 클러스터 그룹은 개방 네트워크상에 존재하는 저가, 저속의 시스템 노드를 대상으로 하여, 주어진 작업에 대한 병렬수행 및 SC-Sever의 공유메모리를 통한 효율적인 작업 분배와 시스템 노드간의 상호 협조 작업을 통하여 고성능, 고효율 그리고 고가용성을 얻을 수 있는 웹 클러스터 모델이다. 이를 위하여 다중 분산 웹 클러스터 그룹은 복수개의 시스템 노드를 단일한 가상 네트워크로 묶어 놓은 서브 클러스터 그룹으로 구성하고, 서브 클러스터 그룹내의 효율적인 자료전송을 위하여 분산 공유 메모리를 이용한다. 제안된 모델은 사용자로부터 요구되는 대규모의 작업에 대하여 분산 공유 메모리를 기반으로 한 부하분배 및 병렬 컴퓨팅 방식을 이용하므로 처리 효율을 높일 수 있다.

병렬유전자 알고리즘 기반 최적 Fuzzy PD Cascade 제어기의 설계 (Design of Optimized Fuzzy PD Cascade Controller Based on Parallel Genetic Algorithms)

  • 정승현;최정내;오성권;김현기
    • 한국지능시스템학회논문지
    • /
    • 제19권3호
    • /
    • pp.329-336
    • /
    • 2009
  • 본 논문은 회전형 역 진자 시스템(Rotary Inverted Pendulum System : RIPS)의 제어를 위한 Fuzzy cascade 제어구조를 제안하고 병렬유전자 알고리즘의 하나인 계층적 공정 경쟁 기반 유전자 알고리즘(Hierarchical Fair Competition-based Genetic Algorithms : HFCGA)을 이용한 최적화 방법을 제시한다. 회전형 역 진자 시스템은 Rotating arm의 회전을 통해 Pendulum의 각도를 제어하는 시스템으로써 제어 목적은 Rotating arm을 원하는 위치에 오게 하고 진자를 수직 위치의 불안정 평형 점에 위치하도록 하는 것이다. 본 논문에서는 회전형 역 진자 시스템의 제어를 위해 두개의 Fuzzy 제어기로 구성된 Fuzzy cascade 제어 구조를 설계하고, HFCGA를 이용하여 설계된 제어기의 파라미터를 최적화한다. 시뮬레이션 및 실험에서 SGA와 HFCGA의 성능비교를 통해 HFCGA의 우수성을 보이고, LQR 및 PD cascade 제어기와 제안된 Fuzzy cascade 제어기의 성능 비교를 통하여 제안된 방법의 우수성을 보인다.

메시지 패싱 시스템의 통신 특성을 고려한 개선된 태스크 스케줄링 기법 (Improved Task Scheduling Algorithm Considering the Successive Communication Features of Heterogeneous Message-passing System)

  • 노두호;김성천
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제31권5_6호
    • /
    • pp.347-352
    • /
    • 2004
  • 본 논문에서는 메시지 패싱 시스템에서의 태스크 스케줄링에 대해 다룬다. 병렬/분산 시스템의 어플리케이션의 태스크에 대한 적절한 스케줄링이 이루어지지 않는 경우, 병렬/분산 처리를 이용한 이득을 기대하기는 어렵기 때문에 이 주제에 대한 연구는 컴퓨터 아키텍처의 발달과 함께 지속되고 있으며, 많은 연구들이 태스크 스케줄링에 대한 다양한 기법들을 제안하고 있다. 기존의 연구들은 공유 메모리 시스템을 가정하여 이루어졌기 때문에, 메시지 패싱 시스템에 기존의 기법을 적용하기가 힘들다. 본 논문에서는 기존 연구의 모델과 메시지 패싱 시스템의 통신 모델의 차이점으로 발생하는 통신비용의 누적을 고려하여 리스트 스케줄링 기법에 기초한 개선된 우선 순위 함수와 새로운 프로세서 선택 기준을 제안한다. 이들 두 가지 제안을 적용한 태스크 스케줄링 기법은 통신비용의 누적을 고려하지 않아 발생하는 비효율적인 스케줄링을 개선한다.