• 제목/요약/키워드: 실시간 분산병렬처리

검색결과 55건 처리시간 0.031초

분산병렬처리 기반 기술개체 인식 시스템 (Technical Entity Recognition System based on Distributed Parallel Processing)

  • 최윤수;이원구;이민호;최동훈;윤화묵;조민희;정한민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.242-244
    • /
    • 2012
  • 과학기술 문헌의 기술개체 인식에 관한 연구는 정보추출, 텍스트마이닝, 질의응답 분야 등의 선행 연구로서 다양한 통계적 방법론을 사용하여 기술개체 인식 정확률을 향상시키기 위해 연구되어 왔다. 하지만 기존의 연구는 단일-코어 또는 단일 머신 상에서 수행되었기 때문에, 폭발적으로 증가하는 문헌들에 대한 실시간 분석 요구를 처리할 수 없는 상황에 직면하고 있다. 이에 본 논문에서는 기술개체를 인식하는 과정에서 병목현상이 발생하는 작업을 "후보개체 추출 과정"의 언어처리 부분과 "개체 가중치 할당 과정"에서 통계정보를 취합하는 부분으로 분류하고, 각 작업을 하둡의 맵 작업과 리듀스 작업을 이용하여 해결하는 분산 병렬 처리 기반의 기술개체 인식 방법에 대해 살펴보고자 한다.

이동 실시간 시스템의 명세를 위한 프로세스 대수 (Process Algebra for Specification of Mobile Real-time Systems)

  • 최영복;최우림;이문근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.597-600
    • /
    • 2014
  • 컴퓨터 시스템의 병렬, 분산, 이동, 실시간 적인 시스템들을 명세하기 위한 여러가지 정형기법들이 존재한다. 본 논문에서는 이동 실시간 시스템의 명세를 위한 정형기법으로서 ${\delta}-Calculus$ 를 정의하였다. ${\delta}-Calculus$ 의 가장 큰 특징은 프로세스의 이동성으로써 시간의 흐름에 따라 프로세스 간의 상호작용을 통해 프로세스가 이동하는 것을 표현할 수 있다. ${\delta}-Calculus$ 를 사용하여 프로세스의 이동성을 표현함으로써 시스템의 공간정보와 시간정보를 명세하고, 프로세스의 상태에 따른 보안적 특성을 나타낼 수 있다. 본 논문에서는 ${\delta}-Calculus$ 의 문법과 의미를 설명하고 이동성에 의한 특성을 분석하였다.

전문용어 인식 시스템을 위한 분산 병렬 처리 플랫폼 최적화 및 성능평가 (Optimization and Performance Analysis of Distributed Parallel Processing Platform for Terminology Recognition System)

  • 최윤수;이원구;이민호;최동훈;윤화묵;송사광;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제12권10호
    • /
    • pp.1-10
    • /
    • 2012
  • 과학기술 문헌의 전문용어 인식 분야는 지금까지 다양한 통계적 방법론을 사용하여 용어 인식 정확률을 향상시키기 위하여 연구되어 왔다. 하지만 기존의 연구는 단일-코어 또는 단일 머신 상에서 수행되었기 때문에, 폭발적으로 증가하는 문헌들에 대한 실시간 분석 요구를 처리할 수 없는 상황에 직면하고 있다. 본 논문에서는 전문용어를 인식하는 과정에서 병목현상이 발생하는 작업을 '후보용어 추출 과정'의 언어처리부분과 '용어 가중치 할당 과정'에서 통계정보를 취합하는 부분으로 분류하고, 각 작업을 분산병렬 처리 기반의 맵리듀스 작업을 이용하여 해결하는 전문용어 인식 방법을 구현하고 실험하였다. 실험은 확장성과 분산 병렬 처리 환경 최적화 두 가지로 수행하였고, 첫 번째 실험에서 12개의 노드를 사용하여 분산 병렬 처리하였을 때 단일 머신을 사용한 경우보다 11.27배의 처리속도 향상을 보였다. 두 번째 실험에서 1)기본 환경, 2)복수 리듀서, 3)컴바이너, 4) 2)와 3)의 조합에 대하여 수행하였고, 3)컴바이너 사용이 가장 우수한 성능을 보여 주었다. 본 논문에서 구현된 전문용어 인식 시스템은 대용량 과학기술 문헌에 대한 지식 추출 작업속도 개선에 기여하였다.

분산 메모리 다중프로세서 환경에서의 병렬 음성인식 모델 (A Parallel Speech Recognition Model on Distributed Memory Multiprocessors)

  • 정상화;김형순;박민욱;황병한
    • 한국음향학회지
    • /
    • 제18권5호
    • /
    • pp.44-51
    • /
    • 1999
  • 본 논문에서는 음성과 자연언어의 통합처리를 위한 효과적인 병렬계산모델을 제안한다. 음소모델은 연속 Hidden Markov Model(HMM)에 기반을 둔 문맥종속형 음소를 사용하며, 언어모델은 지식베이스를 기반으로 한다. 또한 지식베이스를 구성하기 위해 계층구조의 semantic network과 병렬 marker-passing을 추론 메카니즘으로 쓰는 memory-based parsing 기술을 사용한다. 본 연구의 병렬 음성인식 알고리즘은 분산메모리 MIMD(Multiple Instruction Multiple Data) 구조의 다중 Transputer 시스템을 이용하여 구현되었다. 실험결과, 본 연구의 지식베이스 기반 음성인식 시스템의 인식률이 word network 기반 음성인식 시스템보다 높게 나타났으며 code-phoneme 통계정보를 활용하여 인식성능의 향상도 얻을 수 있었다. 또한, 성능향상도(speedup) 관련 실험들을 통하여 병렬 음성인식 시스템의 실시간 구현 가능성을 확인하였다.

  • PDF

실시간 CFD 모델링을 위한 오픈소스 분산 컴퓨팅 기술 연구 (A Research about Open Source Distributed Computing System for Realtime CFD Modeling (SU2 with OpenCL and MPI))

  • 이준엽;오종우;이동훈
    • 한국농업기계학회:학술대회논문집
    • /
    • 한국농업기계학회 2017년도 춘계공동학술대회
    • /
    • pp.171-171
    • /
    • 2017
  • 전산유체역학(CFD: Computational Fluid Dynamics)를 이용한 스마트팜 환경 내부의 정밀 제어 연구가 진행 중이다. 시계열 데이터의 난해한 동적 해석을 극복하기위해, 비선형 모델링 기법의 일종인 인공신경망을 이용하는 방안을 고려하였다. 선행 연구를 통하여 환경 데이터의 비선형 모델링을 위한 Tensorflow활용 방법이 하드웨어 가속 기능을 바탕으로 월등한 성능을 보임을 확인하였다. 그럼에도 오프라인 일괄(Offline batch)처리 방식의 한계가 있는 인공신경망 모델링 기법과 현장 보급이 불가능한 고성능 하드웨어 연산 장치에 대한 대안 마련이 필요하다고 판단되었다. CFD 해석을 위한 Solver로 SU2(http://su2.stanford.edu)를 이용하였다. 운영 체제 및 컴파일러는 1) Mac OS X Sierra 10.12.2 Apple LLVM version 8.0.0 (clang-800.0.38), 2) Windows 10 x64: Intel C++ Compiler version 16.0, update 2, 3) Linux (Ubuntu 16.04 x64): g++ 5.4.0, 4) Clustered Linux (Ubuntu 16.04 x32): MPICC 3.3.a2를 선정하였다. 4번째 개발환경인 병렬 시스템의 경우 하드웨어 가속는 OpenCL(https://www.khronos.org/opencl/) 엔진을 이용하고 저전력 ARM 프로세서의 일종인 옥타코어 Samsung Exynos5422 칩을 장착한 ODROID-XU4(Hardkernel, AnYang, Korea) SBC(Single Board Computer)를 32식 병렬 구성하였다. 분산 컴퓨팅을 위한 환경은 Gbit 로컬 네트워크 기반 NFS(Network File System)과 MPICH(http://www.mpich.org/)로 구성하였다. 공간 분해능을 계측 주기보다 작게 분할할 경우 발생하는 미지의 바운더리 정보를 정의하기 위하여 3차원 Kriging Spatial Interpolation Method를 실험적으로 적용하였다. 한편 병렬 시스템 구성이 불가능한 1,2,3번 환경의 경우 내부적으로 이미 존재하는 멀티코어를 활용하고자 OpenMP(http://www.openmp.org/) 라이브러리를 활용하였다. 64비트 병렬 8코어로 동작하는 1,2,3번 운영환경의 경우 32비트 병렬 128코어로 동작하는 환경에 비하여 근소하게 2배 내외로 연산 속도가 빨랐다. 실시간 CFD 수행을 위한 분산 컴퓨팅 기술이 프로세서의 속도 및 운영체제의 정보 분배 능력에 따라 결정된다고 판단할 수 있었다. 이를 검증하기 위하여 4번 개발환경에서 운영체제를 64비트로 개선하여 5번째 환경을 구성하여 검증하였다. 상반되는 결과로 64비트 72코어로 동작하는 분산 컴퓨팅 환경에서 단일 프로세서 기반 멀티 코어(1,2,3번) 환경보다 보다 2.5배 내외 연산속도 향상이 있었다. ARM 프로세서용 64비트 운영체제의 완성도가 낮은 시점에서 추후 성공적인 실시간 CFD 모델링을 위한 지속적인 검토가 필요하다.

  • PDF

분산 실시간 시스템에서 우선순위와 통신비용을 고려한 주기적 타스크들의 중복 스케줄링 (Duplication Scheduling of Periodic Tasks Based on Precedence Constraints and Communication Costs in Distributed Real-Time Systems)

  • Park, Mi-Kyoung;Kim, Chang-Soo
    • 한국멀티미디어학회논문지
    • /
    • 제2권4호
    • /
    • pp.378-389
    • /
    • 1999
  • 분산 실시간 시스템에서 타스크들은 여러 개의 서브 타스크들로 분할되어지고 그들의 실시간 특성들에 따라 병렬로 실행되지만, 이러한 서브 타스크들의 마감시간 분실을 최소화하면서 타스크 마감시간을 서브 타스크에 할당하는 최적의 해를 얻기란 어렵다. 본 논문에서는 주기적 타스크들의 통신시간과 수행시간을 이용해서 각 서브 타스크들의 속성에 따라 마감시간을 할당하는 알고리즘을 제시한다. 또한, 처리기들간의 통신시간을 고려한 처리기 사상 알고리즘과 서브 타스크들간의 통신시간을 개선하기 위해 동일한 처리기에 할당하는 효율적인 중복 알고리즘을 제시한다 결과적으로 FUTD(Fully connected, Unbounded Task Duplication) 알고리즘에 효율적인 실시간 특성을 적용함으로써 IPC(Inter-Processor Communication) 시간을 줄이고 유휴 처리기를 이용해서 평균 처리기 이용률을 개선하였다

  • PDF

AMD 고장감내 다단계 상호 연결망의 설계 및 분석 (Design and Analysis of a Class of Fault Tolerant Multistage Interconnection Networks: the Augmented Modified Delta (AMD) Network)

  • 김정선
    • 한국정보처리학회논문지
    • /
    • 제4권9호
    • /
    • pp.2259-2268
    • /
    • 1997
  • 고성능 병렬처리 시스템에서 다단계 상호 연결망 (Multistage Interconnection Network(MIN))은 프로세서간에 또는 프로세서와 메모리 모듈간에 가격대 효율 면에서 효과적으로 고대역폭의 통신을 제공한다. 본 논문에서는 고장감내 기능, 모듈 구조, 우수한 성능 등으로 인하여 실시간 병렬/분산 처리 시스템에 유용한 복수 경로를 갖는 다단계 상호 연결망 - AMD (Augmented Modified Delta) 연결망 - 의 설계 방법을 제시하였고 그 성능과 신뢰성을 분석하였다. 한편으로 AMD 연결망은 기존 Kappa 연결망의 우수한 성능 및 고장감내 특성을 유지하면서, 다른 한편으로 Kappa 연결망과는 달리 임의의 Delta 연결망으로부터 일관성 있고 쉽게 설계될 수 있다. 또한 Delta 연결망의 경우와 마찬가지로, 모든 AMD 연결망들은 위상학적으로 서로 등가인 특성을 갖는다.

  • PDF

꼭지점 및 픽셀 쉐이더를 이용한 3D 텍스쳐 기반의 빠른 볼륨 렌더링 기법 (3D Texture based Fast Volume Rendering using Vertex and Pixel Shaders)

  • 이중연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.1645-1648
    • /
    • 2005
  • PC 그래픽스 하드웨어의 급격한 발전에 따라 슈퍼컴퓨터 또는 여러 대의 컴퓨터를 이용한 병렬/분산 처리로나 가능하였던 실시간 볼륨 렌더링을 한대의 일반 PC에서 수행하려는 시도가 계속되고 있다. PC 그래픽스 하드웨어의 꼭지점 및 픽셀 쉐이더는 수치 계산에 최적화된 벡터 연산으로 빠른 볼륨 렌더링을 가능하게 하였을 뿐만 아니라 기존의 고정된 그래픽스 파이프라인에서 벗어나 사용자가 렌더링 과정에 개입하여 프로그래밍을 할 수 있도록 하였다. 본 논문에서는 이러한 그래픽스 하드웨어의 프로그래밍 기능 중 텍스쳐 좌표의 조작을 이용하여 다양한 종류의 볼륨 데이터를 빠르게 렌더링하고 픽셀 쉐이더의 여러 기능들을 이용하여 퐁 쉐이딩 연산, 이른 깊이 테스트, 팔진트리 텍스쳐등을 구현하여 고품질 영상을 실시간으로 얻고자 하였다.

  • PDF

Apache Spark를 활용한 실시간 주가 예측 (Real-Time Stock Price Prediction using Apache Spark)

  • 신동진;황승연;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.79-84
    • /
    • 2023
  • 최근 분산 및 병렬 처리 기술 중 빠른 처리 속도를 제공하는 Apache Spark는 실시간 기능 및 머신러닝 기능을 제공하고 있다. 이러한 기능에 대한 공식 문서 가이드가 제공되고 있지만, 기능들을 융합하여 실시간으로 특정 값을 예측하는 방안은 제공되고 있지 않다. 따라서 본 논문에서는 이러한 기능들을 융합하여 실시간으로 데이터의 값을 예측할 수 있는 연구를 진행했다. 전체적인 구성은 Python 프로그래밍 언어에서 제공하는 주가 데이터를 다운로드하여 수집한다. 그리고 머신러닝 기능을 통해 회귀분석의 모델을 생성하고, 실시간 스트리밍 기능을 머신러닝 기능과 융합하여 실시간으로 주가 데이터 중 조정종가를 예측한다.

Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선 (Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality)

  • 이세훈;김민아;이중연;허영주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.