• 제목/요약/키워드: 비병렬 데이터

검색결과 303건 처리시간 0.023초

하둡과 의미특징을 이용한 문서요약 (Document Summarization using Semantic Feature and Hadoop)

  • 김철원
    • 한국정보통신학회논문지
    • /
    • 제18권9호
    • /
    • pp.2155-2160
    • /
    • 2014
  • 본 논문은 하둡 기반의 분산병렬처리에 의한 문서의 의미특징을 추출하고, 추출된 의미특징을 이용하여 문서를 요약하는 새로운 방법을 제안한다. 제안된 방법은 문서요약에 비음수 분해된 문서의 의미특징을 이용함으로써 문서의 내부 구조를 잘 표현 할 수 있다. 또한 하둡을 이용하여 빅데이터의 문서를 요약할 수 있다. 실험결과 제안방법이 단일 컴퓨터 환경에서 처리할 수 없는 대용량의 문서를 요약할 수 있음을 보인다.

다중스레드 모델의 스레드 코드를 분산환경에서 실행 가능한 자바 바이트 코드로 변환하기 위한 번역기 설계 (Design of Translator for generating Java Bytecode in Distributed environment from Thread code of Multithreaded Models)

  • 김기태;조선문;고훈준;이갑래;유원희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.49-51
    • /
    • 2001
  • 다중스레드 모델은 데이터플로우 모델의 내부적인 병렬성, 비동기적 자료 가용성과 폰 노이만 모델의 실행 지역성을 결합하여 병렬처리 시스템의 성능을 향상시켰다. 이 모델은 프로그램의 실행을 위하여 컴파일러에 의해 생성된 스레드를 수행하며, 스레드의 생성 방법에 따라 자원 활용 빈도나 동기화 빈도와 같은 스레드의 질이 결정되는 특징이 있다. 하지만 다중스레드 모델은 실행 모델이 특정 플랫폼에 제한되는 단점을 가지고 있다. 이에 반해 자바는 플랫폼에 독립거인 특징을 가지고 있어 다중스레드 모델의 스레드 코드를 실행 단위인 자바 언어로 변환하여 다중스레드 모델의 특징을 여러 플랫폼에서 수정 없이 사용할 수 있게 된다. 자바는 분산된 환경에 적합한 언어이기 때문에 본 논문에서 제안한 번역기에 의해 다중스레드 모델의 스레드 코드를 자바 언어로 변환한 후 자바의 원격 매소드 호출을 이용하여 다중스레드 모델의 스레드 코드를 분산된 환경에서 처리하였다. 본 논문은 다중스레드 코드가 로컬 컴퓨터에서 여러 스레드를 생성하여 처리하던 것을 자바의 원격 메소드 호출을 이용하여 분산된 환경에서 실행 가능하도록 한다. 다중스레드 모델의 스레드 코드를 분산 환경에서 실행 가능한 자바 바이트 코드로 변환하는 번역기를 설계, 구현한다.

ET 영상복원에서 클러스터 컴퓨팅에 의한 자코비안 계산의 속도 향상 기법 (A performance enhancement scheme for Jacobian matrix via cluster computing on ET image reconstruction procedure)

  • 이정훈;손수방
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.343-345
    • /
    • 2002
  • 본 논문은 차원이 큰 행렬 연산 때문에 많은 계산 시간을 필요로 하는 ET 영상 복원 응용의 속도를 개선하기 위하여 3 대의 PC로 구성된 클러스터를 구축하고 복원 과정 중 가장 많은 시간을 차지하는 자코비언 행렬 계산에 대해 병렬 계산 기법을 제시한다. 각 노드는 리눅스 운영체제, MPI, 산술 계산 라이브러리 등을 탑재하여 C 언어로 옹용이 작성될 수 있으며 자코비언 행렬은 각 계산 루프의 데이터 독립성이 강하므로 병렬 계산의 장점을 최대화 할 수 있다. 구현된 클러스터 자코비언 프로그램은 주어진 인자를 분석하여 MPI 프리미티브에 의해 각각의 노드에 분배시키고 각 노드들로 하여금 자신의 계산 라이브러리를 이용하여 계산하게 한 다음 이 부분 결과를 모아 최종적인 자코비언 행렬을 생성한다. 이 프로그램을 클러스터에서 수행시키고 그 수행시간을 측정한 결과 기존의 자코비언 프로그램에 비해 최대 40% 까지 수행시간을 단축시킬 수 있었으며 추후 행렬의 차원이 증가할 경우 클러스터 컴퓨팅에 의한 성능 개선을 기할 수 있다.

  • PDF

하드웨어 지원의 재시도 없는 잠금기법 (Efficient Hardware Support: The Lock Mechanism without Retry)

  • 김미경;홍철의
    • 한국정보통신학회논문지
    • /
    • 제10권9호
    • /
    • pp.1582-1589
    • /
    • 2006
  • 잠금기법은 분산 병렬 시스템의 동기화에 필수적이다. 기존의 큐잉 잠금기법은 최초의 잠금 읽기와 잠금 경합발생 시 공유 데이터에 대한 잠금이 해제되었을 때 발생하는 잠금 읽기 재 시도로 두 개의 트래픽을 발생한다. 본 논문에서는 WPV(Waiting Processor Variable) 잠금기법이라 불리는 새로운 잠금기법을 제안한다 새로이 제안하는 기법은 오직 한 개의 잠금 읽기 명령을 사용한다. WPV 기법은 파이프라인 전송방식을 사용하여 최초의 잠금 읽기 단계에서 공유 데이터가 전송될 때까지 대기 한 후 잠금을 실시한다. 데이터에 대한 잠금을 수행중인 프로세서는 대기 상태의 다음 프로세서에 대한 정보를 저장하고 있으므로, 공유 데이터가 캐쉬 대 캐쉬 데이터 전송 기법에 의하여 대기중인 다음 프로세서로 바로 전송된다. 따라서 대기중인 프로세서 에 대한 변수는 연결 리스트 구조를 갖는다. 제안된 기법은 캐쉬 상태의 잠금기법을 사용하여 잠금 오버 헤드를 줄이고 다중 잠금 경합 발생시 FIFO를 유지하게 한다. 또한 본 논문에서는 기존의 메모리 및 캐쉬 큐잉 잠금기법에 대한 WPV 잠금기법의 해석적 모델링을 제시한다. WPV 잠금기법에 대한 시뮬레이션의 결과는 기존의 큐잉 잠금기법에 비하여 50%의 접근 시간의 감소를 보여주었다.

HDTV 데이터 편집을 위한 고속 실시간 대규모 데이터 저장 시스템의 설계 (Design of High Speed , Real-time , and Large Scale Data Storage System for Editing HDTV Data)

  • 이찬수;성영락;오하령
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권2호
    • /
    • pp.223-235
    • /
    • 1999
  • 본 논문에서는 HDTV 데이터를 입출력할 수 있는 고속 실시간 데이터 저장 시스템을 제안한다. 이 시스템은 ⅰ) 방대한 크기를 HDTV 데이터를 고속으로 입출력할 수 있어야 한다. ⅱ)데이타를 연속적으로 입출력할 수 있는 것 외에 데이터를 비선형적으로 랜덤하게 억세스 할 수 있어야 한다. ⅲ)실시간으로 데이터를 재생하기 위해 일정하게 주어진 시스템 입출력 속도를 항상 만족할수 있어야 한다. 이러한 조건을 만족시키기 위해서 여러 개의 하드디스크를 병렬로 연결하고 데이터들을 각각의 하드디스크에 나누어 저장하였다. 하드디스크의 입출력 성능은 하드디스크 아암의 탐색 동작에 의해 크게 좌우되므로 탐색 동작을 효과적으로 제어할 수 있는 방법이 설계되었다. 제안된 시스템은 주제어부, 데이터 분배부, 종제어부로 나뉘며 각각의 하드디스크는 독립도니 종제어부에 의해 제어된다. 제안된 시스템이 주어진 요구사항을 만족하는지를 확인하기 위하여, 제안된 시스템을 DEVS 형식론을 이용하여 구현하고 시뮬레이션 하였다. DEVS 형식론은 이산사건 시스템을 계층적이고 모듈화된 형태로 기술한다. 시뮬레이션 과정에서 발생된 사건들을 분석하였다. 그 결과 제안된 시스템이 주어진 요구사항을 잘 만족함을 보았다.

대형이산 행렬 시스템의 초대형병렬컴퓨터에서의 해법을 위한 병렬준비 행렬의 비교 (Comparison of Parallel Preconditioners for Solving Large Sparse Linear Systems on a Massively Parallel Machine)

  • 마상백
    • 한국정보처리학회논문지
    • /
    • 제2권4호
    • /
    • pp.535-542
    • /
    • 1995
  • 이 논문에서 우리는 CM-5와 같은 초대형병렬컴퓨터에서 대형 이산선형체제를 풀기 위한 준비행렬로써 두 가지를 소개한다. 대다수의 초대형병렬컴퓨터들은 프로세서간의 통신을 메세지패씽(messagepassing)에 의존하는데 현재의 기술수준하에서는 이 통신속 도가 실수계산속도에 비해 매우 느리므로 종래의 메모리공유컴퓨터에서와는 달리 데이 터통신량을 최소화하는 알고리듬이 요구된다. 블록 SOR에 다중색채기법을 가미한 알고 리듬이 그 한 예로써 우리는 이를 CM-5에서 구현한 결과 N=512x512 행렬에서 프로세서 의 수가 16에서 512의 범위 하에서 50%의 효율을 실현하였다. 반면 종래의 효율적인 병렬 준비행렬로 알려진 AKI알고리듬은 방대한 량의 데이터통신 때문에 매우 열등한 결과를 보여준다.

  • PDF

이기종 컴퓨팅 환경에서 OpenCL을 사용한 포토모자이크 응용의 효율적인 작업부하 분배 (Efficient Workload Distribution of Photomosaic Using OpenCL into a Heterogeneous Computing Environment)

  • 김희곤;사재원;최동휘;김혜련;이성주;정용화;박대희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권8호
    • /
    • pp.245-252
    • /
    • 2015
  • 최근 고성능 컴퓨팅과 모바일 컴퓨팅에서 성능가속기를 사용하는 병렬처리 방법들이 소개되어왔다. 포토모자이크 응용은 내재된 데이터 병렬성을 활용하고 성능가속기를 사용하여 병렬처리가 가능하다. 본 논문에서는 CPU와 GPU로 구성된 이기종 컴퓨팅 환경에서 포토모자이크 수행 시 작업부하 분배 방법을 제안한다. 즉, 포토모자이크 응용을 비동기 방식으로 병렬화하여 CPU와 GPU 자원을 동시에 활용하고, 각 처리기에 할당할 최적의 작업부하량을 예측하기 위해 CPU-only와 GPU-only 작업 분배 환경에서 수행시간을 측정한다. 제안 방법은 간단하지만 매우 효과적이고, CPU와 GPU로 구성된 이기종 컴퓨팅 환경에서 다른 응용을 병렬화하 데에도 적용될 수 있다. 실험 결과, 이기종 컴퓨팅 환경에서 최적의 작업 분배량으로 수행한 경우, GPU-only의 방법과 비교하여 141%의 성능이 개선되었음을 확인한다.

작업영역의 동적 할당을 통한 고화질 애니메이션의 병렬 렌더링 (Parallel Rendering of High Quality Animation based on a Dynamic Workload Allocation Scheme)

  • 이윤석
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.109-116
    • /
    • 2008
  • 고화질 입체 영상의 효과적인 재생을 위해 PC클러스터를 활용한 여러 형태의 병렬화 기법이 제안되었지만, 영상을 구성하는 객체의 분포가 균일하지 않은 경우 충분한 성능을 발휘하지 못하였다. 본 연구에서는 POV-Ray 렌더러를 채택한 PC클러스터 기반의 병렬 렌더링 시스템을 구축하고, 병렬화 성능을 높이기 위한 효과적인 부하 균형 기법을 개발하였다. 특히 애니메이션을 구성하는 연속 프레임 작업에서 프레임간의 연관성(coherence)이 높다는 사실에 근거하여, 임의 프레임의 각 분할 영역에 소요된 계산량을 바탕으로 다음 프레임의 부하 분포를 예측하고 이에 맞게 각 프로세서의 작업 영역을 재조정하는 기법을 제안하였다. 제안 기법의 성능을 평가하기 위해, 충분하지는 않지만 2개의 실제 애니메이션 데이터에 대한 적용 결과, 정적 분할에 비해 약 40% 가량의 성능 향상을 보였다. 또한 다양한 부하 분포에 대한 각 기법의 성능을 추정하기 위해 수행한 모의실험에서, 정적 분할 기법에 대해 부하균형, 확장성 측면에서 우월한 것으로 예측되었다.

  • PDF

SPIHT 기반 비디오 신호의 적응적 멀티스트림 전송기법 (Adaptive Multi-stream Transmission Technique Based on SPIHT Video Signal)

  • 강경원;정태일;류권열;권기룡;문광석
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
    • /
    • pp.422-426
    • /
    • 2002
  • 본 논문에서는 현재의 인터넷 환경 하에서 최선의 서비스를 제공하기 위해 SPIHT 비디오 데이터에 대한 적응적 멀티스트림 전송 기법을 제안한다. 제안한 방법은 QoS가 보장되지 않는 비동기 적인 패킷 망에서 클라이언트의 수신 버퍼 상태를 이용한 네트워크 상태에 따른 정보 전송량 조절과 TCP 상에서 멀티스트림을 이용한 병렬 전송을 수행함으로서 신뢰성 있는 전송과 네트워크의 지터에도 강하며, 클라이언트가 가진 대역폭을 최대한 활용 할 수 있는 최선의 서비스를 제공한다.

  • PDF

$GF(2^m)$상의 AOP 기반 비-시스토릭 병렬 $AB^2+C$연산기 (A Base AOP Bit-Parallel Non-Systolic for $AB^2+C$ Computing Unit for $GF(2^m)$)

  • 황운택
    • 한국정보통신학회논문지
    • /
    • 제10권9호
    • /
    • pp.1538-1544
    • /
    • 2006
  • 본 논문은 $GF(2^m)$상의 n차 기 약 AOP를 적용하여 비-시스토릭 병렬 $AB^2+C$ 연산기를 제안한다. 본 논문에서 제안한 연산기 회로는 AND게이트와 EX-OR 게이트만을 사용하여 설계되어지며, 설계된 회로는 기약 AOP의 특성을 이용하여 게이트를 사용하지 않고 결선으로만 연결되어 게이트 및 지 연시간이 없는 순환이동과, m개의 AND 게이트와 m개의 EX-OR게이트를 필요로 하는 승산연산, EX-OR게이트로만 구성되어지는 멱승연산, 승산연산과 멱승연산을 이용한 파워섬연산 및 가산연산 등이 사용된다. 제안된 연산기 법은 AND게이트와 EX-OR게이트만을 사용함으로 고속의 데이터 처리, 저전력 및 집적화 등의 장점이 있으며, $T_A+(1+[log^m_2])T_X$의 연산 지연시간을 갖는다.