• Title/Summary/Keyword: 처리성능

Search Result 15,415, Processing Time 0.038 seconds

A Study on Buffer Optimization System for Improving Performance in Spark Cluster (Spark 클러스터 환경에서 분산 처리 성능 향상을 위한 Buffer 최적화 시스템 연구)

  • Seok-Min Hong;So-Yeoung Lee;Yong-Tae Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.396-398
    • /
    • 2023
  • Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

The Design and Implementation of On-Line Performance Monitor for JaNeC (JaNeC을 위한 온라인 성능감시기의 설계 및 구현)

  • Kim, Myung-Ho;Kim, Nam-Hoon;Choi, Jae-young
    • The KIPS Transactions:PartA
    • /
    • v.9A no.4
    • /
    • pp.563-572
    • /
    • 2002
  • A performance monitor is indispensable to trace and evaluate performance of a program under distributed processing environment. A performance monitor il classified as off-line and on-line according to its output method. An off-line performance monitor analyzes its performance after a program terminates, and an on-line performance monitor analyzes its one while a program runs. Therefore, the on-line function is essential to analyzing and debugging the program fast. JaNeC, distributed processing environment that is implemented in Java, contains an off-line performance monitor for this. However, this performance monitor may not analyze the program running on JaNeC efficiently. Consequently, this paper explains that an on-line performance monitor is designed and implemented for fast analysis and debugging of the program running on JaNeC. This on-line performance monitor is designed to minimize effects on a program to analyze, and provides various forms of graphic output, to analyze the program effectively. In addition, even after a program terminates, it provides interface with the off-line performance monitor, to analyze again.

A Performance Analysis of Superscalar Processor According to the Number of Functional Units (연산처리기 개수에 따른 슈퍼스칼라 프로세서의 성능 분석)

  • Kim, Ji-Sun;Jeon, Joong-Nam;Kim, Suk-Il
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05a
    • /
    • pp.451-454
    • /
    • 2003
  • 슈퍼스칼라 프로세서는 이슈대역폭에 비해 실제로 처리되는 명령어의 개수는 상대적으로 적다. 본 논문에서는 슈퍼스칼라 프로세서의 성능을 높이기 위해, 연산처리기 개수에 따른 슈퍼스칼라 프로세서의 성능을 측정하고, 연산처리기의 활용도를 측정하였다. 실험을 위해 연산처리기 개수는 각각 1개, 2개, 4개로 하였고, 목적프로세서는 4개의 명령어를 동시에 이슈하고 실행할 수 있는 슈퍼스칼라 프로세서를 대상으로 실험하였다. 또한 연산처리기의 활용도를 분석하기 위해 시뮬레이터를 구현하여 명령어가 실행될 때, 실제 처리된 명령어의 개수를 측정하여 연산처리기의 활용도를 측정하였다. 이를 통해 슈퍼스칼라 프로세서에서 명령어를 실행할 때 필요한 연산처리기의 개수를 결정할 수 있었다. 실험 결과 4-way 슈퍼 스칼라 프로세서에서 명령어 실행에 필요한 연산처리기의 개수는 2개가 적당함을 확인할 수 있었다.

  • PDF

FFT에 기반한 병렬 디지털 신호처리시스템의 성능분석

  • 박준석;전창호;박성주;이동호;오원천;한기택
    • The Journal of the Acoustical Society of Korea
    • /
    • v.18 no.1
    • /
    • pp.3-9
    • /
    • 1999
  • This paper concerns performance of a parallel digital signal processing system. The performance of the system is analyzed in terms of CPU cycles required for 1024-point FFT computation. The number of cycles is estimated in three different approaches; FFT algorithm-based, assembly level source code-based, and probability-based. The results of analysis indicate that on a bus-based system the best performance for FFT is achieved with a single board. Because in some applications like FFT, where frequent data exchanges among processors occur, the number of communication cycles increases as the number of boards. It is observed that inter-board communication degrades overall system performance for the FFT computation. Also shown is that linear increase in performance can be obtained if multiple buses are employed.

  • PDF

A Performance Study of Asymmetric Multi-core Digital Signal Processor Architectures (비대칭적 멀티코어 디지털 신호처리 프로세서의 성능 연구)

  • Lee, Jongbok
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.15 no.5
    • /
    • pp.219-224
    • /
    • 2015
  • Recently, the multi-core processor architecture is widely used in the digital signal processors for enhancing its performance. Multi-core processors are classified either as symmetric or asymmetric. Asymmetric multi-core processors are known to have higher performance and more efficient than symmetric multi-core processors. In order to study the performance enhancement of asymmetric multi-core digital signal processors over the symmetric ones, the trace-driven simulation has been executed for various asymmetric quad-core, octa-core and hexadeca-core digital signal processors and compared with the symmetric ones of similar hardware budget using UTDSP benchmarks as input.

Improving Korean Part-of-Speech Tagging Using The Lexical Specific Classifier (어휘별 분류기를 이용한 한국어 품사 부착의 성능 향상)

  • Choi, Won-Jong;Lee, Do-Gil;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.133-139
    • /
    • 2006
  • 한국어 형태소 분석 및 품사 부착을 위해 지금까지 다양한 모델들이 제안이 되었으며 어절단위 평가로 95%를 넘는 성능을 보여주는 자동 태거가 보고 되었다. 하지만 형태소 분석 및 품사 부착은 모든 자연어처리 시스템의 성능에 큰 영향을 미치므로 작은 오류도 중요하다. 본 연구에서는 대상 어절의 주변 형태소의 어휘와 품사 자질, 그리고 어절 자질을 이용하여 분류기를 학습한 후 자동 태거의 품사 부착 결과를 입력으로 받아 후처리 하는 어휘별 분류기를 제안한다. 실험 결과 어휘별 분류기를 이용한 후처리만으로 어절단위 평가 6.86%$(95.251%{\rightarrow}95.577%)$의 오류가 감소하는 성능향상을 얻었으며, 기존에 제안된 품사별 자질을 이용한 후처리 방법과 순차 결합할 경우 16.91%$(95.251%{\rightarrow}96.054%)$의 오류가 감소하는 성능 향상을 얻을 수 있었다. 특히 본 논문에서 제안하는 방법은 형태소 어휘까지 정정할 수 있기 때문에 품사별 자질을 이용한 후처리 방법의 성능을 더욱 향상시킬 수 있다.

  • PDF

A Design of Performance Measuring System for Enterprise JavaBeans(EJB) (Enterprise JavaBeans(EJB) 컴포넌트의 성능 측정 시스템 설계)

  • Oh, Chang-Nam;Lee, Keung-Hae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10b
    • /
    • pp.1393-1396
    • /
    • 2000
  • 대규모 분산환경 소프트웨어 개발을 위한 컴포넌트의 사용이 점차로 증가하고 있다. 응용프로그램 개발시 사용되는 컴포넌트는 응용프로그램의 성능에 큰 영향을 미친다. 컴포넌트 시장이 성숙되면 선택 가능한 다수 컴포넌트를 비교 선택할 수 있는 방법이 필요하게 된다. 컴포넌트의 성능 측정에 기존 성능 측정 방식을 사용하기 위해서는 추가적인 방법이 필요하다. 본 논문에서는 분산응용을 위한 컴포넌트의 성능 측정을 하는 요소를 제안한다. 빈들의 처리 응답시간, 트랜잭션의 응답시간, 컴포넌트 알고리즘 처리시간, 힙(heap) 사용률, 풀 크기에 따른 CPU사용률을 컴포넌트 성능 비교를 위한 방법으로 제안하며 그 측정을 위한 시스템을 설계한다.

  • PDF

A Study on TCP Classification Performance by Different Management of TCP ACK Packet (TCP ACK 패킷의 차등처리에 의한 TCP 종류별 성능에 관한 연구)

  • Lee, Eun-Sang;Chae, Hyun-Seok;Choi, Myoung-Ryul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10b
    • /
    • pp.1621-1624
    • /
    • 2000
  • 양방향 TCP 연결에서는 ack compression 에 의하여 성능이 저하된다. 이를 해소하기 위한 여러 연구가 진행되고 있으나, TCP 및 인터넷의 사용환경이 워낙 다양하여 뚜렷한 해결책은 없는 상태이다. 특히 TCP의 종류 및 링크의 속도에 따른 ack compression에 의한 성능 저하는 다룰 수밖에 없다. 본 논문에서는 ns-2(network simulator 2)라는 툴(tool)을 사용하여 망의 성능을 측정한 결과로, 우선단방향과 양방향의 TCP 연결한 망의 성능을 망의 속도별, TCP 종류별로 비교한 후 ack compression을 적절히 처리하는 방법을 제안하고 제안한 방법에 관한 성능을 또한 망의 속도별, TCP 종류별로 비교하였다.

  • PDF

A Study on performance increment of smooth handoff using DSDV protocol at ad.hoc network (고정 노드를 활용한 이동 애드 혹 네트워크의 성능 향상에 관한 연구)

  • Oh, Kyu_Tae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.1186-1189
    • /
    • 2009
  • 본 논문에서는 이동 애드 혹 네트워크의 성능 개선을 위한 방안으로 네트워크 중간에 고정 노드를 부가하여 어느 정도의 성능 향상이 있는지를 모의 실험을 통하여 평가하였다. 모의 실험 결과 이동 노드만을 사용했을 경우보다 고정노드를 함께 사용했을 때의 성능이 더 뛰어남을 알 수 있었고, 이동 노드의 이동 속도에 따른 비교에서도 고정 노드를 함께 사용한 경우가 성능이 더 뛰어남을 확인할 수 있었다. 또한 고정 노드의 개수에 따른 성능평가에서는 고정 노드를 여러 대 사용할수록 지연시간이 단축됨을 확인 할 수 있었다. 본 연구에서 제안한 방식은 이동 애드 혹 네트워크의 중간에 고정 노드를 부가하여야 하는 문제가 있으나, 비용과 처리율과의 관계를 비교한 후 비용 상승에도 불구하고 보다 높은 신뢰성과 빠른 처리율을 원하는 네트워크에 사용하면 효과적일 것이다. 향 후 본 절의 연구 결과에 이어서 애드 혹 네트워크에 몇 대의 고정 노드를 추가해야 하는지에 대한 연구가 이루어진다면 보다 높은 신뢰성을 가진 애드 혹 네트워크가 구축될 수 있을 것이다.

The Study of the Method that to Choice Efficient Nested Loops Join Order and the Index Design (효율적인 Nested Loops Join을 위한 조인순서 선정 및 인덱스 구성에 관한 연구)

  • Liu, Chen;Yeo, Jeong-mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.877-880
    • /
    • 2013
  • 정보시스템의 기반이 되는 관계형 데이터베이스에서는 데이터의 양에 따라 성능 차이가 발생한다. 데이터베이스에 관한 여러 가지 기능에 대한 이해가 부족하여 많은 성능 저하 문제를 유발하는데, 그중에 조인 성능문제가 큰 비중을 차지하고 있다. 아주 드문 경우가 아니라면 대부분의 데이터 처리는 하나 이상의 테이블이 필요하기 때문이다. 조인을 정확하게 사용하면 성능 개선에 큰 이점을 가져 올 수 있다. 본 연구는 관계형 데이터베이스 기반의 가장 기본적인 조인방식인 Nested Loops Join 방식을 효율적으로 수행하기 위한 조인순서 선정 및 인덱스 구성에 관한 연구를 하였다. 연구 결과를 평가하기 위해서 SQL Trace을 추출한 후 성능을 비교함으로써 선정된 조인순서가 효율적인 것을 입증하였다. 또한 기존의 응답시간을 기준으로 성능평가방법보다 액세스한 데이터 블록 수를 기준으로 한 성능 평가방법이 더 근본적으로 조인 성능을 개선할 수 있음을 증명하였다. 차후에는 더 복잡한 조인 형태 및 다른 조인방식의 성능개선 방법에 관한 연구를 진행할 것이다.