• Title/Summary/Keyword: 벤치마크

Search Result 781, Processing Time 0.027 seconds

A Study on Methodology on Building NLI Benchmark Dataset in korean (한국어 추론 벤치마크 데이터 구축을 위한 방법론 연구)

  • Han, Jiyoon;Kim, Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.292-297
    • /
    • 2020
  • 자연어 추론 모델은 전제와 가설 사이의 의미 관계를 함의와 모순, 중립 세 가지로 판별한다. 영어에서는 RTE(recognizing textual entailment) 데이터셋과 다양한 NLI(Natural Language Inference) 데이터셋이 이러한 모델을 개발하고 평가하기 위한 벤치마크로 공개되어 있다. 본 연구는 국외의 텍스트 추론 데이터 주석 가이드라인 및 함의 데이터를 언어학적으로 분석한 결과와 함의 및 모순 관계에 대한 의미론적 연구의 토대 위에서 한국어 자연어 추론 벤치마크 데이터 구축 방법론을 탐구한다. 함의 및 모순 관계를 주석하기 위하여 각각의 의미 관계와 관련된 언어 현상을 정의하고 가설을 생성하는 방안에 대하여 제시하며 이를 바탕으로 실제 구축될 데이터의 형식과 주석 프로세스에 대해서도 논의한다.

  • PDF

Performance Scalability of SPEC CPU2000 Benchmark over CPU Clock Speed (CPU 주파수 속도에 대한 SPEC CPU2000 성능 변화)

  • Yi, Jong-Su;Kim, Jun-Seong
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.42 no.5
    • /
    • pp.1-8
    • /
    • 2005
  • SPEC CPU2000 is an widely used benchmark program, both in industry and in academy, for measuring compute-intensive performance of computer systems with various architectures. However, there has been little effort to investigate its characteristics with respect to hardware components. This paper presents the performance scalability of SPEC CPU2000 benchmark over CPU clock speed. For an Intel x86-based system running at various clock speed, we measure the performance of SPEC CPU2000 benchmark, and analyze the characteristic of SPEC CPU2000 in a system aspect. In the experiment, we found that the overall performance of SPEC CPU2000 increases monotonically and linearly as the CPU clock speed increases and that the scale efficiencies of SPEC CPU2000 component benchmarks are quite evenly distributed.

Analysis of GPU Performance and Memory Efficiency according to Task Processing Units (작업 처리 단위 변화에 따른 GPU 성능과 메모리 접근 시간의 관계 분석)

  • Son, Dong Oh;Sim, Gyu Yeon;Kim, Cheol Hong
    • Smart Media Journal
    • /
    • v.4 no.4
    • /
    • pp.56-63
    • /
    • 2015
  • Modern GPU can execute mass parallel computation by exploiting many GPU core. GPGPU architecture, which is one of approaches exploiting outstanding computational resources on GPU, executes general-purpose applications as well as graphics applications, effectively. In this paper, we investigate the impact of memory-efficiency and performance according to number of CTAs(Cooperative Thread Array) on a SM(Streaming Multiprocessors), since the analysis of relation between number of CTA on a SM and them provides inspiration for researchers who study the GPU to improve the performance. Our simulation results show that almost benchmarks increasing the number of CTAs on a SM improve the performance. On the other hand, some benchmarks cannot provide performance improvement. This is because the number of CTAs generated from same kernel is a little or the number of CTAs executed simultaneously is not enough. To precisely classify the analysis of performance according to number of CTA on a SM, we also analyze the relations between performance and memory stall, dram stall due to the interconnect congestion, pipeline stall at the memory stage. We expect that our analysis results help the study to improve the parallelism and memory-efficiency on GPGPU architecture.

A benchmark experiment for analogue modeling of extensional basin formation and evaluation of applicability of centrifuge test (인장 분지 형성을 구현하기 위한 상사 모델링 벤치마크 실험 및 원심모형실험의 적용성 평가)

  • Lee, Sung-Bok;Park, Heon-Joon
    • Journal of the Geological Society of Korea
    • /
    • v.54 no.6
    • /
    • pp.605-614
    • /
    • 2018
  • For physical experiments like analogue modeling that designed for studying geological deformation, reproducibility of the deformation is important to guarantee the reliability of the experiment. In this study, the normal fault generated by extensional stress is benchmarked using a sand box model. The scaling factors for the modeling test are considered and the experiments are conducted by setting the appropriate material, extensional stress, and boundary condition in the same way as in a benchmark experiment. In addition, a large centrifuge facility is used to vary the centrifugal acceleration and extension rate in the same sized model to account for the scaling factors of the physical quantity during extensional behavior. At 1 g benchmark condition and a centrifugal field at 10 g, a constant rate of the extensional stress is implemented and the topographic evolution is reliably measured. In this study, the reliability and applicability of large centrifuge model tests are evaluated for formulating experiments designed to study geological deformation.

Performance Evaluation and Analysis of XBench Benchmark : A comparison of Pure Relational Model and Object-Relational Model (XBench 벤치마크 성능평가 및 분석 : 순수 관계형 모델과 객체 관계형 모델 비교)

  • 김재욱;신진호;이상원
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.19-21
    • /
    • 2004
  • 현재 XML은 데이터 표현과 교환을 위한 표준으로 자리잡아 가고 있으며 다양한 응용분야에 도입되어 사용되고 있다. 따라서 데이터베이스 분야에서도 XML문서를 효과적으로 저장하고 검색하기 위한 연구가 활발히 진행되고 있으며, 여러 상용 DBMS에서 XML을 지원하고 있다. 그리고 최근에는 XML 데이터베이스의 성능을 평가하기 위해 다양한 종류의 XML 벤치마크가 제안되고 있는데, 본 논문에서는 특정 상용객체 관계형 DBMS를 사용해서 XBench 벤치마크를 순수 관계형 기능과 객고 관계형 기능을 사용하여 모델링하고 성능 측정한 결과를 보이고, 이를 통해 각각의 데이터베이스에 대해 성능을 평가하고, 장단점을 비교 분석한다

  • PDF

A Genomes Analysis Benchmark in High Performance Computing (고성능 컴퓨팅 환경에서 유전체 서열 분석 벤치마크)

  • Choi, Jae-Hun;Jung, Ho-Youl;Park, Soo-Jun;Choi, Wan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.30-32
    • /
    • 2012
  • 본 논문에서는 고성능 컴퓨팅 환경에서 유전체 서열 분석 도구들을 벤치마크 하기 위한 시스템을 개발하고 실제 유전체 데이터를 이용하여 성능을 비교하였다. 이 벤치마크 시스템은 유전체 분석 파이프라인 절차에 따라 다양한 분석 도구들을 CPU 멀티 코어와 GPU 매니 코어 환경에서 선택적으로 구동할 수 있도록 지원한다. 따라서, 서로 다른 환경에서 수행된 다양한 유전자 분석 도구의 성능을 실제 유전체 서열 데이터를 이용하여 비교하고 시각화할 수 있다.

Building and Benchmarking of Linux Cluster Systems for Computational Fluid Dynamics (전산유체역학 고속 연산을 위한 리눅스 클러스터의 구현 및 성능평가)

  • Lee Bo-sung
    • 한국전산유체공학회:학술대회논문집
    • /
    • 1999.11a
    • /
    • pp.201-206
    • /
    • 1999
  • 현재 전세계적으로 과한 기술 연산용 리눅스 클러스터에 대한 연구와 개발이 진행되고 있는 추세이다. 본 논문에서는 펜티엄 프로세서와 알파 프로세서 및 고속 이더넷을 이용한 리눅스 클러스터를 구현하고 이를 전산유체역학 분야에 적용하기 위한 선행연구로서 NAS의 병렬 벤치마크 프로그램인 NPB를 사용하여 리눅스 클러스터들의 성능을 비교 분석하였다. NPB 프로그램은 전산유체역학 분야의 해석프로그램에서 널리 이용되는 알고리즘들로 구성된 벤치마크의 프로그램으로 이를 이용한 성능 평가의 결과는 향후 리눅스 클러스터에서 실제 전산유체역학 코드들의 성능을 나타내는 중요한 지표가 될 수 있다. NPB 벤치마크 결과 리눅스 클러스터는 고가의 슈퍼컴퓨터에 비해 전산유체역학 분야에서 높은 가격 대 성능비를 보임을 알 수 있으며 이를 통하여 저비용 슈퍼컴퓨팅의 가능성을 제시하고자 한다.

  • PDF

A System Effectiveness Benchmark for Job Scheduling Algorithms on the IBM p690 (IBM p690에서 작업 스케줄링 알고리즘에 따른 시스템 효율성 벤치마크)

  • Woo, Joon;Kim, Jung-Kwon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11b
    • /
    • pp.865-868
    • /
    • 2003
  • ESP는 Effective System Performance의 약자로 NERSC에서 개발한 HPC 시스템에 대한 새로운 성능 측정 기준이다. 기존 HPC 시스템에서는 주로 성능 측정의 대상으로 시스템[프로세서]의 계산 성능에 주안점을 두었지만 시스템의 효율성은 무시되는 경향이 있었다. ESP는 실제 운영환경에서 배치 작업 스케줄러 및 병렬 작업 환경에 영향을 받는 시스템 효율성(ESP:Effective System Performance)을 측정하는 데 주안점을 두고 있다. KISTI 슈퍼컴퓨팅센터는 2003년 7월 국내 최고 성능의 슈퍼컴퓨터인 IBM p690+ 시스템의 도입을 완료하고 ESP를 사용하여 배치 작업 스케줄러인 LoadLeveler의 스케줄링 알고리즘에 따른 시스템 효율성 벤치마크를 수행하였다. 이 벤치마크를 통해서 효율적인 시스템 자원 활용을 위한 작업 스케줄링 알고리즘의 적용 근거를 마련하게 되었다.

  • PDF

Benchmark Data File Format for 3D Object Search System (3D 객체 검색시스템을 위한 벤치마크 데이터 파일포맷)

  • Shin Sung-Sik;Gwun Ou-Bong;Song Ju-Whan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06a
    • /
    • pp.106-108
    • /
    • 2006
  • 멀티미디어와 인터넷 기술이 성숙되어감에 따라 3D 객체가 콘텐츠를 작성하는데 많이 이용되고 있고 더불어 3D 객체의 검색시스템에 대한 연구가 시작되고 있다. 이에 따라 검색시스템을 평가하기 위해서는 표준화된 3D 벤치마크 데이터가 필요하다. 본 논문에서는 검색용 3D 벤치마크 데이터 파일을 만드는데 기반이 되는 새로운 3D 그래픽스 파일포맷을 제안한다. 제안한 파일포맷은 렌더링보다 검색효율을 목표로 하기 때문에 기하학적인 정보이외의 다른 정보는 줄이고 검색 속도와 편리성을 함께 고려하였다.

  • PDF

TPC-C 벤치마크를 이용한 병렬 트랜잭션 처리 시스템의 성능분석기법

  • 김희철;신정훈;이용두;권영직
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.3 no.1
    • /
    • pp.79-92
    • /
    • 1998
  • 일반 병렬처리 시스템(General Purpose Multiprocessors) 과는 달리, 병렬 트랜잭션(Transaction)처리 시스템의 성능은 메모리의 계층구조와 입출력 시스템의 구조 등에 크게 영향을 받는 특징을 갖는다. 본 논문은 입출력 노드의 성능 분석에 주안점을 두고 전체 시스템에서의 입출력 노드의 개수, 병렬 디스크의 개수 및 상호연결망(Interconnection Network)과의 접속을 제공하는 스위치의 처리 용량 등의 인수들이 SPAX 병렬 트랜잭션 처리 시스템의 성능에 미치는 영향에 대한 분석 내용을 기술한다. 본 연구에서는 벤치마크로는 병렬 트랜잭션 시스템의 성능 평가에 주로 사용되고 있는 TPC-C 벤치마크를 사용하며 모의 입력(Synthetic workload)을 통한 성능분석을 수행하였다. 본 연구는 입출력 노드에 부하가 많이 걸릴 경우 패킷을 크리에 따라 시스템의 성능에 큰 영향을 미치며, 반면에 입출력노드내의 상호연결망의 접속을 제공하는 XNIF 의 데이터 버퍼 개수의 증가는 시스템의 성능 향상에 전혀 기여를 하지 않음을 보여준다. 이는 시스템의 성능향상을 위해서는 패킷 전송 경로상의 모든 시스템 요소의 성능 향상이 병행되어야 함을 보여준다. 마지막으로는 프로세싱노드와 입출력노드의 처리능력의 균형이 병렬 트랜잭션시스템의 설계에 있어서 매우 중요하다는 점을 보여준다.