• 제목/요약/키워드: multiformat

검색결과 4건 처리시간 0.016초

PF-GEMV: Utilization maximizing architecture in fast matrix-vector multiplication for GPT-2 inference

  • Hyeji Kim;Yeongmin Lee;Chun-Gi Lyuh
    • ETRI Journal
    • /
    • 제46권5호
    • /
    • pp.817-828
    • /
    • 2024
  • Owing to the widespread advancement of transformer-based artificial neural networks, artificial intelligence (AI) processors are now required to perform matrix-vector multiplication in addition to the conventional matrix-matrix multiplication. However, current AI processor architectures are optimized for general matrix-matrix multiplications (GEMMs), which causes significant throughput degradation when processing general matrix-vector multiplications (GEMVs). In this study, we proposed a port-folding GEMV (PF-GEMV) scheme employing multiformat and low-precision techniques while reusing an outer product-based processor optimized for conventional GEMM operations. This approach achieves 93.7% utilization in GEMV operations with an 8-bit format on an 8 × 8 processor, thus resulting in a 7.5 × increase in throughput compared with that of the original scheme. Furthermore, when applied to the matrix operation of the GPT-2 large model, an increase in speed by 7 × is achieved in single-batch inferences.

다양한 포맷변환을 지원하는 Transcoder의 개선된 Cubic Convolution Scaler (Modified Cubic Convolution Scaler for Multiformat Conversion in a Transcoder)

  • 유영조;서주헌;한종기
    • 한국통신학회논문지
    • /
    • 제32권9C호
    • /
    • pp.867-880
    • /
    • 2007
  • 본 논문에서는 임의의 배율로 디지털 영상을 확대와 축소하는 개선된 cubic convolution 보간법을 제안한다. 제안하는 공간해상도조정 방법은 압축된 HD 비트스트림이나 SD 비트 스트림을 transcoding시키는 과정에서 다양한 형식의 해상도를 조정하기위해 사용된다. Transcoder등 다양한 응용분야에서 영상의 화질은 유지하면서 크기를 조정하는 것은 매우 중요한 기술이다. 해상도조정은 원본 디지털 데이터를 연속함수로 변환하는 단계와 새로운 샘플링간격에 맞게 재표본화하는 단계, 이렇게 두 단계로 구분된다. 우리는 원본영상과 해상도조정 된 영상사이의 관계를 고려하여 보간 필터의 kernel 개선에 초점을 맞췄다. 본 논문에서는 MPEG 표준에서 고려하는 다양한 영상포맷들간 해상도를 변환시키기 위한 기술을 제안한다. 이 방법은 기존의 방법과 비교하였을 때, 정보 손실을 최소화하여 고화질의 해상도 변환 기능을 가능하게 한다.

암환자 700예의 진단 및 치료 CT 이용율과 CT 확대장치 (The Availability of Diagnostic and Treatment Planning Computer in 700 Cancer Patients and Magnification Devices for CT)

  • 이귀원;박주선;한용문;윤세철;신경섭
    • 대한방사선치료학회지
    • /
    • 제2권1호
    • /
    • pp.81-85
    • /
    • 1987
  • It has been evident since 1972 that computed tomography(CT) can play an important role in treatment and managment of the cancer patients as four steps; diagnosis, satging Treatment and follow-up. In this paper, we intended to investigate the availability of CT scan and treatment planning computer in 700 cancer patients who have undergone radiation therapy at the division of radiation therapy, Kangnam St. Mary's Hospital, Catholic Medical College between Mar. 1983 and Dec. 1985. The result were as follow; 1. Of 700 irradiated cancer patients, 342 patients ($48.9\%$) were performed CT scan prior to radiation therapy. 2. The distribution of lesions in 342 patients having CT scans was like this; CNS (83 of 104 patients, $79.8\%$), abdomen (44 of 76 patients, $57.9\%$), pelvis (100 of 188 patients, $53.2\%$) etc. in order. 3. The treatment planning computer were used in 280 cancer patients ($40\%$). 4. Of the 280 cancer patients using treatment planning computer, 167 patients ($59.6\%$) applied diagnostic CT scan and remaining 113 patients ($40.4\%$) were made body contour to be used for radiation therapy planning by the treatment planning computer. Authors also made some magnification devices used for small multiformat CT images to magnify into life size, consisting of overhead projector (3M) I.V. stand and mirror. These enabled us to make less errors in tracing the small-sized CT images during input of the anatomical data into the treatment planning computer.

  • PDF

멀티플랫폼 시대 케이블 TV의 경쟁력 강화방안 (Competitiveness of Cable TV in the Multiplatform Media Marketplace)

  • 유승관;안수근
    • 한국콘텐츠학회논문지
    • /
    • 제12권2호
    • /
    • pp.142-153
    • /
    • 2012
  • 본 연구는 전반적인 케이블TV의 현황 고찰을 통해 멀티플랫폼 환경에서의 케이블TV의 경쟁력 제고를 위해 필요한 전략적 방안이 무엇인지에 대해 살펴보았다. 이를 위해 먼저 케이블TV의 현황, 특성 및 문제점을 살펴보고 이를 통해 매체경쟁력을 높일 수 있는 단기적, 중장기적 사업전략을 제언하였다. 케이블TV는 경쟁력 제고를 위해 콘텐츠 제작비 지원과 공동대표기구 설립, 멀티콘텐츠 포맷 개발 및 멀티 플랫폼 활용 활성화, 멀티미디어 환경에 대비한 뉴서비스 개발 및 제공, 자체제작을 통한 양질의 콘텐츠 확보, 디지털 케이블 확산, VOD 활성화, 결합서비스 강화, 프로그램 다양성 유지, 가격경쟁력 제고가 필요함을 제언하였다. 그리고 케이블TV의 경쟁력을 높이기 위한 장기적 방안으로 스마트TV와의 공조나 개방성 강화로 인한 오픈플랫폼전략 강화, 실시간 콘텐츠 이외에 사용자의 편의성을 높이는 양방형성, 이동성, 맞춤형 콘텐츠 개발을 통해 다양한 프로그램과 애플리케이션을 제공하는 어그리게이터(aggregator)의 기능 강화를 통한 종합미디어포털로 진화해야 할 것을 제언하였다.