• 제목/요약/키워드: Hardware Accelerator

검색결과 115건 처리시간 0.025초

다중 희소 행렬-행렬 곱셈 하드웨어 가속기 연구 (Study on Multiple sparse matrix-matrix multiplication hardware accelerator)

  • 김태형;조영필
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.47-50
    • /
    • 2024
  • 희소 행렬은 대부분의 요소가 0 인 행렬이다. 이러한 희소 행렬-행렬 곱셈을 수행할 경우 0 인 데이터 또한 곱셈을 수행하니 불필요한 연산이 발생한다. 이러한 문제를 해결하고자 행렬 압축 알고리즘 또는 곱셈의 부분합의 수를 줄이는 연구들이 활발히 진행 중이다. 하지만 현재의 연구들은 주로 단일 행렬 연산에 집중되어 있어 FPGA(Field Programmable Gate Array)와 특정 용도로 사용하는 가속기에서는 리소스를 충분히 활용하지 못해 비효율적이다. 본 연구는 FPGA 의 모든 리소스를 사용하여 다중 희소 행렬 곱셈을 수행하는 아키텍처를 제안한다.

AB9: A neural processor for inference acceleration

  • Cho, Yong Cheol Peter;Chung, Jaehoon;Yang, Jeongmin;Lyuh, Chun-Gi;Kim, HyunMi;Kim, Chan;Ham, Je-seok;Choi, Minseok;Shin, Kyoungseon;Han, Jinho;Kwon, Youngsu
    • ETRI Journal
    • /
    • 제42권4호
    • /
    • pp.491-504
    • /
    • 2020
  • We present AB9, a neural processor for inference acceleration. AB9 consists of a systolic tensor core (STC) neural network accelerator designed to accelerate artificial intelligence applications by exploiting the data reuse and parallelism characteristics inherent in neural networks while providing fast access to large on-chip memory. Complementing the hardware is an intuitive and user-friendly development environment that includes a simulator and an implementation flow that provides a high degree of programmability with a short development time. Along with a 40-TFLOP STC that includes 32k arithmetic units and over 36 MB of on-chip SRAM, our baseline implementation of AB9 consists of a 1-GHz quad-core setup with other various industry-standard peripheral intellectual properties. The acceleration performance and power efficiency were evaluated using YOLOv2, and the results show that AB9 has superior performance and power efficiency to that of a general-purpose graphics processing unit implementation. AB9 has been taped out in the TSMC 28-nm process with a chip size of 17 × 23 ㎟. Delivery is expected later this year.

경량화된 딥러닝 구조를 이용한 실시간 초고해상도 영상 생성 기술 (Deep Learning-based Real-Time Super-Resolution Architecture Design)

  • 안세현;강석주
    • 방송공학회논문지
    • /
    • 제26권2호
    • /
    • pp.167-174
    • /
    • 2021
  • 초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

LIN/CAN 차량용 인터페이스와 칼만 필터 기능을 통합한 차량용 ECU 설계 (Vehicle ECU Design Incorporating LIN/CAN Vehicle Interface with Kalman Filter Function)

  • 정선우;김용빈;이성수
    • 전기전자학회논문지
    • /
    • 제25권4호
    • /
    • pp.762-765
    • /
    • 2021
  • 본 논문에서는 자동차의 위치 및 자세 추정에 사용되는 칼만 필터 가속기를 내장한 차량용 ECU(electronic control unit)를 설계하고 구현하였다. 프로세서 코어는 RISC-V를 사용하였으며 칼만 필터의 행렬 연산을 수행하는 가속기, 차량 내 통신에 사용되는 CAN(controller area network) 제어기, 센서 연결에 사용되는 LIN(local interconnect network) 제어기를 내장하였다. 칼만 필터 연산은 시간 업데이트와 측정 업데이트의 두 단계로 나뉘며 시간 업데이트 단계에서는 현재 상태변수와 오차 공분산을 예측하고 측정 업데이트 단계에서는 입력값을 받아 칼만 이득을 계산하여 값을 보정한다. 보통 소프트웨어에서는 곱셈에 부동소숫점 연산을 사용하지만 본 논문에서는 하드웨어 면적을 줄이기 위해 정밀도 분석을 고려한 고정소숫점 곱셈기를 사용하였다. 설계된 ECU는 Verilog HDL을 이용하여 검증하였으며 28nm 실리콘 공정으로 구현하였다. 28nm 실리콘 공정으로 구현하였을 때 동작 주파수는 100MHz, 면적은 0.37mm2, 게이트 수는 76만 게이트였다.

FMCW 레이다 센서 기반 사람과 사물 분류 시스템 설계 및 구현 (Design and Implementation of Human and Object Classification System Using FMCW Radar Sensor)

  • 심윤성;송승준;장선영;정윤호
    • 전기전자학회논문지
    • /
    • 제26권3호
    • /
    • pp.364-372
    • /
    • 2022
  • 본 논문에서는 FMCW(frequency modulated continuous wave) 레이다 센서를 활용한 사람과 사물을 분류하는 시스템 설계 및 구현 결과를 제시한다. 해당 시스템은 다중 객체 탐지를 위한 레이다 센서 신호처리 과정과 객체를 사람 및 사물로 분류하는 딥러닝 과정을 수행한다. 딥러닝의 경우 높은 연산량과 많은 양의 메모리를 요구하기 때문에 경량화가 필수적이다. 따라서 CNN (convolution neural network) 연산을 이진화하여 동작하는 BNN (binary neural network) 구조를 적용하였으며, 실시간 동작을 위해 하드웨어 가속기를 설계하고 FPGA 보드 상에서 구현 및 검증하였다. 성능 평가 및 검증 결과 90.5%의 다중 객체 구분 정확도, CNN 대비 96.87% 감소된 메모리 구현이 가능하며, 총 수행 시간은 5ms로 실시간 동작이 가능함을 확인하였다.

선박안전 운항을 위한 이진 분할 알고리즘 기반 해상 객체 검출 하드웨어 가속기 설계 및 구현 (Design and Implementation of a Hardware Accelerator for Marine Object Detection based on a Binary Segmentation Algorithm for Ship Safety Navigation)

  • 이효찬;송현학;이성주;전호석;김효성;임태호
    • 한국정보통신학회논문지
    • /
    • 제24권10호
    • /
    • pp.1331-1340
    • /
    • 2020
  • 해상 객체 검출은 선장이 육안으로 해상 주변의 충돌 위험성이 있는 부유물을 컴퓨터를 통해 자동으로 검출하여 사람이 확인하는 방법과 유사한 정확도로 인지하는 방법을 말한다. 기존 선박에서는 레이더의 전파를 통해 해상 부유물의 유무와 거리를 판단하였지만 형체를 알아내어 장애물이 무엇인지는 판단할 수 없는 약점이 있다. 반면, 카메라는 인공지능 기술이 발달하면서 물체를 검출하거나 인식하는데 성능이 우수하여 항로에 있는 장애물을 정확하게 판단할 수 있다. 하지만, 디지털 영상을 분석하기 위해서는 컴퓨터가 대용량의 화소를 연산해야 하는데 CPU는 순차적 처리 방식에 특화된 구조이기에 처리속도가 매우 느려 원활한 서비스 지원은 물론 안전성도 보장할 수 없게 된다. 따라서 본 논문에서는 해상 객체 인식 소프트웨어를 개발하였고 연산량이 많은 부분을 가속화하기 위해 FPGA로 구현하였다. 또한, 임베디드 보드와 FPGA 인터페이스를 통해 시스템 구현 완성도를 높였으며 소프트웨어 기반의 기존 구현 방법보다 약 30배의 빠른 성능을 얻었고 전체 시스템의 속도는 약 3배 이상이 개선되었음을 확인할 수 있었다.

커널 쓰레드 웹가속기(SCALA-AX) 개발 (Development of a Kernel Thread Web Accelerator (SCALA-AX))

  • 박종규;민병조;임한나;박장훈;장휘;김학배
    • 정보처리학회논문지A
    • /
    • 제9A권3호
    • /
    • pp.327-332
    • /
    • 2002
  • 주로 캐싱서버로 사용되는 기존의 프록시웹캐시는 단순히 웹서버의 컨텐츠를 복사해서 서비스를 제공하는 시스템이다. 이 방법은 실제로 컨텐츠 서비스를 담당하는 웹서버의 성능 향상보다는 컨텐츠 전달 중간단계의 속도 향상에 초점을 맞추고 있다. 그러나, 과다한 동시 접속자로 인하여 웹서버에 과부하가 걸렸을 경우에는 많은 효과를 보지 못하고 있다. 본 논문에서는 웹서버의 성능을 극대화시켜 클라이언트에게 보다 빠른 서비스를 제공하기 위해서 웹가속기(SCALA-AX)를 제안한다. SCALA-AX는 리눅스 커널 모듈로 구현되어, 유저레벨 웹서버 어플리케이션과 함께 작동을 한다. SCALS-AX는 HTTP 요청을 커널쓰레드를 이용하여 처리 하기 때문에 전달 속도 향상뿐만 아니라 캐싱서버 설치로 인한 추가비용도 발생하지 않는다. SCALS-AX의 성능평가 결과, SCALA-AX가 구현된 웹서버는 기존의 웹서버보다 데이터 전달면에서 5배 이상의 속도 향상을 얻었다. 즉, 웹서버의 성능이 크게 향상되었음을 볼 수 있다.

연속파 레이다를 활용한 이진 신경망 기반 사람 식별 및 동작 분류 시스템 설계 및 구현 (Design and Implementation of BNN based Human Identification and Motion Classification System Using CW Radar)

  • 김경민;김성진;남궁호정;정윤호
    • 한국항행학회논문지
    • /
    • 제26권4호
    • /
    • pp.211-218
    • /
    • 2022
  • 연속파 레이다는 카메라나 라이다와 같은 센서에 비해서 안정성과 정확성이 보장된다는 장점이 있다. 또한 이진 신경망은 다른 딥러닝 기술에 비해서 메모리 사용량과 연산 복잡도를 크게 줄일 수 있는 특징이 있다. 따라서 본 논문에서는 연속파 레이다와 이진 신경망 기반 사람 식별 및 동작 분류 시스템을 제안한다. 연속파 레이다 센서를 통해 수신된 신호를 단시간 푸리에 변환함으로써 스펙트로그램을 생성한다. 이 스펙트로그램을 기반으로 레이다를 향해 사람이 다가오는지 감지하는 알고리즘을 제안한다. 더불어, 최적화된 이진 신경망 모델을 설계하여 사람 식별 90.0%, 동작 분류 98.3%의 우수한 정확도를 지원할 수 있음을 확인하였다. 이진 신경망 연산을 가속하기 위해 FPGA (field programmable gate array)를 이용하여 이진 신경망 연산에 대한 하드웨어 가속기를 설계하였다. 해당 가속기는 1,030개의 로직, 836개의 레지스터, 334.906 Kbit의 블록 메모리를 사용하여 구현되었고, 추론에서 결과 전송까지 총 연산 시간이 6 ms로 실시간 동작이 가능함을 확인하였다.

네트워크 패킷 처리를 위한 효율적인 비트 스트림 명령어 세트 (An Efficient Bit Stream Instruction-set for Network Packet Processing Applications)

  • 윤여필;이용석;이정희
    • 대한전자공학회논문지SD
    • /
    • 제45권10호
    • /
    • pp.53-58
    • /
    • 2008
  • 본 논문은 네트워크 프로세서의 패킷 처리 능력 향상을 위한 새로운 명령어 세트를 제한한다. 제안하는 명령어는 패킷 헤더의 결합 연산을 가속화 할 수 있으므로 보다 효율적인 패킷 처리를 수행할 수 있다. 또한 overlay 명령어 처리를 위한 전용 하드웨어 구조를 설계하여 추가 하드웨어로 인한 비용을 최소화 하였다. 이를 위해 LISA 언어를 이용하여 네트워크 프로세서 기본 아키텍처를 설계하고 overlay 블록을 배럴 시프터를 기반으로 최적화 하였다. 이를 합성하여 면적 및 동작 지연시간을 비교하였으며, 컴파일러의 CKF(Compiler Known Function)를 이용하여 C레벨의 매크로 함수에 할당하고 어플리케이션 프로그램에 대한 실행 사이클 및 실행 시간을 비교하여 성능 향상을 확인하였다. Coware사의 processor designer, compiler designer를 이용하여 실험하였으며 Synopsys의 TSMC $0.25{\mu}m$로 합성한 결과 20.7%의 동작 지연시간 감소를 보였고, 전체 실행 사이클에선 제안하는 명령어 세트에 의해 30.8%의 성능 향상을 보였다.

이진 가중치 신경망의 하드웨어 구현을 위한 고정소수점 연산 정확도 분석 (Accuracy Analysis of Fixed Point Arithmetic for Hardware Implementation of Binary Weight Network)

  • 김종현;윤상균
    • 전기전자학회논문지
    • /
    • 제22권3호
    • /
    • pp.805-809
    • /
    • 2018
  • 본 연구에서는 이진 가중치 신경망(BWN)을 부동소수점 데이터를 사용하여 학습시킨 후에, 학습된 파라미터와 주요연산을 고정소수점으로 근사화시키는 과정에서 정확도의 변화를 분석하였다. 신경망을 이루고 있는 각 계층의 입력 데이터와 컨볼루션 연산의 계산에 고정소수점 수를 사용했으며, 이때 고정소수점 수의 전체 bit 수와 소수점 이하 bit 수에 변화를 주면서 정확도 변화를 관찰하였다. 각 계층의 입력 값과 중간 계산값의 정수 부분의 손실이 발생하지 않으면 고정소수점 연산을 사용해도 부동소수점 연산에 비해 큰 정확도 감소가 없었다. 그리고 오버플로가 발생하는 경우에 고정소수점 수의 최대 또는 최소값으로 근사시켜서 정확도 감소를 줄일 수 있었다. 이 연구결과는 FPGA 기반의 BWN 가속기를 구현할 때에 필요한 메모리와 하드웨어 요구량을 줄이는 데 사용될 수 있다.