A Hierarchical Sorting based Real-Time Gaussian Splatting Rendering FPGA Pro-cessor

계층적 정렬 기반 실시간 가우시안 스플래팅 렌더링 FPGA 프로세서

3D Gaussian Splatting Rendering is a SOTA on 3D environment rendering technology regarding AR/VR. It is able to render high quality image with less training data then previous methods, while maintaining fast rendering. Yet, achieving this on edge device is limited due to independently occurring images in each processing stages. This paper proposes hierarchical sorting computation, reconfigurable matmul core and importance based spherical harmonics band evaluation to achieve fast and high quality rendering in FPGA.

3D 가우시안 스플래팅 렌더링은 AR/VR 등의 3D 환경 렌더링 기술쪽의 SOTA 이다. 빠른 렌더링과 적은 훈련 데이터로도 고품질의 이미지를 렌더링 하지만, 엣지 디바이스에서 3D 가우시안 렌더링을 달성하는건 각 연산 과정에서 독립적으로 생기는 문제로 인해 제한이 있다. 본 논문에서는 계층적 정렬 연산, 재구성 가능한 연산코어와 중요도 기반 구면조화 함수 변환을 활용해 엣지(FPGA)에서 빠르고 고품질의 렌더링을 달성했다.