한국정보처리학회:학술대회논문집 (Annual Conference of KIPS)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

LiDAR-스테레오 융합 기반 3D Gaussian Splatting 최적화 연구

A Study on 3D Gaussian Splatting Optimization Using LiDAR-Stereo Fusion

  • 허채연 (전남대학교 인공지능융합학과) ;
  • 조영준 (전남대학교 인공지능융합학과)
  • Chae-Yeon Heo (Dept. of AI Convergence, Chonnam National University) ;
  • Yeong-Jun Cho (Dept. of AI Convergence, Chonnam National University)
  • 발행 : 2024.10.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 LiDAR 데이터와 스테레오 이미지를 융합하여 고품질 3D 표현을 생성하는 새로운 접근 방식을 제안한다. 제안하는 방법은 LiDAR 포인트 클라우드와 스테레오 비전을 통해 3D 포인트를 추출하는 것에서 시작하며, 이후 스테레오 비전 포인트 클라우드의 스케일을 LiDAR 스케일에 맞추는 조정 과정을 거친다. 스케일이 조정된 스테레오 포인트와 LiDAR 데이터를 초기 융합하여 두 가지 모달리티의 장점을 모두 활용한 포괄적인 포인트 클라우드를 생성한다. 융합된 포인트 클라우드를 정제하기 위해, DBSCAN과 같은 클러스터링을 통한 노이즈 제거와 포인트 그룹화, 그리고 LiDAR 데이터를 기준으로 스테레오에서 추출한 포인트들을 정밀하게 맞추기 위한 회귀 모델을 결합한 하이브리드 기법을 도입한다. 정제된 포인트 클라우드는 3D Gaussian Splatting 초기화를 위한 기초로 사용되며, 각 포인트를 초기 가우시안 값으로 설정하고 다양한 뷰포인트에서의 렌더링 결과를 바탕으로 가우시안 파라미터를 최적화한다. 최적화된 3D 가우시안을 활용하여 다양한 시점에서 장면을 렌더링하고, 이를 통해 연속적이고 풍부한 3D 장면 표현을 생성한다. 본 연구는 일반적인 새로운 뷰 합성(general novel view synthesis) 문제에 대한 중요한 개선을 달성하여, 컴퓨터 비전, 자율주행, 가상현실과 같은 분야에서의 응용 가능성을 보여준다.

키워드

과제정보

본 논문은 과학기술정보통신부 및 정보통신기획평가원의 인공지능융합혁신인재양성사업 연구 결과로 수행되었으며(IITP-2023-RS-2023-00256629), 농림축산식품부의 재원으로 농림식품기술기획평가원의 농식품과학기술융합형연구인력양성사업의 지원을 받아 연구되었음(RS-2024-00397026).

참고문헌

  1. Kerbl, B., Kopanas, G., Leimkuhler, T., & Drettakis, G. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, 42(4), 2023.
  2. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. European Conference on Computer Vision (ECCV), Virtual, 2020, pp. 405-421.
  3. Szymanowicz, S., Rupprecht, C., & Vedaldi, A. Splatter Image: Ultra-Fast Single-View 3D Reconstruction. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, 2024.
  4. Charatan, David, et al. "pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.2023.
  5. Chen, Yuedong, et al. "Mvsplat: Efficient 3d gaussian splatting from sparse multi-view images." arXiv preprint arXiv:2403.14627 (2024).