李飞飞参与创立的空间智能公司World Labs开源了一款名为Forge的核心技术,这是一款Web端3D高斯泼溅渲染器。
Forge无缝集成three.js,能够实现实时、流畅地在桌面端、低功耗移动设备及XR设备上渲染AI生成的3D世界。
作为一款GPU优化设计的渲染器,Forge的地位类似于传统3D图形领域中的基础组件“着色器”。它支持多个splat对象、多个摄像头以及实时动画/编辑功能,仅需极少代码即可启动和运行。
World Labs联合创始人Ben Mildenhall表示,该技术让开发者能够像处理三角形网格一样轻松地处理AI生成的3D世界。李飞飞评价其为“令人难以置信”的技术。
3D高斯溅射(3D Gaussian Splatting)通过将3D场景表示为微小高斯形状斑点的集合,已成为生成式人工智能和3D重建领域的主流方案。然而,许多传统基于三角形的3D网格渲染引擎无法直接使用3DGS技术,而现有的渲染库也存在诸多限制。
Forge被设计为可编程的3DGS引擎,允许用户以前所未有的方式控制3DGS的生成、动画及其在场景中的渲染。Forge系统的核心是ForgeRenderer,它通过高效的bucket sort算法确定splat绘制顺序,并支持多视角同时渲染。
Forge还提供了标准数据流水线,支持高级功能如刚体变换、RGB/不透明度调整、颜色编辑和骨骼动画系统等。此外,用户可以通过dyno着色器图形系统注入任意代码以修改每个splat属性。
World Labs自成立以来已融资超过2.3亿美元,投资方包括a16z、英特尔和AMD等。公司目标是将多模态AI从二维提升到三维世界,并计划于2025年推出首款产品。
除了Forge渲染器外,World Labs还计划开发面向艺术家、设计师、开发者、电影制作人和工程师的专业工具,目标客户涵盖视频游戏开发商到电影工作室等多个领域。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。