丰色 发自 凹非寺

量子位 | 公众号 QbitAI

谁说生成图像、视频一定要靠AI？

普林斯顿大学新出的神器，可无限生成逼真3D世界，特别强调「No AI」。

浅浅感受一下这个效果：

不要以为生成的只是一段视频，其实背後是一套完整的3D资产，基於建模软体Blender打造。

此时所有blender用户一起跟我：啊？

如此一来，我们就能用参数来控制细节：

或者拿到相应的光流图、3D场景光流图、深度图、全景分割图等等，轻松hold住各种CV任务。

最最重要的是，它还免费、开源！

妈妈真的再也不用担心我找不到高质量的3D数据投喂AI了……

完整视频感受一下震撼：

100%基於随机数学的3D数据生成器

尽管AI发展迅猛，但目前CV领域的许多任务仍然缺乏高质量的数据，3D尤甚。

一个解决办法是用合成数据。事实证明，在这类数据上训练的模型在零样本的真实图像上也可以表现得很好。

但问题是，现有的大多数免费3D合成数据工具基本局限於单一场景：要麽是自动驾驶相关，要麽就是那种位於室内环境中的人造物体。

因此，为了扩大覆盖范围，尤其是真实世界里的自然场景，作者基於Blender打造了这个基於随机数学规则无限生成各种场景的Infinigen。

Infinigen主要利用Blender的「基元」（或原语），设计了一个程序规则库，通过编码完成真实自然场景各个对象的生成。

论文主要介绍了Infinigen的程序体系，包括：

如下图所示，它生成的代码更通用，既允许我们随机化输入参数，也允许随机化图结构。

如下图由所示，它能保证非常真实的几何细节。

并帮助Infinigen通过使用FLIP模拟动力学流体，使用Blender的粒子系统模拟天气。

又或者是使用差异化生长、拉普拉斯生长和反应扩散制造各种珊瑚、使用几何节点图生成树叶、花朵、海藻、海带、软体动物和水母。

还有各种子生成器（比如生物生成器）就不一一介绍了。

除了这些，Infinigen还包括一个图像渲染与Ground Truth提取程序，主要用於生成下图这些类型的图像。

其中对於前者，系统使用了Blender基於自然规律的路径跟踪渲染器Cycles来渲染图像。

作者介绍，虽然使用Blender开发了Infinigen的程序规则，不过程序生成的很大一部分是在Blender之外完成的。

另外，他们也表示，构建Infinigen是一项极大量的软体工程，光是它代码库的主分支就囊括了40485行代码。

最後，Infinigen在2个Intel Xeon Silver 4114 @ 2.20GHz CPU和1个NVidia GPU上进行了基准测试，生成一对1080p图像的时间（wall time）为3.5小时。

下表是它与现有合成数据集或生成器的比较。

作者表示，从中可以看出，Infinigen最大的优点就是不需要任何外部参考资源库就能程序化地生成无限的自然3D数据，别的都不行。

团队介绍

Infinigen将在本周三的CVPR会议上进行Poster展示。

它的作者全部来自普林斯顿大学Vision & Learning Lab。

三位共同一作，其中一位叫Ma Zeyu，普林斯顿大学博士三年级在读，2020年本科毕业於清华大学电子工程专业。

通讯作者为普林斯顿大学计算机科学系副教授邓嘉。

目前，Infinigen的代码已经上线GitHub，短短两天已有850个标星。

论文地址：
https://arxiv.org/abs/2306.09310
项目主页：
https://infinigen.org/
GitHub地址：
https://github.com/princeton-vl/infinigen

喜欢这篇文章吗？立刻分享出去让更多人知道吧！

本站内容充实丰富，博大精深，小编精选每日热门资讯，随时更新，点击「抢先收到最新资讯」浏览吧！

请您继续阅读更多来自 量子位 的精彩文章:

※每人每年最高500万经费！选人不选项目，这个民间资助项目可申报
※CIVC 2023第一届中国工业视觉大会正式确定！