热门专区

首页 >  热门专区

从单一图像到沉浸式虚拟现实：Meta团队展示生成式人工智能的创新进展和未来潜力

日期： 来源：52游玩社区手机

Meta研究人员展示了生成式AI如何从单张图片创建逼真的VR环境。

想象一下，能够从一张图片创建一个3D环境，并使用Meta Quest进行探索或将其作为家庭环境。Reality Labs Zurich的一个研究团队希望将这一愿景变为现实，并提出了一种新的方法来实现它。

尽管现有的生成式AI模型可以从单张图片生成视频，但根据上周发布的研究论文，它们在生成完全沉浸式的场景方面存在困难。

研究人员开发的流程据称在多个定量图像质量指标上超越了基于视频合成的最先进方法，同时只需要极少的训练工作量，并且可以在现有的生成模型上运行。

“我们的关键见解是，从单张图片生成3D环境的任务本质上复杂且模糊，可以分解为一系列更易管理的子问题，每个子问题都可以通过现有技术解决，”研究团队成员Katja Schwarz、Denis Rozumny、Samuel Rota Bulo、Lorenzo Porzi和Peter Kontschieder写道。

单张图片如何变成6自由度（6-DoF）VR环境

研究人员解释了他们的方法：“我们的过程包括两个步骤：使用预训练的扩散模型生成连贯的全景图，并使用度量深度估计器将其提升到3D空间。然后，我们通过在渲染点云上调节修复模型来填充未观察到的区域，这仅需极少的微调。”

结果是一个使用高斯点绘制的3D环境，可以在VR头显设备上的2米（6.5英尺）立方体内查看和导航。

创建 3D 环境的各个步骤。| 图片：Meta Reality Labs

该方法既适用于合成图像也适用于照片。甚至场景的文字描述也可以作为输入，用于生成适合VR头显的高质量3D环境。

研究论文还提到了一些局限性和挑战。例如，将可导航区域扩展到两米以外非常困难，因为这大大增加了任务的复杂性。此外，目前该流程还不支持实时场景合成。然而，一旦创建了高斯点环境，就可以在VR设备上实时显示，研究团队写道。

目前尚不清楚这种技术何时会被整合进Quest产品中。不过，商业化似乎并不遥远。

相关攻略