2024 年 8 月 10 日，Meta 和牛津大学联合发布了一项名为 VFusion3D 的研究成果，这一技术利用视频扩散模型解决了 3D 数据稀缺的问题。VFusion3D 通过少量 3D 数据微调视频扩散模型，将其转换为多视角视频生成器，并在近 300 万的合成多视角数据上进行训练，能够在数秒内从单张图像生成 3D 资产。
VFusion3D 项目由 Meta 和牛津大学的研究团队共同开发，团队成员包括 Junlin Han、Filippos Kokkinos 和 Philip Torr 等学者。他们通过创新的方法和大量的数据训练，解决了 3D 数据稀缺这一挑战，为 3D 生成模型的可扩展性和性能带来了提升。
VFusion3D 的核心技术是视频扩散模型，这是一种基于深度学习的生成模型。视频扩散模型通过逐步添加噪声并学习去噪过程，能够生成视频帧。VFusion3D 将这一技术扩展到 3D 模型生成，通过从视频数据中提取 3D 信息，实现了从 2D 视频到 3D 模型的转换。
传统的 3D 模型生成方法通常依赖于大量的手工标注数据和复杂的建模过程。VFusion3D 通过引入视频扩散模型，能够自动从视频数据中学习和生成 3D 模型，简化了这一过程。具体来说，该方法首先使用少量 3D 数据对视频扩散模型进行微调，将其转换为多视角视频生成器，作为数据引擎使用。然后，通过生成大量合成数据，训练 VFusion3D 生成 3D 表示并渲染新视图。
3D 数据的稀缺一直是 3D 生成模型发展的主要障碍。与图像、文本或视频不同，3D 数据不易获取且难以标注。VFusion3D 通过使用视频扩散模型作为 3D 数据的知识源，解决了这一问题。通过生成大量的合成多视角数据，VFusion3D 能够在数秒内从单张图像生成 3D 资产。这不仅降低了 3D 内容的制作成本，还提高了生产效率。
VFusion3D 的应用场景包括虚拟现实（VR）、增强现实（AR）、游戏开发、影视制作等。通过自动生成 3D 模型，VFusion3D 可以降低这些领域的内容制作成本，提高生产效率。
-
在虚拟现实和增强现实领域，3D 内容的生成是一个关键环节。传统的 3D 模型生成方法通常需要大量的手工标注和复杂的建模过程。VFusion3D 通过自动生成 3D 模型，简化了这一过程。通过从单张图像生成 3D 资产，VFusion3D 能够快速生成虚拟现实和增强现实所需的 3D 内容，从而提高了生产效率，降低了制作成本。
-
在游戏开发领域，3D 模型的生成是一个重要的环节。游戏中的角色、场景和物品都需要 3D 模型来呈现。传统的 3D 模型生成方法通常需要大量的手工标注和复杂的建模过程。VFusion3D 通过自动生成 3D 模型，简化了这一过程。通过从单张图像生成 3D 资产，VFusion3D 能够快速生成游戏所需的 3D 内容，从而提高了生产效率，降低了制作成本。
-
在影视制作领域，3D 模型的生成也是一个重要的环节。电影中的特效、动画和场景都需要 3D 模型来呈现。传统的 3D 模型生成方法通常需要大量的手工标注和复杂的建模过程。VFusion3D 通过自动生成 3D 模型，简化了这一过程。通过从单张图像生成 3D 资产，VFusion3D 能够快速生成影视制作所需的 3D 内容，从而提高了生产效率，降低了制作成本。
VFusion3D 的应用不仅限于上述领域，还可以扩展到其他需要 3D 内容生成的领域。例如，在建筑设计、工业制造、医疗影像等领域，3D 模型的生成都是一个重要的环节。通过自动生成 3D 模型，VFusion3D 可以降低这些领域的内容制作成本，提高生产效率。