在 2024 年 CVPR 大会上,NVIDIA 展示了他们为第八届 AI 城市挑战赛工作坊特别准备的多摄像头 3D 感知数据集,这是目前最大的室内合成数据集,由 NVIDIA Omniverse 平台创建。NVIDIA 的 Metropolis MTMC 研究管道 BEV-SUSHI 在全球 20 多个团队中名列前茅。BEV-SUSHI 的核心功能包括鸟瞰视角(BEV)下的物体检测和跟踪,结合了深度学习算法和数据处理技术,提高了多摄像头系统的精度和效率,并在多个实际应用场景中表现。
AI 城市挑战赛自创办以来,已经成为全球 AI 团队展示技术的舞台。其主要目标是推动智能城市技术的发展,通过评估参赛团队在复杂城市环境中的 AI 解决方案,促进技术创新和实际应用。评估标准包括算法的准确性、效率以及在实际场景中的适用性。
NVIDIA 团队在第八届 AI 城市挑战赛中表现。NVIDIA 的多摄像头 3D 感知数据集和 BEV-SUSHI 研究管道在比赛中展示了其在智能城市技术领域的技术。
NVIDIA Omniverse 平台是一款多模态生成 AI 架构,整合了多种生成式 AI 工具,为开发者提供了一个创建和编辑虚拟世界的环境。其核心技术亮点包括:
- 采用深度学习技术,能在短时间内生成 3D 模型,这些模型应用于游戏开发、电影制作和虚拟现实(VR)等领域。平台能够处理复杂的 3D 数据,通过优化算法提升生成速度。
- 在 3D 感知和生成方面,Omniverse 能够生成动态的 3D 环境、角色动画以及实时的物理模拟,加速了内容创作,并在实时渲染中提供更高的视觉质量。
Omniverse 在智能城市和工业自动化中表现,比如在第八届 AI 城市挑战赛中,NVIDIA 利用 Omniverse 平台创建了最大的室内合成数据集,用于多摄像头 3D 感知。Omniverse 在医疗、教育和娱乐等领域也展现出潜力,如医疗图像生成和分析、教育中的虚拟实验室以及娱乐中的虚拟现实体验。