NVIDIA 在 SIGGRAPH 2024 大会上发布了一系列新工具和技术，旨在加速人形机器人的发展。这些发布展示了 NVIDIA 在生成式 AI 和仿真技术领域的最新进展。
NVIDIA 推出了一套新服务、模型和计算平台，专为支持下一代人形机器人的开发和训练而生。具体工具和框架包括 NVIDIA NIM 微服务和 OSMO 机器人云计算编排服务。NVIDIA NIM 微服务提供了由 NVIDIA 推理软件支持的预构建容器，让开发者能将部署时间从数周缩短到几分钟。OSMO 是一项云原生托管服务，它能协调和扩展复杂的机器人开发工作流，缩短机器人开发和部署的时间。
NVIDIA 的 AI 超级计算机为训练复杂的 AI 模型提供了计算能力和数据处理。例如，开发者可以用它来训练人形机器人模型，使其在仿真环境中学习和优化技能。
NVIDIA Isaac Sim 仿真平台基于 Omniverse 构建，专为机器人学习和技能完善设计。它支持强化学习和模仿学习，让机器人能在虚拟环境中进行训练。Isaac Sim 提供了仿真环境，使机器人能在虚拟世界中进行任务的训练和测试。
NVIDIA Jetson Thor 是一个计算平台，专为运行机器人模型而设计。在实际应用中，Jetson Thor 展示了其在处理计算任务和实时反应中的表现。集成了 CPU 和 GPU 的 Jetson Thor 能处理数据和计算任务，使机器人能在实际环境中进行操作和反应。
NVIDIA 在数据和工作负载编排方面展现了技术实力。他们的 OSMO 机器人云计算编排服务简化了复杂工作流的管理，使开发者能够处理和扩展机器人开发工作。OSMO 缩短了机器人训练和仿真的周期，还允许用户对任务进行管理，包括合成数据生成、模型训练、强化学习等。
生成式 AI 在机器人开发中的作用显著。NVIDIA 的 MimicGen NIM 微服务可以根据 Apple Vision Pro 等设备记录的远程操作数据，生成合成运动数据，这些数据在 NVIDIA Isaac Sim 中用于仿真训练。
NVIDIA 降低了数据获取的成本和时间，通过少量人类演示数据训练机器人。例如，利用 Apple Vision Pro 捕获远程操作数据，并通过 NVIDIA Isaac Sim 和 MimicGen NIM 微服务生成合成数据集。这些数据可用于训练 Project GR00T 人形机器人的基础模型。接着，开发者可以在 Isaac Lab 中使用 Robocasa NIM 微服务生成更多经验并重新训练模型。整个过程中，OSMO 负责分配计算任务。
多个科技公司和机构参与了 NVIDIA 的人形机器人开发早期访问计划，包括 1X、波士顿动力、字节跳动等。这些公司获得了 NVIDIA 的技术支持和资源。
NVIDIA 通过与合作伙伴的合作，共同推动机器人技术的发展。其合作模式涵盖技术共享、联合开发和资源整合，旨在构建一个机器人技术生态系统。NVIDIA 提供了三个计算平台来简化人形机器人的开发：用于训练模型的 NVIDIA AI 超级计算机、基于 Omniverse 构建的 NVIDIA Isaac Sim 和用于运行模型的 NVIDIA Jetson Thor 人形机器人计算机。开发者可以根据具体需求选择使用这些平台的一部分或全部。