在 2024 年 8 月 6 日,Richard Socher 在一场科技会议上发表了关于人工智能(AI)在科学领域应用的演讲。他指出,通过模拟生成数据是机器学习在科学领域的一个重要应用。在可以模拟的领域,AI 能够解决问题,因为可以创建无限的训练数据。这一观点适用于游戏(如围棋、Dota 等)、简单的物理模拟、编程环境,甚至最终更复杂的生物系统。
英伟达公司近日宣布了一项工作流程,旨在通过融合人工智能(AI)与 Omniverse 平台,结合苹果最新推出的 Vision Pro 设备,加速人形机器人的研发进程。这一举措降低了人形机器人训练对海量人工演示数据的依赖。传统上,人形机器人的训练依赖于大量精细的人工操作演示数据,这一过程成本高昂且耗时长。英伟达此次推出的新工作流程,通过引入远程操作技术,仅需少量的人类演示数据作为起点,便能在其 Isaac Sim 模拟器和 MimicGen NIM 微服务支持下,自动生成海量且高质量的合成数据。这些合成数据与真实数据相辅相成,共同为 Project GR00T 人形基础模型的训练提供了基础,有效降低了数据收集与处理的成本与时间。
苹果 Vision Pro 设备的加入,为这一工作流程增添了新的功能。Vision Pro 以其视觉处理能力和深度感知技术,为人形机器人提供了更加精准的环境感知与交互能力。此外,英伟达还推出了 Robocasa NIM 微服务和 Isaac Lab 平台,这些工具能够自动生成机器人学习体验,不断优化机器人模型,使其更加适应复杂多变的环境和任务需求。同时,英伟达的 OSMO 云平台负责高效管理整个开发流程中的计算资源分配,确保各项任务能够顺利进行。
环球墨非(GMM.US)在 2024 年上半年推出了 AI 视频生成平台 Gausspeed,成为市场关注的焦点。环球墨非携手 NVIDIA Omniverse 和 Heartdub 开发了这一平台,面向包括电影、电视、广告和 VR/AR 项目等在内的广泛数字内容行业。Gausspeed 能够生成细节丰富的影视工业级视频,并针对商业化落地场景进行功能开发,为编剧、导演等内容参与者提供镜头设计、场景规划、预定制等一系列可视化工具。
环球墨非所拥有的庞大数字资产库是公司推出 Gausspeed 的基础之一。根据弗若斯特沙利文的行业数据,环球墨非拥有超过 100,000 个高精度 3D 数字资产,可应用于包括但不限于电影、电视剧、AR/VR、动画、广告、游戏等多个细分领域;海量的高精度 3D 数字资产广泛覆盖自然、科幻、建筑等种类。在技术与成本方面,环球墨非的 Mofy Lab 平台集成了 30 多项自主研发的知识产权,包括高精度三维重建技术、数字内容可编辑中台与人工智能交互等自主开发和优化的技术,能够提供一站式、低成本的数字内容生成解决方案。
得益于数字资产库与 Mofy Lab 平台的联合协作,Gausspeed 能够提供满足专业影视制作标准的视频及数字资产,同时支持二次编辑和创作,可直接应用于影视层面。Gausspeed 大模型能够实现实时物理渲染与材料解算,其材料大模型能够将现实世界的物理数据在虚拟世界中实现等参数还原,覆盖率达到全球材料已知品类总量的 70% 以上,参数达 900 亿。
在 2024 年 7 月 30 日的 SIGGRAPH 计算机图形大会上,英伟达 CEO 黄仁勋与 Meta 创始人马克・扎克伯格进行了约一个小时的对话,讨论了 AI 开源和机器人未来的发展。黄仁勋表示,AI 的下一波浪潮将是机器人,尤其是人形机器人。扎克伯格则强调了开源技术对开发者和创作者的赋能作用。