2024 年 8 月 23 日，加州大学伯克利分校和卡内基梅隆大学的研究团队宣布了一项新的机器人控制策略 ——CrossFormer。这一基于 Transformer 的策略能够通过单一模型控制多种机器人，包括无人机、四足机器人、导航机器人和双臂机器人。现代机器学习系统依赖于大量数据集以实现广泛的泛化，而在机器人学习中，每个机器人平台和任务可能只有少量数据集，这通常会构成挑战。通过在多种不同类型的机器人上训练单一策略，机器人学习方法可以利用更广泛和更多样化的数据集，从而导致更好的泛化性和鲁棒性。然而，在多机器人数据上训练单一策略具有挑战性，因为机器人可具有显著不同的传感器、执行器和控制频率。
CrossFormer 的核心技术基于 Transformer 架构，将跨具身训练框架转换为序列到序列问题，灵活地将模型适应不同观察空间和行动空间的机器人。该策略在一个包含 30 种不同机器人实体的 90 万条轨迹的数据集上进行了训练，展示了其在多机器人控制中的泛化能力和鲁棒性。研究团队通过大量实验验证了 CrossFormer 的有效性，结果表明该策略在现实世界中的表现与定制的专家策略相当，并在跨实体学习方面超越了先前的水平。
具体来说，CrossFormer 在最大的且最多样化的数据集上训练，该数据集包含 30 种不同机器人实体的 90 万条轨迹。研究团队证实了相同的网络权重可以控制极为不同的机器人，包括单臂和双臂操作系统、轮式机器人、四旋翼飞行器和四足机器人。与以往工作不同，其模型无需手动对齐观察或动作空间。
与其他技术相比，CrossFormer 展示了其在多机器人控制中的泛化能力和鲁棒性。传统的机器人控制策略通常需要为每种机器人定制专门的控制算法，而 CrossFormer 通过单一模型实现了对多种机器人的控制，简化了控制策略的设计和实现过程。