近日，Google DeepMind 团队宣布，他们开发出了一款能够达到人类业余水平的乒乓球机器人。根据官方发布的信息，这款机器人通过观看物理模拟和人类比赛，使用小规模数据集进行训练，并通过迭代过程不断提升技能。机器人在与不同水平的人类选手对战时，战胜了初学者，并在与中级选手的比赛中赢得了超过一半的比赛。
这款乒乓球机器人结合了 ABB 公司的 IRB 1100 工业机器人和定制的 AI 软件，采用了一种 “双层级” 方法，使机器人能够打出特定的乒乓球技术。系统的物理设置包括一个 6 自由度的机械手臂，安装在两条线性轨道上，使其能够自由地水平移动。高速摄像机用于追踪球的位置，而动作捕捉系统则能监测人类对手的球拍动作。
为了训练这款乒乓球机器人，Google DeepMind 团队采用了一种混合方法，结合了强化学习和模仿学习。在模拟物理环境中使用强化学习，同时将训练数据建立在真实世界的例子基础上。这种技术使机器人能够从大约 17500 个真实世界的乒乓球轨迹中学习。通过不断的迭代训练，机器人逐渐提升了自己的技能。
研究团队使用了一个迭代过程来完善机器人的技能。他们首先从一个小型的人类对人类的游戏数据集开始，然后让 AI 与真实对手对抗。每场比赛都会产生关于乒乓球轨迹和人类策略的新数据，研究团队将这些数据反馈到模拟中进行进一步训练。这个过程重复了七个周期，使机器人能够不断适应水平越来越高的对手和多样化的打法风格。到最后一轮，AI 已经从超过 14000 个回合球和 3000 个发球中学习，创建了一个乒乓球知识体系，帮助它缩小模拟和现实之间的差距。
零样本 sim-to-real 转移技术是这项研究的一个重要突破。这意味着机器人无需在现实环境中进行大量的初期训练即可应对实际比赛。通过这种技术，机器人能够在模拟环境中学习，然后直接应用到现实世界中。这不仅减少了训练时间和成本，还提高了机器人的适应能力和灵活性。
在一项涉及 29 名参与者的研究中，这个 AI 驱动的机器人赢得了 45% 的比赛，对初学者取得了 100% 的胜率，对中等选手取得了 55% 的胜率。研究人员指出，机器人在处理极快的球或高球、识别强烈旋转和反手球方面仍存在局限性，但总体表现已经达到了人类业余选手的水平。
谷歌 DeepMind 分享了一段视频，展示了机器人因难以应对快速击球而输掉一分。研究人员建议研究先进的控制算法和硬件优化，包括探索预测模型来预测球的轨迹，或者在机器人的传感器和执行器之间采用更快的通信协议。