近年来，随着大语言模型和视觉语言模型的发展，人工智能领域不断迎来新的技术突破。帝国理工学院和谷歌 DeepMind 团队联手推出了一种名为 DAAG（Diffusion Augmented Agents，扩散增强智能体）的新型机器人学习框架。这个框架集成了大语言模型、视觉语言模型和扩散模型。
DAAG 框架能让机器人在面对奖励较少的复杂任务时，依然完成学习。通过结合多种模型，这个框架相当于给机器人装上了 “记忆增强器”。机器人可以回顾过去的经验，并通过扩散模型将这些经验转化成与新指令一致的形式。在实验中，DAAG 框架使机器人能够识别出不存在于训练集中的新物体，并进行移动、抓取等操作。DAAG 减少了机器人学习新任务所需的数据量。在模拟的机器人操作和导航环境中，实验结果显示 DAAG 在学习能力、任务转移和奖励检测等方面都有提升。
DAAG 框架把大语言模型、视觉语言模型和扩散模型结合在一起，通过多模态技术来提升机器人的学习能力。这样一来，机器人能理解和执行各种复杂任务，适应不同的操作环境。
- 提高样本效率和迁移学习能力
- DAAG 框架把大语言模型、视觉语言模型和扩散模型整合到一起，让机器人在少量样本情况下也能学习。
- 在奖励较少的复杂任务中表现
- DAAG 框架让机器人在面对奖励较少的复杂任务时也能完成学习。扩散模型能回顾过去经验并转化为与新指令一致的形式。
- 数据处理复杂度
- DAAG 框架需要处理大量的视觉和语言数据，这在实际应用中会带来数据处理的复杂性问题。
- 模型优化困难
- 模型优化也是一大难题。为了确保模型在各种任务中的表现，需要进行大量的调试和优化。