2024 年 8 月 14 日，Keras 的作者 François Chollet 在社交媒体上发表了对大语言模型（LLMs）的批评。他指出，LLMs 通过提示使用时，无法理解与训练数据中情况大相径庭的情况，因此不具备通用智能。Chollet 认为，LLMs 的作用主要是作为实际 AGI 的知识和程序存储，它们是一种记忆形式，而智能不仅仅是记忆。他还贴出了自己在 2023 年 2 月的推特，回顾了当时 LLM 炒作的高峰期。
社交媒体上，用户们对 Chollet 的观点反应不一。一些用户支持他的观点，认为 LLMs 确实存在局限性，无法实现真正的通用智能。另一些用户则认为，LLMs 在某些领域已经展现出强大的能力。Chollet 的观点引发了广泛讨论，尤其是在 AI 研究社区中。他认为，LLMs 的局限性在于它们无法处理与训练数据中情况大相径庭的情况，这使得它们在面对新问题时表现不佳。他强调，智能不仅仅是记忆，还包括理解和推理能力，而 LLMs 在这方面仍有不足。
回顾历史，LLMs 的炒作高峰期可以追溯到 2023 年。当时，许多人认为 LLMs 将很快实现通用智能，甚至有人提出 “AGI 将在 1-2 年内到来” 的观点。然而，随着时间的推移，人们逐渐认识到 LLMs 的局限性，开始对其未来发展持更为谨慎的态度。
Chollet 的观点也引发了对 OpenAI 的批评。他认为，OpenAI 的做法使得前沿研究不再公开发表，导致通用人工智能（AGI）的进展被延缓了 5 到 10 年。这一观点在 AI 研究社区中引发了广泛讨论。一些研究人员认为，开放研究对于推动 AI 技术的发展至关重要，而封闭的研究环境可能会阻碍创新。
在 2024 年加州大学伯克利分校的人工智能黑客马拉松颁奖典礼上，OpenAI 联合创始人 Andrej Karpathy 发表了主题演讲。他介绍了新的计算范式，称大语言模型（LLMs）就像 CPU 一样，使用 Token 而不是字节，并且有一个上下文窗口而不是 RAM，这就是大语言模型操作系统（LMOS）。Karpathy 回顾了 OpenAI 从八个人在公寓里工作到如今市值近千亿美元的历程，指出项目经验的重要性和 “一万小时” 定律，鼓励大家通过项目驱动学习来获得专业技能。
在巴黎的 VivaTech 大会上，AI 先驱 Yann LeCun 建议下一代 AI 构建者不要专注于大型语言模型（LLMs），因为大公司已经掌握了这一领域。他鼓励开发者致力于消除 LLMs 限制的下一代人工智能系统。尽管他没有提供具体示例，但一些专家提出了判别式人工智能、多任务和多模态、分类深度学习等方向。