本次访谈中，OpenAI 的研究员丹·罗伯茨参与讨论。丹·罗伯茨之前曾在红杉资本担任研究员，之后加入 OpenAI，专注研究人工智能（AI）与物理学交汇的领域。访谈主题主要集中在物理学如何为 AI 的发展提供新视角，并探讨相关知识在其中所发挥的重要作用。丹具有深厚的物理学背景，并致力于将物理学原理应用于 AI 的发展，以应对相关研究中的挑战和实现突破。
在访谈中，丹讨论了物理学对智能爆炸的物理极限和扩展规律的限制，以及如何将 AI 与物理学、数学等领域实现深度融合。他认为，物理学的方法论有助于更深入地理解神经网络的运行机制，并能够预见 AI 未来的发展潜力。
丹·罗伯茨的核心观点如下：
- 人工智能的潜力与历史性时刻：丹·罗伯茨将当代人工智能的发展比作20世纪40年代的曼哈顿计划，强调了OpenAI在推动AI领域发展的中心作用。他认为，AI领域如同当年的曼哈顿计划一样，吸引了众多物理学家转而投身其中，这表明了AI的历史性时刻和对未来科技发展的巨大潜力。
- 物理学与人工智能的交叉：丹·罗伯茨分享了他的背景，从物理学到对人工智能的兴趣，他探讨了物理学如何为理解AI提供洞见，包括智能爆炸的物理极限和神经网络的理解。他强调了物理学家在AI领域的独特贡献，以及物理学的方法论如何适用于大规模机器学习系统的研究。
- 微观视角与系统级视角在 AI 中的应用：他通过热力学的比喻，解释了微观视角和系统级视角的概念，并讨论了如何将物理学中从微观到宏观的思维方式应用于深度学习系统。这种方法有助于我们理解复杂系统的行为，从而在AI领域取得进展。
- AI 的未来与发展：丹·罗伯茨对AI的未来持乐观态度，他认为尽管存在挑战，但科学的进步将使我们能够更好地理解AI系统。他提到了规模和创意的平衡对于AI发展的重要性，并对AI在物理学和数学等领域的应用表达了期待。同时，他也提到了AI领域可能面临的经济和资源限制，以及对AI系统可解释性的追求。
以下是本期播客内容的完整翻译，我们作了不改变原意的删减。
物理学与机器学习
丹·罗伯茨（Dan Roberts）
在 20 世纪 40 年代，许多物理学家纷纷加入曼哈顿计划，即便他们原本从事于其他工作。那是一个非常值得加入的计划。如今，人工智能领域就像当时的曼哈顿计划，而 OpenAI 正处于如此中心的位置。因此，或许我们不再需要公共部门来组织一个类似曼哈顿计划的项目，因为 OpenAI 已经能胜任这一目标。
桑娅·黄（Sonya Huang）
本期嘉宾是丹·罗伯茨（Dan Roberts）。他曾是红杉资本（Sequoia）的研究员，最近加入 OpenAI 担任研究员。在本次录制时，丹即将结束在红杉资本的工作，但当时他还不知道自己将成为项目 O1（也称为“草莓”）的核心贡献者。丹是一位量子物理学家，他在本科阶段研究了隐形斗篷技术，后于麻省理工学院（MIT）获得博士学位，并在著名的普林斯顿高等研究院（Princeton IAS）完成博士后研究工作。
丹在物理学与人工智能的交叉领域有着广泛的研究和撰写。本期我们希望从丹那里了解两个主要问题：首先，物理学可以教会我们关于人工智能的哪些知识？智能爆炸的物理极限以及扩展规律的极限是什么？我们如何能够更好地理解神经网络？其次，人工智能能教会我们关于物理学、数学以及世界运作方式的哪些知识？非常感谢你今天加入我们的访谈，丹。
丹·罗伯茨（Dan Roberts）
感谢今天有机会来到这里，也许这会是我在 Sequoia 的倒数第二天。具体时间取决于这段录音的播出时间以及你们的讨论方式。
帕特·格雷迪（Pat Grady）
丹，你永远都是红杉家族的一员。
丹·罗伯茨（Dan Roberts）
非常感谢你，我非常感激。
桑娅·黄（Sonya Huang）
不妨从一个简单的问题入手，给我们介绍一下 Dan 是个怎样的人吧。我记得你有一个十分引人入胜的背景故事：大学时你曾经研究过隐形斗篷。是什么促使你选择成为一名理论物理学家的呢？
丹·罗伯茨（Dan Roberts）
我一直以来在这个问题上保持一致的回答，因为我相信这确实是事实。小时候，我是个特别好奇、总爱问“为什么”的孩子。现在，我有一个 19 个月大的孩子，他总是跟着洗衣机修理工，非要看看洗衣机的内部是什么样的。所以，我觉得自己保留了这种好奇心。当你更倾向于定量思考而非哲学思考时，我认为你会更青睐物理学。
这个领域恰好让我感兴趣：世界是如何运作的？这些外界的事物是什么？也许你没有问的问题，我提前回答一下，就是内向思考似乎不那么定量，更偏向人文学科。像“这些东西是什么？”这样的命题很符合物理学，而“我是什么？我是谁？作为我意味着什么？”这些问题看起来不太科学。然而，有了人工智能，我们似乎可以使用某种相同的框架来思考智能是什么以及类似的问题。这让我感到非常兴奋。
桑娅·黄（Sonya Huang）
您是从什么时候开始关注人工智能的？是什么促使您产生了这个想法？
丹·罗伯茨（Dan Roberts）
最初接触计算机时，像许多人一样，我渴望了解其工作原理及编程方法。在本科期间，我选修了一门人工智能课程，当时那是一门非常传统的课程。该课程中的许多概念如今又变得相关起来，但在当时，它们的实用性不高。课程内容主要涉及“如果-那么”逻辑。课程中也探讨了一些关于游戏的主题，尽管有趣，却显得过于算法化，与理解智能关系不大。
帕特·格雷迪（Pat Grady）
我们能快速讨论一下这个问题吗？您认为智能的含义是什么？
丹·罗伯茨（Dan Roberts）
这个问题没有标准答案，但我认为关键在于不要发表无意义的话。AI 让我感到兴奋的一点是，它能够模仿人类的行为，并且可以通过几行 Python 代码来展示这些系统为何执行某种操作。我们可以追踪代码，了解它们的输出，以及系统如何识别和分类事物，比如判断什么是猫，什么不是猫，或者如何写诗。这些都只需要几行代码。
而研究人类智力的运作，则需要从生物学、神经科学到心理学，甚至涉及更高层次的方法。因此，我认为对智能的理解，至少在我感兴趣的领域，是看人类所做的事情。回顾一下我先前提到的答案，这就是我将其与 AI 联系起来的方式。AI 正在模拟人类行为的一部分，通过一个相对简单且易于研究的例子，使我们能够更好地理解人类的行为。
桑娅·黄（Sonya Huang）
所以，丹，你提到过在大学学习 AI 时，很多内容主要依赖于硬编码逻辑和蛮力方法。有哪个时刻让你意识到，这些方法已经发生了变化吗？有没有什么关键的结果或时刻让你觉得，我们正走向一个超越传统“如果这样，则那样”逻辑的更先进的未来？
丹·罗伯茨（Dan Roberts）
事实上，当时我并没有真正理解它，因此有些忽视。也许再过十年回头看后续发展，我会有更深的领悟。不过，这种缺乏兴趣的状态只持续了一两年。期间我前往英国攻读研究生学位，度过了漫长的研究生生活。在那段时间，我接触到了机器学习以及一种更具统计导向的人工智能方法，这种方法依赖于大量的案例或数据。当时可能不称之为“大数据”，但我们会说这是专门针对特定任务的数据样本。机器学习有多种实现方式，其中包括开发灵活的算法来适应这些案例，从而在某种程度上模仿示例中的操作。这种方法吸取了许多物理学的思想。
我于 2009 年大学毕业，在 2010 年和 2011 年时发现了机器学习，而 2012 年则被视为深度学习取得重大突破的一年。所以对我而言，从放弃到重新发现的时间并不长。而实际上，机器学习在 2009 年就已经存在。虽然当时它与我所修课程无关，但这种方法非常契合我的科学理解框架，让我倍感兴奋，并幸运地见证其实际进展。
桑娅·黄（Sonya Huang）
为什么有那么多与你背景或经历相似的人呢？许多从事过物理学的人转而在人工智能领域工作。这是巧合吗？是从众效应吗？或者你认为是否有某种因素让物理学家特别适合理解人工智能领域？
丹·罗伯茨（Dan Roberts）
在各个方面，我对这个问题的回答都是肯定的。物理学家涉足许多不同的学科，尝试用我们的方法解决问题，有时会因此遭到揶揄。从历史上看，物理学家对许多表面上属于机器学习的领域做出了贡献。我认为短期内，当物理学家离开学术界时，通常会转向量化金融，接着是数据科学领域。机器学习在工业界的应用让我感到兴奋，因为它很像真正的物理学，它在解决对很多人来说非常有趣的问题。进行这个对话是因为你对 AI 感到兴奋，而每个人都对 AI 感到兴奋。在许多方面，这与人们研究的物理问题相似。
但我认为，物理学的方法与传统计算机科学的方法实际上是不同的，非常适合用于研究我们在 AI 中使用的大规模机器学习系统。 传统的物理学中，理论与实验之间有着密切的互动。通常，我们会基于理论直觉提出一些模型，然后通过实验来验证这些模型。这种数据收集与理论构建之间的紧密反馈机制促进了理解的进步，并使我们得出了一些非常具有解释力的理论。
我认为，大型深度学习系统的运作也存在这样的紧密反馈循环，可以进行许多实验。 我们使用的数学方法与许多物理学家所熟悉的非常相似。因此，许多物理学家自然会参与到这个领域。此外，这些工具与传统的理论计算机科学和机器学习研究方法有所不同。它不仅仅是提高成为优秀工程师的能力，还涉及成为科学家的能力。进行科学研究所需的工具帮助我们更好地研究这些系统。
帕特·格雷迪（Pat Grady）
Dan，你撰写了一篇精彩的文章，题为《黑洞与智能爆炸》。在文中，你讨论了从微观视角到系统级视角的转换，以及物理学如何真正帮助人们从系统级视角进行思考。这种思维方式在理解复杂系统时提供了互补的优势。你能否简单解释一下什么是微观视角和系统级视角，以及物理学对我们理解宏观层面事物的影响？
丹·罗伯茨（Dan Roberts）
让我用一个比喻来解释，这个比喻或许比简单的类比更深入。大约两百年前的工业革命时期，蒸汽机和蒸汽动力的诞生催生了许多技术，最终推动了工业化初期的发展。人们对蒸汽机进行了大量的工程研究，并运用一种高层次的理论来解释其工作原理，即热力学。我想很多人在高中时可能都学过这个理论，比如理想气体定律告诉我们压力、体积和温度之间的关系。
这些都是宏观的概念，比如你可以用温度计测量房间的体积，也可以用气压计测量压力。当然，人们也许不会专门这样做，而是查看天气预报。但我们知道，这些方法是我们进行测量和讨论的工具。然而，在这种宏观背景下，还存在着原子和分子的概念。空气中的分子四处碰撞，现在我们理解到这些分子的运动导致了诸如温度、压力和体积等物理特性。我想人们很容易理解气体和分子在房间里被限制的情况。
实际上，有一种精确的统计学方法可以将这些微观分子的行为推导出热力学规律，比如推导出理想气体定律。你也可以意识到它是“理想”的，实际上并不完全准确，因为这只是一个简化模型。我们可以通过微观视角对其进行修正，尽管我们在日常生活中不会直接看到或接触到这些分子，但它们的集体统计特性导致了宏观层面的物理现象。
回到你的问题，我认为在深度学习系统中有类似的情况。我与 Sho Yaida 和 Boris Hanin 合著了一本书，讨论如何将这些想法应用于深度学习，至少尝试用一个初步的框架进行这种应用。回答你的问题，从微观角度来看，神经元、权重和偏置是其核心要素。我们可以详细探讨这些组件的工作原理，但在考虑架构时，有人会将其比作电路。它们以非常具体的方式存在，接收输入信号，比如图像或文本，并涉及大量参数。即便是机器学习库的实现，只需几行代码。这个层面上，它们是一组非常简单的方程式，但需要大量的权重和数值输入来展现系统的表现。
这类似于分子的视角，而宏观视角则关注系统的输出结果——比如创作了一首诗，或者解决了一道数学题。我们如何从这些权重和偏置转化为宏观视角？就像从统计物理到热力学一样，我们对它有一个全面的理解。通过类似的方法，你可以尝试从这些微观统计行为去理解模型的底层是如何导致我们所观察到的系统层面或宏观视角的表现。
真正的答案在于规模和想法的平衡
桑娅·黄（Sonya Huang）
Dan，你可能还记得，在“AI Ascent”活动上，Andre Karpathy 提到，当前的 AI 系统在效率上相比生物神经网络要低五到六个数量级。
桑娅·黄（Sonya Huang）
你怎么看待这个问题？你认为仅靠摩尔定律和更高效的硬件组合就能实现目标吗？还是说你认为研究中需要一些重大的突破？
丹·罗伯茨（Dan Roberts）
这里可能有两层意思。首先，人类在某种程度上似乎比 AI 系统更高效。 我们不需要接触数万亿个词汇就能开口说话。比如，我的孩子已经开始说完整的句子了，而他听过的词汇远远少于一个典型的大型语言模型。因此，人类学习的效率与大语言模型的工作方式存在某种脱节。当然，它们是完全不同的系统，学习的方式也截然不同，所以在某种程度上这是可以预见的。因此，这里存在一个可以努力弥合的鸿沟。
另一个可能的意思，不确定您是否指的是这个，但值得讨论扩展假设的问题。我在文章中提到过这一点，许多人也在谈论这个问题。那么，最终的 GPT 是什么？比如现在有 GPT-4，其他公司可能也有类似的产品。但因为我要加入 OpenAI，所以以新公司的名义来看，会有 GPT-6 吗？还是在某个时候会进化到 GPT-7？如果假定需要不断扩展，会出现一些问题，比如经济原因：我们可能尝试训练出一个比世界 GDP 或全球生产总值还大的模型，或是耗尽资源，如 GPU 的生产不足或者资源使用面积的限制等。这些问题最终可能会导致崩溃。或许一开始会遭遇经济问题，在我们真正能够实用地扩展之前，我们还能进行多少次迭代？这又将把我们引向何方？
我认为，将这两个观点联系起来的方法是关注规模问题。 尽管人们正让事情变得更高效，但如果仅是从最初的 GPT-2 不断扩展规模，能否带来某种经济潜力或定义 AI 研究、AI 初创公司和工业中 AI 的最终状态？还是需要许多新的、激动人心的想法？当然，这些问题实际上难以彻底分开。但一般的扩展假设认为，仅靠规模扩展，而非创意是关键。然而，如何像人类一样高效地学习，我认为这需要非凡的创意。
在回答你的问题时，令我对加入 OpenAI 感到兴奋的原因是，我相信在超越扩展的想法中有极大的潜力，而我们也需要这样的创意来迈出下一步。我不知道我具体会做什么，但在这一期节目播出时，我应该已经了解到我的任务。不过，这正是让我真正感到兴奋的事情。
帕特·格雷迪（Pat Grady）
在人工智能领域，人们在投入精力时，是否会出现类似“钟摆效应”的现象，即关注点在规模和创意之间来回摆动？例如，Transformer 的推出曾是一个伟大的创意，随后我们主要集中于规模化竞争。而出于某些实际原因，现在似乎开始出现不再追求增长的趋势。创意是否又重新成为关键关注点？如今的重点不再是拥有最大的 GPU 集群，而是寻求在推理或其他领域实现新的架构突破？
丹·罗伯茨（Dan Roberts）
这是一个非常好的问题。Richard Sutton 在一篇名为《The Bitter Lesson》的文章中提出，一个观点：与其说想法重要，不如说规模才是关键。所有想法最终都会被规模的提升所超越。虽然这一观点很高屋建瓴，但它确实揭示了规模的重要性。
在上世纪 80 年代和 90 年代，有很多有趣的想法，但由于当时缺乏足够的计算资源，人们无法进行探索。我记得在 AlphaGo 出现后，DeepMind 撰写了大量论文，促使人们重新发现那些早期的研究，并在深度学习系统中重新实现这些想法。但那是在人们意识到需要扩大规模之前。即使在现在，人们通过 Transformer 探索其他或更简单的架构，而这些似乎能够取得更好的效果。有观点认为，也许这种扩展规律并非单纯来源于具体的想法，而是与基础的数据处理和庞大的数据有关。
我认为，真正的答案在于两者之间的平衡。 规模非常重要，我们可能之前没有意识到其重要性，也因为当时缺乏资源来实现规模扩展。生产这些 GPU 集群以训练模型，需要经过供应链和生产链的多个环节。实际上，GPU 的设计随着时间推移，与这些模型相辅相成地进化。从某种意义上说，Transformer 是个好主意，因为它适合当时我们拥有的系统。在科学层面上，其他架构也可能实现目标，但在实践中，能够达到那个规模才是至关重要的。
所以，我相信如果我们能将想法与某种形式的规模结合起来，我依然认为，深度学习的概念非常重要。Pitts 和 McCulloch 提出了最初的神经元概念，随后 Rosenblatt 提出了最初的感知机。从大约 80 年前开始，很多人都提出过重要的想法。因此，我认为想法和规模都很重要。如果受到瓶颈限制无法扩大规模，大家都会致力于想法的探索；而一旦突破这些限制，实现新的规模，便会有大量成果涌现。规模确实非常重要，我相信这是一种想法与规模之间的协同作用。
桑娅·黄（Sonya Huang）
在谈论关于规模竞赛的话题时，Dan，你提到了一些经济上的限制和现实问题，我想这更像是私营部门面临的限制。你之前也提到了物理学家参与的曼哈顿计划。你认为我们需要一个类似曼哈顿计划的人工智能项目吗？这应该是在国家层面还是国际层面进行呢？
丹·罗伯茨（Dan Roberts）
实际上，我之所以加入 OpenAI，部分原因是因为曾与您的合伙人 Shaun Maguire 交流过。那时他把我介绍到 Sequoia，想看看是否有合适的创业项目可以让我参与，这个项目需要在科学、研究和商业上都有其意义。我记得，Shaun 用了一个比喻，他并不是想突出曼哈顿计划的负面影响，而是想说明其在规模和组织层面的意义。
他提到，上世纪 40 年代，许多物理学家纷纷加入曼哈顿计划，尽管他们本来有其他事情要做，但那是他们必须参与的领域。他认为，现在人工智能就是这样的领域，而 OpenAI 就是像当年的曼哈顿计划这样的地方。因此，或许我们不需要公共部门组织的曼哈顿计划，因为我们有了 OpenAI。
桑娅·黄（Sonya Huang）
我喜欢这个比喻：OpenAI 就像曼哈顿计划一样。
丹·罗伯茨（Dan Roberts）
从规模和雄心来看，我认为很多物理学家可能会愿意在 OpenAI 工作，这与他们早期对其他项目感兴趣的原因有相似之处。当然，具体原因是多方面的。或许我们应该将其视为一个复杂的问题，而不是笼统地下结论。
桑娅·黄（Sonya Huang）
我们可以聊聊这个问题吗？比如说，我们是否能够真正理解 AI，特别是在使用这些深度神经网络的情况下，还是你认为这是一个无解的“黑箱”？
丹·罗伯茨（Dan Roberts）
在 AI 社区中，我的立场是我们能够更好地理解这些系统。互联网充斥着各种不同的观点，真正的反对意见往往难以识别。我认为，这些系统与物理系统一样复杂，而我们已经在理解物理系统方面取得了巨大进展。我相信，这些系统也可以应用相同的分析框架。
我和 Sho 在书中讨论了物理学中的一个原则：在大规模下，通常会出现极大的简化。这主要是由于统计均值效应，或者更专业地说，是中心极限定理，使事情变得简单。 虽然我并不是说大型语言模型一定具有相同的特性，但我相信，我们可以借助现有的方法，并可能在未来利用 AI 来实现更好的理解。在这里，AI 是作为一种工具，而不是独立自主的智能体来解决问题。我相信，虽然目前理解这些系统可能颇具挑战，但科学终将迎头赶上，使我们能够在真正理解这些系统的工作原理和行为方面取得重大突破。
AI 可以帮助解决物理学问题吗？
帕特·格雷迪（Pat Grady）
Dan，我们已经讨论了物理能为 AI 带来的启示。那么，AI 可能为物理提供哪些新的见解呢？你对物理和数学等领域的前景是否乐观？这些新兴模型能否在这些领域中实现更深入的探索？
丹·罗伯茨（Dan Roberts）
是的，我确实持乐观态度。我的观点是，数学可能比物理简单，这或许显露出我是物理学家，而非数学家。我可以解释一下我的理由。不过，我许多从事物理的朋友中，有人对现状日益忧虑，甚至到了一定程度的担忧。这可能说明了为什么物理学家会研究 AI。如果你关心的是物理问题的解决，并希望尽快得到答案，最有效的方法可能不是直接研究物理问题，而是研究 AI，因为 AI 可能快速解决这些问题。我不确定有多少人认真考虑过这一想法，但在我的理论物理学圈子中，这种观点经常被讨论。
为了给出更具体的回答，我认为数学令人兴奋的原因在于，当有像 Noam Brown 这样的专家时，他可能会对此有所探讨，这是他在加入 OpenAI 之前多次讨论的话题。我认为我们在解决游戏问题上取得了很大进展，不仅是研究如何制定游戏策略，还可以进行预测模拟。在面临游戏困境时，我可能会坐下来思考对策。这有时被称为推理计算，而非训练计算或预训练。推理某种意义上就是有能力坐下来思考。我们知道如何在游戏中这样做，因为获胜与否的信号非常明确，可以模拟并找到最佳行为。
我觉得在数学中，尽管某些类型的问题不像游戏那样受到约束，但仍然有足够的限制条件，比如寻找证明。关于如何搜索以及下一个步骤的方向始终存在挑战。但“下一步”这个概念表明数学中有些东西像游戏。因此，我们可以设想，若在游戏中表现优异，可能也能在某些类型的数学发现中取得好成绩。
帕特·格雷迪（Pat Grady）
你提到了诺姆，他喜欢引用一个例子：在计算测试中，能否用来证明黎曼假设。那么，在物理学领域，是否也有类似的问题或假设，你认为 AI 可以在我们有生之年帮助解决？
丹·罗伯茨（Dan Roberts）
是的，我想说的是，有一个与物理学相关的千禧年难题。如果我尝试准确记住它，也许会出错，从而让人怀疑我是否真的是一位物理学家。这个问题是关于杨-米尔斯质量隙的数学物理议题。
我想表达的是，物理学家关注的重点及其研究方法与数学证明有所不同。或许这种说法会引发争议，因为物理学家的方法更随意且常伴有不确定性，但同时，他们通过实验和研究模型获得的联系可以带来某种解释能力。正如我们之前提到的，数学家常常将工程师发明的机械和物理学家开发的理论形式化并整理得更精确。有些数学家或数学物理学家尝试用更正式的方式理解物理学家的工作。
我认为，物理学家感兴趣的问题不只是证明，而是探索如何使用既定模型解决实际问题。 一旦准备就绪，有经验的专家通常能分析系统，还需考虑的因素包括哪个模型合适、是否准确反映了问题，与关心的事项相关联并能提供哪些见解。因此，AI 在这方面提供的帮助可能需要与我们为数学构建的 AI 系统采用不同的方法。所以，问题不仅仅是“这里有一个数学问题，去解答它”，或“证明黎曼假设”。物理学问题更像是“什么是量子引力？”“当某物进入黑洞时会发生什么？”这些问题无法简化成简单的答案。如果你走进一个物理系，你会发现人们在黑板前讨论问题，并可能草拟一些数学内容，除此之外还有许多非正式的讨论和草图需要考虑。
因此，我们可能需要收集的数据更像是电子邮件和 Slack 上的对话。我们有许多工具来帮助我们，比如无需花费两周时间去理解一篇新论文，而可以直接提问。虽然现有方法存在问题，但已有许多工具可以加速物理学家的工作，比如 Mathematica 软件，不仅用于计算积分，当然功能远不止于此。不过，有时它不知道某个积分，你可以查阅积分表。这种方法在其他科学领域中同样适用。
不同领域的提问方式和科学研究的意义可能确实存在很大差异，甚至与传统思维截然不同。在这种情况下，我认为我们需要产生许多想法，用不同的方式解决这些问题。尽管我们最终可能会开发出一种通用的解决方案来应对这些挑战，但在目前的阶段，我感觉这些事情之间仍然存在某种差异。
桑娅·黄（Sonya Huang）
你将见证整个过程的一部分，因为你也是 AI 数学奥林匹克奖项委员会的成员，这是我个人非常感兴趣的领域。或许我们可以回到你之前提到的一个观点，也许这些技术最终能够得到广泛应用。你认为，为什么人们如此专注于解决当前最棘手的问题？在学校里，物理和数学常常被视为令人畏惧的科目，但现在看来，还有许多其他领域的问题尚未解决。你是否认为首先攻克这些最困难的领域能够推动通用智能的发展？解决这些不同领域的问题又如何能够在整体上实现融合呢？
丹·罗伯茨（Dan Roberts）
当提到这个问题时，我本能地想到这并不难。这些领域相对于其他来说较为简单。我在生物学方面不太在行，对我而言完全难以理解。实际上，我的女朋友从事生物工程和生物科技，我完全不明白她的工作。生物学的内容我理解不了，但物理学对我来说则完全合理。
或许一个更好的回答是，正如我试图表述关于数学的观点一样，有一些局限。尤其是在数学领域中，许多概念不需要物理实体的支持。你无需在现实世界中进行实验，因为它们本身就是自成体系的。这点与生成文本的过程相似，也就是语言模型的工作原理，甚至与一些游戏中强化学习系统的工作方式相近。因此，我认为当你离开这种自成体系的环境越远，事情就变得越复杂，可能更困难，而且更难获得正确的数据来训练这些系统。
若想构建一个解决生物学问题的 AI 系统，并且大家正努力尝试做到这一点，似乎难度很大。你还需要确保机器人技术能发挥作用，以便它可以进行这类实验，并理解这类数据，或者需要人类来协助。然而，要实现一个自成体系的 AI 生物学家的目标，显然有许多问题需要解决。也许，在实现目标的过程中，我们会推出像 AlphaFold 3 这样的成果，虽然我还没读过详细资料，但我了解到他们正在尝试将其用于药物研发。因此，我认为在发展过程中，每个领域都会有一些进展。然而，我认为，限制条件越少，事情会变得越复杂和具体，实施起来将更加困难。
桑娅·黄（Sonya Huang）
人类觉得困难的事情，并不一定对机器来说也难以解决，这两者之间并没有直接的关系。
丹·罗伯茨（Dan Roberts）
确实，人们对什么被视为困难的事情可能会有不同的看法。
桑娅·黄（Sonya Huang）
有些人思考问题的方式更接近机器，我想……那么第二个问题是，你认为这一切最终会整合成为一个能够理解所有事物的大模型吗？因为目前看来，各个领域似乎依然相对独立。
丹·罗伯茨（Dan Roberts）
确实，从目前的发展趋势来看，答案似乎是肯定的。然而，在这个领域进行预测通常是非常危险的，因为你所说的话可能会比你预想的更快被证明是错误的。
桑娅·黄（Sonya Huang）
幸好我们有记录。我们会要求你做到。
丹·罗伯茨（Dan Roberts）
确实如此，不过有个简单的方法可以弱化这个问题的重要性。你提到模型是所有其他模型的融合，但某种程度上，专家混合模型从一开始就在做类似的事情。实际情况并非如此。在这个问题上存在着复杂程度的连续谱，但至少那些大型实验室的人似乎正在追求更庞大的模型，并相信这是他们的未来发展方向。虽然我目前还不是完全理解，但也许将来我会明白他们背后的哲学是什么。
帕特·格雷迪（Pat Grady）
Dan，我们现在来讨论几个更为通用的问题。我想先提一个大的问题：从短期（五个月）、中期（五年）、到长期（五十年）的角度来看，你对 AI 领域中哪些方面最感到兴奋或乐观？
丹·罗伯茨（Dan Roberts）
五年前，大概是在 Transformer 模型问世之后，也就是 GPT-2 发布的时候。在过去五年间，我们一直致力于扩大规模。展望未来五年，这种扩展可能会结束，也许是在一种人们理想中的状态下结束。到那时，我们可能会进入一个后经济时代，届时可能不再需要继续投入资金，因为金钱将不再是重要因素。或者，我们可能会发现需要更多的新想法，也许还会经历另外一场 AI 的寒冬。我想象着……
再次强调，这只是个有风险的猜测，但我相信在未来五年内，AI 的发展可能会走向不同的方向。 到那时，AI 或许已不再是关注的焦点，我们将寻找下一个激动人心的机遇，而另一些人可能会转向其他领域。这并不是说 AI 不再让我感兴趣，而是说五年的时间或许足以让我们见证这些变化。此外，无论是一年内，五年内，还是五个月内，这些变化都可能发生。虽然具体时间我记不清了。
帕特·格雷迪（Pat Grady）
没关系，这些都是近似值。我知道你曾提到过，物理学家和风险投资家常常使用近似值。
丹·罗伯茨（Dan Roberts）
在物理学中，我常开玩笑地说，只有三个重要的数字：零、一和无限。事物要么非常小，要么非常大，要么就是数量级为一的数。感谢你的提醒。不过，我也很期待在接下来的五个月里，能在像 OpenAI 这样的大型研究实验室的前沿，学习到令人兴奋的东西。
我认为，下一代模型之间的差异将会非常有趣。在某些方面，事情正在扩展，但这些信息主要不对外公开，除了一些公司，如 Meta，它们扩展了数据和模型的规模，而我们也研究了这种扩展的规律。扩展规律与损失有关，但很难将其转化为实际能力。那么，与下一代模型交流会是什么感觉呢？它们会有怎样的表现？这是否会带来巨大的经济影响？
在评估速度时，需要考虑多个数据点，而不能只依赖单一的数据点。从 GPT-3 到 GPT-4，我们开始有了一些这样的经验。但是，我认为在下一次的变化中，我们可以真正看到速度的变化，从一个模型过渡到下一个模型的感觉。也许五个月后我可以做出更好的预测，但未必能够明确告诉你们。
桑娅·黄（Sonya Huang）
谢谢你的评价，Dan。令我印象深刻的是，你的写作风格非常易于理解，轻松且幽默，这不是我阅读技术性内容时所常见的风格。你认为所有技术写作都应该是非正式且幽默的吗？这是你刻意选择的风格吗？
丹·罗伯茨（Dan Roberts）
这显然是有意为之的。在某种程度上，我认为这是受到传统的影响。当然，我不是一个严肃的人，但我感觉这多少是继承了我所在领域的风格。不过，我给你讲个故事。我曾在普林斯顿的高级研究院做博士后，那时候，我和一位叫纳迪·西博格的教授同桌吃午饭。他是研究所的教授。
我们那时讨论什么是好的标题。我回答说，标题必须具有幽默感，他对此表示强烈赞同。我进一步解释说，撰写论文对我来说，其动力来源于那些诙谐的想法。脑海中浮现出各种幽默的念头，你希望别人看到，于是你把它们包装成学术作品。人们会阅读这些学术作品，也会欣赏其中的幽默。然而，这位来自以色列的纳迪教授却表示，他不理解为什么不能只专注于科学。虽然幽默很好，但他认为写作应该为了科学，而非幽默。对此，我则非常坚持认为我是为了幽默而写的。
在某个阶段，你也会学会科学方法和正式写作的规则。后来，我有所成长，或许这也因为我的室友是语言学家，而他现在是德克萨斯大学奥斯汀分校的教授。他常常指出哪些规则可以打破，或者解释这些规则的重要性。于是，你渐渐明白可以打破某些规则，但最终目标是让读者理解、读懂并享受你的文章。因此，你不希望做那些可能阻碍他们阅读理解的事情，也不想使事情复杂化。若内容更有趣，读者就会更愿意去阅读并抓住要点。如果写作时自己也能乐在其中，那就更好了。我想，这就是事情的起因。
桑娅·黄（Sonya Huang）
非常感谢你今天加入我们的活动，Dan。我们学到了很多，尤其欣赏你的幽默感。希望你在 Sequoia 的最后几天过得愉快。感谢你愿意抽出时间与我们分享，我们由衷地表示感激。
丹·罗伯茨（Dan Roberts）
我很高兴能在这里和大家交流，这真是一次美好的体验。