本次访谈由红杉资本主持,访谈对象是 Snowflake 的 CEO,Sridhar Ramaswamy。访谈围绕如何利用数据创建简洁且可靠的人工智能(AI)解决方案,以帮助企业客户高效利用数据。自加入 Snowflake 以来,Ramaswamy 一直致力于推动公司在人工智能领域的应用。他主张的核心理念是简化和标准化以数据为驱动的 AI 服务,从而提升企业在数据管理和应用中的效率。
作为领先的云数据平台,Snowflake 结合其强大的数据存储和分析能力,正致力于将 AI 的可靠性提升至 99%。Ramaswamy 明确阐述了公司在技术和产品方面的愿景。他强调通过与开源社区合作,以及基于结构化和半结构化数据的创新应用,进一步巩固市场竞争地位。公司正在全力将复杂问题转换为实际的商业价值,推动 AI 在企业数据领域的变革性应用。
Sridhar Ramaswamy 的核心观点包括:
- 提升数据交互应用的可靠性:斯里达尔·拉马斯瓦米强调了将数据交互应用的可靠性从 45%提高到 90%以上的重要性,这需要将问题更多地视为软件工程问题,而不仅仅是 AI 模型问题。
- AI 在 Snowflake 中的作用:Snowflake 的 CEO 斯里达尔·拉马斯瓦米分享了 AI 对于 Snowflake 的重要性,以及如何利用 AI 来保障数据的安全性和提高开源社区的作用。
- 企业 AI 的应用和挑战:斯里达尔·拉马斯瓦米提到,企业 AI 的应用正在不断增长,但挑战在于如何更高效、更灵活地转换数据,并让业务用户更容易获取数据。
- Snowflake 的竞争优势:斯里达尔·拉马斯瓦米讨论了 Snowflake 在数据转换等核心业务上的优势,以及如何通过集成 AI 来增强这些优势。
- AI 服务的可靠性和安全性:斯里达尔·拉马斯瓦米强调了 Snowflake 提供的 AI 服务的可靠性和安全性,以及如何通过简化 AI 操作来吸引客户。
- AI 的未来和企业软件的变革:斯里达尔·拉马斯瓦米分享了他对 AI 未来的看法,包括大语言模型的发展方向,以及 AI 如何作为企业和软件互动的新方式,推动企业软件领域的变革。
以下是本期播客内容的完整翻译,我们作了不改变原意的删减。
利用 AI 为 Snowflake 赋能
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
即便是那些手握 GPT-4 或拥有庞大软件工程师团队,或有资金和资源可以聘请这些团队的人,在开发可靠的数据交互应用时也会遇到困难。因为即使使用现成的 GPT-4,其可靠性也只有大约 45%,这意味着它在回答问题时有一半的几率是错误的。我们当前的目标是将这种数据交互应用的可靠性提高到 90%以上,并力争达到 99%。为此,我们会限制应用的领域,将其更多视为一个软件工程问题,而不仅仅是一个纯粹的 AI 模型问题。 正因如此,每一个 Snowflake 的客户都非常兴奋,他们会说:“这正是我所需要的。”即便是那些财力和资源充足的企业,也会很快意识到,他们很可能无法突破这个瓶颈。
帕特·格雷迪(Pat Grady)
我们很高兴欢迎 Snowflake 的现任 CEO Frank Slootman。Snowflake 作为公共市场上最重要的企业公司之一,被广泛认为是首选的云数据平台。在当今,Snowflake 在人工智能领域扮演的角色备受关注。我们与 Sridhar Ramaswamy 交情深厚,已有二十多年的友谊。2003 年 4 月,他与我们的合伙人 Bill Korn 一同在 Google 开始工作。我们还曾支持 Sridhar 创立的初创公司 Neeva,这家公司专注于基于 AI 的搜索技术,最终被 Snowflake 收购,这也为他在公司内进一步拓展技术影响力提供了机会。
Sridhar 是少有的既精于技术又具备商业策略头脑的人。今天,他将与我们分享 AI 对于 Snowflake 的重要性、如何保障安全性、开源社区的作用、竞争环境,以及他在担任 Snowflake 的 CEO 时所看到的 AI 在企业中的实际应用。希望您能享受这一场讨论。好的,Sridhar,我们很高兴你能来到这里。作为一名技术专家,你在消费者科技领域拥有丰富的经验,现在掌管着时代中最重要的企业之一。在深入讨论之前,我们有许多关于企业 AI 的问题想请教你,包括 Snowflake 的最新动态以及你对 AI 世界的展望。不过,在开始之前,能否请你简单介绍一下自己和 Snowflake?这对于那些不太了解的人将会是一个很好的启示。我们就从这里开始吧。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
很高兴来到著名的红杉资本,这里汇集了许多我敬佩的传奇人物。我曾是一名计算机科学家,最初在学术界发展。我常开玩笑说自己是一个“转行的学者”,因为我希望能够从事一些更具影响力的工作。我很幸运能够在早期加入 Google,这是人类历史上最伟大的发明之一——搜索广告业务。我负责管理这个业务近十年。在 Google 的广告和商务部门工作期间,我协助将该业务的收入从 15 亿美元提升到了超过 1200 亿美元。
随后,在红杉资本的支持下,我创办了一家名为 Neeva 的初创公司,目标是对搜索的意义进行重新思考。后来,该公司被 Snowflake 收购,我也成为了 Snowflake 的 CEO。Snowflake 是一个专注于 AI 数据的云平台。我们的核心理念是,以数据为中心的云计算平台,将比通用云更能帮助企业客户充分利用数据。我们认为 AI 将是一项变革性的技术,改变数据的存储、传输和访问模式。目前,我们拥有超过 10,000 个客户,去年实现了 26 亿美元的收入,在企业和数据领域占有重要地位。这就是我的简要介绍。
帕特·格雷迪(Pat Grady)
您对企业 AI 领域应该有比较深入的了解,我们从这里谈起吧。目前企业 AI 领域的发展情况如何?您从客户那里了解到哪些信息?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
首先,人们已经认识到这将是一项变革性的技术。许多技术在出现时都曾面临怀疑的声音。我相信你也遇到过那些认为移动技术不会有前途的人。还有人认为浏览器不值得重视,需要一些时间才能被人们接受。而人工智能的不同之处在于,人们能立刻理解它的作用。 ChatGPT 的魅力在于,无论是让它写诗还是生成图像,体验过的人都会感慨这是一种特别的体验。因此,公众对其认识度非常高。
我们有成千上万的客户正在不同阶段实施 AI 解决方案。从像拜耳这样的公司,他们希望业务用户能够轻松访问业务数据,而不需要复杂的过程,到那些希望能立即将数据交给需要的人。还有许多人将 AI 用作转换引擎。例如,以前处理非结构化数据(如图片或文本记录)需要通过软件工程项目来分析内容。现在,只需将这些数据输入模型并提出问题,就能得到答案。这让人们感到非常兴奋。
我们有一款名为 Document AI 的产品,用于从文档中提取结构化信息,比如合同。我们的公司文件夹中有各种合同,里面包含许多隐含的数字,理想情况下,你会希望对其进行分析。因此,人们在不同的案例中进行实施和投产。我认为挑战在于如何更高效、更灵活地转换数据。而最重要的问题在于,如何以一种新的、互动的方式让业务用户更容易获取数据。这就是人们希望实现的数据使用的两个方面。
帕特·格雷迪(Pat Grady)
关于 Snowflake,我们可以讨论几个优势。您提到的一些业务,比如数据转换,显然是 Snowflake 的核心业务。此外,一些可能相对边缘化的业务也值得关注。如果有人想利用 Snowflake 来支持某种企业应用的代理,那么 Snowflake 在这种情况下的优势是什么呢?简单来说,Snowflake 在整个市场中的定位以及其竞争优势值得深入探讨。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我们将 AI 与 Snowflake 融合的基本方法,是让 AI 成为加速所有与 Snowflake 相关操作的动力。 这正是 Cortex AI 的作用。它不仅仅是一个模型花园。Snowflake 以其产品功能的紧密集成而自豪,不是作为一项独立服务存在,而是内置于 Snowflake 中。因此,任何会使用 SQL 的分析师都可以使用 AI,这极大地推动了民主化进程。
我们早期的应用程序,如 Document AI,是技术自然发展的结果,旨在满足用户在 Snowflake 中操作数据的需求。通过 Iceberg 等技术扩展 Snowflake 的数据访问范围。Iceberg 本质上是一种云存储的互操作存储格式,加上提供 Document AI 这样的功能,这使得许多过去的软件工程项目可以简化为分析师执行的两个命令。所以,我们的首要目标是让 AI 对 Snowflake 中存储的数据变得简单易用,并且保证 100% 可靠。
当然,某些前沿应用可能需要多个不同的服务,但我们的目标是为所有客户提供可靠的 AI。关于这一话题我们可以深入探讨。例如,我告诉大家,不能仅凭语言模型的原始输出进行任何业务处理,因为这不够基础。它无法区分真实与虚假,也不具备权威性。因此,我们创建了一个基础扎实的聊天机器人,这同样依然是两个命令,而不是一个软件工程项目。
同样地,使用我们的 Cortex Analyst,即用于数据对话的 API,我们充分利用了对架构、基于架构的查询及其语义上下文的理解,创造了其他人难以实现的可靠应用。我们利用数据优势来提升 AI 产品的能力。确实,有些专业化应用需要通过特定工具和大量定制集成来实现,但那不是我们的目标。我们大多数客户的目标是完成工作,而不是进行 AI 研究。
解决方案可靠性已达到 90%以上
桑娅·黄(Sonya Huang)
您是否观察到客户因为您的 AI 服务将原本不在 Snowflake 中的数据迁移过来?对于仍未在 Snowflake 中的数据,您认为赢得客户的关键是什么?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
这是一个更为广泛的问题,而我在其中发挥了重要作用的一个方面是扩展 Snowflake 在数据处理方式上的视角。众所周知,Snowflake 最初是一个专有软件,其中大多数代码引擎是非开源的,类似于搜索功能。同时,我们有一种专有的存储格式,数据会被导入 Snowflake 并以这种格式存储。
然而,我们经常从客户那里收到反馈,我相信你也常常听到,云存储中的数据量通常比在像 Snowflake 这样的专业平台中多出 100 倍甚至 1000 倍。因此,现在的行业趋势越来越倾向于数据形式的兼容性。 人们希望他们的数据能够从多个途径来访问。例如,一些最大的企业可能希望编写自己的定制应用程序,他们希望数据存储在云存储中,虽然可能通过 Snowflake 进行读取和写入,但也应能够被其他应用程序读取。鉴于此,我们在 Iceberg 这种兼容格式方面进行了重大推动。
我们最近还宣布了一个云目录。我们的想法是,在未来十年内,数据将主要存储在云中,特别是在那些非常廉价的云存储中,并采用可通过开放目录访问的兼容格式。这是我们认为 Snowflake 访问数据的巨大潜力所在。因此,数据工程和 AI 也在我们的关注范围内。例如,我们的客户正使用 Snowflake 的容器服务来处理存储在 S3 中的视频模型,并将转录结果提取后存入 Snowflake。如今,这样的应用与过去相比有着很大的不同。
桑娅·黄(Sonya Huang)
您提到公司的核心理念是通过围绕数据处理来构建基础设施,从而实现更优的性能。对于那些尚未迁移到 Snowflake 的数据,您有哪些方法可以为客户提供更优质的人工智能服务呢?这些方法与当前超大规模云服务提供商所提供的服务有哪些不同之处?
帕特·格雷迪(Pat Grady)
我想补充一下,因为我们从客户那里得到了一些反馈。在这个范围的两端,其中一端是直接使用 OpenAI 的云服务,将你的数据发送到他们的云中。这样可能会有人担心数据是否会泄露到模型中,或者他们是否具备适当的安全和隐私治理措施。
在另一端,你可以完全自主地操作,比如从 Hugging Face 上使用一个开源模型并进行自主部署。虽然这样做的安全性非常高,但也面临很大的挑战。中间的平衡点可以选择使用 Amazon Bedrock 或者 Snowflake。它们各有所长,结合了两者的优点。我们会让这个过程既简单又安全可靠。对于 Sonya 的问题,我认为选择在 Snowflake 上构建或采用 Bedrock 等云服务的人,都是出于对实用性的考虑,而实用性正是吸引用户选择 Snowflake 的关键所在。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
无论是在数据安全、数据治理还是易用性方面,Snowflake 的核心平台都能全面满足需求。其强大的功能支持协作和其他第三方应用。我们简化了人工智能。有些人可能会希望将云端或其他应用中的数据迁移到云存储,并重新创建访问控制列表(ACL),然后用定制的向量索引解决方案生成向量索引。接下来,他们可能会整合并确认所需的模型,无论是通过 API 使用还是自托管模型。随后,他们会使用 LangChain 为应用编写定制的路由逻辑。
然而,实际上 99.9%的客户对此并不在意。他们只需要一个能处理十万份文档的聊天机器人,以取代网站上令人烦恼的 FAQ 搜索框。 我们提供了一种简单易用的解决方案,开箱即用,不必担心前期的治理设施。同时,您的数据不会被转移或分享,Snowflake 承诺绝不会使用您的数据来训练任何跨客户模型。我们在总体拥有成本方面既高效又具成本效益。
Snowflake 的魅力在于我们能够使复杂问题简单化,例如降低总体拥有成本。 我们的客户包括许多银行、医疗机构以及其他类型的企业,我们在媒体领域也拥有许多客户。他们的主要关注点在于解决实际问题,而不是为了技术而技术。我们的基础模型团队专注于某些特定领域,如如何让生成的模型更具实用性,如何使其更好地遵循指令,以及在与数据交互时在必要时拒绝回答某些问题。对许多客户而言,选择 Snowflake 的一个重要原因是我们能够将那些可能导致 10%软件工程项目和潜在风险的数据安全问题,缩减到仅需分析师工作六小时。这是我们的优势,也是我们引以为豪之处。
帕特·格雷迪(Pat Grady)
当你交叉使用这些产品时,所处的位置和级别会有所不同。如果使用公有云,你仍然在基础设施层,许多内容需要自行构建。而使用 Snowflake 时,你则位于平台级别,很多复杂的工作已经为你完成。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我们长期以来的预期(由 Pat 和 Sonya 提出)是,生态系统将会向上游发展。早些时候,我们的父母或祖父母对汽车的每个部件都了如指掌。他们会更换化油器,手上指甲缝还沾满了机油,这被视为男性气概的象征。
帕特·格雷迪(Pat Grady)
老实说,每次看到我爸爸能够准确判断出车子的问题,我都会感到非常佩服。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
虽然我每天都愿意进行力量训练,但在软件工程项目中填补各个环节的空白似乎不再那么有吸引力了。您确实可以与云服务提供商合作,比如在这里使用一个模型库,那边用一个缓存服务,还有一个数据库,然后我会把这一切整合起来。正如我所说,这就变成了一个软件工程项目。在我们看来,这可能只是一个数据管道,您可以设置。此外,如果您需要聊天机器人,这里还有一个漂亮的用户界面。当然,您可以做更多事情,但这并不是必须的。
桑娅·黄(Sonya Huang)
无论您的客户是否在使用 Snowflake,是否有某些类型的 AI 应用程序更适合在 Snowflake 上构建?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
正如我所提到的,AI 应用的类别自然取决于现有的数据类型。我认为,最广泛的应用案例包括使用 SQL 进行交互查询,并在仪表盘中利用 Cortex AI,或者在执行特定任务时应用。应用范围非常广泛,例如使用小模型进行情感检测。这类应用不需要太高的成本,就像调用一个函数一样简单。我们也可以进行数据提取,比如从转录稿或临床医生的笔记中获取结构化数据。此外,还有我提到的文档 AI,它可以从收据、合同等文件中提取结构化数据。这是我们的优势领域。
不过,我必须承认,即使对那些拥有 GPT-4 和众多软件工程师的人来说,创建可靠的“与数据对话”应用也是一项艰巨的挑战。因为即使是直接使用的 GPT-4,其可靠性也仅有约 45%,出错率高达一半。而我们的解决方案可靠性已达到 90%以上,并正在努力向 99%的可靠性迈进,以适用于“与数据对话”的应用。
当然,我们在某种程度上限制了应用领域,将其更多地转化为一个软件工程问题,而不仅是一个单纯的 AI 模型问题。这种方法令每一位 Snowflake 客户都兴奋不已,他们纷纷表示想要这项技术,因为即便他们拥有足够的资金和资源组建软件工程团队,仍很快意识到这是一道难以逾越的障碍。
桑娅·黄(Sonya Huang)
您是如何做到这一点的?例如,能否为我们揭示您如何获得超过 90%的准确率?您是否在训练自己的模型?请详细告诉我们,这一切是如何成为可能的。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
这就是系统设计的奥秘。就像是在创造一个软件代理,或者更确切地说,是一个高效的助手。在实践中,它并不像那些大型模型。关键在于将问题仔细分解,以便为模型提供正确的上下文。例如,在决定如何回答问题时,你会发现,是否回答和如何回答是两个不同的事情。因此,你可以在这些不同的子任务上进行专门化,并使用不同的模型。
基本上,这就是我所说的问题定义或产品结构的问题。我们将 Cortex Analyst 的产品结构限制得更加具体,而不是那种自由流动的领域。我指的是,有时模式(schemas)会非常复杂。人们进行一些随意的操作,并时常采用误导性的列名。每家公司对收入都有自己的定义。如果你将全球最佳模型应用于任意模式,能够实际理解其中细微差别的可能性几乎为零。例如,在我们的大规模部署中,我们的客户有 20 万张表。你可以打赌,其中成千上万的表包含“收入”这个词,但它们的定义各不相同。这确实是一个关于问题定义的问题。对我而言,这关系到产品的魅力。
我认为任何出色的创始人,任何出色的产品经理都能想出确保广泛适用性所需做出的正确权衡措施。 这就是我们在这里所做的工作。我们对问题进行了限制,但正如我所说,我们明确地训练模型,例如,何时拒绝回答问题,而不是假装可以回答所有问题。当然,这里存在精确度和召回率之间的权衡。仅通过不回答问题,你可以达到 100%的精度,但显然这不是目标。你需要在实用性和精确性之间取得平衡。这需要大量的软件工程工作。
帕特·格雷迪(Pat Grady)
从另一个角度考虑这个问题,让我想起了一件事,虽然不确定为什么,但 Snowflake 的产品发展速度似乎确实有所加快。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
是的,我完全同意。
技术的精湛胜过策略
帕特·格雷迪(Pat Grady)
我们与许多创始人合作发现,随着公司规模的扩大,产品开发的速度往往会变慢。因此,我很好奇你们采取了哪些措施来积极提升产品开发的速度?毕竟,对于像 Snowflake 这样的组织来说,这确实是一个挑战。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我以前做过很多类似的事情,过程大致相同。首先,最重要的是你需要确保有一个值得信任的安全保障措施,例如通过回归测试来验证新代码的正确性,以免影响关键功能。 然而,即使推进得再快,也难免会犯错误。因此,你需要区分不同类型的错误。对于一家数据库公司来说,有些错误是灾难性的,比如错误写入数据,可能需要几个月才能修复。所以你需要理解风险是什么,然后为这些情况设计一个安全保障措施,以便在问题发生之前就能够检测到它们。
如果真的出现问题,该如何快速解决呢?在 Google,我们构建了一个自动化的实验扩展框架。基本上,你会提出一个新实验,所有的更改都在这个实验框架中进行处理。这个系统会自动在一台机器上运行实验,观察 15 分钟,确保机器不崩溃,然后在 0.1%、1%、10%的范围内逐步推广,并在整个过程中进行测量。这样一来,你的开发速度会提高,因为团队可以设计大量实验,并迅速推出。正如我所说,首要任务是安全保障措施,因此我们花了很多时间在这方面。第二个重点是内部循环效率,也就是你能多快地进行单一更改,因为这最终决定了你能推进多少个更改。
在他们的系统设计中,Snowflake 大约在两年前我加入之前就开始了一个使系统具备可扩展性的过程。正如我在 Snowflake 所说,我们为统一的单一产品感到自豪,但这可能会阻碍速度。因此,你必须设计好如何使系统具备可扩展性。AI 就是一个利用该框架的例子。从某种程度上,这也需要领导层对什么是重要的提供明确反馈。各团队总是有无尽的工作要完成,需要明确方向和责任感。例如,在 AI 团队中,我要求每个团队做出承诺,以达到清晰的效果。虽然有三个月的计划,但同时也要承诺接下来两周会做什么,并检验自己是否完成了承诺的任务。
在我看来,要不断进步,生活就归结为言出必行并反思改进。Snowflake 中有很多已经存在的积累,但确实带来了质量和速度并重的理念。 这是一种改变,但人们欣赏多做事的想法。我从未遇见过一个软件工程师会说:“即使后天,我只想发布。”他们都希望今天就完成。因此,这本身就形成了一种动力。当你发布了一系列产品,并有许多客户使用时,这会让团队获得正能量,并巩固这种良好的行为模式。我认为团队的反应非常积极。我告诉他们,听着,这就是 AI 的世界,每周都有变化,而且你需要以这样的速度构建。我对团队的反应非常满意。
帕特·格雷迪(Pat Grady)
在人工智能领域,你们到目前为止取得的成就中,有哪些是你们特别引以为豪的?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我认为,Cortex Analyst 可能是我们设计和推出过的最具挑战性的产品。像 Cortex AI 这样的产品,它作为我们平台的一部分,我为此感到自豪,但它更类似于我们预期中的基础设施项目。在底层,我们需要解决很多问题,例如是使用 vLLM 还是其他技术?如何优化推理?在获取 GPU 极其困难的情况下如何获得资源?还有许多类似的挑战。Document AI 是我们在新领域中应用技术实力的独特结合,对客户有着深远的影响。
Pat,你知道,要选出“最喜欢的项目”并不容易。还有更多没提到的项目,比如 Polaris,我们的云目录,三个月内就完成了。我认为团队充满活力,虽然这是一个缓慢的过程,但它表明我们可以兼顾速度与质量,只是看问题的侧重点。我一直坚信,技术的精湛胜过策略。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
你的执行速度和对情况的反应速度往往比策略更重要。没错,策略是需要的,但生活从来不是只遵循固定策略的,因为我们生活在一个非常动态的世界中。很难预测哪个产品会大获成功,或者你的竞争对手会如何行动。 比如,我们要谈论 GPT-5。这是个很大的未知数,我们不知道它何时发布以及会产生什么影响。因此,我非常强调在工作中需要快速应对。我想说的就是,这正是我试图传达给团队的信息。
帕特·格雷迪(Pat Grady)
我可以看到从 Slootman 时代到 Sridhar 时代的良好延续。我至少听 Frank 提过几次这句经典名言:“今天执行的好计划胜过明天的完美计划。”我完全同意这个观点。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我提到过适应性,拿破仑有一句名言,大意是:“先投入,然后适应。”尽管这句话并非拿破仑原创,且在他之前就已存在。它的意思是,当你进入一个重要领域时,要承认自己并不了解所有事情,然后根据实际情况进行调整。
桑娅·黄(Sonya Huang)
关于 Snowflake 与 AI 之间的关系,有一些常见的误解需要澄清。首先,许多人以为 Snowflake 本身是一种生成式 AI 技术。实际上,Snowflake 是一个专注于数据存储和分析的云数据平台,并不是生成式 AI 工具。不过,Snowflake 具备与 AI 模型集成交互的能力,能够作为开发 AI 应用的支持平台。
另一个常见的误解是认为在 Snowflake 上进行 AI 相关操作非常复杂。其实,Snowflake 支持多种工具和库,使得运行 AI 模型变得既简单又高效。因此,正确理解 Snowflake 的角色和功能对于充分发挥其在 AI 领域的潜力至关重要。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
过去,大家普遍认为 Snowflake 不具备足够的 AI 知识。起初,我们主要依赖合作伙伴策略来应对 AI 的挑战。然而,我最大的领悟是,AI 是一种平台变革,这意味着它将成为我们、你以及全球用户与软件和应用程序互动的新方式。 一旦意识到这一点,我们便在产品上进行了多项变革,使得 AI 成为 Snowflake 的核心。
我们需要确保应用程序的构建变得极为简单,同时致力于开发一些关键应用程序。例如,Cortex Analyst 就是一个面向商业用户的直接应用程序。以前我们没有真正这样做过,因为我们坚信 AI 将彻底改变信息的消费方式。我对我们世界级的团队感到自豪——无论是基础模型和推理的专家,还是负责将 AI 整合进产品的工程师,以及在 AI 基础上构建应用程序的产品工程师。此外,得益于 Polaris 和 Iceberg 提供的广泛数据访问能力,我认为这让我们处于非常有利的地位。
桑娅·黄(Sonya Huang)
我们能从长远的角度谈一谈你的理论假设以及你对人工智能未来的一些大胆预测吗?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
当然。
大语言模型的发展方向
桑娅·黄(Sonya Huang)
我认为你处于一个非常有利的地位。你可能在 Neeva 构建了首批甚至是首个面向消费者的原生大语言模型应用。从你在 Snowflake 的角色来看,你一定观察并了解了许多情况。也许我们可以先讨论一下大语言模型在实现规模化过程中的竞争。对此你有什么看法?我们是不是已经达到了规模化的极限?在这个领域中,下一步该怎么做?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
显然,这可能会有几种不同的发展方向。我与许多专家交谈过,他们普遍认为 GPT-5 即将到来。然而,我认为目前还没有人能够明确预测它将带来什么样的影响。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
GPT 4.0 的性能非常出色,不仅速度更快,而且在多模态整合方面表现十分惊人。然而,在推理能力,特别是设计和执行计划的能力方面,它尚未被视为质的飞跃。尽管像 Cortex 和 Cortex Analyst 这样的智能体技术非常受欢迎,但在 Cortex Analyst 出现之前,人们并不认为可以构建出可靠的“对话式数据”应用。这些应用一直处于某种程度的隐匿状态。
需要记住的是,我们的标准非常高。如果你把数据交给商业用户,75%的准确率意味着每做四次操作就会有一次出错。因此,我认为一个重大未知数是这些模型是否会在多步骤推理上取得重大进展。 如果能够实现,它们将催生全新类别的应用程序,这是我们现在难以想象的。与此同时,我认为现有的模型在推动广泛应用方面已经能够做很多事情,每天对我们每个人都很有帮助,比如查看邮件或浏览 PDF。想想那些繁琐的工作,我们都不得不应付。
因此,我认为仅仅通过将 AI 技术融入到软件中,特别是用户输入的部分,就会带来巨大影响。与其他技术不同的是,我认为 AI 已经产生了足够的效果,对社会有重大影响,只是需要时间来显现。我真心希望我们不会进入一个需要花费数十亿美元才能训练出优秀新模型的阶段。实际上,我认为尽管这样的模型功能强大,但这也可能导致拥有这些模型的人数减少。我觉得竞争总体来说是健康的,但这很难做出判断。
帕特·格雷迪(Pat Grady)
您提到过这一点,但我想更深入了解您的看法。如果 GPT-5 被推迟或没有显著提升,或者在任何情况下,我们想象一个仅有当前基础模型能力的世界,那么我们应该如何应用这些能力?我们怎样才能优化和调整这些能力?
许多从事 AI 开发的人表示,项目的初期阶段简直如同经历了一段神奇的时光,一切看起来都很非凡。然而,接下来的几个月可能就会变得比较艰难。他们可能会遇到算法难以处理某些边缘情况,或在准确性方面存在问题,导致他们感到挫折。有时他们可以通过工程方法解决这些问题,但有时却很难实现。这会让人感觉失望,仿佛这些技术并不像最初想象的那样理想,或许它们尚不够成熟。
因此,我很想听听您的看法:如果我们今天就冻结基础模型的能力,在未来几年内,企业领域会有哪些变化?又有哪些因为我们还没有做好准备而无法实现的?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
对我来说,这确实体现了软件工程的魅力。在某种程度上,我们默契地接受了 ChatGPT 的特性,它让人感觉像是一种全知实体,似乎能处理各种任务。尽管开发者从未明确表示这一点,并且非常谨慎,避免给出这种暗示。这有点类似于 Google 搜索从未告诉你某个查询是没有意义的。想想看,对吧?
帕特·格雷迪(Pat Grady)
这样做可能会非常有趣。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
确实如此。然而,许多人提出了一些无聊的问题,而 Google 的反应似乎是“哦,好吧”。
帕特·格雷迪(Pat Grady)
我输入了很多无意义的查询。是的。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
他们常说:“哦,这里有 1 亿个网页,这是你的简单查询的 10 个最佳页面。”因此,我认为有些东西是好的,那是 AI 早期的热情,人们期望 AI 无所不能。但有些做法纯属愚蠢,根本不该实施。对我而言,这就是为什么我们需要创建一个有坚实基础的聊天机器人,使其成为信息互动的常态。这类应用应该可以使用现有的模型,并且能够告知你信息的来源。你应该可以轻松验证这些信息,确认你获取的内容是可靠的。
此外,你还需要一个测试框架,比如 Harrison 提到的观察框架,以便持续监测。我认为在讨论聊天机器人时,人们常常忽视了回归测试集和软件验收标准的重要性。如今,任何人在建立新应用时,比如你们的创始人之一,他们都期望有一个概念,并在交给客户之前进行实际测试。
然而,在 AI 领域,我们似乎觉得这些并不重要。只要对提示稍作修改,这些模型的反应就会非常剧烈。因此,我认为需要这样的观念:这是一个需要传统软件工程实践和性能衡量的领域。这标志着从一个可能成功或不成功的业余项目,向具备能力的软件工程转变的过程。 我们认为这是我们的核心优势之一,你应该有一种可预测的方法来了解这个聊天机器人的可行性。例如,代理应用的成功率,或者 Cortex Analyst 在你的领域能为你做些什么,以确保你可以放心地部署它。即使 GPT-5 没有推出,我认为仍有许多神奇的事情可以做到,但这同样需要付出努力。
帕特·格雷迪(Pat Grady)
确实,说得很好。我不记得这句话是谁说的……人们常常因为辛苦的工作外表而错过了许多好机会。我认为这句话正是典型的例子,与其他事情类似,如果你希望它取得成功,就必须付出努力。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
你必须努力付出辛勤的汗水。对我来说,这就是为何你应该关注召回率,并考虑对其进行优化的原因。将召回率视为思考这些应用时的重要部分。任何合格的机器学习工程师都会告诉你,他们会关注 AUC 曲线。实际上,他们的意思是:在优化模型性能和模型表现之间存在一个权衡。没有完美的答案,这正是 AUC 曲线的意义所在。 我们越是将 AI 应用视作类似于 AUC 曲线的存在,就越需要在可靠性和响应能力之间做出取舍。在考虑这些应用时,这应是一个非常明确的因素。我认为,如果我们能更好地理解这些内容,将有助于探索这些应用在哪些方面能够真正提供价值。
桑娅·黄(Sonya Huang)
我想回到你刚才提到的关于推理的观点,希望这能为 GPT-5、Claude 等带来下一次大的突破。看起来,大多数研究者的方法是在推理阶段引入信息检索和更多计算资源,这种 AlphaGo 式的搜索东西也更多。鉴于您是全球在搜索算法方面非常出色的专家之一,我很好奇,您认为这些因素是否是为通用模型引入推理能力的理想研究路径?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我理解搜索在这些模型中确实发挥了作用,但你能否再详细说明一些相关信息呢?
桑娅·黄(Sonya Huang)
以 AlphaGo 为例,当它试图决定下一步棋时,可以构建分支树,列出从当前局面开始的所有可能走法,并进行这种类型的搜索。例如,它需要决定在此处应该采取哪一步。我认为,人们正在尝试将这种逻辑应用到其他领域。比如,你可能了解 Devin 的认知项目,在这些项目中,他们探索编程中可能进行的各种操作。因此,为了进行推理,给予模型搜索可能路径的能力,以便确定下一步应该怎么做。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
关于这个主题有很多论文,甚至 NeurIPS 也发表过多篇关于领域搜索的论文。在制定计划时,我认为理解这一点非常重要。我忘记了 NeurIPS 那篇论文的具体名称,但它也涉及同样的问题。他们在进行树搜索,树搜索主要依赖于一个模型,通常是神经网络,用来评估状态空间中的特定点。像 AlphaGo 这样的例子展现了对于有利位置的深刻理解,并由此引导搜索。
然而,在开放性问题中,当你要为搜索空间提出替代方案时,评估它们是否有效可能会变得不明确。当然,这些技术在有结构的游戏中效果显著,因为你可以学习并优化到最佳状态。但像烹饪这样看似简单的任务,我并没有完全把握。你可能认为烹饪简单,但如果有 10 种食材和 20 个步骤,其中每一步都有多种操作选择,这些操作时间不定,组合方式会迅速爆炸。尽管完美的食谱可能只有几个,但在实际环境中如何评估这种认知能力的提升,我没有很好的把握。
在结构化环境中,这相对简单;但在现实世界中,当实施相对复杂的任务时,这问题会变得更棘手。我们为分析用的代理创建了原型,但这仍然是在结构化空间中进行。由于我几乎一生都在进行计算,从 10 岁起我便开始为父亲管理家庭财务,我们就像在笔记本上一样。过去 20 年里,我每天都会收到一封关于公司前一天表现的邮件,这曾被称为“Google 的账房先生”。每天都如同收到一张成绩单。每隔几周就会出现一些问题,比如在某个地方收入减少。然后,我们会开始一个可预见的流程,一位可怜的分析师深入研究各种切片,找出可能的问题。他们会告诉我,哦,Sridhar,那是因为德国的复活节和巴西的耶稣升天节影响了我们的数据。
我们花了十年时间才将这些复杂因素建模成一个预测模型。尽管他们的分析有其局限性,但我们已经构建了 AI 分析师原型,能够减少 AI 诊断问题时所需的工作量达 60%到 70%。这种方法相当灵活,您可以告诉语言模型这是我的属性,我将调用 Cortex 分析师并传递参数,获取结果并进行检查,然后告诉我下一步怎么做。如此一来,您就能自动化某些步骤,使其真正有用。然而,当面对 100 种不同事物时,如何判断和裁剪它们仍是一个开放性的问题。我必须承认,这部分我没有很好的直觉。
传统企业与初创企业的竞争
桑娅·黄(Sonya Huang)
我想了解一下您对搜索领域各个不同方面的看法。在 Google 和 Neeva 的经历显然赋予了您对搜索领域的独到见解。目前,消费者既兴奋又紧张地期待着是否会有新的搜索行业领军者出现。我很好奇,您对当前整个 AI 搜索领域有何看法。
帕特·格雷迪(Pat Grady)
关于 Perplexity,你是否有其他看法?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我为 Perplexity 的表现感到欣慰,这提醒我们时机和地点的重要性。在 Neeva,我们对搜索的见解与 Perplexity 相似,但我们的尝试早了两三年。时机最终是决定成败的关键。你可以将 Perplexity 视为我们期望用户在信息处理中达到的状态。实际上,没有人愿意翻看八页文档只为找到两行重要的信息,这正是当前搜索引擎的现状。从这个角度来看,这是一个很好的定位。
我认为更重要的是,搜索行业作为一个商业领域,多数是通过商业合同而非消费者选择来维系的。 消费者的选择在许多情况下只是个幻想。我们通常接受眼前的事物,并使用浏览器默认的搜索引擎进行搜索。尽管我们可能不愿意,但这反映了整体人类的现实。因此,我认为这是一个更大的挑战,因为搜索行业的入口大多被少数巨头掌控。我觉得这是一个根本性的问题,进入搜索业务的难度很大。大多数消费者并不会主动去改变现状。
帕特·格雷迪(Pat Grady)
在当前的 AI 领域,还牵涉到一个更广泛的问题,即传统企业与初创公司间的竞争。历史上,这种竞争的核心问题是,传统企业是否能在初创公司建立起分销体系之前,利用其市场分销能力推出具有吸引力的产品。搜索引擎是一个很好的例子。即使你的产品全世界最具吸引力,改变消费者行为仍然极其困难。AI 领域在这方面成为一个有趣的测试案例,因为许多有趣的产品可以通过开源社区或第三方模型获得。在这种情形下,传统企业似乎比初创公司更有优势。对此你有什么看法?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我会从两个角度来看待这个问题。首先是关于模型、开源模型以及像 Meta 这样的参与者。这些公司基本上有着无限的预算,并与开源模型紧密结合。我认为,要从零开始创建一个模型非常困难,除非你有一个紧密联系的大型云计算平台或相关业务。因此,我希望不会出现多个与 GPT-5 级别相当的模型,因为这可能对全球产生不利影响。因此,我会说,如果一家基础模型公司缺乏强大的业务支撑,它的模型就只能算是一个产品。 我认为 OpenAI 创造了一个非常坚实的产品,这不仅是一个基础模型,这是需要牢记的关键。
关于你的第二个问题,我将从历史的角度回答破坏性创新的问题。我认为每一代硅谷公司都从前一代学习到了经验,他们更加聪明,知道如何打破常规,并会更积极地投入。我们都知道,从 IBM 等中型计算机的颠覆性变化,然后微软等公司颠覆了世界,互联网的出现导致了谷歌等公司的崛起,移动互联网也是如此。我认为在每次这样的转变中,资金雄厚的强大企业都能展现出更早、更快参与的能力。例如,我在谷歌工作时,我们非常积极地进入家庭助理市场,因为我们认为 Alexa 将会主导市场,并成为人们搜索信息的方式。这让我们非常担心,因此投入了大量资金,但最终什么也没得到。这并不重要,因为颠覆成本远比所要投入的资金多得多。
我认为现在可能是第五代或类似的情况。所有现有企业都非常意识到可能被颠覆的领域,并采取积极行动。就像我之前提到的那样,我认为 AI 正在重新洗牌企业软件的一些领域。我认为,比如 Snowflake,不会坐等 AI 的发展,而是积极行动去引领这一进程。你会看到每家企业 AI 公司都在以类似方式采取行动。对我来说,这就是 AI 在消费软件中带来多少颠覆的问题。显然,新门类一定会出现。如果我是一个创业公司,我会觉得开辟新的产品类别更加安全,比如大规模图像创建,这非常令人惊叹。视频和语音也是如此。在这里,你可以进行许多专业化工作,将它们应用于市场营销。在 AI 领域,新事物似乎是更安全的赌注,而不仅仅是用 AI 来加速某项任务的完成。 我认为那样的做法不会有太多发展潜力。
桑娅·黄(Sonya Huang)
你认为 ChatGPT 有机会成为下一个 Google 吗?你提到消费者选择是一种幻觉,而商业交易才是真正决定这些问题的关键。我对 Apple 与 ChatGPT 合作的前景感到很好奇。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我认为 ChatGPT–我是说,手机是一个非常有趣的地方。对我来说,手机是一个可控的环境,实际上为消费者提供了巨大的潜力。我跟人们说过一件很荒唐的事,比如从日历或电子邮件中复制一个地址到 Uber 上。太蠢了,太难了。你知道,你会认为 Siri 会这样做,从 Pat 的这封电子邮件中复制地址,然后把它粘到 Uber 上,这样我就能叫到 Uber 了。
此外,由于移动生态系统相对封闭,苹果可以要求应用程序接口(API)开放给语言模型,这样开发者就可以获得更多流量。这为各方提供了强大的合作动机。因此,我认为这一领域有巨大的潜力。我希望在这方面看到更多的创新,因为从技术上来看,这一切都是完全可行的。我们可以讨论哪些任务应该在云端完成,哪些可以在手机上处理。但作为消费者,你真的在乎这些吗?我们有良好的网络连接。我个人可以接受即便是只能在联网时工作的技术。这些细节并不重要。
我确实觉得 ChatGPT 是一个了不起的产品。它的底层技术非常出色,他们打造了一种出色的用户体验,甚至让像我这样在绘画方面能力欠佳的人也成了艺术新手。我总是告诉别人,我在写作和交流方面挺擅长,而 ChatGPT 帮助我实现了许多惊人的创作。最近,我对语言产生了兴趣,开始学习印地语。有一次,当我在处理数字时遇到困难,我输入提示请求将一串数字转换为印地语的 CSV 文件,结果十秒钟内就生成了一个 CSV 文件。我下载到 Quizlet,立刻可以进行测试。因此,过去用 Python 脚本完成的几乎所有结构化数据处理,现在通过简单的英文指令就能实现。你只需上传 CSV 文件,然后请求“把这两列加起来,格式化为漂亮的表格并导出”。对我来说,这简直就是魔术。
所以我认为这绝对是一个亮点,对于产品和业务来说,这都是一个绝佳的选择。但是,要想成为搜索之王并不容易,仅靠小幅改进是不够的。
帕特·格雷迪(Pat Grady)
我们要用几个快速问答来结束吗?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我们开始吧。好的。
帕特·格雷迪(Pat Grady)
在人工智能领域,您最钦佩的人是谁?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
我最敬佩的是那些在人工智能领域中勤奋工作的专业人士,特别是那些即使条件有限仍能推动模型发展的优秀人才。比如像 Arthur 和 Danny 这样的人,他们在资源匮乏的环境中也取得了非凡的成就。再比如我们的团队成员 Samyam 和 Yushan,即使我告知他们预算紧张,他们仍然展现出了极高的创造力。在我看来,他们体现了在压力下推动研究前进的极大创意。我对许多这样务实而真诚的研究人员充满敬意,因为他们是在有限条件下推动未来创新并付诸实践的人。
帕特·格雷迪(Pat Grady)
未来五到十年内,AI 领域中最让人期待的发展是什么?你最期待看到哪些 AI 领域的进步?
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
软件可以被视为我们思维方式的编码,既捕捉了我们在现实世界中思考与行动的能力,又在过去 50 多年中发挥了变革性的作用。对我而言,AI 作为一个开放的渠道,无论是在软件创建过程中,还是在通过软件为全球所有人提供服务方面,都体现了显著的提升。
我认为这并不完全依赖于大量的新技术。新技术的确可以推动新类别应用的发展。我很自豪地指出,如今,通过像 Android 这样的技术,我们几乎将 Google 搜索带到了全球每个人的手中。尽管可能会有人对技术持怀疑态度,但这无疑是人类的一大进步。对我来说,当 AI 模型成为人类与软件、软件与软件之间的新桥梁时,它实际上增强了功能的广泛可及性。这正如我所提到的,包括创建和使用这两个方面。 我认为这是一件非常令人期待的事情,这一切都令人充满期待。
帕特·格雷迪(Pat Grady)
非常感谢你的帮助,Sridhar。
斯里达尔·拉马斯瓦米(Sridhar Ramaswamy)
感谢你,Pat。感谢你,Sonya。