2024 年 8 月 23 日，Google AI Edge 团队在其博客上发布了一篇文章，介绍了他们如何重新设计模型加载代码，以克服多个内存限制，并使得在浏览器中运行更大的（7B+）大语言模型（LLMs）成为可能。这一进展是通过使用 Google AI Edge 的跨平台推理框架 MediaPipe 实现的。具体来说，团队使用了 MediaPipe 这一跨平台推理框架。MediaPipe 最初是为实时计算机视觉任务设计的，但其灵活的架构使其也适用于大语言模型的推理。通过优化内存管理和数据流，MediaPipe 能够高效地在浏览器中加载和运行大模型。
在社交媒体上，用户对这一新闻反应热烈。Twitter 用户 @GoogleAI 在 8 月 22 日发布了一条推文，介绍了这一技术突破，并附上了博客链接。许多用户在推文下留言。一位用户评论道：“这将彻底改变我们在浏览器中使用 AI 模型的方式，期待看到更多应用！” 另一位用户则表示，这将为开发者带来更多可能性。
此外，技术社区也对这一进展进行了讨论。GitHub 上的 MediaPipe 项目页面在新闻发布后访问量激增，许多开发者开始尝试在自己的项目中集成这一新功能。一些开发者还在博客和论坛上分享了他们的使用经验和技术见解。
浏览器中运行大语言模型的能力将为多个领域带来变化。在教育领域，学生和教师可以直接在浏览器中使用 AI 工具进行学习和教学。无需安装复杂的软件或依赖高性能硬件，任何拥有普通电脑或移动设备的用户都可以访问这些工具。在企业应用中，浏览器中运行的大语言模型可以用于客户服务、市场分析和内部沟通等多个方面。企业可以通过集成这些模型，提高工作效率和服务质量。例如，客户服务代表可以使用 AI 助手快速回答客户问题，而市场分析师可以利用 AI 模型进行数据分析和预测。在医疗领域，医生和研究人员可以使用这些模型进行医学研究和诊断支持。通过在浏览器中运行大模型，医疗专业人员可以随时随地访问最新的医学知识和研究成果。
专家们对这一技术突破也发表了看法。谷歌 DeepMind 科学家 Nicholas Carlini 在其博客中分享了他对大语言模型的使用经验。他指出，这些模型在编程和研究中非常有用，可以帮助构建完整应用程序、优化代码性能和自动化单调任务。他同时也表达了对 LLM 可能带来的负面影响的担忧，如信息滥用和就业机会减少。另一位专家，AI 研究员 LeCun 在访谈中提到，视觉感知的数据带宽远高于文本语言数据带宽，这意味着在未来的多模态 AI 应用中，视觉和语言模型的结合将带来更大的潜力。他认为，Google AI Edge 团队的这一突破为多模态 AI 的发展提供了新的可能性。
总的来说，Google AI Edge 团队在浏览器中运行大语言模型的技术突破为多个领域带来了新的可能性。通过重新设计模型加载代码并使用 MediaPipe 框架，他们克服了内存限制，使得在普通设备上运行 7B + 参数的大模型成为可能。这一进展不仅降低了 AI 技术的使用门槛，也为教育、企业和医疗等领域带来了新的应用场景。