企业动态
Cerebras Systems 秘密提交 IPO 申请
Cerebras Systems 是一家专注于研发用于深度学习的 AI 芯片的美国加州半导体公司，已秘密提交 IPO 申请。该公司推出了全球最大的 AI 芯片 Wafer Scale Engine（WSE），其第三代 WSE-3 拥有高达 4 万亿个晶体管，一天即可完成 Llama 700 亿参数的训练。Cerebras 的客户包括美国阿贡国家实验室、劳伦斯利弗莫尔国家实验室和葛兰素史克等。尽管在芯片性能上具有巨大优势，但 Cerebras 的市场规模仍远小于英伟达，未来如何扩大应用场景和市场接受度将是其面临的挑战。
GitHub 前 CTO Jason Warner 创办 Poolside.ai，融资 4 亿美元
GitHub 前首席技术官 Jason Warner 离职创业，创办了 Poolside.ai，专注于开发用于软件开发和应用程序编写的 AI 工具。此次融资由贝恩资本风投和 DST 领投，金额高达 4 亿美元，估值达到 20 亿美元。Poolside.ai 计划利用这笔资金推动其 AI 工具的研发和市场扩展，未来还将拓展 AI 编程能力到更广泛的领域。Warner 在 GitHub 和 Heroku 积累了丰富的技术和管理经验，他的新项目有望为程序员提供强大的编程助手，同时也可能对传统编程方式带来颠覆性挑战。
腾讯大模型人才扩招 50%，面向全球顶尖天才
腾讯宣布大规模扩招大模型相关人才，计划在全球范围内增加 50% 的招聘名额。此次扩招将直通 2025 年校招，腾讯承诺提供充足的薪资和算力支持，以吸引顶尖天才加入。各大厂和创业公司也在激烈竞争大模型人才，腾讯的这一举措无疑将进一步加剧这一趋势。
人物与发言
Ilya 提出人工超级智能（ASI）概念，预测 AI 研究将迎来巨大飞跃
Ilya 提出了人工超级智能（ASI）的概念，认为一旦实现人工通用智能（AGI），AI 研究将迎来质的飞跃。他预测，领先的 AI 实验室将不再仅依赖几百名人类研究员，而是拥有数十万倍的 AI 研究员进行算法突破和递归自我改进。这一观点引发了广泛讨论，认为 AI 技术的发展将超越科幻小说的想象。
黄仁勋谈人形机器人未来普及及其对生活的影响
黄仁勋认为，人形机器人将在未来一百年内像汽车一样普及，成为世界上制造的最大规模机械系统。他指出，机器人技术的复杂性和对物理世界的理解是其普及的关键挑战。黄仁勋强调，随着 AI 技术的快速发展，机器人将能够完成许多人类无法或不安全完成的任务，从而极大地改变我们的生活。
黄仁勋建议全球公司和学生抓住 AI 革命机遇
NVIDIA 的黄仁勋在一次访谈中表示，AI 革命是一个全新的开始，全球公司应制定 AI 战略，学生应尽快学习 AI。他强调，AI 技术的发展速度极快，抓住这一机遇将带来巨大的繁荣机会。黄仁勋还指出，NVIDIA 的增长将为台湾带来巨大利益，鼓励台湾公司在 AI 革命中大有作为。
马斯克透露 X 平台或将与 Midjourney 合作
在最近的一场 X Space 对话中，埃隆・马斯克透露，X 平台可能即将与 Midjourney 展开合作。这一合作将使用户能够在 X 平台上直接使用 Midjourney 的 AI 技术生成图像。结合 X 的 Grok 聊天机器人功能，这种合作有望丰富平台上的用户互动体验。Midjourney 是一家专注于艺术创作的美国 AI 公司，提供梦幻、超现实风格的图像生成服务，深受艺术家和设计师的喜爱。
微软副总裁塞巴斯蒂安・布贝克探讨 AGI 实现的挑战
微软副总裁塞巴斯蒂安・布贝克在讨论中指出，当前技术可能无法实现通用人工智能（AGI）。他认为，通过压缩复杂数据（如网络数据）来创建具备所有必要操作的 “心智” 可能在计算上非常困难。布贝克强调，虽然扩大模型规模可以帮助发现这些操作，但也可能导致过拟合问题。他提出，对于每个特定能力 C，存在一个平衡点 P （C） 和 O （C），分别代表平滑发现该能力所需的参数数量和过拟合风险的参数数量。布贝克表示，目前尚无明确证据表明对于任何能力 C，P （C） 总是小于 O （C），这仍需进一步的实证研究来验证。
论文与研究
吴恩达团队展示多模态模型在多样本上下文学习中的优越性
吴恩达团队的新研究表明，多样本上下文学习可以显著提升多模态基础模型的性能。研究在多个领域和任务的 10 个数据集上对 GPT-4o 和 Gemini 1.5 Pro 进行了基准测试，结果显示多样本上下文学习在所有数据集上均有大幅改进。研究还探索了批量查询对性能和成本的影响，发现批处理 50 次查询可提高零样本和多样本上下文学习的性能，同时降低成本和延迟。此外，Gemini 1.5 Pro 在大多数数据集上的学习效率高于 GPT-4o。
Keyon Vafa 研究揭示 Transformer 模型在纽约出租车路线预测中的局限性
Keyon Vafa 的新研究探讨了如何判断 Transformer 模型是否具备正确的世界模型。研究团队训练了一个 Transformer 模型来预测纽约出租车的行驶路线，结果显示模型在找到新点之间的最短路径方面表现良好。然而，研究人员通过重建模型的地图发现，尽管模型在某些任务上表现出色，但其内部的世界模型仍然脆弱，容易受到路径绕行等因素的影响。这项研究进一步表明，当前的大型语言模型尚未具备稳健的世界模型。
杨立昆探讨对抗训练和基于人类反馈的强化学习在大规模输入空间中的局限性
杨立昆指出，对抗训练、基于人类反馈的强化学习（RLHF）和输入空间对比方法在处理大规模输入空间时表现有限。他解释说，输入空间过于庞大，导致错误的可能性太多。Tony Wang 提到，约 18 个月前，他和合作者发现，通过简单的对抗策略，人类可以击败被认为超越人类水平的围棋 AI。此后，他们测试了一些基本的防御技术，但结果并不理想。
模型与应用
AnthropicAI 发布 Claude 3.5 Sonnet，速度提升两倍，价格降至五分之一
AnthropicAI 推出了其下一代模型 Claude 3.5 Sonnet，并在其网页版推出了新的 Artifacts 功能。相较于之前的 3.0 Opus 版本，速度提升了两倍，价格仅为五分之一。Claude 3.5 Sonnet 在研究生级别测试 GPQA、多语言理解测试 MMLU 和 HumanEval 代码测试评分上表现优异，全面超越了 GPT-4o 和自身的上一版本。AnthropicAI 计划在今年底发布更快速便宜的 Claude 3.5 Haiku 以及推理能力更强的 Opus。
Artifacts 允许用户将生成的代码显示成网页，包括 HTML、JS、CSS 和 SVG 代码。这一功能使用户能够创建和展示各种有趣的内容，如 SVG 图形、HTML+CSS 网页、HTML5 游戏、JS 版 PPT 和网页动画等。虽然 Artifacts 功能不如 Code Interpreter 能执行 Python 那么强大，但其实用性仍然很高。
Jan Leike 表示他喜欢使用 Sonnet 来解释机器学习论文，尽管 Sonnet 并不总是完全正确，但其表现比他自己快速浏览要好得多且速度更快。他还提到，自动化对齐研究正在取得进展。
宾夕法尼亚大学沃顿商学院教授 Ethan Mollick 分享了他使用 Claude 3.5 进行实时游戏开发的经历。他描述了该工具的快速响应和灵活性，能够在短时间内创建一个包含机会成本教育和克苏鲁风格元素的街机游戏原型。这一体验展示了 Claude 3.5 在实时开发中的强大功能和潜力。
Meta Llama 团队推出 Ghost Attention 技术提升多轮对话模型表现
Meta Llama 团队发布了 Llama 2，并开发了一种名为 Ghost Attention（GAtt）的训练技术，通过使用强化学习人类反馈（RLHF）来微调模型响应，使其在多轮对话中更好地保留初始指令。SAIF CHECK 团队对此技术产生了兴趣，并利用 Meta Llama 3 构建了一个模型评估系统，帮助公司了解潜在风险并确保其技术在使用市场中的合规性。
Meta FAIR 推出 JASCO 模型，提升文本到音乐的可控性
Meta FAIR 本周发布了 JASCO 模型，该模型在文本到音乐的转换中，通过使用和弦或节拍等条件输入，显著提升了可控性。JASCO 的推出标志着在音乐生成领域的又一重要进展。
Google AI 推出轻量级视觉语言模型 PaliGemma
在 CVPR2024 大会上，Google AI 展示了其最新的轻量级视觉语言模型 PaliGemma。该模型受 PaLI-3 启发，旨在提供高效的视觉和语言处理能力。Google AI 在展会上进行了互动演示，展示了 PaliGemma 的强大功能和应用潜力。
Kimi 发布 Context Caching 功能，提升长文本大模型效率
Kimi 开放平台即将内测其 Context Caching 功能，该技术能够缓存和重用重复内容，从而显著降低用户在请求相同内容时的成本，并大幅提升 API 响应速度。此功能特别适用于大规模和重复度高的 prompt 场景，如 QA 机器人、固定文档查询、静态代码分析和 Agent 交互等。Context Caching 的最佳实践、计费方案和技术文档也将同步发布。
斯坦福大学符子鹏博士团队推出 HumanPlus 人形机器人
斯坦福大学符子鹏博士（Zipeng Fu）及其团队推出了 HumanPlus 人形机器人。该机器人能够执行折叠运动衫、从仓库货架上卸下物品等任务，还能根据摄像头捕捉并模仿人类的动作。值得注意的是，HumanPlus 机器人的硬件和底层固件由中国公司 Unitree 宇树科技提供支持。