移动设备爆发！Meta 新模型实现四倍推理速度提升

Meta 公司于 2024 年 10 月 25 日发布了量化版本的 Llama 3.2 模型，显著提升了移动设备上的 AI 性能。推理速度提高了四倍，模型大小减少了 56%，内存使用量减少了 41%。这些模型分为 1B 和 3B 两个类别，专为移动设备进行了优化。Meta 在 Hugging Face 平台上公开了这些模型，供开发者使用。同时，Meta 与 Arm、MediaTek 和高通合作，拓展模型在移动 CPU 上的部署可能性。这项技术降低了 AI 功能在移动设备上的部署门槛，使得中端设备也能运行复杂的 AI 模型。此外，量化版 Llama 3.2 能够在设备本地运行应用，减少了对云数据传输的需求。