Meta 公司于 2024 年 10 月 25 日发布了量化版本的 Llama 3.2 模型,显著提升了移动设备上的 AI 性能。推理速度提高了四倍,模型大小减少了 56%,内存使用量减少了 41%。这些模型分为 1B 和 3B 两个类别,专为移动设备进行了优化。Meta 在 Hugging Face 平台上公开了这些模型,供开发者使用。同时,Meta 与 Arm、MediaTek 和高通合作,拓展模型在移动 CPU 上的部署可能性。这项技术降低了 AI 功能在移动设备上的部署门槛,使得中端设备也能运行复杂的 AI 模型。此外,量化版 Llama 3.2 能够在设备本地运行应用,减少了对云数据传输的需求。
