Mistral AI 在 2024 年 10 月 17 日推出了两款新的边缘计算模型:Ministral 3B 和 Ministral 8B。这两款模型专为提升设备上的计算效率而设计,优化了边缘应用的任务路由和 API 调用性能,并支持 128,000 个 token 的上下文窗口,采用滑动窗口注意力机制,以便在资源受限的设备上推理。
在性能基准测试中,Ministral 3B 模型在 MMLU 中获得了 60.9 分,超越了 Google 的 Gemma 2 2B 和 Meta 的 Llama 系列。该模型的滑动窗口注意力机制及零样本泛化能力,使其能够处理未曾见过的视觉内容,适用于设备翻译、智能助手等多个领域。
定价方面,Mistral AI 采用基于 token 的计费模式。具体而言,3B 和 8B 模型的费用分别为每百万个 token 0.04 美元和 0.1 美元。
随着实时数据处理需求的增长,这些模型在推理效率及适应性上可满足市场对边缘 AI 技术的需求。此外,它们的私有化部署能力也进一步保障了数据安全,能够适应不同客户的需求。