2024 年 9 月 6 日，面壁智能发布了 MiniCPM 3.0，这是一款具备 4B 参数的端侧 AI 模型。MiniCPM 3.0 在自然语言理解、知识、代码、数学等多项能力上超过了 Qwen2-7B、Phi-3.5、GLM4-9B、LLaMa3-8B 等模型。该模型的主要特点包括轻量级且性能强大、适应多领域任务以及功能扩展。MiniCPM 3.0 在中英文任务、数学推理、代码生成和长文本处理等领域表现良好，并支持工具调用、代码解释和检索增强生成，适应广泛的应用场景。
MiniCPM 3.0 的技术原理是其成功的关键。该模型采用了 LLMxMapReduce 技术，支持长文本处理，扩展了模型的上下文理解能力。通过将长文本分割成小块（或 “帧”），模型可以逐块处理整个文本，实现对长文本的处理。此外，MiniCPM 3.0 还采用了量化技术，将模型的内存需求降低到 2GB，使其能够在资源受限的端侧设备上运行。
在 Function Calling 方面，MiniCPM 3.0 的性能接近 GPT-4o。该模型还包含 RAG 三件套，包括 MiniCPM-Embedding（检索模型）、MiniCPM-Reranker（重排序模型）和 LoRA 插件（生成模型），提供信息检索和内容生成。
MiniCPM 3.0 的应用场景包括智能助手、移动设备应用、智能家居控制、在线客服以及内容创作和编辑等多个领域。作为个人或企业用户的智能助手，MiniCPM 3.0 可以处理和回应各种查询，提供日程管理、信息检索、邮件处理等服务。由于模型的端侧优化和量化技术，MiniCPM 3.0 适合集成到智能手机、平板电脑和其他移动设备中，提供即时的 AI 服务。
在智能家居系统中，MiniCPM 3.0 可以作为中心处理单元，理解和执行用户的语音命令，控制家中的各种智能设备。在客户服务领域，MiniCPM 3.0 可以提供 24*7 小时的自动回复服务，处理常见问题和用户咨询。MiniCPM 3.0 的文本生成能力还可以辅助创作者撰写文章、生成报告或编辑文本，提高创作效率。