英伟达近日推出了全新的小语言模型 Minitron，包含 4B 和 8B 两个参数版本。这个模型通过采用修剪和蒸馏技术，缩小了模型大小并降低了训练成本。具体来看，Minitron 8B 和 4B 模型是从 15B 模型衍生而来，所需的训练 token 比从零开始训练少了 40 倍，计算成本节省了 1.8 倍。
在性能方面，Minitron 模型在 MMLU 分数上比从头开始训练的模型提升了多达 16%，并且性能与其他社区模型如 Mistral 7B、Gemma 7B 和 Llama-3 8B 相当。此外，Minitron 在先进压缩技术上也表现得尤为出色。训练速度的提升达到 40 倍。
这个模型系列已经在 Huggingface 上开源，大家都可以免费使用。Minitron 模型能处理文本生成、翻译和情感分析等多种自然语言处理任务。社区反馈方面，Minitron 模型在 Huggingface 平台上开源后，迅速吸引了大量用户的关注和使用。