腾讯最近发布了开源混合专家模型 —— 混元大模型 Hunyuan-Large,该模型拥有 3890 亿参数,其中 520 亿为活跃参数。模型在长文本处理、常识推理和数学能力等多个领域显示出重要表现。
Hunyuan-Large 支持 256K 的上下文窗口,这显著增强了处理长文本的能力。腾讯在训练过程中使用大量合成数据以提升模型的语言表达和对未见内容的泛化能力,从而增强长文本理解。
这一发布为 AI 研究社区提供了开源工具,开发者可以通过 HuggingFace 和 Github 等平台下载使用该模型。