在 2024 年 8 月 14 日，Jesse Dodge 团队在 ACL 2024 会议上获得了两项重要的论文奖项：OLMo 获得了最佳主题论文奖，Dolma 获得了最佳资源论文奖。ACL 会议是自然语言处理领域的顶级会议，每年吸引全球众多学者和研究人员参与，展示最新的研究成果和技术进展。
OLMo 是一种新型的语言模型，旨在解决长文档摘要生成中的挑战。该模型通过引入状态空间模型，提高了长文档摘要的准确性和连贯性。研究人员在论文中详细介绍了 OLMo 的设计原理、训练过程和实验结果，展示了其在多个数据集上的表现。
Dolma 则聚焦于资源的开放性和多样性。Dolma 是一个包含三万亿个标记的英语语料库，涵盖了网络内容、科学论文、代码、公共领域书籍、社交媒体和百科全书等多种来源。Dolma 的设计原则和数据收集过程得到了详细记录，旨在促进语言模型预训练的科学研究。研究团队还开源了数据整理工具包，以便其他研究人员进行进一步的实验和探索。
字节跳动推出的端到端同声传译智能体 CLASI 也在近期引起了广泛关注。CLASI 采用了基于大语言模型的架构，规避了传统级联模型中的错误传播问题。CLASI 依托于豆包基座大模型和豆包大模型语音组的语音理解能力，同时具备从外部获取知识的能力，能够在实时性和翻译质量之间达到平衡。
技术细节方面，CLASI 采用了 Encoder-conditioned LLM，在海量的无监督和有监督数据上进行了预训练。系统架构上，CLASI 将同声传译定义为一系列简单且协调的操作，包括读入音频流、检索、读取记忆体、更新记忆体和输出等。整个流程由大语言模型自主控制，确保在传递信息的同时，保持翻译内容的准确性和连贯性。