2024 年 8 月 7 日，英特尔发布了一个新的开源框架 RAG Foundry，旨在简化检索增强生成（RAG）技术的实施步骤。RAG 技术虽然能提升大型语言模型（LLM）回答的准确性，但其实施过程通常非常复杂，涉及选择知识源、选择检索引擎、与 LLM 集成训练以及评估训练结果等多个步骤。英特尔的 RAG Foundry 将这些步骤集成到一个工作流中，降低了 RAG 部署的门槛，减少了开发人员的工作周期。
RAG Foundry 主要由四个模块组成：数据集创建、训练模块、推理模块和评估模块。数据集创建模块负责加载和处理数据，训练模块使用参数高效微调（PEFT）进行模型训练，推理模块进行预测，评估模块则对输出进行多种指标评估。
RAG 技术的复杂性一直是其广泛应用的主要障碍。传统的 RAG 实施过程不仅需要选择合适的知识源，还需要选择合适的检索引擎，并将其与大型语言模型（LLM）集成进行训练。整个过程还包括对训练结果的评估，这些步骤都需要大量的时间和资源。
英特尔的 RAG Foundry 框架通过将这些步骤集成到一个工作流中，简化了 RAG 的实施过程。具体而言，RAG Foundry 由四个模块组成：
-
数据集创建模块：该模块负责创建包含 RAG 交互的数据集，涵盖数据加载、列规范化、数据聚合、信息检索、API 集成和模板化提示等内容。通过这一模块，开发人员可以准备和处理数据，为后续的训练和推理做好准备。
-
训练模块：使用参数高效微调（PEFT）进行高效训练，用户可以在增强数据集上训练任意模型，并将结果推送到 Hugging Face。PEFT 技术使得训练过程更加高效，减少了计算资源的消耗，同时提高了模型的性能。
-
推理模块：用上一步训练出来的模型进行推理预测。该模块能够快速地对输入数据进行处理，并生成高质量的输出结果。
-
评估模块：对推理生成的输出进行评估，支持多种指标，如 EM（完全匹配）、F1、ROUGE 和 BERTScore。通过这一模块，开发人员可以全面评估模型的性能，确保其输出结果的准确性和可靠性。
RAG 技术在其他公司的应用也取得了进展。例如，百度近期在人工智能领域宣布了一项创新成果，开发出一种 “自我推理” 框架。该框架赋予 AI 系统以批判性思维，使其能够自主评估并验证自身知识与决策过程的准确性。
百度的自我推理框架包含三个核心过程：相关性感知、证据感知的选择以及轨迹分析。通过内置的自我推理机制，AI 系统不再局限于简单的信息检索与生成，而是能够像人类专家一样，批判性地审视并评估自己的输出。这一创新不仅解决了 AI 生成信息的能力问题，更向前迈进了一步，实现了对信息的验证与具体化。
在具体实施上，百度的自我推理 AI 首先评估检索信息的相关性，随后像人类研究员一样选择并引用相关证据，最后通过深入分析推理路径，生成既有充分依据又准确无误的答案。这种多步骤、严谨的推理流程，使得 AI 在信息处理上更加谨慎，同时也为其输出提供了清晰可追溯的依据。
在多个权威问答和事实验证数据集上的测试中，百度的自我推理系统均表现出色，甚至在某些情况下，仅使用少量训练样本（如 2000 个样本）就达到了与顶尖 AI 模型 GPT-4 相媲美的性能水平。