苹果研究团队最近提出了一种全新的多模态大语言模型（MLLMs）对齐方法，结合了离线（例如 DPO）和在线（例如 Online-DPO）方法，减少了模型的幻觉现象，提高了对图像信息的响应准确性。
他们引入了一种名叫 “偏差驱动幻觉采样（Bias-Driven Hallucination Sampling, BDHS)” 的新方法。这个方法通过限制模型对图像的访问来诱发语言模型的偏差，从而触发幻觉。这个过程不需要额外的注释或外部模型，只依靠自监督数据就能实现。
离线对齐方法，比如 DPO（Direct Preference Optimization），是在模型训练过程中使用预先收集的数据进行优化。这种方式允许模型在训练阶段进行大量的参数调整和优化。DPO 的好处在于可以利用大量的历史数据进行深度学习和优化，使得模型在正式上线时已经具备了稳定性和准确性。
在线对齐方法，如 Online-DPO，是指模型上线后，通过实时数据进行持续优化。与离线方法不同，在线对齐能够根据用户的实时反馈和交互数据，动态调整模型的参数和行为。这种方法的优势在于可以快速响应用户需求和环境变化。
BDHS 通过限制模型对图像信息的访问，迫使模型在缺乏视觉输入的情况下进行推理和生成。这种限制能够诱发模型的语言偏差，使其在生成过程中出现幻觉现象。通过分析这些幻觉现象，研究人员可以识别出模型的偏差来源，并进行针对性的优化和调整。
实验数据显示，采用 BDHS 方法的多模态大语言模型在多个图像处理任务中表现。例如，在图像描述和视觉问答任务中，模型的准确率和响应速度均有提升。具体数据表明，模型在图像描述任务中的准确率提高了约 15%，在视觉问答任务中的响应速度提高了约 20%。
自监督数据是指无需人工标注，通过模型自身生成的训练数据。这种数据通常通过模型在未标注数据上的预测结果来生成，具有低成本、高效率的特点。使用自监督数据可以减少对人工标注数据的依赖，同时提高模型的泛化能力。