MLCommons 组织的 AlgoPerf 训练算法竞赛吸引了全球研究者的关注，旨在推动算法效率的研究与发展。此次竞赛展示了算法在神经网络训练中的突破，并为未来的 AI 优化设立了新的标准。竞赛结果显示，使用非对角预处理的算法在神经网络训练速度上提升了 28%，超越了 Nesterov Adam。此外，竞赛还推出了无超参数算法的新 SOTA（State of the Art）。
MLCommons 设立了 AlgoPerf 训练算法竞赛，评估和比较不同算法在特定任务上的表现。这个竞赛吸引了全球研究团队参与，评审标准覆盖了算法的准确性、速度和资源消耗等多个维度，确保评估结果的全面性和公正性。在这次竞赛中，非对角预处理方法击败了 Nesterov Adam，获得了最终的胜利。
技术方面，一个新的无超参数算法表现出色，展示了其在处理复杂问题时的高效性和稳定性。非对角预处理方法是一种优化算法，用来加速收敛和提高稳定性。传统预处理方法常用对角矩阵，而非对角预处理方法则引入了非对角元素，更好地捕捉数据的相关性。它在以下几个方面表现特别突出：
- 提高收敛速度：能更准确反映数据结构，非对角预处理方法能更快找到最优解，缩短训练时间。
- 增强稳定性：引入非对角元素后，算法在处理复杂数据时更加稳定，减少了震荡和发散的可能。
- 适应性强：这种方法适用于不同类型的数据和模型。
无超参数算法是一种不需要手动调节超参数的优化方法。传统机器学习算法通常需要大量的超参数调节，既费时又可能导致模型性能不稳定。无超参数算法通过以下创新点解决了这一问题：
- 自动调节：算法能根据数据自动调整参数，无需人工干预，简化了模型训练过程。
- 稳定性高：不依赖手动调节超参数，算法在不同数据集上的表现更加一致，降低了过拟合和欠拟合的风险。
- 广泛适用：在图像识别、自然语言处理等多个领域表现出色。