ICLR 2024 年会议共收到 7262 篇论文提交,其中两篇国内论文获得杰出论文提名。
杰出论文奖之一是《Learning Interactive Real-World Simulators》,该论文由加州大学伯克利分校、Google DeepMind、麻省理工学院和阿尔伯塔大学的研究人员合作完成。论文提出了一个名为 UniSim 的通用模拟器,通过跨多个来源聚合数据,以训练机器人基础模型。UniSim 利用视觉和语言领域的最新发展,合并不同轴数据的经验,并泛化到数据之外,实现了对静态场景和对象的细粒度运动控制。
UniSim 的核心技术包括基于视觉感知和控制的文本描述的统一接口,这使得它能够聚合来自不同来源的数据,如互联网文本 – 图像对、导航数据、人类活动数据、机器人动作数据等。通过这些数据,UniSim 能够模拟复杂的交互场景,例如打开抽屉、搬运物体等。研究团队由来自加州大学伯克利分校、Google DeepMind、麻省理工学院和阿尔伯塔大学的多位学者组成,包括 Sherry Yang、Yilun Du、Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans 和 Pieter Abbeel。他们在论文中展示了 UniSim 在多个实验中的表现。
另一篇国内杰出论文是《Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness》,由北京大学和北京智源人工智能研究院的研究团队完成。该论文提出了一种基于同态计数的新表达理论,旨在提升图神经网络(GNN)的表达能力。现有的 GNN 解决方案在处理复杂图结构时存在局限性,而该研究通过引入新的数学框架,提高了 GNN 在不同任务中的表现。
另一篇国内杰出论文是《Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction》,由香港城市大学、腾讯 AI 实验室和西安交通大学的研究团队合作完成。该论文提出了一种新的元连续学习方法,通过方差减少技术,提升了在线 Hessian 近似的效果。这一方法在处理大规模数据集和复杂任务时展示了性能。
此外,ICLR 2024 年会议还评选出了 11 篇荣誉提名论文,这些论文涵盖了从贝叶斯推理到生成建模的多个前沿领域。例如,蒙特利尔大学和牛津大学的研究团队提出的《Amortizing intractable inference in large language models》从贝叶斯推理的角度提出了一种在大型语言模型中替代自回归解码的方法。DeepMind 的《Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization》则对开发高效且可扩展的纳什求解器这一问题提出了新的解决方案。