微软研究院的Lin Xiao在NeurIPS上获得时间测试奖

在NeurIPS本周在加拿大温哥华被检查1400余件人工智能研究为他们的新方法或突破-但这些论文的一个不同于所有的休息。

微软研究院的林啸本周被任命为“时间测试奖”的获得者，该奖项授予人工智能研究，该奖项在过去10年中为人工智能领域做出了重要而持久的贡献。

召集了一个特别委员会来回顾10年前在NeurIPS上发表的论文，并将列表缩小到对机器学习产生持久影响的18篇论文，在一定程度上衡量了这些论文在过去十年中获得了最多引用。迄今为止，肖的论文被其他研究人员引用了600多次。

NeurIPS的组织者周日宣布了Xiao的工作，这是他的获奖者，他在一个会议厅中详细介绍了此后的结果和取得的进展，参加会议的13,000名与会者中有1,000名。

肖在今天的舞台上说：“十年前，这次会议规模很小，但是我觉得它和一个相对年轻的研究员一样令人兴奋。” “当时几个非常激动人心的主题相互碰撞，为这项工作创造了动力。”

该论文的标题为“ 正则随机学习和在线优化的双重平均方法 ”，于2009年发表，提出了一种新的在线算法，称为正则双重平均或RDA。

RDA专注于随机梯度下降，它借鉴了1951年Robbins和Monro关于该主题的著作和“ 凸问题的原始对偶次梯度方法 ”。

肖说：“我想感谢尤里·内斯特罗夫(Yurii Nesterov)教授在本文中的影响和启发，以及我研究中的几乎所有内容。” “这项工作是他论文的简单延伸。”

去年的时间测试奖得主，由Facebook AI Research的Leon Bottou和Google AI的Olivier Bousquet共同完成，其研究重点是用于大型机器学习的随机梯度下降。

为了优化RDA模型的性能，Xiao的工作结合了规则正则化，鼓励通过在线学习来学习算法。稀疏正则化用于将模型中的某些权重设置为零，这是使随机梯度下降更容易理解的一种方式。

“我相信RDA的动机在今天仍然有效，因为一方面，我们知道在线算法由于其处理的数据量而处于机器学习的主要阶段的可能性。另一方面，我认为稀疏性对于使我们适应越来越大的模型至关重要。不管怎么说，稀疏往往是有效的部分。”

本周早些时候，NeurIPS会议组织者还为新的AI研究授予了最高荣誉，其中包括分布式学习方面的杰出论文，以及认为统一收敛可能无法解释深度学习的普遍性的论文获得了杰出新方向奖。可以在此NeurIPS Medium帖子中看到更多获得最高荣誉的研究成果。