Libratus AI在20天的扑克游戏中击败了顶级职业选手

卡内基梅隆大学的研究人员报告称，今年早些时候在无限制德州扑克中击败四位顶级职业扑克玩家的人工智能，使用三管齐下的方法来掌握比宇宙中原子更多决策点的游戏。 。

在今天由科学杂志在线发表的论文中，计算机科学教授Tuomas Sandholm和博士Noam Brown博士。计算机科学系的学生，详细说明他们的AI如何通过将游戏分解为计算可管理的部分来实现超人的表现，并且基于其对手的游戏玩法，在比赛期间修复其策略中的潜在弱点。

人工智能程序在跳棋，国际象棋和Go-all挑战性游戏中击败了顶级人类，但两个玩家在任何时候都知道游戏的确切状态。相比之下，扑克玩家应对隐藏的信息 - 他们的对手持有什么牌以及对手是否虚张声势。

2017年1月，在匹兹堡里弗斯河赌场举行的为期20天的竞赛中，有12万人参赛，Libratus成为第一个在头顶无限制德州扑克中击败顶级人类玩家的人工智能 - 这是不完美的主要基准和长期挑战问题AIs的信息游戏解决方案。

Libratus在双人游戏中单独击败每个玩家，共筹集超过180万美元的筹码。用不完全信息游戏人工智能研究人员使用的标准，以每手毫米百叶窗(mbb /手)来衡量，Libratus决定性地以147万桶/手击败人类。在扑克术语中，这是每场比赛14.7个大盲注

“Libratus中的技术不使用专家领域知识或人类数据，也不是扑克专用的，”Sandholm和Brown在论文中说。“因此，他们适用于一系列不完善的信息游戏。” 他们指出，这些隐藏的信息在现实世界的战略互动中无处不在，包括商业谈判，网络安全，金融，战略定价和军事应用。

Libratus包括三个主要模块，第一个模块计算游戏的抽象，比游戏中的所有10161(数字1后跟161个零)可能的决策点更小，更容易解决。然后它为德州扑克的早期轮次制定了自己的详细策略，并为后续轮次制定了粗略策略。这种策略称为蓝图策略。

扑克中这些抽象的一个例子是将类似的手放在一起并对它们进行相同的处理。

“直觉上，King-high flush和Queen-high flush之间几乎没有区别，”Brown说。“将这些牌视为相同的牌会降低游戏的复杂性，从而使计算更容易。” 同样，类似的投注大小也可以组合在一起。

但是在游戏的最后几轮中，第二个模块根据游戏状态构建一个新的，更细粒度的抽象。它还实时计算了这个子博弈的策略，使用蓝图策略来指导不同子游戏中的策略 - 需要采取一些措施来实现安全的子游戏解决。在1月份的比赛中，Libratus使用匹兹堡超级计算中心的Bridges计算机进行了这项计算。

每当对手进行不在抽象中的移动时，模块计算该子游戏的解决方案，包括对手的移动。桑德霍尔姆和布朗称这个嵌套的子游戏解决了。

DeepStack是由阿尔伯塔大学创建的用于单挑，无限制德州扑克的人工智能，也包括一个类似的算法，称为持续重新解决; 然而，DeepStack尚未针对顶级职业选手进行测试。

第三个模块旨在随着竞争的进行改进蓝图策略。通常，Sandholm说，AI使用机器学习来找到对手战略中的错误并利用它们。但如果对手改变策略，这也会使人工智能受到剥削。

相反，Libratus的自我改进模块分析了对手的赌注大小，以发现Libratus蓝图策略中的潜在漏洞。然后Libratus添加这些缺失的决策分支，为它们计算策略，并将它们添加到蓝图中。

除了击败人类专业人士之外，Libratus还被评估为最佳扑克AI。其中包括Baby Tartanian8，这是由Sandholm和Brown开发的机器人，赢得了与人工智能促进协会年会一起举办的2016年度计算机扑克比赛。

婴儿Tartanian8在比赛中以12(加/减10)mbb /手和24(加/减20)mbb /手击败接下来两个最强的AI，Libratus以63(加/减28)mbb /手击败Baby Tartanian8 。作者指出，DeepStack尚未针对其他AI进行测试。

“我们开发的技术在很大程度上与领域无关，因此可以应用于其他战略不完美信息交互，包括非娱乐应用，”Sandholm和Brown总结道。“由于隐藏信息在现实世界的战略互动中无处不在，我们相信Libratus中引入的范例对于AI的未来发展和广泛应用至关重要。”

该技术已获得由Sandholm成立的公司Strategic Machine，Inc。独家授权，将战略推理技术应用于许多不同的应用。

Brown和Sandholm关于嵌套子博弈解决方案的论文最近在神经信息处理系统(NIPS 2017)会议上获得了最佳论文奖。Libratus在2017年高性能计算，网络，存储和分析国际会议(SC17)上获得了HPCwire读者选择最佳AI使用奖。