人工超级智能的兴起将如何影响人类

汽车沿着我们的街道行驶。飞机在我们的天空中飞翔。医疗技术可以诊断疾病，推荐治疗计划并挽救生命。

人工智能系统已经在我们中间，它们已经存在了一段时间。然而，世界尚未看到人工超级智能(ASI) - 一种具有超越我们自己的所有相关指标的认知能力的合成系统。但技术进步很快，许多人工智能研究人员认为，人工超级智能的时代可能正在快速逼近。一旦它到来，研究人员和政治家都无法预测会发生什么。

幸运的是，许多人已经在努力确保这种人工超级智能的兴起不会导致人类堕落。

Seth Baum是全球灾难风险研究所的执行主任，该研究所专注于防止全球文明遭到破坏。

当鲍姆讨论他的工作时，他用实事求是的语气概述了GCRI的使命，考虑到该项目的巨大性质，这不仅有点刺耳。“我们所有的工作都是为了保护世界的安全，”鲍姆指出，他继续解释说，GCRI专注于一系列威胁，这些威胁使我们物种的生存处于危险之中。从气候变化到核战争，从外星智能到人工智能--GCRI涵盖了所有这些。

在人工智能方面，GCRI有几项举措。然而，他们的主要AI项目获得了生命未来研究所的资助，其中心是与人工超级智能相关的风险。或者，正如Baum所说，它们“对计算机接管全世界并杀死所有人进行风险分析。”具体而言，Baum表示，GCRI正致力于“开发结构化风险模型，以帮助人们了解风险可能是什么，并且，这里有一些减少这种风险的最佳机会。“

不出所料，这项任务并不容易。

根本问题源于这样一个事实，即不像更常见的威胁，例如车祸中死亡的风险或患癌症的风险，从事ASI风险分析的研究人员在制作模型时没有可靠的案例研究和预测。正如鲍姆所说，“计算机从未接管过世界并杀死过所有人。这意味着我们不能只看数据，这是我们为许多其他风险所做的事情。而且这种技术不仅没有发生过，技术甚至还没有存在。如果它是建成的，我们不确定它是如何建造的。“

那么，研究人员如何确定人工超级智能所带来的风险，如果他们不确切地知道这些情报会是什么样子并且他们没有真正的数据可以使用呢?

幸运的是，当谈到人工超级智能时，AI专家并不完全处于未知领域。鲍姆声称有一些想法和一些相关证据，但这些事情是分散的。为了解决这个问题，鲍姆和他的团队创建了模型。他们获取可用信息，构建信息，然后以有组织的方式分发结果，以便研究人员能够更好地理解主题，可能影响手头问题结果的各种因素，并最终更好地了解与ASI相关的各种风险。

例如，当试图计算设计AI以使其安全行动是多么容易时，需要建模的子细节之一是人类是否能够观察AI并在它离开之前对其进行测试。控制。换句话说，AI研究人员是否能够认识到AI具有危险的设计并将其关闭。为了对这种情况进行建模并确定风险和最可能的情景，Baum和他的团队掌握了可用的信息 - 人工智能研究人员的观点和意见，人工智能技术的知识及其运作方式等等 - 并且他们建模通过构造上述信息以及参数或数据集中的任何不确定性来讨论该主题。

这种建模和风险分析最终使团队能够更好地理解问题的范围，并通过以明确的方式构建信息，推进超级智能研究社区中的持续对话。建模并没有让我们全面了解将会发生什么，但它确实让我们能够更好地理解我们在ASI的兴起，可能发生的事件和结果以及可能发生的事件时所面临的风险。政策制定者和AI研究人员应采取的具体步骤，以确保ASI有益于人类。

当然，当涉及人工超级智能的风险时，我们是否能够观察和测试我们的AI只是更大型号的一小部分。

模拟灾难

为了理解实现ASI大灾难需要什么，以及我们如何可能阻止它，Baum和他的团队创建了一个模型，从许多有利位置调查以下问题：

第1步：是否有可能建立一个人工超级智能?

第2步：人类会建立超级智能吗?

第3步：人类是否会失去对超级智能的控制?

该模型的前半部分以如何构建ASI的细节为中心。该模型的后半部分深入研究了与创建有害的ASI相关的风险分析，并着眼于以下内容：

第1步：人类会设计一种有害的人工超级智能吗?

第2步：超级智能会自行发展有害行为吗?

第3步：是否有某些事情阻止超级智能以有害的方式行动(例如另一个人工智能或某些人类行动)?

本系列中的每一步都模拟了许多不同的可能性，以揭示我们面临的各种风险以及这些威胁的重要性和可能性。尽管该模型仍在不断完善，但鲍姆表示已经取得了实质性进展。“风险开始变得有意义了。我开始明白看到这种类型的灾难到底需要什么，“鲍姆说。然而，他很快澄清说这项研究仍然有点太年轻，无法明确地说，“我们这些研究超级智能及其所有风险和政策方面的人，我们并不确定我们想要什么样的政策是正确的现在。现在正在发生的事情更多的是关于人工智能的通用对话。

最终，Baum希望这些对话，加上他目前与他的团队一起开发的模型的理解，将使GCRI能够更好地为决策​​者和科学家们准备一种新的(超级)情报的兴起。